大数据,数据分析场景分析。
来源:互联网 发布:什么软件获得集分宝 编辑:程序博客网 时间:2024/05/17 04:56
工作和学习中遇到很多问题,其实都蛮有代表性的。先记录下,然后找个愉快的日子,都补充完整了。
大数据中数据分析中经常会因为不同的场景产生复杂的数据问题。
问题1.比如目前有数据库服务器的性能已经满足业务需求,但对大数据处理超出了内存的限制,该怎么办?
问题2.来计算水流,图像问题数据量很大,运算量很大,该怎么办?
问题3.等等
目前用的比较成熟的思路。
1.从大数据抽样
2.把大数据分解
文件分解,JULY的博客里面介绍过了。当然这是在没有分布式前主要采用的方法。
Mahout,分布运算方案或其他基于数据库的分布式处理。
3.精度下降
4.高性能运算GPU
本人看好的计算机未来的两个方向,大数据和高性能运算。
GPU无代价的线程开销方式,在高性能运算中占据未来主流。
目前云已经能够解决大数据问题,但是高性能运算怎么来解决?目前只能通过OPENCL来实现。
4.算法解:群蚁、遗传等
思路:人每天会接触很多很多的数据,为什么有些场景我们记住了,有些没有呢?
是不是可以增加一些信息素,来记录特定数据。这样在遍历的时候能够减少迭代。
0 0
- 大数据,数据分析场景分析。
- 大数据分析与应用的8个场景
- 大数据平台OLTP应用场景案例分析
- 大数据平台OLTP应用场景案例分析
- 基于HBase的大数据存储的应用场景分析
- 基于HBase的大数据存储的应用场景分析
- 大数据分析与应用的8个场景
- 基于Hadoop大数据分析应用场景与实战
- 基于Hadoop大数据分析应用场景与实战
- 基于HBase的大数据存储的应用场景分析
- 大数据分析中的 数据,大数据
- 大数据:链接分析
- 认识大数据分析
- 大数据排名分析
- 大数据分析
- 大数据分析视频
- 大数据分析书籍
- 大数据分析流程
- 海量数据处理---位图法Bitmap
- Sublime Text 3中配置编译和运行Java的两个方法(转)
- 接口与抽象类
- 更好的办法:用union判断系统中的CPU 是Little endian 还是Big endian 模式
- hibernate load和get的区别
- 大数据,数据分析场景分析。
- 用VBA导出Excel里的图表为JPG文件
- plsql developer登录页面的database中没有选项问题
- Material Design开发文章系列2:在你的App中实现Material Design
- 关于 InnoDB 索引长度限制的 tips
- iOS 模拟出一个半透明的ViewController presentViewController 实现
- struts2的result type属性说明
- java动态代理(JDK和cglib)
- 重定向与转发的区别