大数据,数据分析场景分析。

来源:互联网 发布:什么软件获得集分宝 编辑:程序博客网 时间:2024/05/17 04:56

工作和学习中遇到很多问题,其实都蛮有代表性的。先记录下,然后找个愉快的日子,都补充完整了。

大数据中数据分析中经常会因为不同的场景产生复杂的数据问题。

问题1.比如目前有数据库服务器的性能已经满足业务需求,但对大数据处理超出了内存的限制,该怎么办?

问题2.来计算水流,图像问题数据量很大,运算量很大,该怎么办?

问题3.等等

目前用的比较成熟的思路。

1.从大数据抽样


2.把大数据分解

文件分解,JULY的博客里面介绍过了。当然这是在没有分布式前主要采用的方法。

Mahout,分布运算方案或其他基于数据库的分布式处理。


3.精度下降


4.高性能运算GPU

本人看好的计算机未来的两个方向,大数据和高性能运算。


GPU无代价的线程开销方式,在高性能运算中占据未来主流。


目前云已经能够解决大数据问题,但是高性能运算怎么来解决?目前只能通过OPENCL来实现。


4.算法解:群蚁、遗传等

思路:人每天会接触很多很多的数据,为什么有些场景我们记住了,有些没有呢?

是不是可以增加一些信息素,来记录特定数据。这样在遍历的时候能够减少迭代。



0 0
原创粉丝点击