数据算法——大数据算法

来源:互联网 发布:传奇引擎全套源码 编辑:程序博客网 时间:2024/06/05 20:07

现代社会中活动越来越复杂,对信息的需求越来越大,如何对收集的信息加工处理形成人能理解价值信息并对行为指导是大数据算法的意义所在。


大数据有其特点,针对大数据的特点,有对应的解决方案:

大数据算法设计中难题:


运行时间太长,需要的是时间亚线性算法;
访问的数据量过大,需要的是外存算法;
一个计算机无法完成的算法,需要的是并行算法;
计算机无法完成的算法,需要人工帮助的是包众算法。




。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。


必须设计亚线性算法的问题

运行时间太长,需要的是时间亚线性算法;

在数据量非常大或者数据源源不断而存储空间或处理时间上有约束时应设计亚线性算法。

同时对于最后的结果要求不是特别严格的情况下,适合使用亚线性算法。

对海量数据进行分析时必须进行时间或者空间亚线性算法   时间和空间有限。


数据流算法具体应用

数据流算法

可以解决空间有限或者输入数据时间长且不定却需要及时反馈有时又只需要非精确的估计结果的问题。

数据流算法有应用于搜索引擎统计搜索查询,难题有数据源源不断、内存远小于数据的规模、需要快速处理每个元素。

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。



外存算法的设计和分析
访问的数据量
过大,需要的是外存算法;




实现快速处理高维的范围搜索和KNN搜索

海量数据的高维外存建立B树,并将相应的范围进行记录,从而实现快速处理
KNN同样对样本进行分类分层,类似于B树的中间结点,减少计算量


哪些特征的图算法适用于外存图结构


。。。。。。。。。。。。。。。。。。。。。。。。。。
一个计算机无法完成的算法,需要的是并行算法;

复杂问题对MapReduce的平台提出了何种要求
当前有不止一种MapReduce平台提出,这些平台是否适用于基于MapReduce编程模型的数据库的操作、图处理以及数据挖掘和分析?

这些问题的求解对MapReduce的平台提出了何种要求?



其他超越MapReduce的平台提出,请讨论这些平台有什么特点和优点


。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

计算机无法完成的算法,需要人工帮助的是包众算法。


0 0