《浅谈大数据技术》读后感

来源:互联网 发布:欧几里得算法 编辑:程序博客网 时间:2024/05/17 04:53

忽如一夜春风来,无人不谈大数据。大数据就像前两年的云计算一样,是一个时下被炒得很火的概念。那么什么是大数据,大数据是如何定义的,大数据处理技术有哪些,大数据能给我们带来什么益处?


大数据是建立在海量数据的基础之上,对未来预测的能力,大数据的核心就是预测。对未来准确的预测能力,或许能算一种人类梦寐以求的终极能力,回顾人类的历史,我们会发现人类的发展几乎都是在不停和未知的不确定性事物做斗争,不管是个人还是组织甚至大到民族和国家,只有正确的掌控未来的发展方向才会一直保有旺盛的生命力,而错误的理解未来一定会付出惨痛的代价,甚至最终灭亡。人类对未来预测能力的渴求由来已久,所以才会产生很多浪漫的神鬼故事和超人的传说。而现在计算机技术的发展,给人类带来可以预测未来的技术,未来不再那么飘忽不定,而是可以通过一定手段进行近乎准确的预测


大数据同时还改变了人类传统预测未来的方式。传统的预测未来的方式是研究事物之间的因果关系,什么样的结果一定是由什么样的原因所引起,在采样分析的时代里,我们常常会在随机性的定义上强加那些能推导出预定结果的原因,采样分析的偏见也就由此产生。大数据时代的数据分析不再是分析事物间的因果关系,而是通过事物之间的相关关系进行分析,相关关系分析的核心是量化两个数据之间的数理关系,当其中一个数据值增加的时候,另一个数据的数值也可能随之增加,因此可以由一个数据的变化推导出另一个数据变化的结果,书中有很多例子描述这种相关关系的分析方法,例如谷歌通过搜索的关键字预测了流感爆发的时间、地点和规模;沃尔玛通过相关关系分析,发现飓风来临时候蛋挞的销售会猛增,因此在飓风来临之前将蛋挞和飓风用品摆放在一起。