大数据能做什么？

转自：http://www.thebigdata.cn/JiShuBoKe/9328.html

什么是大数据？

       大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

新处理模式具有两层含义：1、由于海量数据，需要更高效的存储和处理技术，hadoop。2、大数据明显标志是数据挖掘和人工智能的紧密结合。数据统计只是对已有的数据进行纵向归类，大数据是基于已有的数据，对未产生的数据进行预测和推荐。

预测和推荐是如何实现的？

       目前的推荐推荐算法可以分为两类，一个是基于行为，一个是基于内容的。1、基于行为的分析，即用户在互联网、移动互联网留下的“”痕迹“”，得出未来会选择购买的预测和推荐结果。基于行为的分析，属于群体智慧，综合利用群体用户行为偏好/  2、基于内容的分析，包括对文字、图片、音频等信息的分析，得出预测和推荐的结论。

大数据到底能做什么？   

近两年来，大数据被应用到影视制片行业，基于对观众偏好的分析，去预测、设计观众喜欢的剧情，找观众喜爱的演员出演相关的角色，甚至可以去预测票房。这些所有的预测都是基于数据的基础上，经过一定的模型处理，得到接近真实的结论。从某种程度上给决策者决策的依据，比如《纸牌屋》和《星星》。

　　科技的进步让人变得更懒，也就是我们自身的处理能力降低，无论是主观的还是客观的。而可被选择的对象却在日益增多。从纷繁复杂的商品（电商），到海量曲库中的乐曲；从婚恋网站的男女朋友，到交通管理的信号灯。

　　基于人工智能下的大数据，就是可以使人们“变懒”的一个手段。基于你的历史行为，判断出你可能的喜好，乃至需求，将最佳结果，推荐给你。这就是大数据，她是你的贴心管家，或者说是最懂你的朋友。

　　一个最经典的案例是沃尔玛曾经做过的“啤酒”和“尿布”调研：沃尔玛在研究中发现，一类顾客经常在购买尿布的同时也购买啤酒。尿布跟啤酒自然是毫无关联的两个品类的商品，从个人经验上来看，根本想不到二者的联系。后来发现，这是一类社会现象所导致的。美国有很多年轻夫妇，尿布用完后，女主人在家带孩子，而男主人就去超市买尿布。买完尿布之后，男主人通常会顺带着买些啤酒。

　　上述例子说明，数据经常可以让你发现看似不合理不合逻辑但却存在，并且经常发生的现象。

　　再举个例子，北京的交通拥堵是地球人都知道的事情。尤其是早晚高峰，这已经不需要预测了。但如果根据历史交通数据，再经过数学模型，计算出一个全北京最佳的交通信号灯管理系统，这就属于大数据的范畴了。

大数据不是万能的

      

不要以为是海量数据就一定会有价值，在过往的工作中，我们经常发现来自甲方的数据源有80-90%的数据都是无用的。只有10%-20%的数据才会产生一定的价值。这就又让我想到Marry Meeker打的那个比喻，“大数据的工作就像在一堆稻草中寻找一根针”。

　　何况，大多数领域本身业务属于早期，所拥有的数据非常贫乏。冷启动、稀疏性是大数据在诸多领域面临的挑战。

　　另一方面，对于不同领域，不同项目，没有放之四海而皆准的算法，必须要根据具体问题具体分析解决。在实际的工作中发现，不只是不同的领域（如文章推荐与商品推荐），甚至同一领域的不同单元（同属电商但不同类电商，如母婴类和服装类或者奢侈品类）也有所不同。

数据的交叉利用

上面提到的两个大数据在实际应用中面临的最大问题，即冷启动时数据的匮乏和业务早期数据的稀疏性问题，并不是无药可救。业界一直讨论的数据打通，就是解决这两问题的出路。

　　对于一些新兴领域，缺乏数据是必然的，而另一方面，正由于缺乏数据的支持，所以才更需要有强大决策支持的系统对其业务做指导和支撑，以实现少走弯路，利益最大化的目的。

　　移动互联网领域的项目，尤为代表。虽然在过去的两三年里，移动互联网得到了高速的发展，但毕竟在各个方面的积累，都无法与互联网相比。尤其在人们形成稳定的使用习惯之前，数据还不具备更多的价值和意义。

　　但如果能把互联网的数据与移动互联网数据打通，那么我们就掌握了这个人的喜好等多方面信息，从而为移动互联网业务做出更有效的指导和帮助。

　　当然，数据的打通绝不仅限于互联网和移动互联网。每个数据源的数据往往刻画了一个人的不同方面。正如巴拉巴西教授在《爆发》一书中描绘的那样，如果数据充分，人类93%的行为是可以预知的，是有规律的。

　　也只有将这些不同来源的数据重新组织，才能挖掘出更有意义的信息。