数据2.0时代,“WINDOWS”革命将再现

来源:互联网 发布:ubuntu tftp服务器搭建 编辑:程序博客网 时间:2024/04/27 21:47

在现代化信息洪流里,不进则退是必然的法则。无论是大数据的应用方还是提供方,由数据1.0跨越到数据2.0都是当前必须迈过去的坎。

数据1.0让位数据2.0

如果追溯源头,人类对数据的应用远可以从结绳计数算起。而自工业革命以来,生产工具快速进步导致人与自然、人类社会本身互动能力从深度、规模上快速推进,数据和信息的增长速度几何更新。

冯诺依曼数据处理理论和香农信息论进一步开启现代信息工业进化历程,从简单数据信息化实现早期机器运算,到操作系统实现以人机交互中间件来解决较复杂计算的效率、操作系统加软件实现信息计算+特定问题计算,人类进入对于数据的应用进入1.0时代。但是,受限于技术发展,无论是数据体量、覆盖范围、加工能力、应用维度等,这一时期的数据都存在巨大局限,往往只能局部化、孤岛化、后台式的形式默默刷着存在感。

20世纪90时代,互联网的普及成为推动数据由后台走向前台,由数据1.0走向数据2.0时代的契机。特别是进入21世纪以来,各类社会行为迅速向互联网迁移,物联网、云计算、移动互联网、车联网、手机、平板电脑以及遍布各个角落的各种各样的传感器,使互联网承载了远超历史的数据量。互联网上的海量信息,使得数据的作用远远超出以往。人类拥有了前所未有的海量数据,也具有了更高、更准确认识、预测想要了解事物的机率,大至美国总统竞选、奥斯卡奖项,小到客户的购买倾向、网络营销,海量的大数据中隐藏着我们想要知道的一切。

这两年,金融、零售、电信、公共管理、医疗卫生、营销、电商、娱乐等行业均在大数据应用上开展有效探索。也正是随着不断有有价值的大数据应用案例涌现,全球对于数据巨大的潜在价值认知、期望不断提升到新的高度。

大数据操作系统期待“WINDOWS”

但与信息化规模、效率需求呈几何增长并行而来的问题是:在这样的数据海洋里,即使你知道哪里有你需要的数据,但仍无法应用它——金子就在矿脉里,但如果挖不出来,又有何意义?更吊诡的是,数据量几何级增加,对数据的需求不断向纵深、精准进发,对于数据的响应时间却要保持和数据1.0时代一致,甚至可能需要更低的延迟。这意味着,过去曾经好用的“挖矿”工具现在需要丢手了。

数据2.0时代,缺少的不是数据,而是准确、高效驾驭数据洪流的方法、系统。数据的体积、速度和类型(volume、velocity和variety)在爆炸式递增,数据1.0时代的常规软硬件已无法胜任数据2.0时代的运算要求。虽然冯诺依曼数据处理理论、香农信息论依然有效,但是数据1.0时代经典的储存,操作系统及软件都不再适用。存储和计算方式被迫向各种分布式进化,操作系统向IAAS、PAAS进化,软件向SAAS进化,都是大数据行业适应2.0时代的运算要求不断演变的结果。

而随着大数据应用由政府、大型企业向全社会推进,对于数据应用的便捷性、全程化、可视化、易操作性的需求也正呼声高涨。IEEE即表示,数据洪流不止是3个V让大数据难以管理,数据科学家及行业所需简单工具也是个难题,许多行业无独立提取数据价值的能力。对大数据行业来说,要推动大数据由飘在空中的概念转向落在实地的应用,需要将采集、多样的大数据多样化处理模式与软硬件基础设施逐步夯实,形成循环、全流程、可视化的数据系统,将以往庞杂、无序、非结构化的数据转化成海量、有序、结构化的数据,以不断挖掘出有价值的数据,将之转化为能应用的、有价值的数据。

如何将当前各种纷杂、散乱的大数据采集、存储、挖掘、应用工具、模式整合、优化,形成一体化、个性化、可视化的大数据全生命周期管理系统,其意义将不亚于当年DOS向WINDOWS系统进化的革命性成果。

0 0
原创粉丝点击