勿让大数据成为“镜中花，水中月”

点击查看全文

 随着物联网的应用及智慧产业的爆发，“大数据”这个词汇再次高频度地出现在人们的视线中，围绕大数据做文章也相应催生出了农业大数据、工业大数据、健康大数据、旅游大数据等一批行业领域的大数据概念。作为各行各业智能化变革的重要组成部分，“如何利用大数据”成为传统企业和新兴互联网厂商争相涌入的新一片蓝海。

随着物联网的应用及智慧产业的爆发，“大数据”这个词汇再次高频度地出现在人们的视线中，围绕大数据做文章也相应催生出了农业大数据、工业大数据、健康大数据、旅游大数据等一批行业领域的大数据概念。作为各行各业智能化变革的重要组成部分，“如何利用大数据”成为传统企业和新兴互联网厂商争相涌入的新一片蓝海。

　　合理利用大数据助力中国各产业加速发展

智慧产业的应用简单来说，需要依托传感前端的智能感知或者数据采集，经过数据筛选、分析等处理，最终根据业务需求提供服务应用的一个过程。其中，大数据起着“中枢”的作用，犹如人体五官收到外界信息后经过大脑中枢处理进行决策的过程，其地位的重要性可谓不言而喻。

正因为这种行业变革的应用，各个领域开始了脑洞大开的畅想：智能手环检测到你的体脂率近期呈上升趋势，健身中心主动联系你并推荐降脂训练，生鲜电商平台发送低脂、健康食谱到你的手机;你有3天小长假，系统自动匹配你过去的行程信息、喜好、消费水平，推荐旅游方式、目的地，并将目的地相关的近期状况、游客点评等信息呈现给你……似乎无限的商业模式摆在眼前，只等你开始开采金矿。

大数据之采集分析，你了解多少?

有人曾说，大数据像地底下的石油资源，数据采集就相当于发现原油。大数据采集的对象不仅仅包含人们在上网过程中浏览或产生的信息数据，从移动互联演进到万物互联的时代更是包含了全世界的家电、工业设备、监控仪器、汽车及可穿戴设备等等装备终端传感设备所产生的运行数据、环境数据、监控视频图像数据等等，所产生的数据将会是指数级爆炸式增长。IBM的研究称，整个人类文明所获得的全部数据中，有95%是过去几年内产生的，而到了2020年，全世界联网设备可达200~500亿的数量，所产生的数据规模将达到今天的40倍以上。

数据的产生过程可以大致分为两类：一类是通过社交网络、电商平台、APP应用等消费者领域产生的数据，如社交、购物、出行等数据;另一类是各种智能设备、监控设备、传感设备等自主采集上传的数据，如人/物的状态信息、运行数据、地理位置、温湿度等环境数据。这些数据不仅来源十分广泛，数据类型更是纷繁复杂，加上各种工业PLC、不同通讯协议的传感终端带来多源数据的问题，这些都需要大数据采集层面实现智能感知识别、信号转换、适配、数据传输等技术的支持。

大数据技术下的系统平台通常以云存储方式进行数据存储，且随着企业信息化的加深呈现数据融合、加工再增值的趋势。但是，原本割裂、各自存在的系统平台数据存储格式千差万别，如传统的财务、办公、人力、采购等系统采用外部供应商提供，而核心业务系统自行开发管理，所导致的不同应用间数据结构化、半结构化、非结构化(如语音、图片、视频)等不同形态带来异构数据存储的难题。传统针对关系型数据的数据挖掘、分析处理方法在异构的大数据处理要求面前显得过于乏力，需要创新研究新型大数据分析和数据挖掘处理方法。

此外，大数据呈现着数据价值密度较低的特性，且数据价值隐藏较深，对数据的抽取及分析带来不小的挑战，出于对最后服务应用质量的保障，必须使用多种复杂的分析算法对原始的累积数据进行转换及清洗。以车联网为例，车辆运行状态数据实时上传，每天单部车辆所产生的不间断的数据中，可能有用的仅为几个关键数据，如果没有进行数据“提纯”，再多的数据也只是一堆数据垃圾。

点击查看全文