大数据架构简述（一）：大数据的本质

1.大数据是什么

大数据由SCI的首席科学家JohmR.Masey于1998年在USENIX大会上首次提出。他在其发表的一篇名为Big Dara and the Next Wave of Infrastress的论文中首次提出Big Data这个词。

Google在2003-2006年公布的关于GFS、MapReduce和BigTable的三篇论文推动了Hadoop的实现，而Hadoop的诞生极大促进了大数据技术的发展。

当然，Hadoop并不等同于大数据。大数据只是一门市场语言，代表的是一种理念、一种问题解决的思路、一系列技术的集合。

2.运营商大数据架构

运营商大数据架构如图所示

第一层是应用，在运营商领域分别解决SQM（运维质量管理）、CSE（客户体验提升）、MSS（市场运维支撑）、DMP（数据管理平台）等问题

第二层是各个组件/技术支撑。包括数据从产生获取、处理（实时、批处理）、分析（交互式查询、机器学习与数据挖掘）到最后的展示

第三层，为了支持数据的存储处理，需要统一的资源管理及分配

第四层，上层框架和处理都构建在存储的基础上，所以存储是基础中的基础

第五层，大数据部署形态有云化部署、物理机部署等多种部署模式