大数据中:Hadoop云计算以及Nosql与BI商业智能之间的关系

云计算与其说是新技术，不如说是一种新的业务模式
支撑云计算的技术包括虚拟化，分布式计算，web技术，SOA等等，这些其实都不是什么新东西，是在过去10多年时间里陆续发展起来的，但这些技术组合起来以后，可以形成一种崭新的业务模式，通过把计算资源集中存放，达到高效率利用的目的，从而与各用户单独拥有的情况相比，大大降低了成本。这和共产主义思想似有不谋而合之处，不同的是主义是乌托邦，但云计算却是可以实实在在卖服务赚钱的业务

hadoop是实现云计算的技术之一，目前来说也处于很主流的位置，但绝对不是唯一

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变，但云计算的概念其实早已提出很久，早在上世纪60年代，麦卡锡就提出了把计算能力作为一种像水和电一样的公用事业提供给用户的理念，这成为云计算思想的起源。在20世纪80年代网格计算、90年代公用计算，21世纪初虚拟化技术、SOA、SaaS应用的支撑下，云计算作为一种新兴的资源使用和交付模式逐渐为学界和产业界所认知。因此，云计算的存在只是一种新的商业计算模型和服务模式。
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

对于收支平衡这块，目前我们还不是很在意。我把云计算的发展分为三个阶段：

1. 替换服务器和IDC的阶段。这是一个用批发+虚拟化模式取代零售模式的阶段，利润相对不高。
2. 取代软件公司和软件渠道阶段。当云计算成为软件渠道中心的时候，云计算公司自研和代理的软件利润就比较高了。
3. 取代集成公司、咨询公司的阶段。在这个阶段，以前做集成、咨询的公司要么转而做云计算服务的集成和咨询，要么就被淘汰。

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

2013-6-10 15:23| 查看: 963| 评论: 0|原作者: zhihu.com

摘要: 大数据与云计算的关系是什么，Hadoop又如何参与其中，Nosql在什么位置，与BI又有什么关系？以下这篇文字讲他们的关系讲的非常清楚。 在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值 ...

大数据与云计算的关系是什么，Hadoop又如何参与其中，Nosql在什么位置，与BI又有什么关系？以下这篇文字讲他们的关系讲的非常清楚。

在谈大数据的时候，首先谈到的就是大数据的4V特性，即类型复杂，海量，快速和价值。IBM原来谈大数据的时候谈3V，没有价值这个V。而实际我们来看4V更加恰当，价值才是大数据问题解决的最终目标，其它3V都是为价值目标服务。在有了4V的概念后，就很容易简化的来理解大数据的核心，即大数据的总体架构包括三层，数据存储，数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。

数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

数据存储层

数据有很多分法，有结构化，半结构化，非结构化；也有元数据，主数据，业务数据；还可以分为GIS，视频，文件，语音，业务交易类各种数据。传统的结构化数据库已经无法满足数据多样性的存储要求，因此在RDBMS基础上增加了两种类型，一种是hdfs可以直接应用于非结构化文件存储，一种是nosql类数据库，可以应用于结构化和半结构化数据存储。

从存储层的搭建来说，关系型数据库，NoSQL数据库和hdfs分布式文件系统三种存储方式都需要。业务应用根据实际的情况选择不同的存储模式，但是为了业务的存储和读取方便性，我们可以对存储层进一步的封装，形成一个统一的共享存储服务层，简化这种操作。从用户来讲并不关心底层存储细节，只关心数据的存储和读取的方便性，通过共享数据存储层可以实现在存储上的应用和存储基础设置的彻底解耦。

数据处理层

数据处理层核心解决问题在于数据存储出现分布式后带来的数据处理上的复杂度，海量存储后带来了数据处理上的时效性要求，这些都是数据处理层要解决的问题。

在传统的云相关技术架构上，可以将hive，pig和hadoop-mapreduce框架相关的技术内容全部划入到数据处理层的能力。原来我思考的是将hive划入到数据分析层能力不合适，因为hive重点还是在真正处理下的复杂查询的拆分，查询结果的重新聚合，而mapreduce本身又实现真正的分布式处理能力。

mapreduce只是实现了一个分布式计算的框架和逻辑，而真正的分析需求的拆分，分析结果的汇总和合并还是需要hive层的能力整合。最终的目的很简单，即支持分布式架构下的时效性要求。

数据分析层

最后回到分析层，分析层重点是真正挖掘大数据的价值所在，而价值的挖掘核心又在于数据分析和挖掘。那么数据分析层核心仍然在于传统的BI分析的内容。包括数据的维度分析，数据的切片，数据的上钻和下钻，cube等。

数据分析我只关注两个内容，一个就是传统数据仓库下的数据建模，在该数据模型下需要支持上面各种分析方法和分析策略；其次是根据业务目标和业务需求建立的KPI指标体系，对应指标体系的分析模型和分析方法。解决这两个问题基本解决数据分析的问题。

传统的BI分析通过大量的ETL数据抽取和集中化，形成一个完整的数据仓库，而基于大数据的BI分析，可能并没有一个集中化的数据仓库，或者将数据仓库本身也是分布式的了，BI分析的基本方法和思路并没有变化，但是落地到执行的数据存储和数据处理方法却发生了大变化。

谈了这么多，核心还是想说明大数据两大核心为云技术和BI，离开云技术大数据没有根基和落地可能，离开BI和价值，大数据又变化为舍本逐末，丢弃关键目标。简单总结就是大数据目标驱动是BI，大数据实施落地式云技术。