Hadoop简介

Hadoop主要由hdfs(hadoop distributed file system即hadoop分布式文件系统)
、MapReduce和HBase组成。
Hadoop的初衷是为了解决Nutch的海量数据爬取和存储的需要
hadoop的两大核心设计：
1.MapReduce
.Map:任务的分解
.Reduce:结果的汇总
2.HDFS
.NameNode
.DataNode
.Client
Hadoop--大数据VS传统数据
     传统数据                    大数据
数据量       GB->TBTB->PB以上
速度        数据量稳定，增长不快    持续实时产生数据，年增长率超过60%
多样化    主要为结构化数据 半结构化，非结构化，多维数据
价值 统计和报表 数据挖掘和预测性分析






“大数据”指数据集的大小超过了现有典型的数据库软件和工具处理的能力。与此同时，及时捕捉、存储、聚合、管理这些大数据以及对数据的深度分析的新技术和新能力，正在快速增长，就像预测计算机芯片增长速度的摩尔定律一样