【Hadoop权威指南】初识Hadoop（第一天）

避开Hadoop的内核不谈，Hadoop提供的用于构建分布式系统的工具——用于数据存储、数据分析和协调处理。

Hadoop提供了一个可靠的共享存储和分析系统。HDFS实现存储，而MapReduce实现分析处理。纵然Hadoop还有其他功能，但这两部分是它的核心。

Hadoop项目简述如下。

Common

一组分布式文件系统和通用I/O的组件与接口（序列化、JavaRPC和持久化数据结构）。

Avro

一种支持高效、跨语言的RPC以及永久存储数据的序列化系统。

MapReduce

分布式数据处理模型和执行环境，运行于大型商用机集群。

HDFS

分布式文件系统，运行于大型商用机集群。

Pig

一种数据流语言和运行环境，用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。

Hive

一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基于SQL的查询语言（由运行时引擎翻译成MapReduce作业）用以查询数据。

HBase

一个分布式、按列存储数据库。HBase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询（随机读取）。

Zookeeper

一个分布式、可用性高的协调服务。Zookeeper提供分布式锁之类的基本服务用于构建分布式应用。

Sqoop

在数据库和HDFS之间高效传输数据的工具。