hadoop学习

hadoop是什么？

what is Apache Hadoop?

The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing.

解决问题

1.海量数据的存储（HDFS）

2.海量数据的分析（MapReduce) 分布式计算模型

3.资源管理调度（YARN）    storm,可以运行在YARN上

4.SPARK

5.MPI

作者：Doug Cutting, 设计的框架：Nuts, Lucene, CDH公司。 受Google三篇论文的启发（GFS，MapReduce, BigTable)

Hadoop被公认是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。

 lHDFS: Hadoop Distributed File System分布式文件系统

             lMapReduce:并行程序框架

       lYARN: Yet Another Resource Negotiator 资源管理调度系统

            HDFS的架构

            主从结构：主节点，只有一个，namenode; 从节点，有很多个：datanode

            namenode负责：接收用户操作请求；维护文件系统的目录结构；管理文件与block之间关系，block与datanode之间的联系

            datanode负责：存储文件；文件被分成block存储在磁盘上；为保证数据安全，文件会有多个副本

          YARN的老大是ResourceManager,小弟是NodeManager