Hadoop

核心

1 HDFS 系统

1 块2.NameNode 管理节点 存放文件元数据    1 文件与数据块的映射表    2 数据块与数据节点的映射表3 DataNode 工作节点 存放数据块4 HDFS的特点：    1 数据冗余，硬件容错            写一复三，从而解决硬件的容错                  2 流式的数据访问            只能存读删，不能修改。    3 储存大数据            小数据的复制，讲会增加NameNode的负载压力

2 MapReduce 框架 : 将一个大任务分成多个小的子任务(map),并行执行后，合并结果(reduce)。

1 Job&Task    一个Job会被拆分成多个Task    2 JobTracker    1  作用        1 作业的调度        2 发配任务、监控任务执行进度        3 监控TaskTracker的状态3 TaskTracker        1 MapTask    2 ReduceTask       3 作用        1 执行任务        2 汇报任务状态     4 容错机制    1 重复执行 ：执行4次之后，还是失败的话，将停止执行。    2 推测执行 ：待map端算完后，若其中一个节点算的速度特别慢，JobTracker会察觉到，将任务再分配给另一个TaskTracker，两者同时计算，    若某一个先计算完，另一个则停止运算。