Map-reduce详细过程

一篇文章让你了解

 Hadoop 

集群以及网络

 

作者：

Brad Hedlund

 

译者：

Alvin Ge

 

 

这篇文章将会逐步介绍

 Hadoop 

集群的实现原理以及

Hadoop

集群的拓扑结构。并让大

家通过拓扑图的形式直观的了解

 Hadoop 

集群是如何搭建、

运行以及各个节点之间如何相互

调用、

每个节点是如何工作以及各个节点的作用是什么。

明白这一点将会对学习

 Hadoop 

有

很大的帮助。首先，我们开始了解

 Hadoop 

的基础知识，以及

 Hadoop 

集群的工作原理。让

我们开始吧。

 

 

Hadoop 

各服务器的角色图

 

在

Hadoop

部署中，

有三种服务器角色，

他们分别是客户端、

Masters

节点以及

Slave 

节

点。

Master 

节点，

Masters 

节点又称主节点，主节点负责监控两个核心功能：大数据存储

（

HDFS

）以及数据并行计算（

Map Reduce

）

。其中，

Name Node 

负责监控以及协调数据存储

（

HDFS

）

的工作，

Job 

Tracker 

则负责监督以及协调

 Map 

Reduce 

的并行计算。

 

而

Slave 

节

点则负责具体的工作以及数据存储。

每个

 Slave 

运行一个

 Data 

Node 

和一个

 Task 

Tracker 

守护进程。这两个守护进程负责与

 Master 

节点通信。

Task Tracker 

守护进程与

 Job 

Tracker 相互作用，而

 Data Node 

守护进程则与

 Name Node 

相互作用。

原文：http://wenku.baidu.com/link?url=B7JrBpiQr28imFmprof_3TXjbM9Hz9BHR_3Yk_07F6cSqieaL-HbHVr7MOGZ1nAXKmsCOoK0tSj5q-PjjAVTLYW7kh0W84dtktJtKBMUb2m&from_mod=download

http://baike.baidu.com/link?url=vFe2tGSMoXNc7K45h57KkAQMcUNL2fJOkXPj3n_Tz-PRvnN24a9faiSsZNjHxBXJlBuXK6EhTAp0yeimu2M4jq