Hadoop基础(1)

Hadoop主要服务：

HDFS服务：

NameNode: 指导Slave的DataNode执行底层的I/O任务，跟踪文件被分割情况，服务于在Master上。

DataNode:   操作的实际执行者，比如删除或添加文件等等，服务于Slave上。

SecondaryNameNode：做Namespace image和Edit log合并，并保存namenode中对HDFS metadata的信息的备份，减少namenode重启的时间。

关于SecondaryNameNode参考：  http://a280606790.iteye.com/blog/870123，http://blog.csdn.net/dajuezhao/article/details/5987580

Yarn服务：

ResouceManager:  负责为AppMaster申请Container（资源），监控AppMaster。同时在AppMaster启动后，与AM协商分配资源。服务于Master上。

NodeManager:       负责启动和监控Container。服务于Slave上。

MRAppMaster:           负责监控作业，与RM协商资源。服务于其中某一个Slave上。

Hadoop Security(Authorization):

Hadoop Security 有两种方式：Simple 和 Kerberos。在使用Kerberos时，只在Namenode和Datanode，ResourceManager和NodeManager（Yarn）等Service之间链接时，Hadoop会与KDC通信验证Service和User，之后的Service之间的通信，不会每次都向KDC验证（除非需要重新链接），而是使用Token（由Kerberos验证后生成）的方式来确认发来信息的Service是被验证过的Service。

杂记：

1.  Map/Reduce应用程序则不一定要用Java来写

2.  默认每256M数据分给一个Map，也就是256MB一个split在一个block中

3. 退出安全模式  bin/hadoop dfsadmin -safemode leave

4.   Hadoop MRv1 服务：

JobTracker：负责调度监控，资源管理。

TaskTracker：管理和执行各个mapreduce任务。

JobClient提交作业（jar包/可执行程序等）和配置信息给JobTracker，后者负责分发这些软件和配置信息给slave、调度任务并监控它们的执行，同时提供状态和诊断信息给job-client。