初始Hadoop 2

来源:互联网 发布:centos配置lamp环境 编辑:程序博客网 时间:2024/05/16 17:02

Hadoop支持三种模式的配置

Standalone Operation  独立模式

  默认模式,Hadoop被配置非分布式模式下运行,作为一个单一的Java程序来进行运行,便于调试。

Pseudo-Distributed Operation  伪分布式模式

  以单一节点的形式伪分布,每一个Hadoop后台程序在一个单独的Java进程中运行。

Fully-Distributed Mode 完全分布式模式

  通常情况下,集群中的一台机器被指定为NameNode,另一台机器指定为ResourceManager。

   配置两种不同的Java配置文件,默认只读配置文件,包括 core-default.xmlhdfs-default.xmlyarn-default.xmlmapred-default.xml

 站点配置文件包括 etc/hadoop/core-site.xml,  etc/hadoop/hdfs-site.xmletc/hadoop/yarn-site.xmletc/hadoop/mapred-site.xml

 Hadoop提供由管理员可以配置节点管理器来运行一个管理员定期提供的脚本,以确定是否一个节点健康与否的机制。
管理员可以确定节点是处于健康状态在脚本执行他们选择的任何检查。如果该脚本检测节点的状态为不健康,节点会被列入ResourceManager黑名单中。没有进一步的任务将被分配给该节点。如果该节点再次变得健康,它将被从上ResourceManager中的黑名单节点自动删除。

Hadoop脚本命令

   所有的Hadoop脚本命令由bin/Hadoop调用,不带参数的Hadoop命令会打印出所有命令的描述。

   命令分为用户命令和管理员命令。  

0 0