hadoop2官方文档中文翻译（2）---单节点配置

 

原文：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

 

• 设置环境

       假设你已经安装了hadoop-common/hadoop-hdfs 并且配置了$HADOOP_COMMON_HOME/$HADOOP_HDFS_HOME。解压hadoop mapreduce的tar包并且设置环境变量$HADOOP_MAPRED_HOME为tar包的解压目录。配置$HADOOP_YARN_HOME路径和 $HADOOP_MAPRED_HOME一样。

• 配置文件

       为了运行资源管理器和节点管理器，你必须更新配置。假设你的$HADOOP_CONF_DIR为配置文件目录，并且已经配置好了HDFS和core-site.xml。那你还需要配置mapred-site.xml和yarn-site.xml

 

       配置 mapred-site.xml

       把下面的配置添加到mapred-site.xml

  <property>    <name>mapreduce.cluster.temp.dir</name>    <value></value>    <description>No description</description>    <final>true</final>  </property>  <property>    <name>mapreduce.cluster.local.dir</name>    <value></value>    <description>No description</description>    <final>true</final>  </property>

         配置yarn-site.xml

         把下面的配置添加到yarn-site.xml

<property>    <name>yarn.resourcemanager.resource-tracker.address</name>    <value>host:port</value>    <description>host为resource manager的hostname，port为NodeManagers连接Resource Manager的端口.    </description>  </property>  <property>    <name>yarn.resourcemanager.scheduler.address</name>    <value>host:port</value>    <description>host为resourcemanager的hostname，port为集群上的应用与resourceManger通话的端口</description>  </property>  <property>    <name>yarn.resourcemanager.scheduler.class</name>    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>    <description>避免你没有用默认的调度器</description>  </property>  <property>    <name>yarn.resourcemanager.address</name>    <value>host:port</value>    <description>host为ResourceManager的hostname，port为客户端与resourceManager通话的端口</description>  </property>  <property>    <name>yarn.nodemanager.local-dirs</name>    <value></value>    <description>nodemanager使用的本地目录</description>  </property>  <property>    <name>yarn.nodemanager.address</name>    <value>0.0.0.0:port</value>    <description>nodemanagers绑定的端口</description>  </property>    <property>    <name>yarn.nodemanager.resource.memory-mb</name>    <value>10240</value>    <description>NodeManager的内存容量</description>  </property>   <property>    <name>yarn.nodemanager.remote-app-log-dir</name>    <value>/app-logs</value>    <description>在hdfs上的应用日志目录</description>  </property>   <property>    <name>yarn.nodemanager.log-dirs</name>    <value></value>    <description>Nodemanagers的日志目录</description>  </property>  <property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce.shuffle</value>    <description>mapreduce运行时的shuffle service</description>  </property>

•  配置capacity-scheduler.xml

      确保capacity-scheduler.xml配置了下列信息

  

 <property>    <name>yarn.scheduler.capacity.root.queues</name>    <value>unfunded,default</value>  </property>    <property>    <name>yarn.scheduler.capacity.root.capacity</name>    <value>100</value>  </property>    <property>    <name>yarn.scheduler.capacity.root.unfunded.capacity</name>    <value>50</value>  </property>    <property>    <name>yarn.scheduler.capacity.root.default.capacity</name>    <value>50</value>  </property>

 运行程序

      假设你已经配置好了环境变量： $HADOOP_COMMON_HOME, $HADOOP_HDFS_HOME,$HADOO_MAPRED_HOME,$HADOOP_YARN_HOME,$JAVA_HOME and$HADOOP_CONF_DIR 

设置 $YARN_CONF_DIR 和 $HADOOP_CONF_DIR一样。

用下面的方法来运行ResourceManager 和 NodeManager :

$ cd $HADOOP_MAPRED_HOME$ sbin/yarn-daemon.sh start resourcemanager$ sbin/yarn-daemon.sh start nodemanager

你可以运行一个例子

$ $HADOOP_COMMON_HOME/bin/hadoop jar hadoop-examples.jar randomwriter out

 

 

其实按照官方文档来配置单节点，我也没看懂。