国内最全最详细的hadoop2.2.0集群的MapReduce的最简单配置
来源:互联网 发布:qq群关系数据库在线 编辑:程序博客网 时间:2024/05/18 21:41
转自:http://www.cnblogs.com/meiyuanbao/p/3534376.html
简介
hadoop2的中的MapReduce不再是hadoop1中的结构已经没有了JobTracker,而是分解成ResourceManager和ApplicationMaster。这次大变革被称为MRv2或者YARN,是一次革命性的变化。
配置
在前面的文章中,我们配置了hadoop2集群的HA高可靠,下面紧接上前面的配置,设置MapReduce的配置信息,也是最简单最容易上手的。
修改文件yarn-site.xml,内容如下
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop100</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
其中,名称yarn.resourcemanager.hostname指的是运行ResourceManager机器所在的节点位置;名称yarn.nodemanager.aux-services在hadoop2.2.0版本中是mapreduce_shuffle,一定要看清楚。
修改mapred-site.xml,内容如下
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
其中,名称mapreduce.framework.name指的是使用yarn运行mapreduce程序。
启动了HDFS之后,就可以启动yarn了。执行命令start-yarn.sh即可启动MapReduce集群。
- 国内最全最详细的hadoop2.2.0集群的MapReduce的最简单配置
- 国内最全最详细的hadoop2.2.0集群的MapReduce的最简单配置
- 国内最全最详细的hadoop2.2.0集群的HA高可靠的最简单配置
- 国内最全最详细的hadoop2.2.0集群的HA高可靠的最简单配置
- 国内最全最详细的Hadoop2.2.0集群的HA高可靠的最简单配置
- 国内最全最详细的Hadoop2.2.0集群的HA高可靠的最简单配置
- 国内最全最详细的Hadoop2.2.0集群的HA高可靠的最简单配置
- 详细的hadoop2.2.0集群的MapReduce的最简单配置
- 最详细的hadoop2.2.0集群的HA高可靠的最简单配置(转)
- 最详细的hadoop2.2.0集群的HA高可靠的最简单配置
- 最详细的hadoop2.2.0集群的HA高可靠的最简单配置
- 国内最全最具体的hadoop2.2.0集群的HA高靠得住的最简单设备
- 详细的hadoop2.2.0集群的HA高可靠的最简单配置
- hadoop2.2.0集群的高可用HA及MapReduce简单配置
- hadoop2.2.0集群的HA高可靠的最简单配置
- hadoop2.2.0集群的HA高可靠的最简单配置
- (转载)hadoop2.2.0集群的HA高可靠的最简单配置
- hadoop2的HA集群简单配置
- 汤力嘉-秒拍-10秒拍大片!
- 创建视图 例子
- ReportStudio进阶教程(八) - 引入JQuery
- Java实现二维码QRCode的编码和解码
- Arcgis for Javascript API下类似于百度搜索A、B、C、D marker的实现方式
- 国内最全最详细的hadoop2.2.0集群的MapReduce的最简单配置
- android NFC学习笔记(一)
- 解决广播风暴
- ORA-00845: MEMORY_TARGET not supported on this system报错解决
- oracle-索引使用 问题解答
- java.lang.OutOfMemoryError: Java heap space的解决办法
- 基于组件的软件工程
- 八皇后问题
- Notepad++使用心得和特色功能介绍 -> notepad/ultraedit的最好的替代品