MapReduce配置
来源:互联网 发布:网络收音下载 编辑:程序博客网 时间:2024/06/01 19:29
Step 1:
搭建Hadoop集群和Zookeeper集群:
http://blog.csdn.net/ymf827311945/article/details/71566137
http://blog.csdn.net/ymf827311945/article/details/71258273
Step 2:
执行命令:
vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/yarn-site.xml
添加如下属性:
<configuration><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property><property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value></property><property> <name>yarn.resourcemanager.cluster-id</name> <value>ymf</value></property><property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value></property><property> <name>yarn.resourcemanager.hostname.rm1</name> <value>node12</value></property><property> <name>yarn.resourcemanager.hostname.rm2</name> <value>node13</value></property><property> <name>yarn.resourcemanager.zk-address</name> <value>node11:2181,node12:2181,node13:2181</value></property></configuration>
Step 3:
执行命令—-复制一份配置文件,名字必须为mapred-site.xml
cp /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml
Step 4:
执行命令,编辑该文件
vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml
添加如下属性:
<configuration><property> <name>mapreduce.framework.name</name> <value>yarn</value></property></configuration>
Step 5:
执行命令,进行文件的分发
scp /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/yarn-site.xml node12:/opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/scp /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/yarn-site.xml node13:/opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/scp /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml node13:/opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/scp /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/mapred-site.xml node12:/opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/
Step 6:
分别在三个节点上执行命令,启动zookeeper集群
zkServer.sh start
Step 7:
在node11节点上执行命令,启动yarn
start-yarn.sh
Step 8:
由于node11和node12在yarn-site.xml设置成resourcemanager,所以,上图中可以看到,在node12的进程中并没有,因此需要在node12节点上手动启动resourcemanager
yarn-daemon.sh start resourcemanager
Step 8:
打开浏览器,分别输入以下两个网址
http://192.168.80.11:8088
http://192.168.80.12:8088
阅读全文
0 0
- MapReduce配置
- MapReduce配置
- mapreduce 类型配置
- MapReduce配置参考
- mapreduce配置调优
- MapReduce作业配置参数
- MapReduce配置与优化
- MapReduce安装配置
- 配置glusterfs 支持MapReduce 计算
- yarn & mapreduce 配置参数总结
- mongodb 分片配置 以及mapreduce
- hadoop配置Mapreduce job日志
- Hadoop MapReduce 配置加载机制
- mapreduce的高可用性配置
- yarn & mapreduce 配置参数总结
- mapreduce程序日志打印配置
- IDEA【spark&mapreduce混合配置】mapreduce spark 本地调试
- hadoop参数配置(mapreduce数据流)
- 「七天自制PHP框架」第二天:模型与数据库
- 【软件外包】ITO与BPO
- js时间函数大全
- MTK Camera(OV13850) 驱动移植
- new一个数组引起的问题
- MapReduce配置
- TextInput_文本处理
- C++
- 状态图
- Java实现-翻转链表
- mtk 功能机驱动调试
- java中回调函数的理解
- Android基础之电话监听
- 为什么要使用变调夹 简单易懂版