为hadoop集群安装mapreduce
来源:互联网 发布:青岛方特梦幻王国知乎 编辑:程序博客网 时间:2024/04/30 11:20
- 修改map-sitexml
- 验证
上篇文章hadoop完全分布式集群搭建只是提到hdfs文件系统的安装配置,这篇短文关注mapreduce的安装配置,最终的启动也只是
start-dfs.sh
,而非start-all.sh
。事实上在hdfs完全分布式搭建完成的环境中进行mapreduce的相关配置,是一件轻而易举的事,以为hdfs和mapreduce是hadoop框架的核心组件,一个负责存储,一个负责计算,配合得很好。
修改map-site.xml
通过mapred.job.tracker指定JobTracker的执行节点。
<configuration> <property> <name>mapred.job.tracker</name> <value>node1:9001</value> </property></configuration>
安装mapreduce,其实是分配JobTracker和TaskTracker,TaskTracker自然对应datanode节点,原则上JobTracker对应于任何一个节点都可以,然而具体实践时,如果指定node2(node3,普通的datanode节点),不会如预想的在node2(或者node3)上启动相关的任务。
查看对应的日志文件(文件路径/usr/local/hadoop/logs
)
tail -n50 hadoop-root-jobtracker-node1.log
会有一条错误:
FATAL org.apache.hadoop.mapred.JobTracker: java.net.BindException: Problem binding to node3/192.168.16.103:9001 : Cannot assign requested address
无法对请求的地址进行绑定;
如前所示,在mapred-site.xml
的配置文件中,将JobTracker配置在node1(也即namenode所在的节点)就不会出现这样的问题。
启动
start-all.sh
分别在node1、node2和node3中查看运行的java进程数,和预期的一致。
验证
执行过start-all.sh
之后,在windows操作系统的浏览器地址栏中输入,
http://node1:50070http://node1:50030
分别打开hdfs和mapreduce管理界面。
注:这里的端口号(对应http协议)是50070(对应hdfs)和50030(对应mapreduce)而不是配置文件中设置的9000和9001,它们都对应于RPC协议。
- 为hadoop集群安装mapreduce
- [Hadoop培训笔记]03-MapReduce集群的安装与部署
- hadoop学习3-MapReduce的集群安装与部署
- 为服务器集群安装Hadoop On Demand
- Hadoop集群-MapReduce初级案例
- Hadoop集群MapReduce初级案例
- Hadoop集群MapReduce初级案例
- Hadoop集群 MapReduce初级案例
- Hadoop集群MapReduce经典案例
- Ubuntu与Centos的Hadoop安装以及编译运行MapReduce,Hadoop集群安装配置教程
- Hadoop集群MapReduce初级案例(经典案例)
- Hadoop 下一代 MapReduce - 集群参数设置与启动
- Hadoop集群模式下运行Mapreduce任务
- Hadoop集群安装spark集群
- [Hadoop学习]Hadoop集群安装
- hadoop集群 安装步骤
- Hadoop集群安装
- Hadoop集群安装
- DoTween 九:< 常用方法 —— 开始渐变,渐变循环,结束渐变>
- 字符日期和Unix时间戳转换
- 火云开发课堂 - 《使用Cocos2d-x 开发3D游戏》系列 第二十三节:3D物理引擎刚体碰撞
- 过山车的价格
- padarray函数
- 为hadoop集群安装mapreduce
- 各种之设置文本的属性
- python 装饰器的函数式编程
- 引用framework 类别方法奔溃问题
- HDU 4464 Browsing History
- Bitmap,Drawable,byte间的相互转化
- Play on Words
- 励精图治---Concurrency---怎么测??
- 测试博客