从Hadoop 1.x升级到Yarn
来源:互联网 发布:c语言新手项目 编辑:程序博客网 时间:2024/05/16 09:16
这里简单记录一下主要步骤。
1、停掉所有的Hadoop 1.x进程
2、copy Hadoop 2.x项目文件到所有节点上
3、设置Hadoop 2.x的环境变量
4、编辑Hadoop 2.x的配置文件
值得注意的是:需要使用之前版本的HDFS的meta data和 data。因此以下几项需要和之前版本Hadoop的设置一样:
a) core-site.xml
- hadoop.tmp.dirb) hdfs-site.xml
- dfs.name.dir
- dfs.data.dir
5、启动hdfs
注意:如果直接使用‘sbin/start-dfs.sh’去启动hdfs,那么会失败,并抛出如下的错误:
因此,需要用命令‘sbin/start-dfs.sh -upgrade’来启动hdfs。然后,hdfs成功启动。
7、启动Yarn
命令:sbin/start-yarn.sh
8、测试MapReduce作业
由于Yarn能够向前兼容MRv1的程序,所以我们能成功执行hadoop-mapreduce-examples-2.0.3-alpha.jar以及hadoop-examples-1.1.1.jar里的MR jobs。
9、过一段时间后,如果觉得升级后的cluster稳定了,就可以执行命令“hadoop dfsadmin -finalizeUpgrade”来finalize这次upgrade。
需要注意的是,执行finalize操作时HDFS必须是工作状态,否则会报如下的错误:
finalizeUpgrade: Call From localhost.localdomain/127.0.0.1 to localhost:9010 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
- 从Hadoop 1.x升级到Yarn
- 从 Yarn 回滚到 Hadoop 1.x
- 从hadoop MapReduce 1.0到yarn (1)
- 从 vue 1.x 升级到 vue 2.x 常见问题
- Hadoop如何升级版本_Hadoop1.x升级到2.x
- 从struts 1.x升级到 struts 2(二) POJO
- 从struts 1.x升级到 struts 2(三) OGNL
- hMailServer从4.x升级到5.0
- 从Hadoop1.x集群升级到Hadoop2.x步骤
- Jenkins升级:1.x到2.x
- ElementUI 1.X升级到2.X
- Hadoop升级方案(二):从Hadoop 1.0升级到2.0(1)
- 从 npm 迁移到 Yarn
- 从struts 1.x升级到 struts 2(一) 第一个程序
- CentOS怎么从6.x升级到6.4最新版
- Bootstrap 从2.x升级到3.0版本
- zimbra 从7.x 升级到 8.6 安全配置备忘录
- Unity 从 protobuf 2.5 升级到 3.x 【踩坑】
- 计算器
- CDC内容分发网络
- PHP中this,self,parent的区别
- 8421码与5421码区别 BCD
- sscanf和sprintf
- 从Hadoop 1.x升级到Yarn
- MFC的多国语言界面的实现
- myeclipse给项目打war包,部署linux服务器访问不了
- 近70名国际观察员登记 参与克里米亚公投工作
- 关于hibernate中invers跟cascade的一点看法
- Qt Creator折磨人啊。。。
- mysql性能优化
- mysql免安装版
- SQLite学习手册 - 连接池