hadoop2.7.0升级到2.7.1,版本升级
来源:互联网 发布:剑网3插件数据 编辑:程序博客网 时间:2024/04/30 19:12
摘要
使用过程中,发现hadoop的YARN-3832的bug,2.6.0中已解决,但是2.7.0中又出现了这个bug。只好做一个小版本的升级了
使用过程中,发现hadoop的YARN-3832的bug,2.6.0中已解决,但是2.7.0中又出现了这个bug。
15/09/28 10:22:34 INFO mapreduce.Job: Task Id : attempt_1443364253801_0310_m_000000_0, Status : FAILEDRename cannot overwrite non empty destination directory /data/hadoop/data/tmp/nm-local-dir/usercache/hadoop/filecache/60java.io.IOException: Rename cannot overwrite non empty destination directory /data/hadoop/data/tmp/nm-local-dir/usercache/hadoop/filecache/60 at org.apache.hadoop.fs.AbstractFileSystem.renameInternal(AbstractFileSystem.java:735) at org.apache.hadoop.fs.FilterFs.renameInternal(FilterFs.java:236) at org.apache.hadoop.fs.AbstractFileSystem.rename(AbstractFileSystem.java:678) at org.apache.hadoop.fs.FileContext.rename(FileContext.java:958) at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:366) at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:62) at java.util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) at java.util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745)
找了好久,最终确认该问题是hadoop的bug,不是配置出错。在官网的2.7.1的release中找到了YARN-3832的bug。所以对hadoop进行升级。
从2.7.0升级为2.7.1,升级步骤如下:
1.下载安装包后,下载native的64位包,替换新版本中的native。
2.修改2.7.1中的配置文件,保持与当前集群配置一致,修改配置文件后,分发到各台hadoop集群机器的一个临时目录中。我的配置文件列表有:core-site.xml、excludes、hadoop-env.sh、hdfs-site.xml、mapred-env.sh、mapred-site.xml、master、slaves、yarn-env.sh、yarn-site.xml
3.停掉hadoop集群。
4.登录每台hadoop节点的服务器,先备份hadoop的安装文件目录。然后进入hadoop安装目录,执行rm -rf bin etc include lib libexec LICENSE.txt NOTICE.txt README.txt sbin share
5.将临时目录中的2.7.1的hadoop文件拷贝至安装目录。
6.执行start-all.sh,启动hadoop集群,访问http://localhost:50070/dfshealth.html#tab-overview ,查看hadoop版本是否已更新,查看各节点状态是否正常。
© 著作权归作者所有
0 0
- hadoop2.7.0升级到2.7.1,版本升级
- 低版本升级到hadoop2
- hadoop2.2.0升级到2.7.2
- 升级Python到2.7版本
- hadoop2.0集群版本在线升级方法
- Centos 5.5升级Python到2.7版本
- CentOS升级Python到2.7版本
- 升级python 到2.7.6版本
- CentOS升级Python到2.7版本
- CentOS6升级Python到2.7.3版本
- Centos 5.5升级Python到2.7版本
- 版本升级到0.4.1.8
- win7版本升级到旗舰版
- Scrapy升级到1.0版本
- perl 升级到5.20版本
- 升级debian版本到 jessie
- cocoapods 升级到指定版本
- 升级Tensorflow到1.2版本
- 接木棍(优先队列)
- Hadoop升级方案(二):从Hadoop 1.0升级到2.0(1)
- RS485接口标准、硬件电路
- hadoop2升级的那点事情(详解)
- RS422接口标准、硬件电路
- hadoop2.7.0升级到2.7.1,版本升级
- Leetcode Sudoku Solver9
- hdoj1237简单计算器
- STL中map的operator[ ]使用方法
- Flash芯片的种类与区别
- [线性DP]轮渡问题(LIS应用)
- Audio驱动开发 之 音频链路学习笔记
- 三种ViewController跳转的异同
- POJ 3050