hadoop2.4后的滚动升级
来源:互联网 发布:胎动点点软件怎么样 编辑:程序博客网 时间:2024/05/21 07:54
1.介绍
HDFS的滚动升级可以只升级独立的守护进程,比如可以独立升级datanode、namenode、journalnode,这些进程都可以不相互依赖来升级;hadoop2.x开始支持HDFS的HA,也正是HA,集群可以不停机来滚动升级,当然前提是先不要升级journalnode和zookeeper,下面描述一下非联邦HA升级的过程。
2.滚动升级
2.1备份
首先,先备份最新的dfs.namenode.name.dir下的镜像和编辑日志文件,防止意外;
2.2升级
1).配置好新版本hadoop的配置和环境变量;
2).准备升级
1.在active namenode节点以新版本环境变量运行"hdfs dfsadmin -rollingUpgrade prepare",创建备份回滚镜像;
2. 然后再以新版本环境变量运行"hdfs dfsadmin -rollingUpgrade query"来检查一下回滚镜像状态,等待和继续执行这个命令,直到出现"Proceed with rolling upgrade",操作才可以再往下执行。
3).升级active 和standby namenode
1.旧环境先停掉standby namenode,hadoop-daemon.sh stop namenode直接停掉,然后用升级的新的hadoop环境 运行hadoop-daemon.sh start namenode -rollingUpgrade started
2.切主备节点,让新升级standby的namenode变为active,
4).升级datanode
执行"hdfs dfsadmin -shutdownDatanode <DATANODE_HOST:IPC_PORT> upgrade" 来停掉指定的datanode,比如hdfs dfsadmin -shutdownDatanode hostname-1:50020 upgrade,运行"hdfs dfsadmin -getDatanodeInfo <DATANODE_HOST:IPC_PORT>" 来确认datanode已经停掉,在对应的节点升级hadoop变更环境后,运行hadoop-daemon.sh start datanode启动进程,其他节点重复上面的操作即可升级完集群的所有的datanode;
3.完成升级
"hdfs dfsadmin -rollingUpgrade finalize"执行该命令完成升级;
4.其他
其他联邦或者非HA等升级方式可以查看官网来进行,官网还是比较详细的
- hadoop2.4后的滚动升级
- hadoop2升级的那点事情(详解)
- hadoop2升级的那点事情(详解)
- hadoop2升级的那点事情(详解)
- hadoop2升级的那点事情(详解)
- kubernetes 应用的滚动升级
- 第四章 4-4 滚动条的升级版
- hadoop2.2.0升级成hdfs ha后查询报java.net.UnknownHostException
- 滚动显示升级进度的程序
- HDFS的滚动升级: Rolling Upgrade
- Archlinux 滚动升级失败的解决办法
- WindowsXP升级后的问题
- 升级后的银行系统
- oracle 升级后的问题
- 低版本升级到hadoop2
- hadoop2.6.0编译后的native库如何加载
- 滚动条滚动到特定位置后出发的事件
- python2.4升级到2.7后,解决安装json后模块不识别的问题
- NYOJ 33 蛇形填数
- (项目)AR电子书系统创新实训第三周(2)
- day9协议上限分析
- 537. Complex Number Multiplication
- Hololens新手入门For_HoloToolkit:5.6.0
- hadoop2.4后的滚动升级
- 【Angular】——路由之刷新报404
- C语言位域
- JavaScript基础(总结)
- fuzhuo---Problem 1003 Counterfeit Dollar
- HDOJ_2111Saving HDU
- ajax和filter总结
- Day05-基于Linux内核的Android操作系统
- arduino+esp8026上传数据到yeeklink(上传不了)