hadoop卸载及扩容
来源:互联网 发布:怎样提高阅读水平知乎 编辑:程序博客网 时间:2024/06/16 12:42
------------------------------------------------------------------------------卸载---------------------------------------------------------------------------------------------------------
待卸载节点
bis-newdatawork-s2c-120 10.10.10.180卸载DataNode节点:
bis-newdatawork-s2c-121 10.10.10.181
bis-newdatawork-s2c-122 10.10.10.182
bis-newdatawork-s2c-123 10.10.10.183
bis-newdatawork-s2c-124 10.10.10.184
ha模式需要先停掉备用NN一次卸载一个节点
hadoop-daemon.sh stop namenode
-----卸载datanode
1)要在HDFS主节点NameNode上,进行配置。
a)在etc/hadoop/hdfs-site.xml中,设置属性值:2)在NameNode节点上刷新集群
dfs.hosts.exclude
/home/hadoop/hadoop-2.2.0/etc/hadoop/exclude
b)创建文件并在文件中加入卸载节点的IP地址或者主机名。
bin/hdfs dfsadmin -refreshNodes3)卸载过程。
卸载过程中可以启用停掉的备用namenode4) 在卸载机器上关闭DataNode进程
hadoop-daemon.sh start namenode
通过命令来查看卸载情况。
bin/hdfs dfsadmin -report
ssh bis-newdatawork-s2c-1205)将 exclude 文件内容清空
hadoop-daemon.sh stop datanode
状态由 Decommission in progress 变成 Decommissioned 后,将文件 exclude 清空-----卸载 nodemanager
> exclude
在卸载NodeManager时,一定要主要配置在ResourceManager上。
1)在etc/hadoop/yarn-site.xml中,设置属性值:
<property>2)在RM中刷新节点
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/home/hadoop/hadoop-2.2.0/etc/hadoop/yarn-hosts.exclude</value>
</property>
创建文件yarn-hosts.exclude并在文件中加入卸载节点的IP地址或者主机名。
bis-newdatawork-s2c-120
yarn rmadmin -refreshNodes3)登录到RM监控界面可以看到该节点被移除
4)清空文件yarn-hosts.exclude
> yarn-hosts.exclude-----最后删除slaves文件中的卸载节点,并同步到snn节点
scp /home/hadoop/hadoop-2.2.0/etc/hadoop/slaves bis-newdatanode-s2c-90:/home/hadoop/hadoop-2.2.0/etc/hadoop/----停掉卸载节点上其他进程
如停spark:./stop-slave.sh----清数据
并删除spark配置文件slaves中的卸载节点。
------------------------------------------------------------------------------扩容---------------------------------------------------------------------------------------------------------格式化数据盘:
umount /data
清根目录:
mkfs -t ext4 /dev/mapper/datavg-datalv
mount /dev/mapper/datavg-datalv /data -o noatime,defaults
rm -rf /home/hadoop/hadoop-2.2.0
rm -rf /home/hadoop/slaves
rm -rf /home/hadoop/spark-1.6.1-bin-2.2.0
增加新机器,DataNode(存储数据)和NodeManager(计算)
bis-newdatawork-s2c-120 10.10.10.180
bis-newdatawork-s2c-121 10.10.10.181
bis-newdatawork-s2c-122 10.10.10.182
bis-newdatawork-s2c-123 10.10.10.183
bis-newdatawork-s2c-124 10.10.10.184
1)系统、主机名、IP地址、防火墙、SELinux等与集群的从节点基本配置保持一致。
OK
2)安装JDK(版本、路径、环境变量保持一致)。
OK
3)配置主节点(HDFS:NameNode;YARN:ResourceManager)所在机器到新机器的SSH无密钥登录(方便集群的启动)。
4)配置修改etc/hadoop/slaves文件(只需要在ANN+SNN上修改)。scp -r .ssh hadoop@bis-newdatawork-s2c-120:~/
ssh bis-newdatawork-s2c-121 "cat /home/hadoop/id_dsa.pub >>/home/hadoop/.ssh/authorized_keys"
5)分发hadoop安装包(配置完成)到新机器上。
scp -r hadoop-2.2.0 bis-newdatawork-s2c-120:~/
6)创建HDFS、YARN在新机器的本地磁盘上一些文件夹。
7)在新机器上启动DataNode和NodeManager节点。mkdir -p /data/hadoop/dfs/data
chown -R hadoop.hadoop /data/hadoop
hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager
8) 更新ANN+SNN上的/etc/hadoop/slaves
hdfs dfsadmin -setBalancerBandWidth 67108864
//默认balancer的threshold为10%,即各个节点与集群总的存储使用率相差不超过10%,我们可将其设置为5%
start-balancer.sh -threshold 5
阅读全文
0 0
- hadoop卸载及扩容
- Hadoop之DFS扩容
- Hadoop datanode磁盘扩容
- Hadoop笔记之DFS扩容
- 二维码及彩色扩容
- HashMap的内部结构及扩容
- HashMap存储机制及扩容
- docker 端口映射及动态扩容
- LVM添加硬盘及扩容
- ArrayList简介及扩容机制
- hadoop hdfs 灾备、动态扩容测试
- hadoop扩容和移除节点
- Hadoop集群安装、扩容等操作
- 扩容
- Hadoop卸载或增加节点
- linux LVM磁盘管理及扩容
- Linux LVM硬盘管理及LVM扩容
- LVM 逻辑卷扩容方法及步骤
- hibernate框架学习01
- Linux Web服务器网站故障分析常用的命令
- sql 20170918
- github创建博客——windows平台下github+jekyll本地环境搭建
- 同步文件脚本
- hadoop卸载及扩容
- 关于centos 7 中service iptables save 指令使用失败的解决方案
- 十年建站老司机带你十分钟搭建网站
- C#进阶 14 Continue 三元表达式 跟 Random 随机数
- 在shiny中显示进度条---withProgress
- C#中的多线程与线程死锁
- ThinkPHP5.0 notes
- MySQL存储引擎
- C++类模板的成员函数模板写法收藏