hadoop测试namenode 主机点失效及恢复测试

来源：互联网发布：js div跟随滚动条滑动编辑：程序博客网时间：2024/06/05 13:23

1.从本地拷贝 100 个 100MB 的文件到 HDFS；
2.在文件拷贝过程中，停止主 NameNode 所在节点的 NameNode 进程，模拟故障；
3.观察客户端日志文件发现故障；

4.文件拷贝完成后，将 100 个文件复制到本地，检测文件的一致性；

１．首先生产一个100个100M的文件

dd if=~/CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel of=/home/hadoop/t2.txt bs=100M count=1

或者

#!/bin/bash

for i in {1..100}

dd if=/dev/zero of=/home/hadoop/$i.txt bs=1M count=100;

hdfs dfs -put /home/hadoop/$i.txt /datatmp

done

2.在执行脚本的过程中杀掉主机的一个namenode进程

3.观察客户端日志并且看日志ＨＡ的模式是否备切换成主了

[hadoop@masternode2 ~]$ hdfs haadmin -getServiceState mnn
16/11/09 15:44:21 INFO ipc.Client: Retrying connect to server: masternode1/192.168.237.230:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=1, sleepTime=1000 MILLISECONDS)
Operation failed: Call From masternode2/192.168.237.231 to masternode1:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
[hadoop@masternode2 ~]$ hdfs haadmin -getServiceState snn
active
已经切换过来了，且数据可以正常传输。

恢复有问题的namenode节点

[hadoop@masternode1 sbin]$ /opt/hadoop/hadoop-2.7.2/sbin/hadoop-daemon.sh start namenode

[hadoop@masternode2 ~]$ hdfs haadmin -getServiceState mnn
standby

0 0