一脸懵逼学习Hdfs---动态增加节点和副本数量管理
来源:互联网 发布:linux ping 脚本 编辑:程序博客网 时间:2024/06/07 18:32
1:按照上篇博客写的,将各个进程都启动起来:
集群规划:
主机名 IP 安装的软件 运行的进程
master 192.168.3.129 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
slaver1 192.168.3.130 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
slaver2 192.168.3.131 jdk、hadoop ResourceManager
slaver3 192.168.3.132 jdk、hadoop ResourceManager
slaver4 192.168.3.133 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
slaver5 192.168.3.134 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
slaver6 192.168.3.135 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
2:开始测试动态增加节点和副本数量管理:
首先将master节点的datanode挂掉(即少了一个保存文件的副本):
注意:hadoop datanode节点超时时间设置:
datanode进程死亡或者网络故障造成datanode无法与namenode通信,
namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。
HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为:
timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。
而默认的heartbeat.recheck.interval 大小为5分钟,dfs.heartbeat.interval默认为3秒。
需要注意的是hdfs-site.xml 配置文件中的:
heartbeat.recheck.interval的单位为毫秒,
dfs.heartbeat.interval的单位为秒。所以,举个例子,如果heartbeat.recheck.interval设置为5000(毫秒),dfs.heartbeat.interval设置为3(秒,默认),则总的超时时间为40秒。
hdfs-site.xml中的参数设置格式:
<property>
<name>heartbeat.recheck.interval</name>
<value>2000</value>
</property>
<property>
<name>dfs.heartbeat.interval</name>
<value>1</value>
</property>
注意:HDFS冗余数据块的自动删除:
在日常维护hadoop集群的过程中发现这样一种情况:
某个节点由于网络故障或者DataNode进程死亡,被NameNode判定为死亡,
HDFS马上自动开始数据块的容错拷贝;
当该节点重新添加到集群中时,由于该节点上的数据其实并没有损坏,
所以造成了HDFS上某些block的备份数超过了设定的备份数。
通过观察发现,这些多余的数据块经过很长的一段时间才会被完全删除掉,
那么这个时间取决于什么呢?
该时间的长短跟数据块报告的间隔时间有关。
Datanode会定期将当前该结点上所有的BLOCK信息报告给Namenode,
参数dfs.blockreport.intervalMsec就是控制这个报告间隔的参数。
hdfs-site.xml文件中有一个参数:
<property>
<name>dfs.blockreport.intervalMsec</name>
<value>10000</value>
<description>Determines block reporting interval in milliseconds.</description>
</property>
其中3600000为默认设置,3600000毫秒,即1个小时,也就是说,块报告的时间间隔为1个小时,所以经过了很长时间这些多余的块才被删除掉。通过实际测试发现,当把该参数调整的稍小一点的时候(60秒),多余的数据块确实很快就被删除了。
3:停止一下集群,配置一下hadoop datanode节点超时时间设置和HDFS冗余数据块的自动删除,停止集群如下所示:
依次查看一下各个节点的进程启动情况:
然后将slaver5和slaver6的yarn进程停掉:
然后依次关掉zookeeper的进程:如master,slaver1和slaver2都一样,这里不再重复了:
[root@master bin]# ./zkServer.sh stop
现在修改配置一下:hadoop datanode节点超时时间设置和HDFS冗余数据块的自动删除的配置文件hdfs-site.xml:
hadoop datanode节点超时时间设置hdfs-site.xml中的参数设置格式:<property><name>heartbeat.recheck.interval</name><value>2000</value></property><property><name>dfs.heartbeat.interval</name><value>1</value></property>
HDFS冗余数据块的自动删除hdfs-site.xml文件中有一个参数:<property><name>dfs.blockreport.intervalMsec</name><value>10000</value><description>Determines block reporting interval in milliseconds.</description></property>
操作如下所示:
[root@slaver3 hadoop]# vim hdfs-site.xml
将修改的hdfs-site.xml复制到其他6个节点上面,如下所示:
4:将集群启动起来:
4.1:启动zookeeper集群(分别在master、slaver1、slaver2上启动zookeeper):
4.2:启动journalnode(分别在master、slaver1、slaver2上执行)
4.3:千万不要执行格式化HDFS,千万不要执行格式化ZKFC(在slaver3上执行即可),不然还是报很多错误;
4.4:然后在slaver3启动start-dfs.sh
现在可以去其他节点看看,全部进程都可以正常启动,如果你想启动yarn进程,下面启动yarn进程,slaver5节点和slaver6节点操作一样,这里只贴slaver5即可:
如果你耐心十足,搞了一天,想吐,这里还是再贴一下jps查看的进程情况吧:
5:然后将master的namenode干掉,看看Live Nodes是否变化:
经过14s后,活着的node数目就由3变成了2:
如何新加一个datanode,再搞一个虚拟机(我再新建一个虚拟机,不知道我的电脑撑住撑不住,试试吧先),然后将hadoop的安装包复制过去,然后将datanode启动起来:好吧,最后没有弄出来,以后有机会好好补一下这点,动态增加节点和副本数量管理;
- 一脸懵逼学习Hdfs---动态增加节点和副本数量管理
- HDFS和HBASE动态增加和减少节点
- JavaScript动态增加节点和删除节点
- HDFS副本放置节点选择的优化
- hadoop动态增加和删除节点
- hadoop和hbase增加动态删除节点
- 动态添加HDFS节点
- [Nutch]Hadoop动态增加DataNode节点和TaskTracker节点
- Kafka动态增加Topic的副本(Replication)
- xmemcached 动态增加节点
- hadoop动态增加节点
- Redis动态增加节点
- Hadoop集群节点扩展之后,更改HDFS数据副本数
- HDFS原理 架构和副本机制
- hadoop动态地增加和下架一个节点
- javascript 动态增加输入框数量
- 动态增加tree组建节点
- greenplum 实验,动态增加节点
- canvas restorToCount
- android 图片 上下左右滑动,能放大放小
- Win中安装IDEA2017及实用攻略
- 一脸懵逼学习Hadoop分布式集群HA模式部署(七台机器跑集群)
- Spring
- 一脸懵逼学习Hdfs---动态增加节点和副本数量管理
- android 代码样式指南
- c#委托和事件
- Ubuntu安装Mysql+Navicat及破译方案
- 直接插入排序
- Lambda表达式与匿名内部类的联系和区别
- python爬取CSDN博客并用WordCloud词云分析
- boost之内存池使用实例
- 多线程生产者与消费者问题代码模型