运行中hadoop增加datanode
来源:互联网 发布:手机控制电脑桌面软件 编辑:程序博客网 时间:2024/06/09 14:01
向一个正在运行的Hadoop集群中增加几个新的Nodes 1. 新节点上部署java/hadoop程序,配置相应的环境变量 2. 新节点上增加用户,从master上拷贝id_rsa.pub并配置authorized_keys 3. 新节点上设置host,只要有本机和master的host即可 4. 新节点上建立相关的目录,并修改属主 5. master的slaves文件中增加上相的节点,master上增加相应的host 6. 在新节点上启动datanode和tasktracker /opt/sohuhadoop/hadoop/bin/hadoop-daemon.sh start datanode 7. 进行block块的均衡 在hdfs-site.xml中增加设置balance的带宽,默认只有1M: <property> 运行以下命令: /opt/sohuhadoop/hadoop/bin/start-balancer.sh -threshold 3 均衡10个节点,移动400G数据,大概花费了3个小时 我们现有的Hadoop集群已经运行了一段时间了 由于集群中的服务器分布在2个不同的机房,受跨机房带宽的限制 集群中在2个机房之间的数据传输很慢 所以想把另一个机房的3台服务器从Hadoop集群中去掉 Hadoop提供了Decommission的特性,可以按照以下步骤来操作: 1. 在hadoop的conf目录下生成一个excludes的文件,写上需要remove的节点ip 一个节点一行,注意要写ip,不能写Hostname,如: 10.15.10.41 2. 在hdfs-site.xml中增加配置: <property> 3. 复制以上2个文件到集群各节点上 4. 执行hadoop dfsadmin -refreshNodes命令,它会在后台进行Block块的移动 从移出的Nodes上移动到其它的Nodes上面 5. 通过以下2种方式查看Decommission的状态: hadoop dfsadmin -report http://10.10.71.220:50070/dfsnodelist.jsp 正在执行Decommission,会显示: Decommission Status : Decommission in progress 执行完毕后,会显示:
/opt/sohuhadoop/hadoop/bin/hadoop-daemon.sh start tasktracker
<name>dfs.balance.bandwidthPerSec</name>
<value>10485760</value>
<description>
Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second.
</description>
</property>
Balancing took 2.9950980555555557 hours
10.15.10.42
10.15.10.43
<name>dfs.hosts.exclude</name>
<value>/opt/sohuhadoop/conf/excludes</value>
<final>true</final>
</property>
- 运行中hadoop增加datanode
- Hadoop DataNode 增加磁盘
- hadoop集群中动态增加新的DataNode节点
- Hadoop在线水平增加删除datanode
- HADOOP中DATANODE无法启动
- Hadoop中datanode无法启动
- hadoop中datanode无法启动
- hadoop中datanode无法启动
- Hadoop中datanode无法启动
- hadoop中datanode无法启动
- hadoop 中datanode无法启动
- Hadoop中dataNode启动不了
- hadoop中datanode无法启动
- Hadoop中datanode无法启动
- Hadoop中dataNode启动不了
- hadoop运行时datanode突然挂掉
- hadoop动态增加 datanode和tasktracker的方法
- [Nutch]Hadoop动态增加DataNode节点和TaskTracker节点
- Android 文件的下载操作
- .NET用 SendKyes 结合 Process 或 API FindWindow、SendMessage(PostMessage) 等控制外部程序[转]
- 《Android开发从零开始》——14.程序调试技术学习
- oracle join 多表连接----至少3张表
- DOS命令大全(经典收藏)
- 运行中hadoop增加datanode
- ADO在查询视图时自动添加rowid,导致Ora 1445错误
- Ajax 简单示例
- java基础整理8--API
- textarea回车符问题
- 非齐次线形差分方程和 齐次线形差分方程在同根情况下的共性
- rapi.h & rapi.lib 位置
- 一个人也可以很好,就像这样,是一个人的就进来看看吧!
- 一个人也可以很好,就像这样,是一个人的就进来看看吧!