Hadoop集群中增加新节点
来源:互联网 发布:js 时间format 编辑:程序博客网 时间:2024/04/30 13:04
向一个正在运行的Hadoop集群中增加几个新的Nodes
1. 新节点上部署java/hadoop程序,配置相应的环境变量
2. 新节点上增加用户,从master上拷贝id_rsa.pub并配置authorized_keys
3. 新节点上设置host,需要有集群中各节点的host对应
4. 新节点上建立相关的目录,并修改属主
5. master的slaves文件中增加上相的节点,master上增加相应的host
6. 在新节点上启动datanode和tasktracker
/opt/sohuhadoop/hadoop/bin/hadoop-daemon.sh start datanode
/opt/sohuhadoop/hadoop/bin/hadoop-daemon.sh start tasktracker
7. 进行block块的均衡
在hdfs-site.xml中增加设置balance的带宽,默认只有1M:
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>10485760</value>
<description>
Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second.
</description>
</property>
运行以下命令:
/opt/sohuhadoop/hadoop/bin/start-balancer.sh -threshold 3
均衡10个节点,移动400G数据,大概花费了3个小时
The cluster is balanced. Exiting…
Balancing took 2.9950980555555557 hours
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点总结
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点
- hadoop集群中动态增加新的DataNode节点
- hadoop集群中增加节点
- Hadoop集群中引入新DataNode节点
- Hadoop集群中引入新DataNode节点
- hadoop集群增加删除节点
- 为集群增加新节点
- hadoop增加新节点实践
- 学习总结四:hadoop集群动态增加新节点及下架一个节点
- Hadoop集群动态增加一个节点
- hadoop集群添加新节点hhbase调试
- Hadoop-添加新节点到集群
- Hadoop 集群不停机 新节点加入
- linux的5个查找命令
- 当在浏览器中输入一个url后回车,后台发生了什么?比如输入url后,你看到了百度的首页,那么这一切是如何发生的呢?
- 记2012年百度web前端研发实习生的笔试面试经历
- 常用设备接口类GUID
- QList类介绍
- Hadoop集群中增加新节点
- MVC5层架构
- JDBC中加入classes12.jar包时要放到项目classpath中不能放到系统的classpath中
- C++ Builder技巧集锦
- java中Scanner的使用方法
- 一个简单的游戏服务器框架
- 第十二周实验报告(三)
- R中的矩阵运算-三角分解
- 八款开源 Android 游戏引擎 (巨好的资源)