Hadoop-添加新节点到集群
来源:互联网 发布:单片机485接口电路 编辑:程序博客网 时间:2024/05/16 17:01
- 在新节点安装好hadoop
- 把namenode的有关配置文件复制到该节点
- 修改master和salver文件,增加该节点以上操作也可以通过直接复制一个节点的hadoop到新节点上,而第三步的节点添加则需要每一台机都要配置了,如果机群庞大的话还是很麻烦,那么也可以通过ssh传送配置或者写一些脚本实现。
- 设置ssh免密码进出该节点 让新添加的节点可以与其他节点互相通讯
- 单独启动该节点的datanode和tasktracker,动态将新增节点加入,而不必要重启集群启动datanode:hadoop-daemon.sh start datanode启动TaskTracker:hadoop-daemon.sh startTaskTracker
- 运行start-balancer.sh进行数据负载均衡,目的是为了将其他节点的数据分担一些到新节点上来,比较开销时间。
------------------------------------------------------------动态添加新节点--------------------------------------------------------------------
假定已经有了一个hadoop cluster环境,并且已经有了两个slave节点fkongnix1和fkongnix2,这里需要动态添加一个新的节点fkongnix3.
对于hadoop分布式模式环境的搭建可以参考 hadoop学习之分布式模式
1. 修改${HADOOP_HOME}/conf/slaves文件,在其中添加一个新的slave节点,比如
2. 登录到新添加的slave节点上,进入${HADOOP_HOME}目录并运行以下命令:
3. 验证添加是否成功
3.1 访问http://localhost:50070/可以看到"Live Nodes"的数量就从2变成了3;
3.2 也可以通过以下命令行来验证是否成功
0 0
- Hadoop-添加新节点到集群
- hadoop集群添加新节点hhbase调试
- Hadoop问题集锦:Hadoop 2.7.0 集群添加新节点
- hadoop集群添加节点
- Redis集群进阶-添加新节点到集群
- hadoop集群添加删除节点
- hadoop集群节点添加硬盘
- 完全分布模式hadoop集群安装配置之二 添加新节点组成分布式集群
- Hadoop添加新的节点
- hadoop 动态添加新节点
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点总结
- Hadoop集群中引入新DataNode节点
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点
- Hadoop集群中引入新DataNode节点
- const 和 #define区别
- android----通信录操作
- CUDA学习笔记一
- LinkedBlockingQueue源码分析
- linux awk 内置变量使用介绍
- Hadoop-添加新节点到集群
- 树-堆结构练习——合并果子之哈夫曼树
- HTML
- poj 1258 MST模板题(用PRIM+堆实现)
- 可用性checklist
- KMP
- Android studio项目结构目录详解
- Reactor构架模式
- LR11 + win 7 + IE8录制脚本不成功大全!!楼主濒临崩溃试了N种方法终于成功!!!