Hadoop集群中引入新DataNode节点
来源:互联网 发布:软件接口设计文档 编辑:程序博客网 时间:2024/04/30 13:21
例如新增的节点ip为192.168.1.xxx
在所有nn和dn节点上增加192.168.1.xxx datanode-xxx的hosts
在xxx上新建用户
useradd hadoop -s /bin/bash -m
并将其他dn上的.ssh中的所有文件拷贝到xxx上的/home/hadoop/.ssh路径下
安装jdk
apt-get install sun-java6-jdk
将hadoop文件拷贝到/home/hadoop下
修改slaves文件
增加 datanode-xxx
并同步到各个集群节点中
切换到hadoop用户下
启动数据节点
bin/hadoop-daemon.sh start datanode
bin/hadoop-daemon.sh start tasktracker
完成以后,进行数据同步
bin/start-balancer.sh -threshold 3
对于新增的节点:
需要重新设置hostname,hostname设置为与slaves配置文件中相同的内容。
hostname datanode-xxx(重启后失效)
修改/etc/hostname,然后执行/etc/init.d/hostname.sh start(重启后不失效)
然后就可以通过
http://namenodeip:50070 来查看新增节点是否可以正常引入到集群。
在所有nn和dn节点上增加192.168.1.xxx datanode-xxx的hosts
在xxx上新建用户
useradd hadoop -s /bin/bash -m
并将其他dn上的.ssh中的所有文件拷贝到xxx上的/home/hadoop/.ssh路径下
安装jdk
apt-get install sun-java6-jdk
将hadoop文件拷贝到/home/hadoop下
修改slaves文件
增加 datanode-xxx
并同步到各个集群节点中
切换到hadoop用户下
启动数据节点
bin/hadoop-daemon.sh start datanode
bin/hadoop-daemon.sh start tasktracker
完成以后,进行数据同步
bin/start-balancer.sh -threshold 3
对于新增的节点:
需要重新设置hostname,hostname设置为与slaves配置文件中相同的内容。
hostname datanode-xxx(重启后失效)
修改/etc/hostname,然后执行/etc/init.d/hostname.sh start(重启后不失效)
然后就可以通过
http://namenodeip:50070 来查看新增节点是否可以正常引入到集群。
- Hadoop集群中引入新DataNode节点
- Hadoop集群中引入新DataNode节点
- hadoop集群中动态增加新的DataNode节点
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点总结
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点
- hadoop集群无法启动datanode节点
- Hadoop集群动态添加datanode节点步骤
- Hadoop集群搭建过程中DataNode与TaskTracker节点的问题
- hadoop大集群优化配置,datanode节点数量为100
- hadoop集群启动之后dataNode节点没有启动
- Hadoop 委任和解除节点(DataNode和NodeManager) Hadoop 集群管理员经常需要向集群中添加或者移除节点。通常情况下,节点同时运行DataNode和NodeManager。
- Hadoop添加节点datanode
- hadoop DataNode节点超时
- hadoop DataNode节点超时
- 让线程实现暂停,重新启动,停止
- 整理了一些关于boost中asio性能的资料
- 转发:50个c/c++源代码网站
- AAC 文件解析及解码流程
- POJ 2318 TOYS
- Hadoop集群中引入新DataNode节点
- eclipse java项目转为web项目
- 有dll和def文件,生成lib文件
- 源码阅读利器-GNU GLOBAL Source Code Tag System
- Binary Search Tree 实现
- OpenMP: OpenMP编程指南
- C++ 自定义消息的方法
- java基础学习
- 九九乘法表