Hadoop集群中引入新DataNode节点
来源:互联网 发布:c语言void 编辑:程序博客网 时间:2024/04/30 08:05
文章来源:http://anyoneking.com/archives/594
Hadoop集群中引入新DataNode节点
2013-04-10 19:34 | By: 懒散狂徒 | Hadoop | 13,717 views | 抢沙发 |
例如新增的节点ip为192.168.1.xxx
在所有nn和dn节点上增加192.168.1.xxx datanode-xxx的hosts
在xxx上新建用户
useradd hadoop -s /bin/bash -m
并将其他dn上的.ssh中的所有文件拷贝到xxx上的/home/hadoop/.ssh路径下
安装jdk
apt-get install sun-java6-jdk
将hadoop文件拷贝到/home/hadoop下
修改slaves文件
增加 datanode-xxx
并同步到各个集群节点中
切换到hadoop用户下
启动数据节点
bin/hadoop-daemon.sh start datanode
bin/hadoop-daemon.sh start tasktracker
完成以后,进行数据同步
bin/start-balancer.sh -threshold 3
对于新增的节点:
需要重新设置hostname,hostname设置为与slaves配置文件中相同的内容。
hostname datanode-xxx(重启后失效)
修改/etc/hostname,然后执行/etc/init.d/hostname.sh start(重启后不失效)
然后就可以通过
http://namenodeip:50070 来查看新增节点是否可以正常引入到集群。
本文固定链接: http://anyoneking.com/archives/594 | 懒散狂徒的博客
标签: add datanode, hadoop
0 0
- Hadoop集群中引入新DataNode节点
- Hadoop集群中引入新DataNode节点
- hadoop集群中动态增加新的DataNode节点
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点总结
- Hadoop集群中增加新节点
- Hadoop集群中增加新节点
- hadoop集群无法启动datanode节点
- Hadoop集群动态添加datanode节点步骤
- Hadoop集群搭建过程中DataNode与TaskTracker节点的问题
- hadoop大集群优化配置,datanode节点数量为100
- hadoop集群启动之后dataNode节点没有启动
- Hadoop 委任和解除节点(DataNode和NodeManager) Hadoop 集群管理员经常需要向集群中添加或者移除节点。通常情况下,节点同时运行DataNode和NodeManager。
- Hadoop添加节点datanode
- hadoop DataNode节点超时
- hadoop DataNode节点超时
- linux添加新用户或删除用户
- C/C++——构造函数、复制构造函数和析构函数的执行时刻
- Java数据结构之迭代器
- transform算法
- Cow Exhibition(DP)
- Hadoop集群中引入新DataNode节点
- MQTT协议详解
- 如何利用Java获取系统的信息(CPU、内存、各盘符使用情况)
- Python 文件读取与写入操作方法
- arcgis js 实现卷帘功能
- linux变量篇(一) 变量定义
- arcgis js 实现透镜或放大镜功能
- docker创建与宿主机同域IP的container,解决ssh访问,免端口映射的方法
- 新的一年 换个新家~