[Nutch]Hadoop动态增加DataNode节点和TaskTracker节点
来源:互联网 发布:电子杂志app软件哪个好 编辑:程序博客网 时间:2024/04/30 09:29
在之前的博文有对分布式模式做负载均衡设置,那么这次我们就来说明一下如果动态增加DataNode结点和TaskTracker结点。
1. 在host1上增加host4
使用如下命令:
vi conf/slaves
如下:
2. 将host1上的公钥加入到host4中
使用如下命令:
ssh-copy-id -i .ssh/id_rsa.pub hadoop@host4
如下:
将host1的公钥添加到host4中,可以免密码登录。如下:
3. 将hadoop拷贝到host4上
使用如下命令:
scp -r /home/hadoop/workspace/hadoop-1.2.1 hadoop@host4:/home/hadoop/workspace/hadoop-1.2.1
如下:
4. 在host3上增加host4
使用如下命令:
vim conf/slaves
如下:
5. 将host3的公钥加入到host4
使用如下命令:
ssh-copy-id -i .ssh/id_rsa.pub hadoop@host4
如下:
免密码登录:
6. 在host4上启动DataNode和TaskTracker
启动DataNode:
workspace/hadoop-1.2.1/bin/hadoop-daemon.sh start datanode
如下:
启动TaskTracker:
workspace/hadoop-1.2.1/bin/hadoop-daemon.sh start tasktracker
如下:
可以看到DataNode和TaskTracker已经启动:
7. web管理界面
可以看到DataNode从之前的3个变为了4个:
再来看看JobTracker,也从之前的3个变为了4个:
1 0
- [Nutch]Hadoop动态增加DataNode节点和TaskTracker节点
- [Nutch]Hadoop动态删除DataNode节点和TaskTracker节点
- hadoop动态增加 datanode和tasktracker的方法
- hadoop集群的负载均衡配置与添加DataNode节点和TaskTracker节点
- hadoop集群中动态增加新的DataNode节点
- Hadoop 2.6.3动态增加/删除DataNode节点
- Hadoop 2.6.3动态增加/删除DataNode节点
- hadoop动态增加节点
- hadoop动态增加和删除节点
- hadoop和hbase增加动态删除节点
- Hadoop动态添加/删除节点(datanode和tacktracker)
- Hadoop之——Hadoop 2.6.3动态增加/删除DataNode节点
- Hadoop集群动态添加datanode节点步骤
- 增加datanode新节点
- hadoop datanode 和 tasktracker起不来。
- hadoop动态增加删除节点
- Hadoop添加节点datanode
- hadoop DataNode节点超时
- 一座熟悉而陌生的城市--一个程序员的成长史(7)
- 5脚继电器原理图和接法
- java环境变量配置
- 软件开发的葵花宝典
- 大型网站技术架构思维导图
- [Nutch]Hadoop动态增加DataNode节点和TaskTracker节点
- cocoapod 安装问题
- THUSC2016滚粗记
- 2A - Winner
- opencv中camshift例子的应用
- Lemon Color
- Valid Palindrome
- C#—图形图像编程基础
- Spring中使用bean配置数据库