Centos6.5 hadoop新增datanode
来源:互联网 发布:数据结构与算法的关系 编辑:程序博客网 时间:2024/06/15 04:14
Centos6.5 64位hadoop新增datanode教程
本教程配置说明
- 目的: 为完全分布式的hadoop增添datamode新节点
- 本教程是在64位Centos6.5 Hadoop2.2.0 完全分布安装教程基础之上扩展的
- 在window上通过putty(或其他)工具连接上Linux服务器,进行配置
- 在每台linux服务器上如无特殊说明,均默认在hadoop用户下操作
- 三台Linux服务器的分布及其配置说明
具体可参考: 64位Centos6.5 Hadoop2.2.0 完全分布安装教程
友情提示:
* 步骤1~3和7 只在datanode节点上操作
* 步骤4 需在新增datanode节点和namenode节点上共同操作
* 步骤5~6 只在namenode节点上操作
1. 创建与namenode主机相同的用户
在新增datanode主机上,创建 hadoop 用户,具体可参考创建用户
2. 为新增的datanode主机配置必要运行环境
为新增的datanode节点配置基本网络设置,可参考网络配置篇
- 配置好的IP,确保一定能与namenode节点通信(即ping 通),当然能与其他datanode节点ping通也最好!按照本教程中的配置则在新增节点上则:
ping name - 编辑 /etc/hosts 文件,将自身和namenode的IP信息、主机名记录下来,具体可参考网络配置篇中的Host配置。
3. JAVA_HOME配置
为新增的datanode节点配置JAVA_HOME,具体可参考:JAVA配置中的OpenJDK配置
4. 新增节datanode节点与namenode主机实现ssh免密码登陆
具体可参考:SSH 配置
* 只需保证新增datanode节点与namenode相互之间免密码登陆即可
5.在namenode节点上修改 slave文件
vim hadoop-2.2.0/etc/hadoop/slaves
在本教程中,新增如下内容:
6. 复制hadoop-2.2.0到新增节点上
在namenode节点上,将hadoop-2.2.0复制到新增节点上
scp -r hadoop-2.2.0 hadoop@data3:/home/hadoop/
7. 在新增节点下修改hadoop配置文件
在datanode节点下修改 yarn-env.sh,hadoop-env.sh。修改JAVA_HOME,该JAVA_HOME即为之前本机上配置的,具体参考64位Centos6.5 Hadoop2.2.0 完全分布安装教程中步骤4和9
在本教程中添加的 JAVA_HOME如下:
8. 测试
具体参考64位Centos6.5 Hadoop2.2.0 完全分布安装教程中的步骤12——验证 hadoop
所以当namenode启动dfs和yarn时,所有在线的datanode节点(当然包括此新增节点)也会启动相应的进程。
0 0
- Centos6.5 hadoop新增datanode
- hadoop新增datanode处理
- 新增datanode
- hadoop datanode 无法启动
- hadoop datanode无法启动
- hadoop datanode源码分析
- hadoop datanode源码分析
- hadoop源码之DataNode
- Hadoop datanode无法启动
- hadoop datanode源码分析
- Hadoop datanode无法启动
- hadoop datanode无法启动
- Hadoop DataNode无法启动
- Hadoop DataNode启动失败
- hadoop 未启动datanode
- Hadoop添加节点datanode
- hadoop datanode无法启动
- Hadoop配置datanode
- python 决策树学习
- Andoird的两种应用程序界面构建方式
- 周赛HDU超市服务
- uva 1471 Defense Lines
- POJ 1228 稳定凸包问题
- Centos6.5 hadoop新增datanode
- 算法导论 10.2-6 带哨兵的双向链表合并两个不相交的集合
- startActivityForResult与startActivity
- 华为OJ(尼科彻斯定理)
- Lucas定理(C(n,m)mod p)
- Python初学教程
- Android-使用ListView把SQLite中的数据显示至屏幕
- LeetCode 题解(173): Pow(x, n)
- 异常