对集群进行集中管理
来源:互联网 发布:云计算都招聘什么岗位 编辑:程序博客网 时间:2024/05/16 15:09
一、目前存在的问题
在阅读这篇博客之前,你应该先阅读:简单认识namenode和datanode.
在之前,我们启动Hadoop集群的时候,首先是启动namenode,然后启动datanode. 注意:我们之前的做法是手动的将启动datanode的命令发送给所有的datanode,显然如果在集群很庞大的时候,这种做法是不合适的.我们希望通过start-dfs.sh的方式启动所有的节点.那么我们就需要配置namenode机器上面的slaves文件,这个文件管理着这个namenode下面所有的datanode.这个文件的位于:${hadoop_home}/etc/hadoop,其中${hadoop_home}是Hadoop的安装目录.
二、配置namenode机器上slaves文件
1. 运行cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop 进入到slaves文件所在的目录
2. 运行 vim slaves命令,添加slave机器名称, 保存并退出。
三、配置免密SSH远程登陆
1. 在namenode机器上面,进入/root/.ssh目录下面,运行命令: ssh-keygen -t rsa
2. 将namenode机器上面的公钥copy到npfdev1(本机),npfdev2,npfdev3,npfdev4上面.
运行如下命令:
ssh-copy-id npfdev1
ssh-copy-id npfdev2
ssh-copy-id npfdev3
ssh-copy-id npfdev4
四、在namenode机器上运行start-dfs.sh启动集群
1. 启动完成之后,查看:
注意:start-dfs.sh会默认启动secondarynamenode
五、在namenode机器上运行stop-dfs.sh启动集群
1. 停止完成之后,查看:
六、启动和关闭Hadoop集群命令步骤总结:
1. 修改master上/etc/hadoop/slaves文件,每一个slave占一行.
2. 配置免密SSH远程登陆.
3. start-dfs.sh启动集群.
4. stop-dfs.sh停止集群.
注意:如果你出现类似的错误,
解决方法是在hadoop-env.sh和yarn-env.sh中添加如下两行:
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
参考文献:
1. Hadoop 2.2.0集群安装
- 对集群进行集中管理
- 如何对下载进行集中管理(低级a )
- 【Python】使用代码对redis的key进行集中管理
- tomcat集群扩展session集中管理
- 服务器虚拟化技术对学校的服务器资源进行集中管理
- Redis 实现Tomcat7集群扩展,session集中管理
- ActivityLifecycleCallbacks 对Activity的生命周期事件进行集中处理
- 利用log4j与sysLog 进行集中式日志管理
- 用Velocity进行配置文件信息的集中管理
- hive对第三方插件的集中管理
- 在Maven2插件中用Velocity对配置文件的集中管理
- android 对activity进行管理
- spring对事务进行管理
- tsung对ejabberd集群进行压力测试
- 使用shell, ssh进行集群管理
- Redis 对tomcat集群--session的管理
- tomcat集群扩展session集中管理,Memcached-session-manager使用总结
- 使用当当网的Config Toolkit集中管理分布式集群的配置数据
- CodeForces
- 并查集的优化措施
- 编译过程的一些知识,针对C/C++
- 获取最小的未被占用的串口号
- 二叉树的遍历初学
- 对集群进行集中管理
- 二叉树的中序遍历
- C++ 让人迷惑的复制构造函数和赋值运算符的区别
- Tarjan求割点——HDU 4587
- Permission is only granted to system apps
- singleton
- 七步精通Python机器学习
- MyBatis动态sql详解(一)
- 设计模式原则—开闭原则(OCP)