搭建Hadoop分布式开发环境(三)

来源:互联网 发布:电影院售票java编程 编辑:程序博客网 时间:2024/06/05 16:14

上一节已经在master主节点上搭建了Hadoop环境,这一节完善Hadoop集群

一. 首先要将/usr/local/hadoop文件拷贝到其他两个子节点(slave1,slave2)

scp -r  /usr/local/hadoop root@slave1:/usr/localscp -r  /usr/local/hadoop root@slave2:/usr/local

二. 其次要将环境变量文件(.bashrc)拷贝到其他两个子节点(slave1,slave2)

scp -r  ~/.bashrc root@slave1:~/scp -r  ~/.bashrc root@slave2:~/

三. 分别对两个子节点的.bashrc文件进行source,以让它生效
四. 启动Hadoop
1、第一次启动须格式化namenode:在master上执行以下命令

 hdfs namenode -format

2、启动hdfs集群:start-dfs.sh
3、启动yarn集群:start-yarn.sh
4、使用jps查看主线程以及子线程进程,对比如下

master:namenode、ResourceManagerslave1:datanode、secondarynamenode、NodeManagerslave2:datanode、NodeManager

启动成功后可以通过浏览器访问http://master:50070测试hdfs

这里写图片描述
可以通过浏览器访问http://master:8088测试yarn
这里写图片描述

原创粉丝点击