Hadoop之HDFS的配置---secondarynode版本

来源:互联网 发布:哪个软件可以化妆 编辑:程序博客网 时间:2024/05/17 12:54

Hadoop URL:https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/

Step 1:
使用上面的URL下载Hadoop-2.6.0

Step 2:
分别在三个节点执行命令:mkdir -p /opt/apps/hadoop
这里写图片描述

这里写图片描述

这里写图片描述

Step 3:
选在任意一个节点,使用xftp将下载的hadoop文件上传到该路径
这里写图片描述

Step 4:
执行命令:tar -zxvf hadoop-2.6.0.tar.gz ——进行解压
这里写图片描述

Step 5:
分别在三个节点执行命令: echo $JAVA_HOME————查看是否配置了java环境变量
这里写图片描述

这里写图片描述

这里写图片描述

Step 6:
分别在三个节点执行命令:vi ~/.bash_profile———配置hadoop如下环境变量
export HADOOP_PREFIX=/opt/apps/hadoop/hadoop-2.6.0
export PATH=PATH:HADOOP_PREFIX/sbin
export PATH=PATH:HADOOP_PREFIX/bin
这里写图片描述

Step 7:
分别三个节点执行命令:source ~/.bash_profile———–使.bash_profile生效
然后在三个节点上执行命令:echo $HADOOP_PREFIX
这里写图片描述

这里写图片描述

这里写图片描述

Step 8:
在对hadoop的压缩包解压的节点上,
执行命令:vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/mapred-env.sh
将JAVA_HOME前面的#去掉,然后将路径换成本机的java路径
export JAVA_HOME=/usr/java/jdk1.7.0_79
这里写图片描述

Step 9:
在对hadoop的压缩包解压的节点上,
执行命令:vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/hadoop-env.sh
vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/hadoop-env.sh
将JAVA_HOME环境变量的路径换成本机的java路径
export JAVA_HOME=/usr/java/jdk1.7.0_79
这里写图片描述

Step 10:
在对hadoop的压缩包解压的节点上,
执行命令:vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/slaves
删除localhost,然后输入node12,node13——意思是node12、node13作为datanode,而没有填写的node11作为namenode—————注意如果我在这里填写了node12、node13,是因为我配置了/etc/hosts———系统能够自动将其转换成IP,如果没有配置,需要填写实际的IP
这里写图片描述

这里写图片描述

Step 11:
在对hadoop的压缩包解压的节点上,
执行命令:vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/masters
注意masters这个文件是不存在的,需要创建,直接执行上列命令,也是创建的过程
输入node12———-意思是让node12节点作为SecondryNameNode
这里写图片描述

Step 12:
在对hadoop的压缩包解压的节点上,
执行命令:vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/core-site.xml
在两个configuration之间添加如下属性

<property>    <name>hadoop.tmp.dir</name>    <value>/opt/apps/hadoop/hadoop-2.6.0/tmp</value></property><property>  <name>fs.defaultFS</name>  <value>hdfs://node11:9000</value></property>

这里写图片描述
Step 13:
在对hadoop的压缩包解压的节点上,
执行命令:vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/hdfs-site.xml
在两个configuration之间添加如下属性:

<property>  <name>dfs.namenode.secondary.http-address</name>  <value>node12:50090</value></property><property>  <name>dfs.namenode.secondary.http-address</name>  <value>node12:50091</value></property>

这里写图片描述

Step 14:
执行命令:
scp -r /opt/apps/hadoop/hadoop-2.6.0/ node12:/opt/apps/hadoop
scp -r /opt/apps/hadoop/hadoop-2.6.0/ node13:/opt/apps/hadoop
这里写图片描述

这里写图片描述

Step 15:
在node11节点上执行命令:hdfs namenode -format
这里写图片描述

Step 16:
在node11节点上执行命令:start-dfs.sh
这里写图片描述

Step 17:
输入网址192.168.80.11:50070查看
这里写图片描述

Step 18:
在各个节点上执行命令:jps
这里写图片描述

这里写图片描述

这里写图片描述

Step 19:
在node11节点上执行命令:stop-dfs.sh———–关闭HDFS
这里写图片描述

0 0