Hadoop之HDFS的配置---secondarynode版本
来源:互联网 发布:哪个软件可以化妆 编辑:程序博客网 时间:2024/05/17 12:54
Hadoop URL:https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/
Step 1:
使用上面的URL下载Hadoop-2.6.0
Step 2:
分别在三个节点执行命令:mkdir -p /opt/apps/hadoop
Step 3:
选在任意一个节点,使用xftp将下载的hadoop文件上传到该路径
Step 4:
执行命令:tar -zxvf hadoop-2.6.0.tar.gz ——进行解压
Step 5:
分别在三个节点执行命令: echo $JAVA_HOME————查看是否配置了java环境变量
Step 6:
分别在三个节点执行命令:vi ~/.bash_profile———配置hadoop如下环境变量
export HADOOP_PREFIX=/opt/apps/hadoop/hadoop-2.6.0
export PATH=
export PATH=
Step 7:
分别三个节点执行命令:source ~/.bash_profile———–使.bash_profile生效
然后在三个节点上执行命令:echo $HADOOP_PREFIX
Step 8:
在对hadoop的压缩包解压的节点上,
执行命令:vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/mapred-env.sh
将JAVA_HOME前面的#去掉,然后将路径换成本机的java路径
export JAVA_HOME=/usr/java/jdk1.7.0_79
Step 9:
在对hadoop的压缩包解压的节点上,
执行命令:vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/hadoop-env.sh
vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/hadoop-env.sh
将JAVA_HOME环境变量的路径换成本机的java路径
export JAVA_HOME=/usr/java/jdk1.7.0_79
Step 10:
在对hadoop的压缩包解压的节点上,
执行命令:vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/slaves
删除localhost,然后输入node12,node13——意思是node12、node13作为datanode,而没有填写的node11作为namenode—————注意如果我在这里填写了node12、node13,是因为我配置了/etc/hosts———系统能够自动将其转换成IP,如果没有配置,需要填写实际的IP
Step 11:
在对hadoop的压缩包解压的节点上,
执行命令:vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/masters
注意masters这个文件是不存在的,需要创建,直接执行上列命令,也是创建的过程
输入node12———-意思是让node12节点作为SecondryNameNode
Step 12:
在对hadoop的压缩包解压的节点上,
执行命令:vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/core-site.xml
在两个configuration之间添加如下属性
<property> <name>hadoop.tmp.dir</name> <value>/opt/apps/hadoop/hadoop-2.6.0/tmp</value></property><property> <name>fs.defaultFS</name> <value>hdfs://node11:9000</value></property>
Step 13:
在对hadoop的压缩包解压的节点上,
执行命令:vi /opt/apps/hadoop/hadoop-2.6.0/etc/hadoop/hdfs-site.xml
在两个configuration之间添加如下属性:
<property> <name>dfs.namenode.secondary.http-address</name> <value>node12:50090</value></property><property> <name>dfs.namenode.secondary.http-address</name> <value>node12:50091</value></property>
Step 14:
执行命令:
scp -r /opt/apps/hadoop/hadoop-2.6.0/ node12:/opt/apps/hadoop
scp -r /opt/apps/hadoop/hadoop-2.6.0/ node13:/opt/apps/hadoop
Step 15:
在node11节点上执行命令:hdfs namenode -format
Step 16:
在node11节点上执行命令:start-dfs.sh
Step 17:
输入网址192.168.80.11:50070查看
Step 18:
在各个节点上执行命令:jps
Step 19:
在node11节点上执行命令:stop-dfs.sh———–关闭HDFS
- Hadoop之HDFS的配置---secondarynode版本
- Hadoop之HDFS的配置------HA(高可用版本)
- hadoop-HA Hadoop 2.2.0版本HDFS的HA配置
- Hadoop 2.2.0版本HDFS的HA配置
- 搭建Hadoop 2.2.0版本HDFS的HA配置
- Hadoop之HDFS的API
- Hadoop之HDFS的操作
- hadoop之HDFS的扩充
- Hadoop 之 hdfs的常用命令
- hadoop之hdfs参数配置详解
- Hadoop的hdfs的配置参数详解
- hadoop 0.23 HDFS的搭建与配置
- hadoop 0.23 HDFS 的搭建与配置
- Hadoop 2.2.0 HDFS的HA配置
- 配置GP访问Hadoop的HDFS文件系统
- hadoop配置hdfs的磁盘限额
- hadoop hdfs eclipse 的一些配置
- hadoop的HDFS部分配置说明
- Makefile编译时怎么打印出变量值
- git clone remote fetch pull push等操作
- HDU 1257 最少拦截系统
- JS实现进制转换
- 前端CSS基础之 clear:both
- Hadoop之HDFS的配置---secondarynode版本
- django2
- mapreduce和yarn
- 卷积神经网络/CNN/深度学习在做分类训练时不收敛的解决方案
- CMS
- SSL 2643_城市规划_spfa+dfs
- 在linux下安装jdk
- 算法提高 最大乘积
- 关于C++中vector<vector<int>>的个人理解