CentOS配置hadoop
来源:互联网 发布:休闲食品网络市场调查 编辑:程序博客网 时间:2024/06/01 09:47
- 上传hadoop targz包到/opt目录
执行解压缩:
cd /opt
tar -zxf hadoop-2.6.4.tar.gz -C /usr/local进入解压的目录
cd /usr/local/hadoop-2.6.0/etc/hadoop/
- 依次修改下面的文件
4.1、修改core-site.xml(centos67修改为你自己的机名和端口号)
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://centos67:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/log/hadoop/tmp</value> </property></configuration>
4.2、修改hadoop-env.sh(java安装目录)
`export JAVA_HOME=/usr/java/jdk1.7.0_80/`
4.3、 修改hdfs-site.xml(centos67修改为自己的机名)
<property> <name>dfs.namenode.name.dir</name> <value>file:///data/hadoop/hdfs/name</value></property><property> <name>dfs.datanode.data.dir</name> <value>file:///data/hadoop/hdfs/data</value></property><property> <name>dfs.namenode.secondary.http-address</name> <value>centos67:50090</value></property><property> <name>dfs.replication</name> <value>1</value></property>
注:1可以修改为自己要备份的数量,1为默认
4.4、修改mapred-site.xml(centos67修改为自己的机名)
<property> <name>mapreduce.framework.name</name> <value>yarn</value></property><!-- jobhistory properties --><property> <name>mapreduce.jobhistory.address</name> <value>centos67:10020</value></property><property> <name>mapreduce.jobhistory.webapp.address</name> <value>centos67:19888</value></property>
4.5、修改yarn-site.xml(centos67修改为自己的机名)
<property> <name>yarn.resourcemanager.hostname</name> <value>centos67</value></property><property> <name>yarn.resourcemanager.address</name> <value>${yarn.resourcemanager.hostname}:8032</value></property><property> <name>yarn.resourcemanager.scheduler.address</name> <value>${yarn.resourcemanager.hostname}:8030</value></property><property> <name>yarn.resourcemanager.webapp.address</name> <value>${yarn.resourcemanager.hostname}:8088</value></property><property> <name>yarn.resourcemanager.webapp.https.address</name> <value>${yarn.resourcemanager.hostname}:8090</value></property><property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>${yarn.resourcemanager.hostname}:8031</value></property><property> <name>yarn.resourcemanager.admin.address</name> <value>${yarn.resourcemanager.hostname}:8033</value></property><property> <name>yarn.nodemanager.local-dirs</name> <value>/data/hadoop/yarn/local</value></property><property> <name>yarn.log-aggregation-enable</name> <value>true</value></property><property> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/data/tmp/logs</value></property><property> <name>yarn.log.server.url</name> <value>http://centos67:19888/jobhistory/logs/</value> <description>URL for job history server</description></property><property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value></property><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property><property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
4.6、 yarn-env.sh(修改自己的版本)
export JAVA_HOME=/usr/java/jdk1.7.0_80/
4.7、修改vim slave(该文件是指向子节点)
slave1slave2slave3
5.修改/etc/profile
export JAVA_HOME="/usr/java/jdk1.7.0_80" export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
需要source配置文件
注:修改 Hadoop 的配置文件,则需要先关闭集群服务,再修改,再启动。步骤如下:
1、进入 /usr/local/hadoop-2.6.4/sbin 目录下,关闭集群服务:
2、修改配置文件后需要删除根目录下(包括各个子节点)的/data 文件:
rm -rf /data
3、 格 式 化 Name Node
4、 启动集群服务:
下面详细介绍集群的格式化、启动和关闭
格式化hadoop集群
1.添加环境变量
vim /etc/profile
2.格式化NameNode
进入hadoop安装目录
cd /usr/local/hadoop-2.6.0/bin
3.执行格式化
./hdfs namenode -format
格式化过程中可能会遇到的错误:
1)报错内容 /usr/java/jdk.1.7….. no such file
原因是:配置文件写错 hadoop-evn.sh yarn-env.sh
解决:
第一步: 确认安装了java; java -verison ;
/usr/java
第二步: 确认/usr/java 下面是否有文件夹jdk1.7.0.80 ;
2) 报错内容:/XXX/java/jdk.1.7….. no such file
原因是:配置文件写错 hadoop-env.sh yarn-env.sh
3) 检查修改:
前执行 进入 $HADOOP_HOME/sbin
./stop-yarn.sh
./stop-dfs.sh
./mr-jobhistory-daemon.sh stop historyserver
或
jps
4) map-site.xml end of tag
配置文件出错
注:需要修改4个虚拟机对应配置
启动hadoop集群
1、进入目录
cd /usr/local/hadoop-2.6.0/sbin
2、执行启动顺序
./start-dfs.sh./start-yarn.sh./mr-jobhistory-daemon.sh start historyserver
3、查看主节点和子节点的进程
[root@master bin]# jps2488 JobHistoryServer2204 ResourceManager2021 SecondaryNameNode1886 NameNode2736 Jps
[root@slave1 ~]# jps1882 Jps1719 NodeManager1628 DataNode
启动成功
4、可以用浏览器查看
http://master:50070
http://192.168.0.128:8088
关闭hadoop集群
按顺序关闭
./stop-dfs.sh ./stop-yarn.sh ./mr-jobhistory-daemon.sh stop historyserver
或者
sh stop-all.sh
- Centos配置Hadoop环境变量
- CentOS配置hadoop
- Hadoop集群 CentOS安装配置
- Centos 环境安装配置hadoop
- Centos下Hadoop安装配置
- CentOS安装及配置hadoop
- Hadoop配置修改 centos版
- Hadoop CentOS 7 安装配置
- centos hadoop 简单入门配置
- 在CentOS下配置Hadoop
- CentOS的Hadoop集群配置(一)
- CentOS的Hadoop集群配置(二)
- hadoop在CentOS下的单机配置
- CentOS的Hadoop集群配置(一)
- CentOS的Hadoop集群配置(二)
- centOS下单机配置hadoop攻略
- centOS下单机配置hadoop攻略
- centos 系统下 hadoop SSH配置
- 自定义SeekBar实现标尺指示范围的功能(含自定义shape等资源)
- 1079. Total Sales of Supply Chain (25)
- 1004. 成绩排名 (20)
- 语音学习笔记10------如何利用Deep CNN大幅提升识别准确率?
- 计算机硬件软件dos基础常识
- CentOS配置hadoop
- 进入某个目录需要什么权限
- 北邮OJ-97. 二叉排序树-12计院上机C
- shell脚本之if语句
- 小记SpringBoot使用方法
- JAVA简介
- 利用tensorflow的upgrade.py将之前的代码自动升级为1.0版本的代码
- C语言 · 阿尔法乘积
- 面向对象的哲学。举例:小明被撞了,智商一百早上好。智商不好,乱说