CentOS7 Hadoop-2.7.4 分布式部署
来源:互联网 发布:网络综合布线设计图 编辑:程序博客网 时间:2024/06/05 10:57
下载Hadoop
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz
官方地址:http://mirror.bit.edu.cn/apache/hadoop/common/
如果wget不存在,使用如下命令安装
yum install -y wget
系统配置
host(别名不能出现.号)
192.168.1.211 hd211192.168.1.212 hd212192.168.1.214 hd214
免密码登录
cd /root/.ssh/ssh-keygen -t rsa
一路回车
同步到其它服务器
ssh-copy-id hd211ssh-copy-id hd212ssh-copy-id hd214
安装、配置Hadoop
解压安装包
tar -zxvf hadoop-2.7.4.tar.gz
进入Hadoop配置文件目录
cd hadoop-2.7.4/
编辑hadoop-env.sh
vi etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jre
export HADOOP_LOG_DIR=/data/hadoop/logs
编辑yarn-env.sh
vi etc/hadoop/yarn-env.sh
YARN_LOG_DIR="/data/hadoop/logs"
编辑core-site.xml
vi etc/hadoop/core-site.xml
内容
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hd212:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/data/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property></configuration>
编辑hdfs-site.xml
vi etc/hadoop/hdfs-site.xml
内容
<configuration> <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.blocksize</name> <value>64m</value> </property> <property> <name>dfs.nameservices</name> <value>hadoop-cluster-zgw</value> </property> <!-- 上传文件时rep系数由client决定 --> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/data/hadoop/hdfs/name</value> </property> <property> <name>dfs.namenode.checkpoint.dir</name> <value>/data/hadoop/hdfs/checkpoint</value> </property> <property> <name>dfs.namenode.checkpoint.edits.dir</name> <value>/data/hadoop/hdfs/checkpoint</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/data/hadoop/hdfs/data</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>hd211:50090</value> </property></configuration>
编辑mapred-site.xml
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xmlvi etc/hadoop/mapred-site.xml
内容
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>hd212:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hd212:19888</value> </property></configuration>
编辑yarn-site.xml
vi etc/hadoop/yarn-site.xml
内容
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.nodemanager.local-dirs</name> <value>/data/hadoop/yarn/nodemanager</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>hd212</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>hd212:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>hd212:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>hd212:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>hd212:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>hd212:8034</value> </property></configuration>
编辑slaves
vi etc/hadoop/slaves
内容
hd211hd212hd214
环境变量
vi /etc/profile
#jdkexport JAVA_HOME=/usr/lib/jvm/jreexport PATH=$PATH:$JAVA_HOME/bin #hadoop export HADOOP_HOME=/usr/hadoop/hadoop-2.7.4 export PATH=$PATH:$HADOOP_HOME/sbin export PATH=$PATH:$HADOOP_HOME/bin
source /etc/profile
创建目录
mkdir /data/hadoopmkdir /data/hadoop/hdfsmkdir /data/hadoop/hdfs/datamkdir /data/hadoop/hdfs/checkpointmkdir /data/hadoop/hdfs/namemkdir /data/hadoop/yarnmkdir /data/hadoop/yarn/nodemanagermkdir /data/hadoop/tmp
防火墙配置
firewall-cmd --permanent --add-port=9000/tcpfirewall-cmd --permanent --add-port=50070/tcpfirewall-cmd --permanent --add-port=50090/tcpfirewall-cmd --permanent --add-port=10020/tcpfirewall-cmd --permanent --add-port=19888/tcpfirewall-cmd --permanent --add-port=8030/tcpfirewall-cmd --permanent --add-port=8031/tcpfirewall-cmd --permanent --add-port=8032/tcpfirewall-cmd --permanent --add-port=8033/tcpfirewall-cmd --permanent --add-port=8088/tcpfirewall-cmd --reload
格式华HDFS文件系统
hdfs namenode –format
启动hadoop
start-all.sh
浏览器访问
hd212:50070
其他
1.管理界面只能看到一个DataNode
2.SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1
注意 -format 是否为中文符号
详细配置参考链接
阅读全文
0 0
- CentOS7 Hadoop-2.7.4 分布式部署
- Hadoop-2.5.1 分布式部署,Centos7
- Hadoop 2.7分布式部署
- Hadoop 2.7.0在centos7分布式集群上的部署与测试
- Centos7 + Hadoop 3.0 伪分布式环境安装部署
- hadoop-2.7.3分布式部署
- 分布式hadoop【CentOS7】
- Hadoop分布式环境部署
- hadoop伪分布式部署
- hadoop伪分布式部署
- hadoop单点分布式部署
- Hadoop分布式部署
- hadoop伪分布式部署
- linux-hadoop分布式部署
- hadoop分布式集群部署
- Hadoop Hbase 分布式部署
- centos7 安装伪分布式Hadoop
- centos7配置hadoop伪分布式
- winhex系列1----软件介绍
- javascript变量
- 用Kotlin开发android平台语音识别,语义理解应用(olamisdk)
- Apache服务器的下载与安装
- spring+springMVC+hibernate整合
- CentOS7 Hadoop-2.7.4 分布式部署
- javaScript运算符
- js中的string.format
- 记一次偶然遇到mysql的max_connection_errors错误
- Java_23种设计模式(二)----- 创建型模式
- php
- 关于场地营销的一些思考
- Spring COC TypeConverter
- Collections五种返回集合的特性分析