Hadoop2.7.2之集群搭建(三台)
来源:互联网 发布:北京交通流量数据 编辑:程序博客网 时间:2024/05/11 23:56
原文地址:http://blog.csdn.net/uq_jin/article/details/51513307
如果你还没有虚拟机,请参考:http://blog.csdn.net/uq_jin/article/details/51355124
如果你还没有试过单机模式,请参考:http://blog.csdn.net/uq_jin/article/details/51451995
参考:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html
集群规划
免登录
这里直接用root用户,注意将防火墙关掉:
#关闭防火墙sudo systemctl stop firewalld.service#关闭开机启动sudo systemctl disable firewalld.service
免密码登录:
cd /root/.ssh/ssh-keygen -t rsa
这里上个回车就ok,会在当前目录生成两个文件,一个公钥一个私钥
将公钥拷贝到其它机器上,实现免密码登录
ssh-copy-id masterssh-copy-id slave1ssh-copy-id slave2
这样会在slave1 的/root/.ssh/目录下生成一个authorized_keys 就可以实现master免登录到slave1,如下:
ssh slave1
安装JDK
在/opt/下创建soft-install文件夹来存放安装的软件,创建soft来安装软件
tar -zxvf jdk-8u91-linux-x64.tar.gz -C /opt/soft/
修改环境变量:
# 修改配置文件vi /etc/profile# 在最后下添加export JAVA_HOME=/opt/soft/jdk1.8.0_91export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar# 刷新配置文件source /etc/profile
安装Hadoop
解压
tar -zxvf ./soft-install/hadoop-2.7.2.tar.gz -C /opt/soft/
删除docs
cd /opt/soft/hadoop-2.7.2/sharerm -rf doc/
修改环境变量
# 修改配置文件vi /etc/profile# 在最后下添加export HADOOP_HOME=/opt/soft/hadoop-2.7.2export PATH=$PATH:$HADOOP_HOME/bin# 刷新配置文件source /etc/profile
修改配置文件
这些配置文件全部位于 /opt/soft/hadoop-2.7.2/etc/hadoop 文件夹下
hadoop-env.sh
core-site.xml
<configuration> <!-- 指定HDFS老大(namenode)的通信地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储路径 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/soft/hadoop-2.7.2/tmp</value> </property></configuration>
hdfs-site.xml
<configuration> <!-- 设置namenode的http通讯地址 --> <property> <name>dfs.namenode.http-address</name> <value>master:50070</value> </property> <!-- 设置secondarynamenode的http通讯地址 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>slave1:50090</value> </property> <!-- 设置namenode存放的路径 --> <property> <name>dfs.namenode.name.dir</name> <value>/opt/soft/hadoop-2.7.2/name</value> </property> <!-- 设置hdfs副本数量 --> <property> <name>dfs.replication</name> <value>2</value> </property> <!-- 设置datanode存放的路径 --> <property> <name>dfs.datanode.data.dir</name> <value>/opt/soft/hadoop-2.7.2/data</value> </property></configuration>
mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
<configuration> <!-- 通知框架MR使用YARN --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
yarn-site.xml
<configuration> <!-- 设置 resourcemanager 在哪个节点--> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <!-- reducer取数据的方式是mapreduce_shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property></configuration>
masters
新建一个masters的文件,这里指定的是secondary namenode 的主机
slave1
slaves
slave1slave2
创建文件夹:
mkdir tmp name data
复制到其他主机
复制/etc/hosts(因为少了这个导致secondarynamenode总是在slave1启动不起来)
scp /etc/hosts slave1:/etc/scp /etc/hosts slave2:/etc/
复制/etc/profile (记得要刷新环境变量)
scp /etc/profile slave1:/etc/scp /etc/profile slave2:/etc/
复制/opt/soft
scp -r /etc/soft slave1:/opt/scp -r /etc/soft slave2:/opt/
记得在slave1和slave2上刷新环境变量
启动
第一次启动得格式化
./bin/hdfs namenode -format
启动dfs
./sbin/start-dfs.sh
启动yarn
./sbin/start-yarn.sh
查看
master
slave1
slave2
通过浏览器测试hdfs:
192.168.2.111:50070
注意这里有数据才是成功,我因为没把hosts文件复制到其他主机,导致启动的进程都是正确的,但是这里就是没数据,后来查资料检查才是没复制hosts文件。复制之后就一切正常了
通过浏览器测试yarn:
192.168.2.111:8088
可以看到一切正常。2个节点。
至此我们的三台hadoop运行
- Hadoop2.7.2之集群搭建(三台)
- Hadoop2.7.2之集群搭建(三台)
- Hadoop2.7.2之集群搭建(三台)
- Hadoop2.7.2集群搭建详解(三台)
- Hadoop2.7.2集群搭建详解(三台)
- Hadoop2.7.2之集群搭建(单机)
- Hadoop2.7.2之集群搭建(单机)
- Hadoop2.7.2之集群搭建(单机)
- vmware10上三台虚拟机的Hadoop2.2.0集群搭建
- vmware10上三台虚拟机的Hadoop2.5.1集群搭建
- hadoop2.6.0三台服务器分布式集群环境的搭建
- Hadoop集群搭建(三台电脑)
- 虚拟机搭建集群(三台虚拟机)
- Hadoop2.7.2之集群搭建(高可用)
- hadoop2.7.2集群搭建之虚拟机安装
- hadoop2.7.2集群搭建
- hadoop2.7.2集群搭建
- Hadoop2.7—集群安装(三台)
- 有效回文串
- TP5学习基础二:目录结构、URL路由、数据操作
- 初识createJS
- tcpdump入门介绍
- Retrofit2-如何在请求时使用动态URL
- Hadoop2.7.2之集群搭建(三台)
- 通过例子学设计模式之--适配器模式以及使用场景说明(C++实现)
- ubuntu服务器中新建用户及设置主目录
- MySQL数据类型
- js 计算器
- 去哪儿网支付系统架构演进
- Android 7.1 App Shortcuts使用
- list循环添加相同的map
- 【互联网安全】阿里安全专家为你解读移动APP安全那些事