CentOs7搭建hadoop集群（伪分布式）上

运行环境：CentOs7
所需工具：VMWare12，XShell（连接虚拟机），XFtp（文件传输）
所需Jar包：jdk-9.0.1_linux-x64_bin.tar.gz，hadoop-2.9.0.tar.gz，spark-2.2.1-bin-hadoop2.7.tgz
略过CentOs7安装，注意！虚拟机ip需要和VMnet8处在同一网关，网络建议为：NAT连接
———将以上工作完成，就让我们开始我们的hadoop集群（伪分布式）的搭建吧！
1.创建大数据用户hadoop
useradd -m hadoop -G root -s /bin/bash

2.配置主机名称和IP映射
vi /etc/hostname
echo "169.254.214.10 free97zl" >> /etc/hosts (vi /etc/hosts)

3.重启虚拟机
reboot

4.使用hadoop登录，并上传使用的资源（jdk、spark、hadoop)并解压
XShell：ssh 169.254.214.10，使用hadoop登录
新建一个目录opt存放软件：mkdir opt
XFtp：上传使用的资源（jdk、spark、hadoop)
解压：tar -zxf jarBaoMing

5.配置ssh无密码登录,ssh-keygen -t rsa ，一路回车键，生成公钥和私钥

6.将生产的公钥拷贝给需要登录的目标主机
ssh-copy-id free97zl
cd ~
ll .ssh

7.测试登录ssh
ssh free97zl
(1.先使用hadoop用户连接虚拟机 2.连接成功后再次ssh free97zl 无需输入密码登录即测试成功！)

8.配置jdk8+
vi ~/.bashrc
export JAVA_HOME=/home/hadoop/opt/jdk-9.0.1
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/home/hadoop/opt/hadoop-2.9.0
export HADOOP_CONF_DIR=/home/hadoop/opt/hadoop-2.9.0/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

9.source .bashrc ：重新加载环境变量
java -version：(测试jdk是否配置成功)

10.配置Hadoop配置 /home/hadoop/opt/hadoop-2.9.0/etc/hadoop/*.xml slaves
在/home/hadoop/opt/hadoop-2.9.0下建一个临时目录tmp
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://free97zl:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/opt/hadoop-2.9.0/tmp</value>
</property>

    fs:指定hadoop文件系统hdfs    dir:指定hadoop数据存放位置hdfs-site.xml     `<property>                <name>dfs.namenode.secondary.http-address</name>                <value>free97zl:50090</value>         </property>        <property>                 <name>dfs.replication</name>                <value>1</value>         </property>        <property>                <name>dfs.namenode.name.dir</name>                <value>file:/home/hadoop/opt/hadoop-2.9.0/tmp/dfs/name</value>        </property>        <property>                <name>dfs.datanode.data.dir</name>                <value>file:/home/hadoop/opt/hadoop-2.9.0/tmp/dfs/data</value>        </property>`    host:port    dfs.replication 默认备份3mapred-site.xml     `cp mapred-site.xml.template mapred-site.xml     <property>                <name>mapreduce.framework.name</name>                 <value>yarn</value>        </property>        <property>                <name>mapreduce.jobhistory.address</name>                <value>free97zl:10020</value>         </property>        <property>                <name>mapreduce.jobhistory.webapp.address</name>                <value>free97zl:19888</value>        </property>`slaves(不需要vi slaves)yarn-site.xml      `<property>                <name>yarn.resourcemanager.hostname</name>                <value>free97zl</value>        </property>        <property>                <name>yarn.nodemanager.aux-services</name>                <value>mapreduce_shuffle</value>        </property>`

11.启动hadoop集群
hadoop用户下：
hdfs namenode -format #第一次启动要执行格式化，之后启动不用执行这个
start-dfs.sh

12.在free97zl 下执行jps ：查看java系统进程
看到如下算成功
[root@free97zl hadoop]# jps
2922 Jps
2107 DataNode
2012 NameNode
2300 SecondaryNameNode
[root@free97zl hadoop]#

13.关闭防火墙和selinux
切换到管理员
su
systemctl stop firewalld
setenforce 0
在每个机子上执行，上面的做法是临时关闭