hadoop完全分布式手动安装（一主多从centos linux各版本均试验成功，文档完整无一遗漏）

hadoop完全分布式手动安装（一主多从centos linux各版本均试验成功，文档完整无一遗漏）

网上的文章99%都是垃圾，我凭良心书写，确保幼儿园同学也能安装成功！

查看系统环境
   1、查看Centos的版本
查看版本
lsb_release -a
或：
rpm -q centos-release
   2、查看是否安装openjdk
rpm -qa | grep java
   3、查看是否安装mariadb(mysql)
rpm -qa | grep mariadb
   4、查看是否安装mysql
rpm -qa | grep mysql
   5、查看是否安装ssh
rpm -qa | grep ssh
   6、查看是否安装ntp
rpm -qa | grep ntp
   7、查看是否安装httpd
rpm -qa | grep httpd
   8、如果安装了openjdk、mariadb就卸载
        yum -y remove java 具体安装的包
        yum -y remove mariadb 具体安装的包
yum -y remove mariadb mariadb-libs-5.5.41-2.el7_0.x86_64
一、环境配置
  1、修改机器名
1、Centos7以下版本： vi /etc/sysconfig/network 
        2、Centos7级以上版本：hostnamectl set-hostname hadoop_master
   查看主机名 hostnamectl --static
修改/etc/hosts添加 (所有机器)
vi /etc/hosts
192.168.1.153 master #IP地址依据你的实际情况来
192.168.1.124 slave1 #IP地址依据你的实际情况来
192.168.1.234 slave2 #IP地址依据你的实际情况来
   2、环境设置 (所有机器)
echo never > /sys/kernel/mm/transparent_hugepage/defrag
vi /etc/rc.local 添加 echo never > /sys/kernel/mm/transparent_hugepage/defrag
或
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >>/etc/rc.local
sudo sysctl vm.swappiness=10
centos 7以下
vi /etc/sysctl.conf 添加 vm.swappiness=10
centos7以上 
vi /usr/lib/sysctl.d/00-system.conf 添加 vm.swappiness=10
或者采用 关闭 echo "vm.swappiness=10" >>/usr/lib/sysctl.d/00-system.conf #将字符串 vm.swappiness=10 添加到 00-system.conf 这个文件的末端
   3、配置ssh (所有机器)
a、如果端口不是22则需要修改默认端口
  vi /etc/ssh/ssh_config 修改 ssh默认的端口
b、安装openssh
  yum install openssh
c、配置无密码登录
  ssh-keygen -t rsa 一路回车即可
  cd /root/.ssh
  cp id_rsa.pub master.pub 
  cp id_rsa.pub slave1.pub
  cp id_rsa.pub slave2.pub

  cat /root/.ssh/master.pub >> /root/.ssh/authorized_keys
  cat /root/.ssh/master.pub >> /root/.ssh/authorized_keys
  cat /root/.ssh/slave1.pub >> /root/.ssh/authorized_keys
  cat /root/.ssh/slave2.pub >> /root/.ssh/authorized_keys
  cat /root/.ssh/slave2.pub >> /root/.ssh/authorized_keys
  service sshd restart
   4、关闭防火墙 (所有机器)
service iptables stop #临时关闭
/etc/rc.d/init.d/iptables restart 
chkconfig iptables off #重启后生效


centos 7关闭防火墙
service firewalld stop
chkconfig firewalld off #重启后生效
   5、配置时间同步服务ntp 
        如果没有先安装 ntpd服务: yum install ntp
vi /etc/ntp.conf
master机器添加如下内容：
server time.nist.gov
slave机器添加如下内容：
restrict 192.168.1/24 mask 255.255.255.0 nomodify
server master
启动ntp服务
service ntpd restart
将ntp服务加入开机启动中
chkconfig ntpd on
查看ntp服务状态 ntpstat
从主服务器更新一下时间
ntpdate -u hadoop_master
    6、
二、软件手动安装
    1、JDK安装
a、下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
b、解压到/opt/目录下 tar zxvf jdk-8u111-linux-x64.tar.gz -C /opt/
c、目录名修改为jdk：mv /opt/jdk1.8.0_111 /opt/jdk
d、配置jdk环境
vi /etc/profile
添加：
export JAVA_HOME=/opt/jdk
export JRE_HOME=/opt/jdk/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:/jre/lib/dt.jar:/lib/tools.jar:/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH
        java -version 查看java版本是否正确
    2、安装mysql
        a、下载 mysql www.oracle.com
b、下载地址 http://dev.mysql.com/downloads/mysql/
c、解压到/usr/local/目录下 tar zxvf mysql-5.7.16-linux-glibc2.5-x86_64.tar.gz -C /usr/local/
d、改名为 mysql: mv mysql-5.7.16-linux-glibc2.5-x86_64 mysql
e、建立用户组：groupadd mysql
f、建立用户mysql：useradd -r -g mysql -s /bin/false mysql  #设置-s /bin/false表示mysql不能作为登入用户
g、更改mysql目录的拥有者权限：
   cd mysql/
   mkdir data    #作为存放数据的目录
   chown -R mysql . 
   chgrp -R mysql .
安装依赖包:yum install libaio
h、安装mysql: ./bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
   初始化成功后会生成一个初始密码:lYFUkH.E>2TF(每次都不一样，依据实际的来)
   bin/mysql_ssl_rsa_setup --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
i、配置权限:
chown -R root /usr/local/mysql/
chown -R mysql /usr/local/mysql/data/
j、进行配置:
将 my.cnf复制到 /etc/目录下
添加如下内容：
[mysqld]
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
socket=/tmp/mysql.sock
user=mysql
bind-address=0.0.0.0
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
[mysqld_safe]
log-error=/usr/local/mysql/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid


my.cnf中添加 bind-address= 0.0.0.0 是为了防止某些服务器采用ipv6
k、配置mysql开机启动兵启动服务
     mkdir /etc/init.d/mysql
     cp support-files/mysql.server /etc/init.d/mysqld (建立mysqld服务)
     service mysqld start
     chkconfig mysqld on
k、修改密码
     使用 mysql -uroot -p
     输入初始化生成的密码进入后
第一次进入通过：set password = password('123456'); 将密码修改成 123456
l、设置Mysql远程访问权限:

grant all privileges on *.* to 'root'@'%' identified by 'wendy197626' with grant option;
flush privileges; 

   3、安装完JDK和Mysql之后修改整体的环境变量：
     vi /etc/profile
export MYSQL_HOME=/opt/mysql
export JAVA_HOME=/opt/jdk
export JRE_HOME=/opt/jdk/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$MYSQL_HOME/bin
export CLASSPATH=.:/jre/lib/dt.jar:/lib/tools.jar:/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH MYSQL_HOME
     保存并更新环境 source /etc/profile
   4、安装hadoop2.7.3 (一主两从也就是一台namenode两台datanode)
a、下载地址：https://hadoop.apache.org/releases.html
b、解压到/opt/目录下 tar zxvf ~/soft/hadoop.tar.gz -C /opt/ 
解压后目录名修改为hadoop：mv /opt/hadoop-2.7.3 /opt/hadoop
c、配置hadoop环境
第一步：
       在/opt/ 建立数据存储目录
cd /opt/hadoop
mkdir tmp
mkdir dfs
mkdir dfs/data
mkdir dfs/name
mkdir journaldata (暂时不需要)
第二步：
参数配置：
       cd /opt/hadoop/etc/hadoop
配置文件在：/opt/hadoop/etc/hadoop 一共7个主要文件
1)修改：vi /opt/hadoop/etc/hadoop/hadoop-env.sh
#头部添加如下内容：
export JAVA_HOME=/opt/jdk
export HADOOP_HOME=/opt/hadoop
export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC"
2)修改：vi /opt/hadoop/etc/hadoop/yarn-env.sh 
#头部添加如下内容：
export JAVA_HOME=/opt/jdk
3)修改：vi /opt/hadoop/etc/hadoop/core-site.xml 
<configuration>
#中间添加如下内容
<property>
<name>hadoop.tmp.dir</name>
<value>file:/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>


4)修改：vi /opt/hadoop/etc/hadoop/hdfs-site.xml (dfs.replication表示数据副本数量，必须小于集群节点数)
<configuration>
#中间添加如下内容
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/opt/hadoop/dfs/name</value>
</property>
<property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/opt/hadoop/dfs/data</value>
 </property>
<property>
 <name>dfs.replication</name>
 <value>2</value>
</property>
</configuration>


5)修改：vi /opt/hadoop/etc/hadoop/mapred-site.xml 
<configuration>
#中间添加如下内容 (启动方式yarn)
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>




6)修改：vi /opt/hadoop/etc/hadoop/yarn-site.xml
<configuration>
#中间添加如下内容 
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
</configuration>


7)修改：vi /opt/hadoop/etc/hadoop/slaves集群配置
删除默认的localhost，增加从节点机器名或IP地址(按行)


d、环境配置
vi /etc/profile
添加如下内容（没有的部分）
HADOOP_PREFIX=/opt/hadoop
export HADOOP_PREFIX
export HADOOP_HOME=/opt/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export MYSQL_HOME=/usr/local/mysql
export JAVA_HOME=/opt/jdk
export JRE_HOME=/opt/jdk/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$MYSQL_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH=.:/jre/lib/dt.jar:/lib/tools.jar:/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH MYSQL_HOME HADOOP_HOME


保存后，更新环境(确保每台机器的配置完全一致哦)
source /etc/profile
e、启动Hadoop 
1)将本机配置好的hadoop完整复制到其余机器的 /opt/hadoop 目录下
scp -r /opt/hadoop 节点机名:/opt/hadoop
       2)格式化namenode
       /opt/hadoop/bin/hdfs namenode –format
3)启动服务
/opt/hadoop/sbin/start-all.sh


f、用 jps命令查看slave
NameNode
DataNode
Jps Master
  用 jps命令查看Master
NodeManager
ResourceManager
SecondaryNameNode
  用hadoop fs -ls / (查看目录)
  用hadoop fs -mkdir /input (建立目录)
  用hadoop fs -put word.txt /input (存储文件word.txt)
  用hadoop jar wordcount.jar wordcount /input/word.txt /output (执行一个小任务看看：）)

g、在浏览器中输入：http://120.92.50.143:8088/ 即可看到YARN的ResourceManager的界面。注意：默认端口是8088，

h、大功告成！

        作者小白救星2016-12-06于杭州，有任何疑问请与我联系 QQ 99923309