hadoop-2.7.3集群安装配置

1、环境准备

虚拟机：VMware Workstation
系统：CentOS-5.5-x86_64-bin
JDK文件：jdk-7u80-linux-x64.gz
Hadoop文件：hadoop-2.7.3.tar.gz
这里搭建3个节点，一个Master节点，两个salve节点，各个节点需要在同一局域网

2、环境设置（三个节点做相同的配置）

1)修改主机名称及设置各节点IP与主机名映射

# vi /etc/hosts#127.0.0.1   localhost bigdata01 localhost4 localhost4.localdomain4#::1         localhost bigdata01 localhost6 localhost6.localdomain6192.168.88.128 bigdata01192.168.88.129 bigdata02192.168.88.131 bigdata03

# vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=bigdata03

2)关闭防火墙

即时生效关闭

# service iptables stop

重启后依然生效

# chkconfig iptables off

重启后检查防火墙

# service iptables statusiptables: Firewall is not running.

3)三个节点免密码互联

a、生成公钥密钥，会产生两个文件：id_rsa  id_rsa.pub

#ssh-keygen -t rsa

b、将公钥复制到另两个节点的对应路径下，取名为authorized_keys

#scp ./id_rsa.pub root@192.168.131.135:/root/.ssh/authorized_keys

c、每个节点生成的公钥都复制到其他两个节点的authorized_keys文件中，并复制到到本机的authorized_keys文件中，这样才能达到三个节点互联

4)给hadoop设置环境变量

vi /root/.bash_profileexport HADOOP_HOME=/opt/hadoop/hadoop-2.7.3export PATH=$PATH:$HADOOP_HOME/bin

3、安装JDK

1)解压jdk-7u80-linux-x64.gz包

# tar -zxvf jdk-7u80-linux-i586.gz# mv jdk1.7.0_80 /usr/java

2)配置环境变量

# vi /root/.bash_profileexport JAVA_HOME=/usr/java/jdk1.7.0_80PATH=$JAVA_HOME/bin:$PATH

3)使环境变量生效

# source ~/.bash_profile

4)测试

# java -version Java(TM) SE Runtime Environment (build 1.7.0_80-b15)Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

4、Hadoop配置文件修改,在$hadoop-2.7.3/etc/hadoop文件夹下

配置文件修改清单

core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
hadoop-env.sh
yarn-env.sh
slaves

修改配置文件前准备
在hadoop-2.7.3目录下创建以下文件

# mkdir tmp # mkdir hdfs

在hdfs文件创建name和data文件

# cd hdfs# mkdir name# mkdir data

1)core-site.xml

<configuration>  <property>  <name>hadoop.tmp.dir</name>  <value>file:/opt/hadoop-2.7.3/tmp</value>  <description>Abase for other temporary directories.</description>  </property>  <property>  <name>fs.defaultFS</name>  <value>hdfs://bigdata01:9000</value>  </property>   </configuration>

2)hdfs-site.xml

<configuration><property><name>dfs.name.dir</name><value>file:/opt/hadoop-2.7.3/hdfs/name</value><description>namenode上存储hdfs名字空间元数据 </description> </property><property><name>dfs.data.dir</name><value>file:/opt/hadoop-2.7.3/hdfs/data</value><description>datanode上数据块的物理存储位置</description></property><property><name>dfs.replication</name><value>1</value><description>副本个数，配置默认是3,应小于datanode机器数量</description></property></configuration>

3)mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

4)yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>bigdata01:8099</value></property><property>  <name>yarn.resourcemanager.resource-tracker.address</name>  <value>bigdata01:8031</value>  </property> </configuration>

5)hadoop-env.sh

#export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/usr/java/jdk1.7.0_79

6)yarn-env.sh

#export JAVA_HOME=/home/y/libexec/jdk1.7.0/export JAVA_HOME=/usr/java/jdk1.7.0_79

7)slaves 增加namenode节点

bigdata02bigdata03

5、将hadoop-2.7.3整个文件夹copy到其他两个节点上

# scp -r ./hadoop-2.7.3 root@bigdata02:/opt/hadoop/# scp -r ./hadoop-2.7.3 root@bigdata03:/opt/hadoop/

6、格式化namenode

# bin/hdfs namenode -format

7、启动NameNode 和 DataNode 守护进程

# sbin/start-dfs.sh

8、启动ResourceManager 和 NodeManager 守护进程

# sbin/start-yarn.sh

9、查看启动的线程

master节点

# /usr/java/jdk1.7.0_80/bin/jps2764 SecondaryNameNode2918 ResourceManager2574 NameNode10809 Jps

salve节点

# /usr/java/jdk1.7.0_80/bin/jps2559 NodeManager5805 Jps2452 DataNode

启动后有如下线程：

HDFS的守护进程

主节点：Namenode、SecondaryNamenode
从节点：Datanode

YARN的守护进程

主节点：ResourceManager
从节点：NodeManager

浏览器访问测试

1、访问Hadoop的默认端口号为50070.使用以下URL来获得浏览器的Hadoop服务
http://localhost:50070/      （localhost 必须写成主机名称或者IP）

2、访问集群中的所有应用程序的默认端口号为8088
http://localhost:8088/      （localhost 必须写成主机名称或者IP  端口号是yarn-site.xml里面配置的yarn.resourcemanager.webapp.address的端口）