搭建Hadoop HA集群

（学习笔记）
搭建Hadoop HA集群

1、准备工作：

设置IP关闭防火墙    service iptables stop    service iptables status    自动关闭    chkconfig iptables off    chkconfig --list |grep iptables

设置hostname(Root用户)
vi /etcs/sysconfig/network
hostname slave
在windows下绑定用户与IP地址
C:\windows\System32\drivers\etc\hosts
在虚拟机里绑定ip与hostname（Root用户下）
vi /etc/hosts
设置ssh免密码登录（用普通用户）
ssh-keygen -t rsa
mv id_rsa.pub authorized_keys
scp ~/.ssh/authorized_keys slave:~/.ssh

2、安装jdk:

     tar -zxvf jdk**********.gz     mv jdk**********   jdk     设置配置文件：     vi ~/.bash_profile,添加以下信息          export JAVA_HOME=jdk路径         export          PATH=.:$JAVA_HOME/bin:$PATH      : wq     source ~/.bash_profile 让配置文件生效     java -version 验证jdk是否成功

3、安装Hadoop：
tar -zxvf hadoop*****************
mv hadoop****** hadoop
设置配置文件：
vi ~/.bash_profile，添加以下信息:
export JAVA_HOME=/home/wangsong/jdk
export HADOOP_HOME=/home/wangsong/hadoop
export PATH=.： $HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
source ~/.bash_profile
配置hadoop/etc/hadoop目录下的配置文件：
1）hadoop-env.sh，设置jdk路径:
export JAVA_HOME=jdk路径
2）yarn-env.sh，设置jdk路径：
gedit yarn-env.sh,也可以用vi yarn-env.sh:
export JAVA_HOME=jdk路径
3）core-site.xml

<property><name>fs.defaultFS</name><value>hdfs://master2:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/wangsong/hadoopdata</value></property></configuration>

    4）hdfs-site.xml：

<property><name>dfs.replication</name><value>1</value></property></configuration>

    5）yarn-site.xml：

<?xml version="1.0"?><configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>master2:18040</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>master2:18030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master2:18025</value></property><property><name>yarn.resourcemanager.admin.address</name><value>master2:18141</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>master2:18088</value></property> </configuration>

    6）mapred-site.xml


<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

格式化namenode，建立namenode自己的文件结构
（注意：修改~/.bash_profile之后一定要source一下）
hadoop namenode -format
启动：
1.分步启动：
start-dfs.sh
start-yarn.sh
2.一次全部启动：
start-all.sh

   查看进程：jps   HDFS的进程：   NameNode   DataNode   SecondaryNameNode   Yarn的进程：   ResourceManager   NodeManager   主机名：50070 查看HDFS   主机名：18088 查看webApp

二、将master节点的目录、配置文件复制到slave节点下

1)

将master2的密钥复制到slave3
scp ~/.ssh/authorized_keys slave:~/.ssh

设置master节点中/home/wangsong/hodoop/etc/hadoop目录下的slaves文件:
将原先的localhost改为从节点的主机名slave

## 2、将下面目录和文件复制到slave节点下
复制/etc/hosts文件
scp /etc/hosts slave:/etc/ (需要root用户)
复制jdk目录
scp -r /home/wangsong/jdk slave:~/
复制hadoop目录
scp -r /home/wangsong/hadoop slave:~/
复制~/.bash_profile文件
scp ~/.bash_profile slave3:~/
在slave3节点中进行source ~/.bash_profile

# 3)格式化namenode

在master主节点中操作：
hadoop namenode -format
启动集群：
一次性全部启动start-all.sh
分步启动
start-dfs.sh
start-yarn.sh
主节点中的进程：
NameNode
ResourceManager
SecondaryNameNode
从节点中的进程：
DataNode
NodeManager