Ambari2.1安装HDP2.3

   最近才接触Hortonworks Data Platform(HDP),安装时遇到挺多坑，以下是本人成功安装的具体步骤，分享一下

首先介绍一下Ambari和HDP，官网上http://hortonworks.com/products/data-center/hdp/很详细，这里我就大致说一下。

Ambari 是 Apache Software Foundation 中的一个项目，是一个分布式架构的软件，主要由Ambari Server 和 Ambari Agent两部分组成。用户通过 Ambari Server 通知 Agent 安装对应的软件；Agent 会定时发送各个机器每个软件模块的状态给 Ambari Server，作用来说，就是创建、管理、监视 Hadoop 的集群。下面进行安装

集群配置

集群组成

本次部署总共有3个节点，如下所示：

hostname

 Ip地址

  内存

    操作系统

    安装组件

h220.hdp

10.11.115.220

  4G

    Centos6.5

 

h221.hdp

10.11.115.221

  2G

    Centos6.5

 

H222.hdp

10.11.115.222

  2G

    Centos6.5

 

 

1.修改主机名：/etc/sysconfig/network中修改hostname项，修改完后重启生效，使其立即生效：sysctl kernel.hostname=Test2
2.修改/etc/hosts：将每个机器的hostname和ip对应起来，将修改后的/etc/hosts文件复制到集群中的每台机器。

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain610.11.115.220 h220.hdp h220
10.11.115.221 h221.hdp h221
10.11.115.222 h222.hdp h222

 配置ssh无密码登录

因为在ambari和hdp部署过程中，ambari和hdp部署的节点都有可能互相访问，所以建议四个节点中的每个节点之间都可以ssh无密码登录，包括它们自己登录到自己。

在每一台机器上执行如下操作，首先查看该用户根目录下的.ssh文件夹中是否有id_rsa文件(如果没有.ssh文件夹，可以自己创建一个)，如果没有执行ssh-keygen命令，一路回车，然后查看生成的文件，本文档部署在h220机器上的操作如下所示，其他机器类似：

[root@h220 ~]# cd .ssh
[root@h220 .ssh]#ssh-key-gen

[root@h220 ~]# cat id_rsa.pub >> .ssh/authorized_keys
[root@h220 .ssh]#ssh-copy-id -i ~/.ssh/id_rsa.pub 10.11.115.221

[root@h220~]#ssh h221
Last login:Sun Aug 30 22:53:54 2015from 192.168.230.1
用类似的方法实现他们之间任意节点的无密码登录。

配置ntp服务

因为hdp中有服务需要集群的时间同步，所以集群中的每一个机器需要安装启动ntp服务保证集群时间的一致，在集群中的每台机器完成下述操作。安装启动如下所示：
rpm -q ntp   检查系统中是否安装ntp包
yum -yinstall ntp    执行命令在线安装ntp
service ntpd status   查看ntp状态
service ntpd start   启动ntp
chkconfig --level 3 ntpd on  使ntp服务自动启动

关闭防火墙服务

因为集群中的线程之间需要互相通信，所以需要合理配置防火墙，最简单的方式是直接关闭防火墙。操作如下所示：

chkconfig iptables off
/etc/init.d/iptables stop
service iptablesstop

配置selinux和umask

为了避免引起不必要的麻烦，关闭集群节点上的selinux服务，然后重启(或者不重启执行命令：执行命令：setenforce 0设置SELinux成为permissive模式)，文件/etc/selinux/config修改SELINUX=disabled，，getenforce 查看SELinux状态，如果SELinux status参数为enabled即为开启状态

如果机器安装了PackageKit，在/etc/yum/pluginconf.d/refresh-packagekit.conf中将其关闭，操作如下：enabled=0

确保集群中节点的umask值为0022，操作如下：[root@h132 ~]# umask

如果不是0022，vi /etc/profile then, 添加一行: umask 022

准备部署软件

jdk下载部署安装

下载JDK：http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz?AuthParam=1440993061_1fb798d8c678d517c310d9485d348225，下载完后，必须放在集群每个节点的相同目录/usr/local/java，然后解压:
[root@h220 java]# tar -zxvf jdk-7u79-linux-x64.tar.gz

配置JAVA_HOME:
cd /usr/local/java

ln -s /usr/local/java/jdk1.7.0_79  /usr/local/java/jdk

 

vim /etc/profile

export JAVA_HOME=/usr/local/java/jdk

export PATH=$JAVA_HOME/bin:$PATH

编辑好/etc/profile，执行source /etc/profile使配置生效，保证每一台机器上的java版本都是一致的，并且JAVA_HOME环境变量是有效的：echo $JAVA_HOME

确保机器上安装了openssh-server，并且升级openssl到最新

rpm -qa | grep ssh

yyum install openssh-server

service sshd restart

chkconfig sshd on

yum源确保可以用，本次安装采用了163的yum源，先将/etc/yum.repos.d/中，所有的文件都删掉，然后新建文件CentOS6-Base-163.repo

 

Ambari和HDP下载配置

本文档部署所用的软件为： 
1. Ambari-2.2.1.0-centos6.tar.gz
2. HDP-2.2.4.0-centos6-rpm.tar.gz 
3. HDP-UTILS-1.1.0.20-centos6.tar.gz
手动下载所需的上述软件；

将下载的软件放到部署ambari的机器的/var/www/html目录下（该机器必须先安装httpd服务，并且启动httpd服务），然后解压，操作如下所示：

[root@h220 ~]# yum install httpd

[root@h220 ~]# service httpd start

在改机器上添加/etc/yum.repo.d/ambari.repo文件，它的内容如下所示，其中的ip地址要换成部署ambari那台机器的ip：

在改机器上添加/etc/yum.repo.d/hdp.repo文件，它的内容如下所示，其中的192.168.1.132的ip地址要换成部署ambari那台机器的ip：

然后将配置好的/ambari.repo 和hdp.repo文件复制到集群中的其他节点，操作如下所示：

Ambari安装部署

在安装ambari的机器上执行yum install ambari-server命令.

没有报错的话，ambari-server安装成功，接下来执行ambari-server setup -j /usr/local/java/jdk1.7.0_79命令，启动-j后面的操作指定jdk安装的位置。启动过程所有选择都选n.

接下来用ambari-server start命令启动ambari-server，用ambari-server stop命令关闭ambari-server，用ambari-server status命令查看ambari-server的启动状态。如下，表示启动成功：

[root@h132 yum.repos.d]# ambari-server status

Using python  /usr/bin/python2.7

Ambari-server status

AmbariServer running

Found AmbariServer PID:10425 at: /var/run/ambari-server/ambari-server.pid
进入h221.hdp、h222.hdp，运行：yum install ambari-agent；（这里建议提前安装ambari-agent）

 HDP安装部署

1.Ambari-server启动成功后，可以通过http://10.11.115.220:8080访问，用户名和密码都是admin

2.用admin登录后，点击按钮Launch install Wizard，接下来可以安装hdp，首先命名集群 
选择一个 Stack，这个 Stack 相当于一个 Hadoop 生态圈软件的集合。Stack 的版本越高，里面的软件版本也就越高。这里我们选择 HDP2.2，里面的对应的 Hadoop 版本为 2.6.x

3.将h220.hdp节点下，/root/.ssh/id_rsa文件上传到ambari中，配置好Target Hosts:

4.分配slaves和clients:

5.设置好，hive和oozie数据库的用户名和密码：

查看总结信息：

进入安装流程，最后安装成功：

这样就安装成功了！！！