Centos6.8+cm5.3.6+cdh5.3.6安装

说明：集群系统为Centos6.8，都是在root权限下进行配置，所有机器必须关闭SELinux，关闭防火墙，配置ssh免密码登录。
root的密码要一致。因为会比较消耗内存资源建议每个节点至少分配4G内存。如有错误欢迎指正，不胜感激。
邮箱：[e-mail]

1. CM5.3.6安装前准备
   1.1 系统配置
   关闭防火墙
   service iptables stop
   chkconfig iptables off(永久关闭)

   关闭SELinux
   vi /etc/selinux/config
   将SELINUX=enforcing改为SELINUX=disabled

   重启机器后
   查看防火墙状态：chkconfig –list iptables
   [root@hadoop01 ~]# chkconfig –list iptables
   iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off

   查看SELinux状态：/usr/sbin/sestatus -v
   [root@hadoop01 ~]# /usr/sbin/sestatus -v
   SELinux status: disabled

   1.2 配置网络连接（用于yum下载）
   配置ifcfg-eth0文件(nat模式)
   vi /etc/sysconfig/network-scripts/ifcfg-eth0
   添加对应的网络配置如下
   DEVICE=eth0
   IPADDR=192.168.1.*
   NETMASK=255.255.255.0 ——子网掩码
   GATEWAY=192.168.1.2 ——-默认网管
   ONBOOT=yes ——–是否开机自启
   BOOTPROTO=static
   ARPCHECK=no 屏蔽该警告一般是由于网卡解析arp协议导致的

   vi /etc/resolv.conf 文件添加相对应的配置
   nameserver 192.168.1.2
   service network restart 重启网卡

   1.3 配置国内高速yum源
   1.3.1 进入yum源配置目录
   cd /etc/yum.repos.d

   1.3.2 备份系统自带的yum源
   mv CentOS-Base.repo CentOS-Base.repo.bk

   1.3.3 下载163网易的yum源(若没有wget命令使用 yum -y install wget下载安装)
   wget http://mirrors.163.com/.help/CentOS6-Base-163.repo

   1.3.4 更新玩yum源后，执行下边命令更新yum配置，使操作立即生效
   yum makecache

   1.4 配置ssh免登陆(根据自己需要配置)
   1.4.1 首先生成一对私钥和公钥
   ssh-keygen -t rsa (一路回车)

   1.4.2 在本机/root/.ssh/目录下生成authorized_keys文件
   cat id_rsa.pub >> authorized_keys (其他节点相同操作)

   1.4.3 把公钥给需要ssh免登陆的节点
   ssh-copy-id -i /root/.ssh/id_rsa.pub <对应的主机名称>

   1.4.4 测试是否配置成功
   ssh <免密码登录的主机名称>

   1.5 下载对应的依赖软件（安装CM的节点,需要访问网络）
   CM安装需要依赖postgresql数据库(可以更改为其他数据库)和其他一些服务组件,可以在操作系统安装时进行软件的选择也可以后期安装。
   安装时可以下载安装包进行安装,也可以使用yum方式进行安装,需要如下组件：
   yum -y install ntp
   yum -y install nc
   yum -y install perl
   yum -y install httpd
   yum -y install libxslt
   yum -y install fuse-libs
   yum -y install portmap
   yum -y install bind-utils
   yum -y install cyrus-sasl-plain
   yum -y install postgresql-server
   yum -y install cyrus-sasl-gssapi
   yum -y install python-setuptools
   yum -y install redhat-lsb
   yum -y installopenssh-clients（ssh不能使用时）
   注意：对应的其他节点也需要安装对应的软件依赖包不然安装的时候回出现错误
   yum -y install ntp
   yum -y install libxslt
   yum -y install portmap
   yum -y install fuse-libs
   yum -y install bind-utils
   yum -y install cyrus-sasl-plain
   yum -y install cyrus-sasl-gssapi
   yum -y install redhat-lsb

   1.6 CM5.3.6下载（在安装CM的节点进行）
   1.6.1 CM5.3.6下载地址
   http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.6/
   注意:centos7以下的版本下载的包在redhat目录查找对应版本，官网的目录结构见下图
   

   1.6.2 下载完成上图中的所有文件以及文件夹，修改mirros的内容为：
   http://<安装CM的节点的IP>/cm5.3.6
   [root@hadoop01 cm5.3.6]# more mirrors
   http://<安装CM的节点的IP>/cm5.3.6

   1.6.3 在节点的/var/www/html目录下创建cm5.3.6目录
   cd /var/www/html
   mkdir cm5.3.6
   [root@hadoop01 cm5.3.6]# pwd
   /var/www/html/cm5.3.6

   1.6.4 把下载的上图的文件放到/cm5.3.6目录下，并赋予权限
   chmod 777 -R /cm5.3.6

   
   1.6.5 下载cloudera-manager-installer.bin文件用于安装，放置到安装cm的节点上
   

   1.6.6 修改cloudera-manager-installer.bin权限
   chmod 777 cloudera-manager-installer.bin

   1.7 配置本地yum源
   1.7.1在/etc/yum.repos.d/ 下创建cloudera-manager.repo配置文件
   cd /etc/yum.repos/
   vi cloudera-manager.repo
   添加如下：
   [cloudera-manager]
   name = Cloudera Manager, Version 5.3.2
   baseurl = http://<安装cm节点IP>/cm5.3.2
   gpgcheck = 0
   [root@hadoop01 yum.repos.d]# pwd
   /etc/yum.repos.d
   [root@hadoop01 yum.repos.d]# more cloudera-manager.repo
   [cloudera-manager]
   name = Cloudera Manager, Version 5.3.6
   baseurl = http://<安装cm节点IP>/cm5.3.6
   gpgcheck = 0

   1.7.2备份其他repo包（yum只能识别一个repo包）
   

   注意：所有节点都要进行此操作

   1.8 启动http服务
   在安装CM的节点执行service httpds start，若出现：
   httpd: Could not reliably determine the server’s fully qualified domain name
   可以在/etc/httpd/conf/httpd.conf行首添加 ServerName <安装CM的节点IP>:80即可解决。

   将cloudera-manager.repo文件的baseurl地址粘贴到浏览器验证是否能通过http方式访问
   

   1.9. 安装CM5.3.6
   1.9.1 在放置cloudera-manager-installer.bin文件的目录下执行
   ./cloudera-manager-install.bin

   1.9.2 安装步骤
   点击看到的next和yes，等待即可
   

   

   

   

   

   

   

   
   显示上图则为安装成功，点击ok退出，通过<安装CM主机IP>:7180在浏览器查看，至此CM5.3.6安装成功。
   （可以删除/etc/yum.repos/cloudera-manager.repo.rpmnew文件）

2. CDH5.3.6安装
   2.1 官网下载对应的parcels包
   http://archive-primary.cloudera.com/cdh5/parcels/5.3.6/
   
   下载上图选中的内容
   2.2 在/var/www/html/目录下创建cdh目录
   cd /var/www/html
   mkdir cdh
   [root@hadoop01 html]# mkdir cdh
   [root@hadoop01 html]# ls
   cdh cm5.3.6

   2.3 把上图下载的三个文件放入到cdh目录，并修改权限
   chmod 777 -R /cdh
   [root@hadoop01 html]# chmod 777 -R cdh/
   [root@hadoop01 html]# ll
   total 8 drwxrwxrwx 2 root root 4096 Apr 11 19:01 cdh

   2.4 通过浏览器查看是否能通过http方式访问http://节点的IP/cdh
   

   2.5 开始安装cdh
   打开浏览器输入http://<安装CM节点IP>:7180，使用admin登录
   
   选择版本
   
   点击继续
   
   添加主机ip或者输入主机名称，点击搜索（可输入多个）
   
   搜索之后点击继续
   
   选择存储库，点击选中区域
   
   修改后点击确定
   
   刷新出本地的parcel包,并选择自定义的存储库，点击继续
   
   安装JDK
   
   点击继续
   
   输入信息，点击继续
   
   进行安装，完成之后点击继续（若出现错误注意查看错误日志）
   
   出现错误，查看日志，注意错误提示，发现缺少对应的依赖，yum -y install <依赖名称>
   需要mv原来的repo包，进行yum下载，下载之后不要忘记mv回去，之后卸载原来安装重试即可。
   
   安装完成点击继续
   
   等待安装parcel，完成之后点击继续
   
   点击继续
   
   检测主机正确性，点击完成
   
   安装CDH5服务，可以自行选择，完成之后点击继续
   
   自定义角色分配，可以自己配置，也可以选择默认，点击继续
   
   数据库设置，点击测试连接，点击继续
   
   默认文件夹设置，修改所有机器上/var/lib目录权限：chmod 777 -R /var/lib/，点击继续
   
   安装结束之后点击继续
   
   点击完成
   
   受限于电脑的性能，电脑卡死，最后一张安装完成图没有给出，抱歉。按上面步骤操作基本可以完成CM+CDH的安装。
   安装完成之后你可以开始改变世界了，加油!

   努力不一定收获，但是不努力肯定不会有收获。