CDH使用之CM 5.3.x安装(转)

前言：CM全称Cloudera Manager，Cloudera开发公司的产品。其主要功能是对CDH集群进行监控，大大改善原生ApacheHadoop的安装、配置复杂和需要使用第三方开源的监控工具所带来的诸多问题。其中，CDH是Cloudera公司的开源产品，可以不依靠CM独立安装。CM有free版本，提供60天在收费版中才能使用的高级功能的免费使用期限。本文CM安装基于CentOS 6.5，各个系统版本之前可能存在细微的差别，读者请自行查阅，理论上也使用于Red Hat系统。

一、      系统准备1、 系统安装

本次采用系统版本为CentOS 6.5，系统部分相对简单，具体安装教程本文不做详细介绍，后期单独写CentOS系统的安装教程。

2、 系统配置

a) 用户创建

CM安装可以使用普通用户进行安装，系统安装过程中可以添加普通用户或者在安装使用如下命令进行添加(尖括号内添加自定义用户名称)。

创建用户

# useradd <用户名称>

修改密码

# passwd <用户名称>

b) 关闭SELinux

安装CM必须关闭SELinux，关闭方法如下：

         # vi /etc/selinux/config

将SELINUX改为disabled

如图：

c) 关闭防火墙

CM安装简易关闭防火墙，防火墙打开可能会导致CM相关端口无法访问。关闭方法如下：

临时关闭：

  查看关闭状态

         # service iptables status

  关闭防火墙

  # serviceiptables stop

配置开机关闭防火墙：

  # vi  /etc/rc.local

  如图：

永久关闭：

  查看启动级别

# chkconfig --list iptables

关闭所有启动级别

# chkconfig iptables off

注：实际集群中可能存在使用以上方式关闭，防火墙仍然会自动打开的情况，需要检查集群环境中是否有防火墙检查机制。

d) SSH免key配置（非必须）

首先生成一对私钥和公钥，如下：

# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

# ssh-copy-id <ip地址>  (ip地址是你具体要和谁免key，自己也要和自己设置免key)

e)配置sudo功能（非必须）

执行如下命令：

# visudo 

或者  #vi  /etc/sudoers

添加如下(尖括号内添加自定义用户名称)：

<user> ALL=(ALL)  NOPASSWD: ALL

3、依赖的软件服务

CM安装需要依赖postgresql数据库（可以更改为其他数据库）和其他一些服务组件，可以在操作系统安装时进行软件的选择也可以后期安装。安装时可以下载安装包进行安装，也可以使用yum方式进行安装，需要如下组件：

yum -y install postgresql-server

yum -y install postgresql

yum -y install httpd

yum -y install perl

yum -y install bind-utils

yum -y install libxslt

yum -y install cyrus-sasl-gssapi

yum -y install redhat-lsb

yum -y install  cyrus-sasl-plain

yum -y install portmap

yum -y install fuse

yum -y install fuse-libs

yum -y install nc

yum -yinstall python-setuptools

yum -y installopenssh-clients（ssh不能使用时）

注：使用yum安装时/etc/yum.repos.d/ 目录下需要如图配置文件(没有的话自行百度)。

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image008.png

二、      介质准备1、安装方式选择

a) tar包方式安装（本文暂不做介绍）

       b)rpm包方式安装

本文选择rpm包方式进行安装，下载好相应的rpm包和对应的目录结构，通过httpd-Apache 方式访问本地yum源进行安装。

2、CM5.3.x下载

       tar包下载地址如下：

http://archive-primary.cloudera.com/cm5/cm/5/（根据操作系统版本选择版本）

       rpm包下载地址：

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/  ( CentOS6.5系统选择redhat版本)

使用yum方式安装还需要下载一个bin文件，地址如下：

http://archive.cloudera.com/cm5/installer/5.3.2/  (目录名称与CM版本对应)

       rpm包下载需要保持网页中对应目录结构，放到/var/www/html/ 目录，如下：

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image010.png

三、      配置yum源配置本地yum源

在/etc/ yum.repos.d/ 下创建cloudera-manager.repo配置文件，内容如下：

[cloudera-manager]

name = Cloudera Manager, Version 5.3.2

baseurl = http://ip地址/cm5.3.2

gpgcheck = 0

注：ip地址建议使用内网ip，提高传输速度。

四、      安装CM1、服务启动

启动http服务，将repo文件的baseurl地址粘贴到浏览器以验证是否能通过http方式进行访问。

启动http 服务

# service httpd start

查看http服务状态

# service httpd status

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image012.png

2、开始安装

任意目录执行cloudera-manager-installer.bin 文件，按照截图连续选择Next按钮：

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image014.png

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image016.png

仍然继续Next，然后yes

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image018.png

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image020.png

出现如下进度条，等待直到100%

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image022.png

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image024.png

最后出现如下界面，表示安装完。

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image026.png

点击ok，浏览器访问http://ip地址:7180/进行访问，密码和用户名均为admin (登录后可以自行修改)

3、  错误定位

安装过程中可以能会出现错误提示，在安装提示框上查看对应错误日志生成目录，查看对应的错误日志即可。

无论安装是否成功，对应/etc/yum.repos.d 目录下会增加.rpmnew文件，此文件一般链接到下载CM的远程仓库地址，删除在继续重试安装。

file:///C:/Users/WANGLI~1/AppData/Local/Temp/OICE_F1CC53DF-AFC8-4B3A-B9F7-A2FBB9833C1E.0/msohtmlclip1/01/clip_image028.png

五、      安装过程注意事项

安装过程中失败常见的原因有：

1、seLinux出于打开状态，设置的disabled没有生效

2、防火墙出于打开状态

3、postgresql数据库没有安装或者服务没有启动

4、httpd服务没有打开或者配置的baseurl地址不可用