六台Debian主机安装搭建Cloudera Manager 5和CDH5(版本5.9.0)大数据集群

系统环境：
六台虚拟主机
操作系统：Debian 7（8核，32G，512G硬盘）
Cloudera Manager：5.9.0
CDH: 5.9.0

192.168.0.xx cdh1
192.168.0.xx cdh2
192.168.0.xx cdh3
192.168.0.xx cdh4
192.168.0.xx cdh5
192.168.0.xx cdh6

相关资源下载：
1.Cloudera Manager下载地址：
http://archive.cloudera.com/cm5/cm/5/cloudera-manager-wheezy-cm5.9.0_amd64.tar.gz

• cloudera-manager-wheezy-cm5.9.0_amd64.tar.gz

(wheezy是Debian系统版本，对应好你自己的系统)

2.CDH安装包地址：
http://archive.cloudera.com/cdh5/parcels/5.9.0/

同样对应操作系统下载：

• CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel
• CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel.sha1
• manifest.json

一、系统环境搭建（详细步骤略）

大概就是：
1.设置主机IP
2.重启网卡
3.修改主机名
4.关闭防火墙
5.关闭SELinux（centOS需要）
6.配置 /etc/hosts 把主机都填进去
7.重启机器
8.打通SSH免密码登录：
生成密钥：ssh-keygen -t rsa
复制秘钥到每台机器：ssh-copy-id -i <用户名>@<主机名>
11.安装配置JDK1.7+

二、主节点配置

1.在主节点安装配置mysql

2.登录mysql数据库

mysql -uroot -p密码

3.创建所需库

--创建hive数据库create database hive DEFAULT CHARSET latin1;--集群监控数据库create database amon DEFAULT CHARSET utf8;--hue数据库create database hue DEFAULT CHARSET utf8;--oozie数据库create database oozie default charset utf8;--授权grant all privileges on hive.* to 'scm'@'%' identified by 'cdh' with grant option;grant all privileges on amon.* to 'scm'@'%' identified by 'cdh' with grant option;grant all privileges on hue.* to 'scm'@'%' identified by 'cdh' with grant option;grant all privileges on oozie.* to 'scm'@'%' identified by 'cdh' with grant option;flush privileges; 

4.主节点解压安装cloudera-manager-wheezy-cm5.9.0_amd64.tar.gz
cloudera manager的目录默认位置在/opt下，解压：

tar -zxvf cloudera-manager-wheezy-*.tar.gz;

将解压后的目录放到/opt目录下。

5.为Cloudera Manager 5建立数据库

去MySql的官网下载JDBC驱动，找到mysql-connector-java-5.1.33-bin.jar，放到/opt/cm-5.9.0/share/cmf/lib/中

6.初始化cloudera manager数据库配置

/opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm scm cdh -uroot -p密码 –-scm-host cdh1 scm scm scm

三、其他配置

1.在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

2.修改/opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

vim /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini

3.同步Agent到其他节点

scp -r /opt/cm-5.9.0 cdh2:/opt/scp -r /opt/cm-5.9.0 cdh3:/opt/scp -r /opt/cm-5.9.0 cdh4:/opt/scp -r /opt/cm-5.9.0 cdh5:/opt/scp -r /opt/cm-5.9.0 cdh6:/opt/

4.准备Parcels，用以安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo需要手动创建）。
相关的文件如下：
CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel
CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel.sha1
manifest.json

最后将CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel.sha1，重命名为CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel.sha，这点必须注意，否则，系统会重新下载CDH-5.9.0-1.cdh5.9.0.p0.23-wheezy.parcel文件。

5.相关启动脚本

/opt/cm-5.9.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.9.0/etc/init.d/cloudera-scm-agent start
<主节点都启动、其他节点只启动agent>

5.哦了，等一会打开浏览器
http://cdh1:7180
按照步骤开始配置就行了

四、遇到的问题

1.安装过程中安装失败或其他原因发现有部分主机显示受管不能添加组件

先停止所有服务。

/opt/cm-5.9.0/etc/init.d/cloudera-scm-server stop/opt/cm-5.9.0/etc/init.d/cloudera-scm-agent stop

删除Agent节点的UUID

rm -rf /opt/cm-5.9.0/lib/cloudera-scm-agent/*

清空主节点CM数据库
进入主节点的Mysql数据库，然后
drop database cm;

在主节点上重新初始化CM数据库

/opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm scm cdh -uroot -pcecgw –-scm-host cdh1 scm scm scm

启动所有服务

/opt/cm-5.9.0/etc/init.d/cloudera-scm-server start/opt/cm-5.9.0/etc/init.d/cloudera-scm-agent start

2.Impala 告警：
/usr/bin/impala-shell:行47: 警告:setlocale: LC_CTYPE: 无法改变区域选项 (en_US.UTF-8): 没有那个文件或目录

安装en_US.UTF-8语言：
dpkg-reconfigure locales

在选项中选择en-US.UTF-8 按空格选中。然后简单的按 ok 键就好了

PS：最后来张安装好的图炫一下，哈哈