CDH安装过程说明以及注意事项

• CDH安装过程说明以及注意事项
  • CDH安装前期准备
    • 关闭防火墙,iptables
    • 关闭selinux服务
    • 配置ssh免密登陆
    • 安装ntp服务
    • 安装Oracle版本的Java
  • 安装cloudera hadoop manager
    • 下载相关安装rpm包，这个需要到cloudera官网下载。
    • 安装相关文件

 编辑

CDH安装前期准备

准备工作
关闭相关服务，防火墙（非常重要），关闭selinux，配置ssh免密登陆（双向的），安装ntp，时间同步用。

 编辑

关闭防火墙,iptables

关闭iptables服务，并设置开机禁用。

service iptables stop chkconfig iptables off

 编辑

关闭selinux服务

修改selinux config 文件

vim /etc/selinux/config#SELINUX=enforcing#SELINUXTYPE=targetedSELINUX=disabled

 编辑

配置ssh免密登陆

首先查看ssh服务是否已经安装

rpm -qa|grep ssh 

如果没有安装ssh服务，则需要通过Yum安装ssh服务

yum install ssh

然后修改/etc/ssh/sshd_config文件

vim /etc/ssh/sshd_config

设置

RSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile  .ssh/authorized_keys     

启用这三行，然后重启

service sshd restart

在本机生成公钥和私钥，并将公钥导入到认证文件中。执行命令

ssh-keygen -t rsa

一直按回车，直到生成公钥和私钥文件。然后将本机的公钥文件上传到目标主机的认证文件中。

scp ~/.ssh/id_rsa.pub root@目标主机ip或主机名:/home/id_rsa.pub

查看是否设置成功

ssh 目标主机ip或主机名

这里最好双向都设置为免密登陆

 编辑

安装ntp服务

ntp服务可以保证通信主机之间时间相差非常小，方便主机之间的通信。
查看ntp是否已经安装

rpm -qa | grep ntp

如果没有安装的话，需要安装ntp服务。

yum install ntp

完成后，配置开机启动

chkconfig ntpd on

检查是否配置成功

chkconfig --list ntpd

其中，2-5为on状态表示成功

设置对时中心 

ntpdate -u xxx.xxx.xxx.xxx(ip address)

 编辑

安装Oracle版本的Java

cloudera hadoop支持Oracle版本的Java，[cloudera hadoop manager 系统需求](https://www.cloudera.com/downloads/manager/5-12-0.html)
这里我们使用的是Java 8u111版本。
首先需要下载Java 8的安装包 jdk-8u111-linux-x64.tar.gz并在/opt/java目录中解压。之后，配置java的PATH路径。在/etc/profile文件中最后添加

export JAVA_HOME=/usr/java/jdk1.8.0_111export CLASSPATH=.:$JAVA_HOME/bin/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$JAVA_HOME/bin:$PATH

保存文件后退出，然后执行命令

source /etc/profile

查看Java是否安装成功

$ java -version

如果出现

java version "1.8.0_111" Java(TM) SE Runtime Environment (build 1.8.0_111-b14)Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)

则表示java已经安装成功了。

切记在这一步的时候不要删除系统自带的Java，因为在之后执行service的操作的时候会使用到系统自带的Java。而且这个时候两个版本的Java并没有发生冲突。

 编辑

安装cloudera hadoop manager

 编辑

下载相关安装rpm包，这个需要到cloudera官网下载。

下载地址为：http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/ 和http://archive.cloudera.com/cdh5/parcels/latest/ 下载所需文件：

1.enterprise-debuginfo-5.12.0-1.cm5120.p0.120.el6.x86_64.rpm
2.cloudera-manager-daemons-5.12.0-1.cm5120.p0.120.el6.x86_64.rpm
3.cloudera-manager-server-5.12.0-1.cm5120.p0.120.el6.x86_64.rpm
4.cloudera-manager-server-db-2-5.12.0-1.cm5120.p0.120.el6.x86_64.rpm
5.cloudera-manager-agent-5.12.0-1.cm5120.p0.120.el6.x86_64.rpm
6. CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel
7. CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1
8. manifest.json

下载完这五个文件并将文件放在目录：/home/cdh

下载[mysql-connector-java-5.1.39.jar](https://dev.mysql.com/downloads/connector/j/)文件同样放在/home/cdh文件中。

 编辑

安装相关文件

首先在所有节点中安装一些相关依赖

sudo yum install fuse fuse-libs mod_ssl python-psycopg2 MySQL-python mysql-server postgresql-server cyrus-sasl-gssapi redhat-lsb

这里需要配置MySQL数据库。
首先启动Mysql服务。

service mysqld start

并给MySQL设置为开机启动。

chkconfig mysqld on

给Mysql设置新的密码。

mysqladmin -u root password 'root'

登陆到Mysql数据库中

mysql -u root -p

并创建一些数据库和设置权限。

create database sentry default character set utf8 collate utf8_general_ci;mysql> CREATE DATABASE hive DEFAULT CHARSET utf8;Query OK, 1 row affected (0.00 sec)mysql> CREATE DATABASE cmf DEFAULT CHARSET utf8;Query OK, 1 row affected (0.00 sec)mysql> CREATE DATABASE reports_manager DEFAULT CHARSET utf8;Query OK, 1 row affected (0.01 sec)mysql> grant all privileges on *.* to 'root'@'10.59.2.168' identified by 'root' with grant option;Query OK, 0 rows affected (0.00 sec)mysql> FLUSH PRIVILEGES;Query OK, 0 rows affected (0.00 sec)

ch3. 安装CDH文件

现在需要正式安装CDH文件，依次安装相关RPM包。

sudo rpm -ivh enterprise-debuginfo-5.12.0-1.cm5120.p0.120.el6.x86_64.rpm                           （主节点）sudo rpm -ivh cloudera-manager-daemons-5.12.0-1.cm5120.p0.120.el6.x86_64.rpm                    （所有节点）sudo rpm -ivh cloudera-manager-server-5.12.0-1.cm5120.p0.120.el6.x86_64.rpm                    （主节点）sudo rpm -ivh cloudera-manager-server-db-2-5.12.0-1.cm5120.p0.120.el6.x86_64.rpm                （主节点）sudo rpm -ivh cloudera-manager-agent-5.12.0-1.cm5120.p0.120.el6.x86_64.rpm                    （所有节点）

ch3. 对CDH进行配置

首先将mysql-connector-java-5.1.39.jar文件放在/usr/share/cmf/lib/目录中。

sudo cp ./mysql-connector-java-5.1.39.jar /usr/share/cmf/lib/

将CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1改名为CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha，然后将下列文件放在/opt/cloudera/parcel-repo中

CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcelCDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.shamanifest.json

对所有节点修改/etc/cloudera-scm-agent/config.ini文件，将server_host设置为主节点的ip地址或主机名。

server_host=kafka003

在主节点初始化CM5的数据库。

sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

执行

id cloudera-scm

查在所有节点的cloudera-scm用户是否已经创建。

在主节点启动cloudera-scm-server和cloudera-scm-agent服务。

service cloudera-scm-server startservice cloudera-scm-agent start

在子节点启动cloudera-scm-agent服务。

service cloudera-scm-agent start

如果服务启动失败，请查看相关日志文件报错的信息。日志文件在/var/log/cloudera-scm-agent 和 /var/log/cloudera-scm-server

如果一切正常的话，就可以使用浏览器打开cloudera manager的界面。
输入地址

主机ip:7180

进入界面，用户名和密码分别是admin

然后按照提示一步一步往下走，安装即可。

安装完成之后，可以安装Hadoop的一些服务，如HDFS HIVE SPARK等等。这些操作也都是在页面里直接操作。如果出现问题的话，请查看日志。