CDH离线安装手册

公司终于有升级Hadoop版本的意思了，于是强烈推荐CDH版本，终于在再三的推荐下初步确定使用CDH版本了。于是CDH的测试集群搭建开始了。撒花...

• CDH版本：5.3.0
• 操作系统版本：CentOS 6.3
• JDK版本：jdk-7u71-linux-x64
• 资源下载：
  • Cloudera Manager，选择操作系统对应的版本。
  • CDH，下载CDH和对应的sha1文件以及manifest.json文件。
  • mysql-connector-java-5.1.34-bin.jar，需要登录下载。

系统环境搭建

• 打通SSH
• 配置Hosts
• 关闭IPv6
• 关闭SELINUX
• 关闭防火墙
• 打开句柄限制
• 安装JDK
• NTP

以上步骤参考Hadoop集群搭建全过程。其中JDK安装可能需要卸载操作系统自带的OpenJDK，命令：

1

2

rpm -qa | grep java

rpm -e --nodeps 包名

安装Mysql

1

yuminstallmysql-server

添加为自启动

1

chkconfig mysqld on

启动mysql

1

servicemysqldstart

修改root密码

1

mysqladmin -u root password '123456'

进入mysql

1

mysql-uroot-p123456

创建数据库

1

2

3

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hue default charset utf8 collate utf8_general_ci;

授权

1

2

grantallprivilegeson *.*to'root'@'%'identifiedby'123456'withgrantoption;

flushprivileges;

其它配置

在.bashrc中添加

1

2

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

echo 0 > /proc/sys/vm/swappiness

并source .bashrc。

自此准备工作完毕。

安装CDH

所有节点创建cloudera-scm用户

1

useradd--system--home=/opt/cm-5.3.0/run/cloudera-scm-server/--no-create-home--shell=/bin/false--comment"Cloudera SCM User"cloudera-scm

安装Cloudera Manager

解压下载好的Cloudera Manager解压至/opt下，产生2个文件夹cloudera和cm-5.3.0。

添加mysql connector包

将mysql-connector-java-5.1.34-bin.jar拷贝至/opt/cm-5.3.0/share/cmf/lib/和/opt/cloudera/parcels/CDH-5.3.0-1.cdh5.3.0.p0.30/lib/hive/lib/下

初始化CM5的数据库数据库

1

/opt/cm-5.3.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

修改Agent配置

将/opt/cm-5.3.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名

同步Agent到其他节点

1

scp-r/opt/cm-5.3.0root@slave[1-xx]:/opt/

准备Parcels

将下载好的CDH-xxx.parcels文件、CDH-xxx.parcels.sha1文件和manifest.json文件移至/opt/cloudera/parcel-repo/中，并将CDH-xxx.parcels.sha1重命名为CDH-xxx.parcels.sha。

启动Cloudera Manager

主节点

1

/opt/cm-5.3.0/etc/init.d/cloudera-scm-server start

所有slave节点

1

/opt/cm-5.3.0/etc/init.d/cloudera-scm-agentstart

等待1-3分钟后可通过http://主节点IP:7180来访问CM，用户名密码都为admin。剩下的就是一直点下一步和根据具体的需求来配置集群了。