cdh安装文档

来源：互联网发布：飞扬软件官网编辑：程序博客网时间：2024/06/05 06:17

1.集群卸载

执行命令 yum remove hbase （装有hbase的节点）

yum remove zookeeper（装有zookeeper的节点）

yum remove hadoop

检查以下目录 /usr/lib/hadoop* /var/log/hadoop* /var/lib/hadoop* /usr/bin/hadoop* /etc/hadoop /tmp/hadoop* /etc/default/hadoop* /var/run/hadoop* /usr/share/doc/hadoop* /usr/src/debug/hadoop* /usr/lib/debug/usr/lib/hadoop* 是否存在残余文件，如果有删除

检查hbase和zookeeper，只需要把上面的hadoop换成hbase和zookeeper即可

都删除完用find ／ -name hadoop检查下还有没有残存目录

2.安装cloudera manager

1.操作系统环境准备

1.关闭防火墙（所有节点）

service iptables stop

chkconfig iptables off

2.关闭selinux（所有节点）

vi /etc/selinux/config

SELINUX=disabled

3.安装时间服务器同步时间（所有节点）（如果已经保证时间同步，此步骤可跳过）

yum install ntp -y

chkconfig ntpd on

service ntpd start

ntpdate -u 202.108.6.95

4.添加主机名映射（所有节点）

vi /etc/hosts

192.168.3.229 CNC-BJ-1-1A4（如果有主机别名要和主机名一致）

5.做ssh免密码登录（保证cloudera manager到所有节点能免密码）

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

然后将公钥分别设置到要免密码登录的节点上

如要做node1到node2的免密码登录，将node1的公钥复制到node2的home目录：

scp ~/.ssh/id_dsa.pub root@node2:/home/

在node2上将从node1传过来的公钥添加到认证文件中：

cat /home/id_dsa.pub >> ~/.ssh/authorized_keys

rm -rf /home/id_dsa.pub

注：其它节点的免密码登录重复执行如上命令即可，将主机名node1换成相应的主机。

6.设置交换分区频率（所有节点）

echo 0 > /proc/sys/vm/swappiness

7.配置传输

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

至此，操作系统环境准备完成

2.安装依赖软件

1.安装jdk（所有节点）（已安装略过此步骤）

下载JDK安装包jdk-8u65-linux-x64.rpm到所有节点，执行如下命令安装

rpm -ivh jdk-8u65-linux-x64.rpm

配置JDK的环境变量

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_66

export PATH=$PATH:$JAVA_HOME/bin

执行如下命令让环境变更生效

source /etc/profile

2.安装mysql（仅主节点）

yum install mysql-server -y

设置mysql开机启动

chkconfig mysqld on

启动mysql服务

service mysqld start

查看端口

netstat -nplt | grep 3306

进入mysql

mysql

给root设置密码、权限和允远程访问的IP

grant all on *.* to root@'%' identified by 'Cdn123456';

grant all on *.* to root@'节点1' identified by 'Cdn123456';

grant all on *.* to root@'节点2' identified by 'Cdn123456';

grant all on *.* to root@'节点3' identified by 'Cdn123456';

grant all on *.* to root@'节点N' identified by 'Cdn123456';

grant all on *.* to root@'localhost' identified by 'Cdn123456';

查看mysql的版本号(后续需要用到mysql驱动包，根据版本下载)

rpm -qa |grep mysql

3.安装cloudera manager server(仅主节点)

1.上传安装所需文件到/opt目录

CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel

CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1

cloudera-manager-el6-cm5.8.0_x86_64.tar

mysql-connector-java-5.1.37-bin.jar

lzo

2.解压安装

tar -vxf cloudera-manager-el6-cm5.8.0_x86_64.tar

3.创建数据库

在主节点的mysql中创建数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

grant all privileges on *.* to root@'节点1' identified by 'Cdn123456' with grant option;

grant all privileges on *.* to root@'节点2' identified by 'Cdn123456' with grant option;

grant all privileges on *.* to root@'节点3' identified by 'Cdn123456' with grant option;

grant all privileges on *.* to root@'节点N' identified by 'Cdn123456' with grant option;

4.jdbc驱动包加入

cp mysql-connector-java-5.1.37-bin.jar /opt/cm-5.8.0/share/cmf/lib/

cp mysql-connector-java-5.1.37-bin.jar /opt/cloudera/parcels/CDH/lib/hive/lib/

5.在每个节点创建如下用户

useradd --system --home=/opt/cm-5.8.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

vi /etc/sudoers

cloudera-scm ALL=(ALL) NOPASSWD:ALL

6.在主节点初始化cm数据库

/opt/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh mysql scm -h主节点 -uroot -p密码 --scm-host 主节点 scm scm scm

4.安装coludera manager agent

1.agent配置

修改/opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名

vi /opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini

server_host=主机名（主机名为安装cloudera manager server的节点名）

2同步agent到其他节点.

cd /opt

scp -r ./cm-5.8.0 root@节点主机名:/opt

5.安装CDH5

1.安装parcel

将CHD5相关的parcel包放到主节点的/opt/cloudera/parcel-repo/目录中

cp CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel /opt/cloudera/parcel-repo/

cp CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha /opt/cloudera/parcel-repo/

2.创建文件夹并赋权限

mkdir /var/lib/cloudera-scm-agent

mkdir /var/lib/cloudera-scm-server

chmod -R 777 /var/lib/cloudera-scm-agent

chmod -R 777 /var/lib/cloudera-scm-server

mkdir /opt/cm-5.8.0/run/cloudera-scm-agent

3.在主节点启动服务

/opt/cm-5.8.0/etc/init.d/cloudera-scm-server start

4.在所有节点启动agent服务

/opt/cm-5.8.0/etc/init.d/cloudera-scm-agent start

5.通过浏览器访问cloudera manager

http://主节点主机名:7180

6.进入页面进行配置

admin／admin登录

选择免费版

在版本选择时选择如下图，我们下载好的5.8.0版本，kafka选择上

选择完成后，点击下一步进行安装，这里下载应该是直接显示100%，等待分配安装完成，这个时间会久一点，完成后进入集群设置界面

这里我们选择自定义服务，如下图

我们需要安装hbase，hdfs，mapreduce，yarn，zookeeper，点击下一步，然后根据规划，选择各个服务所在节点，然后测试数据库连接，这里是cloudera manager要用到的数据库scm，

再然后是目录配置，如图：

配置完成后点击继续，进行集群安装

7.lzo安装

将lzo的parcel按照cdh的方式，cp到目录/opt/cloudera/parcel-repo下，在cloudera manager界面主机下拉栏选择parcel选项，检测新parcel，点击分配，激活，如下图：

激活完成后修改hadoop配置文件使lzo生效。

修改hdfs的配置

将io.compression.codecs属性值中追加,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec

修改yarn配置

将mapreduce.application.classpath的属性值修改为: $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,$MR2_CLASSPATH,/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/*

将mapreduce.admin.user.env的属性值修改为:LD_LIBRARY_PATH=$HADOOP_COMMON_HOME/lib/native:$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/native

问题总结

1.当因为配置文件写错出现安装不正确时，要进行完全卸载 http://blog.csdn.net/wulantian/article/details/42706777 ，卸载完成时要kill掉所有进程，特别注意此进程supervisor，它会导致我们kill掉的进程重新启动，要优先kill掉，然后按照安装步骤重新安装

2.当遇到组件安装失败时，大部分情况是因为目录问题，可能是已存在，没权限，不存在等情况，查看具体日志解决

0 0