CDH 文字安装文档

本文是简化版的CDH rpm安装步骤，因为某些原因，没有图，后面找机会再虚拟机中补上
前提：在CDH的官网上下载好必须的安装包
http://archive.cloudera.com/cdh5
http://archive.cloudera.com/cm5
根据自己的需求下载

一 服务器配置

1.1服务器参数调整

limit限制
shell :> vim /etc/security/limits.conf
插入以下内容
* soft nofile 65536
* hard nofile 65536
* soft noproc 65536
* hard noproc 65536
保存退出，重新登录生效
shell :>ulimit -a查看
内核参数修改
shell :> vim /etc/sysctl.conf
在最后插入以下内容：
vm.swappincess=0
vm.oom_dump_task=1
vm.panic_on_oom=2
vm.max_map_count=1048576
vm.dirty_ratio=40
kernel.kstack_depth_to_print=20
kernel.panic_on_oops=1
kernel.softlockup_panic=1
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_fin_timeout=10
shell:> sysctl -p生效

1.2服务器互信建立

shell:> ssh 127.0.0.1 生成.ssh文件夹
生成秘钥文件
shell:> ssh-keygen -t rsa
一直按回车
shell:> cat id_rsa.pub > authorized_keys
shell:> chmod 600 authorized_keys
所有服务器上都要这么操作

1.3元数据库准备

有两种方式，第一是使用mysql的rpm包安装，那么缺点是数据文件目录及初始化不方便
果断采用了二进制文件的方式安装
在mysql的官网下载安装包，因为之前项目组使用的框架原因，用的是5.7.10版本
安装目录我们暂定放到/data01下
shell:>tar zxvf mysql-5.7.10-linux-glivx2.5-x86_64.tar.gz
shell:>mv mysql-5.7.10-linux-glivx2.5-x86_64 mysql
shell:>groupadd mysql
shell:>useradd mysql -g mysql
shell:>mkdir mysql/conf
shell:>mkdir mysql/data
shell:>mkdir mysql/logs
shell:>mkdir mysql/binlog
shell:>mkdir mysql/temp
shell:>chown -R mysql:mysql mysql
shell:>mkdir -p /usr/local/mysql/bin;mkdir -p /usr/local/mysql/share
shell:>ln -s /data01/mysql/bin/mysqld /usr/local/mysql/bin/mysqld
shell:>cp -p /data01/mysql/share/english/errmsg.sys /usr/local/mysql/share
初始化安装
shell:>su mysql
shell:>cd /data01/mysql/bin
shell:>./mysqld -initalize –user=mysql –basedir=/data01/mysql –datadir=/data01/mysql/data –old_passwords=0
生成一个随机的密码记录好
shell:>./mysql_ssl_rsa_setup –basedir=/data01/mysql –datadir=/data01/mysql/data
shell:>./mysql_safe –defaults-file=/data01/mysql/my.cnf &
my.cnf文件明天上传
利用之前生成的新密码连接数据库
./mysql –socket=../data/mysql.sock -uroot -p
mysql:>SET PASSWORD FOR ‘root’@’localhost’=PASSWORD(“newpassword”);

修改完成后用新密码登录

*************** *

cdh所有基本涉及的库及表及授权，在安装数据库的时候，直接就完成
grant all privileges on . to ‘root’@’%’ indentified by ‘password’ with grant option;
flust privileges;
create database rman default character set utf8;
create user “rman”@’%’ indentified by ‘password’;
grant all on rman.* to ‘rman’@’%’;
其他的scm库有nav,navms,cm
hadoop库cdh_hive,cdh_sentry,cdh_oozie,cdh_hue
安装上面的语句，修改一下用户名和密码

1.4修改/etc/hosts文件

把集群中的主机按照 ip hostname 的形式插入到/etc/hosts文件中

1.5修改大页面缓存

shell:>echo ‘never’ > /sys/kermel/mm/redhat_transparent_hugepage/enabled

shell:>echo ‘never’ > /sys/kermel/mm/redhat_transparent_hugepage/defrag
shell:>echo ‘no’ > /sys/kermel/mm/redhat_transparent_khungepaged/defrag
并添加开机启动
shell:>vim /etc/rc_locol
echo ‘never’ > /sys/kermel/mm/redhat_transparent_hugepage/enabled
echo ‘never’ > /sys/kermel/mm/redhat_transparent_hugepage/defrag
echo ‘no’ > /sys/kermel/mm/redhat_transparent_khungepaged/defrag

2yum配置

安装必要的软件包
shell:>yum -y install httpd
shell:>service httpd start
shell:>yum -y install createrepo
shell:>mkdir /var/www/html/cm5
将下载好的cm5的包上传到这个目录,检查一下
shell:>curl ‘http://127.0.0.1/cm5’
如果看到了所有的包，说明成功
shell:>cd /var/www/html
shell:>createrepo cm5
新建yum repo文件
shell:>cd /etc/yum.repo.d/
shell:>vim cm5.repo
插入以下内容
[base]
name=cm5
baseurl=http://10.0.0.1/cm5
enable=1
gpgcheck=0
保存退出后，在本机验证
yum clean all;yum list cloudera*
如果可以看到包说明yum源制作成功
将这个repo文件拷贝到其他机器，并执行clean all的操作

3安装cmf server及agent

安装cmf server

shell:>yum -y install cloudera-manager-server
yum 会自动补齐缺失的包
在所有节点将mysql的jar包放到/usr/share/java下
shell:>ln -s /usr/share/java/mysql-connector-java-5.1.40-bin.jar /usr/share/java/mysql-connector-java.jar
在/usr/share/cmf/scheme下面初始化数据库
shell:>cd /usr/share/cmf/scheme
./scm_prepare_database.sh -u root -p admin -h 10.0.0.01 mysql scm scm scm
shell命令分别对应的参数是用户民 ，密码，主机， 数据库类型， 数据库名 初始化用户名 初始化密码
如果出现了错误：denief for user
用以下命令解决：
mysql:>drop database scm;
mysql:>grant all privileges on scm.* to “scm”@”%” indentified by “scm” with grant option
mysql:> flush privileges;然后重新执行初始化脚本
初始化完成后启动服务
shell:> service cloudera-scm-server start
日志位置/var/log/cloudera-scm-server下

agent安装

shell:> yum install cloudera-manager-agent -y
编辑配置文件
vim /etc/cloudera-scm-agent/config.ini
修改server_host=scm server ip
启动agent进程
shell:> service cloudera-scm-agent start
日志位置/var/log/cloudera-scm-agent
至此scm 部分已经安装完成

CDH hadoop安装

parcel包上传

将parcel包及mainfest.json文件上传到
/opt/cloudera/parcel-repo目录下
并重命名
shell:>mv CDH-X.X.X.parcel.sha1 CDH-X.X.X.parcel.sha
如果在页面中无法识别,需要重启scm server及agent
登录页面端口是7180，用户名及密码默认是admin/admin
剩下的按照页面指引可以很好的完成安装。