cdh 5.8 集群安装
来源:互联网 发布:洗洁精牌子 知乎 编辑:程序博客网 时间:2024/05/08 11:12
近期测试环境升级,结果升级出错,启动不了,于是乎重新安装了一遍集群。
暂时先不做排版,后期有时间后再做排版
参考地址:http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_c.html
【安装系统】
我们选择 centos 6.7 ,总共四台机器,
hap01 6g内存 192.168.1.101(server)
hap02 4g内存 192.168.1.102
hap03 4g内存 192.168.1.103
hap04 4g内存 192.168.1.104
【关闭防火墙】
【关闭selinux】
【配置集群hosts】
【安装 jdk】
jdk 1.8
【安装依赖】
yum -y install bind-utils
yum -y install psmisc
yum -y install libxslt
yum -y install zlib
yum -y install sqlite
yum -y install cyrus-sasl-plain
yum -y install cyrus-sasl-gssapi
yum -y install fuse
yum -y install portmap
yum -y install fuse-libs
yum -y install redhat-lsb
【安装数据库】
参照 mariadb 安装
【创建数据库用户】
create database cm_server DEFAULT CHARACTER SET utf8;
grant all on *.* TO 'cdhadmin'@'%' IDENTIFIED BY 'admin';
【解压cm 安装包】
下载cm 安装包。
下载地址: http://www.cloudera.com/documentation/enterprise/release-notes/topics/cm_vd.html
tar xzf cloudera-manager*.tar.gz -C /opt/
【创建cm 用户】
useradd --system --home=/opt/cm-5.8.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
【创建路径】
mkdir /var/lib/cloudera-scm-server
mkdir /var/log/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/log/cloudera-scm-server
【修改配置文件】
vi etc/cloudera-scm-agent/config.ini
server_host=hap01
server_port(默认)
【创建 Parcel 路径】
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
【复制驱动】
cp mysql-connector-java-5.1.39-bin.jar /opt/cm-5.8.1/share/cmf/lib/
【配置数据库】
share/cmf/schema/scm_prepare_database.sh mysql cm_server cdhadmin admin -u root -p
【分发cm】
scp -r /opt/c* root@hap03:/opt
【更改目录权限】
各个节点创建用户,并授权
chown -R cloudera-scm:cloudera-scm /opt/c*
Cloudera Manager Server 用来提供管理及页面展示
Cloudera Manager Agents 用来与 server 通讯。
【启动 Manager Server】
etc/init.d/cloudera-scm-server start
server 启动需要一定时间,查看日志文件
tail -f /opt/cm-5.8.1/log/cloudera-scm-server/cloudera-scm-server.log
当出现图示时,启动完成,可访问 host:7180 进行访问,此时先不要登录。
【将 server 添加进服务列表】
cp etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
vi /etc/init.d/cloudera-scm-server
根据图示,
在脚本开始添加
export JAVA_HOME=/usr/local/java/jdk
修改 CMF_DEFAULTS
chkconfig --add cloudera-scm-server
chkconfig --list
chkconfig cloudera-scm-server off
测试服务是否可用
service cloudera-scm-server stop
service cloudera-scm-server start
【启动 Manager Agents】
etc/init.d/cloudera-scm-agent start
查看 Agents 启动日志
tail -f /opt/cm-5.8.1/log/cloudera-scm-agent/cloudera-scm-agent.log
可能会有错误,如图
创建文件夹,并授权即可
mkdir /opt/cm-5.8.1/run/cloudera-scm-agent
chown -R cloudera-scm.cloudera-scm /opt/cm-5.8.1/run/cloudera-scm-agent
【将 Agents 添加进服务列表】
cp etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
vi /etc/init.d/cloudera-scm-agent
根据图示,
在脚本开始添加(经测试,agents 不添加 JAVA_HOME 环境变量也可以)
export JAVA_HOME=/usr/local/java/jdk
修改 CMF_DEFAULTS
chkconfig --list
chkconfig --add cloudera-scm-agent
chkconfig cloudera-scm-agent off
然后把 agents 服务添加到其他主机中
启动每一个 agent
【修改 swappiness 】
所有节点执行:
临时生效
sysctl vm.swappiness=0
永久生效,需重启
vi /etc/sysctl.conf
末尾追加
#CDH
vm.swappiness=0
【透明大页面禁用】
执行命令
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
开机生效
vi /etc/rc.local
末尾追加
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
然后访问 hap01:7180 进行配置
- cdh 5.8 集群安装
- cdh hadoop2集群安装
- cdh集群安装(入门)
- cdh集群安装(提高)
- CDH集群安装部署
- CDH集群安装&测试总结
- 从yum安装Cloudera CDH集群
- 使用yum安装CDH Hadoop集群
- 使用yum安装CDH Hadoop集群
- 使用yum源安装CDH Hadoop集群
- 使用yum源安装CDH Hadoop集群
- 使用yum源安装CDH Hadoop集群
- CDH 5.x 集群安装及卸载
- centos7.2下的CDH集群安装
- cdh 集群版安装后 漂漂亮亮哒
- CDH 5.12.0版本集群安装
- CDH 5.8 离线安装
- 安装单节点伪分布式 CDH hadoop 集群
- 在本地怎样更换域名IP访问其他网站
- 有了它,以后看视频在也不用等广告了
- 深入理解HTTP协议
- SQL 语句查询Exists原理
- 补间动画
- cdh 5.8 集群安装
- Swift与Objective-C和Cocoa混合编程的基本设置
- adaboost训练 之 参数详解
- mac root权限
- SVM实现(简化版SMO)
- opengl原理介绍
- 第一次开通博客
- Android:Edittext延迟搜索
- C++ 内联函数