centos6.4下CDH5.7.1集群的安装
来源:互联网 发布:java 适配器模式 编辑:程序博客网 时间:2024/06/10 17:46
1、安装前的准备:
集群规划:
172.29.41.236 cdhmaster centos6.4
172.29.41.237 cdhslave1 centos6.4
172.29.41.238 cdhslave2 centos6.4vim /etc/hosts 添加名字与ip的映射
vim /etc/sysconfig/network 更改hostname
关闭所有机器的防火墙
service iptables stop
//临时关闭chkconfig iptables off
//永久关闭关闭所有机器的SELinux
setenforce 0
//临时关闭vim /etc/selinux/config
设置SELINUX=disabled //永久关闭在cdhmaster上安装配置MySQL
安装MySQL yum install mysql-server 设置开机启动 chkconfig mysqld on 启动MySQL service service mysqld start 设置root用户密码 mysqladmin -u root password 'xxxx'
下载软件包:
Cloudera Manager5.7.1:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.7.1_x86_64.tar.gzCHD5.7.1 parcel: http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel
CHD5.7.1 sha: http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1
Kafka1.2.0.1 parcel: http://archive.cloudera.com/kafka/parcels/2.0.1/KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel
Kafka1.2.0.1 sha: http://archive.cloudera.com/kafka/parcels/2.0.1/KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel.sha1
jdk-8u91-linux-x64.rpm
mysql-connector-java-5.1.38-bin.jar
2、配置三台机器之间的ssh免密登录
- 每台机器上都运行
ssh-keygen -t rsa
命令生成公钥
- cdhslave1与cdhslave2上运行ssh-copy-id root@cdhmaster
- 在cdhmaster上运行ssh-copy-id root@cdhslave1 与 ssh-copy-id root@cdhslave2
3、安装jdk
- 卸载原有的jdk:
rpm -qa |grep java
rpm -e –nodeps 包名
- rpm -ivh jdk-8u91-linux-x64.rpm
4、cloudera-manager安装
把cloudera-manager-el6-cm5.7.1_x86_64.tar上传到cdhmaster并拷贝到cdhslave[1-2]上
在每台机子上进行文件解压 tar xzvf cloudera-manager-el6-cm5.7.1_x86_64.tar.gz -C /opt/
在每台机子上都执行 vim /opt/cm-5.7.1/etc/cloudera-scm-agent/config.ini 更改server_host设置成cdhmaster的主机名
- 为所有机器新建cloudera-scm用户,注意把–home设置为对应的路径:
sudo useradd –system –home=/opt/cm-5.7.1/run/cloudera-scm-server/ –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm
- 在每台机器上把mysql驱动的jar文件上传到/opt/cm-5.7.1/share/cmf/lib
- 初始化数据cloudera库
/opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p数据库密码 –scm-host localhost scm scm scm
- 在cdhmaster上启动Cloudera Manager Server
- 在三台机器上都启动Cloudera Manager Agent
- 浏览器中输入cdhmaster:7180 进行web登录,用户名密码都是admin
- 进行文件拷贝:
把下载好的CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1 和 KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel.sha1重命名为CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha 和 KAFKA-2.0.1-1.2.0.1.p0.5-el6.parcel.sha把CDH和KAFKA的parcel和sha文件上传到cdhmaster 的 /opt/cloudera/parcel-repo/目录
- 选择cloudera manager的版本 ,这里选择免费版
- 为集群指定主机
- 选择cdh版本。这里选择我们下载好的parcel的版本 。如果没有出现我们的离线安装版本,可以重启Cloudera Manager Server
- 等待安装包安装和分配到集群中的所有主机
- 检查主机正确性
- 选择需要安装的服务,这里可以根据自己的需求进行安装
进行角色分配。可以按照默认的设置
进行数据库配置。首先在mysql中建立hive\ozzie的数据库 然后填入表格 ,随后测试数据库连通性
- 进行集群相关设置
- 首次启动
- 完成安装
- centos6.4下CDH5.7.1集群的安装
- 安装CDH5.7.1集群
- 安装ubuntu14.04.2集群环境下的cloudera5.4.7+CDH5
- CDH5.7.2-Hadoop集群CentOS7下的搭建(离线安装)
- 安装ubuntu14.04.2集群环境下的cloudera5.4.7+CDH5
- Centos6.7 + CDH5.4.5 HADOOP 集群环境离线安装
- Centos6.7 + CDH5.4.5 集群环境离线安装
- CDH5(Cloudera5.7.1)集群安装
- 【CDH5】-001CentOS6.5 下yum安装PostgreSQL
- CentOS6安装CM5及CDH5
- Puppet3在CentOS6.5集群下的安装
- CDH5.11.2在centos6.4上完整安装分享
- hadoop2.7.1在centos6.5下集群安装配置
- CDH5.10.1集群安装文档
- centos6.5下安装redis并集群
- 离线安装CDH5.4.5 on CentOS6.5
- Centos6.8+cm5.3.6+cdh5.3.6安装
- centos6.5 CDH5.6 clouder 集群环境搭建
- Machine Learning Notes II
- Spring概念,底层原理,实例化三种方式
- 通过字节码深入分析java的枚举类型enum
- 使用SpringMVC注解@RequestParam(value="XXX",required=false)时需要注意的问题
- js回掉函数取不到action字段的问题
- centos6.4下CDH5.7.1集群的安装
- Java基础复习之StringBuffer和StringBuilder简要记录
- 【项目管理和构建】——Maven简介(二)
- ConcurrentHashMap的size操作
- C8051F环境搭建
- Vue源码解析(一)
- 菱形继承
- spring+memcached+mybatis整合,memcached使用main函数可以保存自定义对象,使用spring管理memcached配置后无法保存
- Android使用ANativeWindow_fromSurface返回空