CHD4安装 【涛哥原创】

来源:互联网 发布:php重定向方法 编辑:程序博客网 时间:2024/04/30 11:28

转载地址:https://app.yinxiang.com/shard/s21/sh/fcfdce0e-6147-45c8-a70b-0f5cd76ca39f/3a24925c253d5d859d7eccb1481ba46e

一、安装说明

系统环境:CentOS-6.3
Hadoop版本:CDH4 - 4.8.3

二、安装前提

1、下载rpm包
cloudera-manager-agent-4.8.3-1.cm483.p0.128.el6.x86_64.rpm
cloudera-manager-daemons-4.8.3-1.cm483.p0.128.el6.x86_64.rpm
cloudera-manager-installer.bin
cloudera-manager-server-4.8.3-1.cm483.p0.128.el6.x86_64.rpm
cloudera-manager-server-db-4.8.3-1.cm483.p0.128.el6.x86_64.rpm

2、配置本地源,后面安装时需要使用到该地址
由于很多情况下,需要离线操作,所以这里提供离线安装的方法,也即是提供本地yum源的方法!
1,安装apache服务  yum install httpd httd-service
2,下载以下文件
http://archive.cloudera.com/cdh4/parcels/latest/
http://archive.cloudera.com/impala/parcels/latest/

http://archive.cloudera.com/search/parcels/latest/
http://archive-primary.cloudera.com/cm4/redhat/6/x86_64/cm/   下载4版本

放在本地,文件结构


修改apache的httpd.conf,找到DocumentRoot修改为 chd和cm的存放目录

三、安装

一、安装JAVA并且设置JAVA环境变量,如果已经安装或设置,忽略此步
JAVA_HOME=/usr/java/jdk1.6.0_31
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
修改保存,然后执行 source /etc/profile,立即生效

二,安装postgdsql(cm管理数据都保存在postgdsql数据库内,所以这个是必须要安装的)
1、检出最新的postgresql的yum配置从http://yum.pgsqlrpms.org/reporpms/repoview/pgdg-centos.html
然后根据版本选择需要的rpm后执行下列命令
rpm -Uvh http://yum.pgsqlrpms.org/reporpms/8.3/pgdg-centos-8.3-6.noarch.rpm

2、安装或者升级postgresql-libs
yum upgrade postgresql-libs

3、安装postgresql
yum install postgresql postgresql-server    

4、初始化数据库以及启动服务(必须手动初始化数据库,不然安装的时候会出错)
service postgresql initdb
service postgresql start

三,安装cyrus-sasl-gssapi
yum install cyrus-sasl-gssapi

四,关闭防火墙,selinux
service iptables stop
注意:为了防止网络问题设置yum.conf
retries=20(重新试验20次)

五 安装cloudera-manager-installer.bin
chmod u+x cloudera-manager-installer.bin (授权)
都是next ,安装完成后打开浏览器输入ip:7180


六,开始cdh的安装

(1),选择需要安装的cdh版本,一共3个版本,不过只有第一个版本是免费的,所以我们 只选择第一个版本
(2)next下一步,搜索host主机名,选择主机 下一步


(3) 开始cdh4包安装,如果前期在apache里面坐了本地镜像源,现在就可以把自己的solr,impala,cdh加入到自定义存储库里面





(4)配置ssh密码,和账户,这个步骤相当于原始安装的时候采用的无密钥登陆






(5)自动ssh登陆到每一台服务器,然后安装jdk等需要安装的文件





(6)next 之后开始下载cdh4软件包,并且分配到所有的服务器上面(如果之前采用的是本地源的话,下载就会很快)



(7)cdh 下载安装之后,检测下所有服务器,没有问题就表示cdh已经成功安装,下面只需要开启你所需要的服务即可



(8)开启服务(hbase,hdfs,zk)


检测数据库


选择数据目录




继续之后,开启服务,完成之后就完全成功


全部安装成功,开始我们的hadoop之旅吧



添加新主机:
前提:
修改slave主机的如下文件
开启sshd服务。/etc/init.d/sshd start  如果没有,需要安装sshd。

关闭selinux服务:vi /etc/sysconfig/selinux

修改本地hostname:/etc/sysconfig/network

修改hosts文件: /etc/hosts,格式如下:

设置完毕后,打开CDH4的管理界面: http://MASTERIP:7180/

1、添加新主机

2、点击“向群集添加新主机”,直接点 继续

3、输入要添加的主机名或者IP,搜索:

4、搜索到了待新增的主机


5、安装所需的


6、SSH 无密钥登陆,建议:将master和slave1-N的密码都设置成一样的




7、正在安装,稍等片刻,从本地源中下载所需文件,Jdk也会自动安装

8、安装完成,绿色看起来爽

9、安装 parcel

后续操作类同第一次安装的操作。这样,新主机就添加完毕咯。
0 0