cloudera manager free edition 4.5 安装

1、  硬件配置：

节点

Ip

os

cpu

内存

磁盘

Jn-48

10.31.72.48

RH5.7

E5620*2  16核

24G

SSD40G*2+2T*12

master-41

10.31.72.41

RH5.8

E5620*2  16核

24G

SSD40G*2+2T*12

slave-42

10.31.72.42

RH5.8

E5620*2  16核

24G

SSD40G*2+2T*12

slave-43

10.31.72.43

RH5.8

E5620*2  16核

24G

SSD40G*2+2T*12

slave-44

10.31.72.44

RH5.8

E5620*2  16核

24G

SSD40G*2+2T*12

slave-45

10.31.72.45

RH5.8

E5620*2  16核

24G

SSD40G*2+2T*12

 

2、节点角色：

CM:cloudera-manager

节点

角色

Jn-48

CM-Server   postgresql(CM元数据存储)

master-41

NameNode  Jobtracker  ResourManager  Hive-Metastore  Impala-StateStore  HMaster  CM-agent

slave-42

SecondaryNameNode  DataNode  TaskTracker  NodeManager  Impalad  Region-Server CM-agent

slave-43

DataNode  TaskTracker  NodeManager  Impalad  Region-Server  Zookeeper  CM-agent

slave-44

DataNode  TaskTracker  NodeManager  Impalad  Region-Server  Zookeeper  CM-agent

slave-45

DataNode  TaskTracker  NodeManager Impalad Region-Server Zookeeper mysql(hive元数据存储) CM-agent

 

3、  软件环境准备

在Jn-48执行以下操作：

Ø 关闭防火墙：service iptables stop；

Ø 关闭selinux：setenforce 0或修改/etc/selinux/config：SELINUX=disabled；

Ø /etc/hosts文件加上

127.0.0.1  localhost.localdomain localhost

在安装postgreSQL(cm元数据存储)的时候会用到

 

4、  下载cmf4.5的rpm安装包、cdh4.2的rpm安装包、impala0.7的rpm安装包

使用这些安装包，采用http的方式做yum源

createrepo -vg/opt/yum/impala0.7/repodata/repomd.xml /opt/yum/impala0.7/

createrepo -vg/opt/yum/cdh4.2/repodata/repomd.xml /opt/yum/cdh4.2/

createrepo -vg/opt/yum/cmf4.5/repodata/repomd.xml /opt/yum/cmf4.5/

源地址：

http://**/yum/impala0.7/

http://**/yum/cdh4.2/

http://**/yum/cmf4.5/

 

 

5、下载二进制安装文件cloudera-manager-installer.bin，

下载地址：https://ccp.cloudera.com/display/SUPPORT/Cloudera+Manager+Downloads，

这个要在64位的机器上运行，然后设置下执行权限，chmod u+x cloudera-manager-installer.bin，接着就直接执行它：

./cloudera-manager-installer.bin

 

6、在整个安装过程中，要确保你的机器能够联网，会出现让你选择的画面(可能会有乱码，不用管)，一般就enter、next、accpet就行了，然后慢慢等待等到它自行安装束。这里要注意的是如果网速不好的情况下，往往会导致卡死不动，一天也装不完的状况。碰到这种情况可以中断图形化界面，就是直接kill掉，然后使用已经下载的cm4.5的rpm安装包，使用yum本地安装，执行yumlocalinstall --nogpgcheck *.rpm

yum安装完成后,重新运行cloudera-manager-installer.bin完成安装(如果安装失败,提示已安装,则进入/usr/share/cmf目录中,删除掉uninstall-clouderamanager.sh文件即可)

cloudera manager安装完成之后自动启动，可以通过netstat -tnlp发现启动了7182,7180等端口。

如果没有启动成功，可以手动启动：

/sbin/servicecloudera-scm-server-db start

/sbin/servicecloudera-scm-server start

如果两个都提示启动成功，那就OK了。

如果db启动失败，可能是安装服务器的host的127.0.0.1 localhost被注释掉了，拿掉注释重新安装就OK了。

 

7、登陆管理控制台

http://jn-48:7180/

用户名和密码默认是admin/admin

登录进去后会提示是free edition，不用管。

 

8、选定安装的主机

搜索框里面输入:

master-41

slave-[42-45]

点击搜索，就会展示出所有要安装的主机列表了，然后选择下一步。

 

9、选择安装认证方式

由于节点之间root账号已经实现ssh免密码访问，但是各个节点密码不一样，所有使用root，而且所有主机接受相同的私钥方式进行安装。从jn-48节点下载root账号的私钥，然后在选择私钥处选择私钥，密码短语输入admin/admin,点击下一步。

 

10、选择安装的cdh组件及yum源配置

因为前面已经做好了rpm安装包的本地yum源，所以这一步选择rpm的方式安装，同时yum选择自定义，然后分别对应：

http://**/yum/impala0.7/

http://**/yum/cdh4.2/

http://**/yum/cmf4.5/

点击下一步。

 

11、在安装hive的时候元数据存储数据库不要用cm自带的postgreSQL(用这个数据库在进行hive查询的时候一直会报错)，单独安装mysql(安装见后面)，并将hive的元数据存储数据库连接指向mysql，然后就是等待cdh各组件安装了。

 

12、安装完成后，修改配置。

(1)、hive启动之前，首先在hive元数据服务参数配置中选定datanucleus.autoCreateSchema为true

同时配置：

<property>

   <name>hive.support.concurrency</name>

    <value>true</value>

  </property>

<property>

   <name>hive.zookeeper.quorum</name>

   <value>slave-43,slave-45,slave-44</value>

  </property>

(2)、jobhistory server最好不要和其他maste安装在一起，否则容易端口冲突，冲突端口：mapreduce.jobhistory.address=10020，如果要安装在一起，那就修改成10029等其他端口。

(3)、impala的hive-site.xml配置文件生成的时候会和hive有差别，请将hive处的配置全部拷贝过去进行覆盖。

 

13、hive启用YARN

(1)、hive默认使用MR1来跑作业，要启用YARN来跑作业，就得在CMF中修改yarn的优先级大于MR1(优先级默认是91)。

(2)、在所有服务页面点击“操作”按钮，选择“部署客户端配置”，然后hive就能用YARN跑作业了

 

14、根据需要启动各个组件

 

 

 ===============================================================================================

Mysql安装：

在slave-45节点安装：

1、yum方式安装mysql

yum install mysql-server

 

2、启动服务

service mysqld start

 

3、下载mysql-connector-java.jar

yum installmysql-connector-java

然后将mysql-connector-java.jar拷贝到hive的lib目录下面

4、设置root账号密码

/usr/bin/mysql_secure_installation

[...]

Enter current passwordfor root (enter for none):

OK, successfully usedpassword, moving on...

[...]

Set root password? [Y/n]y

New password:

Re-enter new password:

Remove anonymous users?[Y/n] Y

[...]

Disallow root loginremotely? [Y/n] N

[...]

Remove test database andaccess to it [Y/n] Y

[...]

Reload privilege tablesnow? [Y/n] Y

All done!

 

/sbin/chkconfig mysqldon

 

5、创建hive账号 hive/123456

以root用户登录mysql之后执行：

mysql -u root -p

CREATE USERhive@localhost IDENTIFIED BY '123456';

6、刷新权限

flush privileges;

7、创建数据库

create databasehive_impala;

8、给hive账号赋予权限

grant all privileges onhive_impala.* to hive identified by '123456' with grant option;

9、刷新权限

flush privileges;