安装方式B--使用ClouderaManager的Parcels包进行安装

来源:互联网 发布:ecshop php 5.5 编辑:程序博客网 时间:2024/06/16 17:45

安装方式B–使用ClouderaManager的Parcels包进行安装

安装方式B使用从ClouderaManager依赖库下载的包进行安装。安装JDK、Agents、CDH、Managed Service有多种方式可供选择:

  • 使用这些包手工进行安装。你可以使用像Puppet或者Chef等工具帮助你向集群中所有的主机安装这些软件。
  • Cloudera Manager可以为你向集群中所有的主机安装这些软件。如果你选择了Cloudera Manager安装方式,你可以选择使用包进行安装或者使用parcels进行安装。为了可以使用Cloudera Manager自动安装Cloudera Manager Agent包或者CDH和受管理的服务,集群中的所有主机应该满足以下条件:
    • 允许Cloudera Manager Server主机可以使用一致的SSH 账号密码进行登录。
    • 所有的主机必须可以访问到标准包依赖的路径(archive.cloudera.com),或者本地依赖库的路径(必须包含需要的安装文件)

在开始安装之前,需要先安装好Cloudera Manager
注:CDH集群部署不支持在docker容器中进行

1.安装之前的准备

a.使用单用户模式进行配置(单用户模式:在单用户模式下,Cloudera Manager Agent和所有的流程由服务由Cloudera Manager 开始作为一个单独的配置管理用户和组。)
b.在RHEL 5和CentOS 5 系统中确认已经安装Python 2.6(CDH5需要Python支撑)
c.安装并配置外部数据库(Oracle、MySQl或者PostgreSQL)
http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_installing_configuring_dbs.html#concept_i2r_m3m_hn

建立你的Cloudera Manager 库依赖策略

Cloudera建议安装产品使用包管理工具,如RHEL系统兼容的yum
SLES使用zypper, Debian/Ubuntu 使用apt-get. 这些工具依赖于repositories 文件指定的路径来安装软件。比如说,Cloudera维护着网络可以访问的repositories 软件库,用来供CDH和Cloudera Manager安装。有以下两种安装策略可供选择:

  • 标准的Cloudera 依赖库安装。这种方式需要你首先确认已经向你的系统添加了需要的repository库依赖信息。
  • 系统内部管理的依赖库。当主机无法访问Internet的时候,你可能使用内部依赖库进行安装。可以参考如何准备无网络下的安装环境要求:http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_custom_installation.html#cmig_topic_21(主要讲的是可以使用自建依赖库进行离线安装)

当使用一个内部存储库时,必须将repo或list文件复制到Cloudera Manager服务器主机上,并更新存储库属性指向内部存储库url(指的是安装界面上需要输入的repo库地址)。

RHEL系统兼容的构建内部存储库方式:

1.下载对应的Cloudera Manager repo文件(cloudera-manager.repo)

RHEL/CentOS 6: https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

2.拷贝这个文件到 /etc/yum.repos.d/ 路径下

安装Cloudera Manager Server 软件

这一步在Cloudera Manager 的主机上安装 JDK 和Cloudera Manager Server 包

在Cloudera Manager 主机上安装JDK

可以使用repository依赖库进行在线安装,也可以在Oracle官网自己下载JDK安装包进行安装

  • 通过repository 安装JDK
    JDK在CM5 的repository库中已经包含。下载并修改repo文件之后,按照如下命令进行安装:
$ sudo yum install oracle-j2sdk1.7
  • 手动安装JDK
    查看:
    http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_jdk_installation.html#topic_29

安装Cloudera Manager Server 包

1.安装Cloudera Manager Server 包,需要提前在本地host主机上安装好数据库,或者可以通过网络访问一个数据库。这个host主机不需要是集群中的一个成员,在Cloudera Manager Server主机上,输入如下的命令对Cloudera Manager 包进行安装:

$ sudo yum install cloudera-manager-daemons clodera-manager-server

2.如果你选择了Oracle 数据库用于Cloudera Manager,在CM server的host主机上编辑 /etc/default/cloudera-scm-server 文件。定位以export CM_JAVA_OPTS开头的那一行,将-Xmx2G改为-Xmx4G

(可选项)手动安装Oracle JDK,Cloudera Manager Agent,CDH 和一些管理服务安装包

你可以使用Cloudera Manger 安装Oracle JDK,Cloudera Manager Agent,CDH 和一些管理服务安装包,当然也可以手动进行安装。

启动Cloudera Manager Server

注意:如果你想启动Cloudera Manager Server 和 Agent,不能在这之前启动HDFS、MapReduce。

1.在Cloudera Manager Server主机上运行如下的命令:

sudo service cloudera-scm-server start

如果没有正常启动,查看链接定位问题:
http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_troubleshooting.html#cmig_topic_19

启动并登陆Cloudera Manager Admin界面

1.等待几分钟让Cloudera Manager Server完全启动,输入tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log可以观察启动过程。
如果Cloudera Manager Server没有启动,点击 http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_troubleshooting.html#cmig_topic_19 查看安装和升级问题定位

2.在浏览器中输入http://Server host:7180,Server host是运行CM的主机的限定域名或者ip地址。

3.使用username:admin psw:admin登陆
4.出现用户条款页面, 接受,下一步

选择CM的版本

出现3个版本
基本版   Flex版   企业数据中心版
选择基本版就好了

下一步

选择Cloudera Manager 的hosts主机

选择哪些主机将CDH和管理服务

1.搜索并选择要安装服务的主机
举例:

范围定义 匹配的主机 10.1.1.[1-4] 10.1.1.1, 10.1.1.2, 10.1.1.3, 10.1.1.4 host[1-3].company.com host1.company.com, host2.company.com, host3.company.com host[07-10].company.com host07.company.com, host08.company.com, host09.company.com, host10.company.com

点击搜索,勾选需要安装服务的主机

2.点击继续 出现集群安装选择依赖库的界面

选择软件安装方式并安装软件

注意: 你不能使用Parcels包和tar包在同一集群安装软件。如果你已经安装了CDH和服务安装包,将不能继续使用parcels安装方式进行

1.选择软件安装方式(Parcles)和对应的版本号

  • a.选择要安装的Parcel包
    你可以指定要安装的Parcel包的路径,点击“More options”按钮进行如下操作
    • Parcel包路径指定和本地 Parcel 依赖库的指定 -
      如果你改变了默认的 Parcel路径,并且已经安装并启动了Cloudera Manager Agents,需要重新启动Agentssudo service cloudera-scm-agent restart
    • Parcel 依赖 – 在 Remote Parcel Repository URLs 区域,点击“+”按钮输入依赖库的URL。
    • 代理服务器的指定
  • b. 如果你是使用CM安装软件,你可以选择指定一个自定义存储库中的版本,并且提供一个GPG 秘钥的URL路径

2.如果你已经在集群上所有的主机上手动安装了Agent和JDK

  • 点击 Continue
  • 跳过剩余步骤,直接“添加服务”

3.选择安装Oracle Java SE开发工具包(JDK)
如果您已经安装了JDK,不选择这个选项

4.选择单用户模式(可选),点击“Continue”继续
5.指定主机的一下安装参数

  • 选择root用户或者输入用户名称(该用户名拥有执行sudo命令的权限)
  • 选择授权方式
    • 如果选择了使用password进行授权,输入密码2次
    • 如果选择了公钥授权,向指定的key文件输入口令和路径
  • 指定SSH端口,这个默认22,不需要动
  • 选择默认的最大同时安装软件的主机个数,默认是10

root用户的密码在本步中不会被保存,所以你安装完之后,可以修改用户密码,不会对这些软件的使用造成任何影响

6.点击“Continue”
parcel安装过程中会进行相应的提示
7.如果安装完成,点击“Finish”

添加服务

后期更新

0 0
原创粉丝点击