[centos] 使用package升级cloudera manager 5.13

Step1：收集升级信息

1. 主机的账户信息，root权限的用户名密码。root/servyou

2. 集群CM的版本，Support > About.

3. 集群中jdk的版本。

4. CDH版本。CDH版本号显示在主页上的群集名称旁边

5. cluster用parcels还是packages安装的，见上图是parcel

6. 在群集中启用的服务 Clusters > Cluster name.

7. 操作系统类型和版本。

Step2：完成安装前步骤

开始Cloudera Manager升级之前，请执行以下操作：
1. 阅读 要升级版本的要求和系统需求：CDH 5 and Cloudera Manager 5 Requirements and Supported Versions .

1. 阅读Cloudera Manager 5发行说明： Cloudera Manager 5 Release Notes.

2. 阅读Cloudera安全公告： Cloudera Security Bulletins.

3. 注意以下两点:

   • Cloudera Management Service TLS/SSL configuration

If you have enabled TLS security for the Cloudera Manager Admin Console, as of Cloudera Manager 5.1, Cloudera Management Service roles communicate with Cloudera Manager using TLS, and fail to start until TLS/SSL properties have been configured.
- Navigator

If you have enabled auditing with Cloudera Navigator, during the upgrade to Cloudera Manager 5, auditing is suspended and is only restarted when you restart the roles of audited services. You will be instructed to stop some services in a later step.

1. 如果你之前安装过Kafka 1.2，并且从Cloudera Manager 5.4或更低版本升级，请remove掉Kafka CSD：

   a.决定CSD目录的位置

   1. 选择Administration > Settings
   2. 点击Custom Service Descriptors目录
   3. 重新从Local Descriptor Repository Path 属性中获取目录

   b.从目录中删除Kafka CSD

2. 查看包（RPM）依赖关系。 Cloudera Manager升级可能会引入新的程序包依赖关系。
   see the list of Package Dependencies before upgrading Cloudera Manager.

Step3：备份Cloudera Manager数据库

1. 停止Cloudera Management服务

   a. Select Clusters > Cloudera Management Service.

   b. Select Actions > Stop.

2. 备份下面的Cloudera Manager数据库:

   • Cloudera Manager Server
   • Cloudera Navigator Audit Server
   • Cloudera Navigator Metadata Server
   • Activity Monitor
   • Reports Manager

查找有关这些数据库（数据库类型，主机名和凭据）的信息：
- Cloudera Manager Server - 登录到Cloudera Manager主机并查看 /etc/cloudera-scm-server/db.properties。 例如：

more /etc/cloudera-scm-server/db.properties# Auto-generated by scm_prepare_database.sh on Fri Dec  9 08:51:29 PST 2016## For information describing how to configure the Cloudera Manager Server# to connect to databases, see the "Cloudera Manager Installation Guide."#com.cloudera.cmf.db.type=mysqlcom.cloudera.cmf.db.host=localhostcom.cloudera.cmf.db.name=cmcom.cloudera.cmf.db.user=cmcom.cloudera.cmf.db.password=cm

• 对于其他数据库，请到集群>Cloudera Management Service>配置，然后选择数据库。

  1. 启动Cloudera Management Service

     如果要升级JDK就不用启动了

     a. Select Clusters > Cloudera Management Service.

     b. Select Actions > Start.

Step 4:升级JDK

如果主机的jdk不是Cloudera Manager支持的jdk版本，则必须在升级Cloudera Manager之前将主机升级到支持的jdk版本。如果你有计划升级CDH，还需要升级所有集群上的jdk。
See:
- Java Development Kit Installation
- Upgrading to Oracle JDK 1.8

如果您启用了TLS / SSL，则在升级JDK后，必须将CA证书重新安装到您的信任库。
See Recommended Keystore and Truststore Configuration.

升级JDK步骤：
停止集群所有服务
1. Stop the Cloudera Management Service.
2. Stop all clusters.
3. Stop all Cloudera Manager Agents

在每一个服务器上执行：

service cloudera-scm-agent stop

1. Stop the Cloudera Manager Server.

   在server服务器上执行：

   service cloudera-scm-server stop

   1. 在集群中的每台服务器上安装JDK1.8
   2. 在 Cloudera Manager Server服务器，在文件 /etc/default/cloudera-scm-server中配置export JAVA_HOME = XXX
   3. Start the Cloudera Manager Server.
      

   service cloudera-scm-server start

2. 启动所有的 Cloudera Manager Agents.
   service cloudera-scm-agent start
3. 在页面配置JDK
   
   • 打开Cloudera Manager页面
   • 在导航栏中，单击“主机”选项卡，然后单击某个特定的主机链接。
     -单击配置选项卡。
     -选择类别>高级。
   • 将Java主目录属性设置为自定义位置。
   • 点击保存更改。
4. Start all clusters.
5. Start the Cloudera Management Service.
6. 删除上一个版本的JDK文件

Step 5: 建立对软件的访问

如果Cloudera Manager主机无法访问Internet，或者安装的版本低于最新版本的Cloudera Manager，请从Cloudera公共存储库或您创建的本地包存储库中配置对Cloudera Manager软件的访问权限。

See Creating and Using a Package Repository for Cloudera Manager.

创建一个临时远程仓库

1.从repo下载tar包

下载地址：http://archive.cloudera.com/cm5/repo-as-tarball/

对于Cloudera Navigator数据加密组件，请转到每个组件的下载页面，选择您的操作系统版本，然后单击下载：
- Cloudera Navigator Key Trustee Server
- Cloudera Navigator Key HSM
- Cloudera Navigator Key Trustee KMS
- Cloudera Navigator Encrypt

1. 解压tar包并修改文件权限。 例如，您可以使用以下命令：

[root@localhost tmp]$ tar xvfz cm5.0.0-centos6.tar.gz[root@localhost tmp]$ chmod -R ugo+rX /tmp/cm

1. 确定您的系统未使用的端口（例如，端口8900）。
2. 切换到包含升级文件的目录。

$ cd /tmp/cm

启动一个python的SimpleHTTPServer来托管这些文件：

[root@localhost cm] python -m SimpleHTTPServer 8900Serving HTTP on 0.0.0.0 port 8900 ...

1. 确认您可以通过浏览器中的http//server8900/cm来访问此托管软件包目录。 您应该看到托管文件的链接。

Step 6:准备对Cloudera Navigator Data Management Component进行升级

Cloudera Manager将Cloudera Navigator的升级作为Cloudera Manager升级的一部分。如果要从Cloudera Navigator 2.6或更低版本升级，请按照本节中的步骤准备Cloudera Navigator数据管理组件以进行升级，然后继续step 7：升级Cloudera Manager Server。 如果要从Cloudera Navigator 2.7或更高版本进行升级，请跳过此部分并继续执行step 7：升级Cloudera Manager Server。

Step 7：升级Cloudera Manager Server

7.1. 停止内置数据库

如果您的群集正在运行嵌入式PostgreSQL数据库，请停止正在使用嵌入式数据库的所有服务。 这些可以包括：
- Hive服务以及使用Hive Metastore的所有服务（如Impala和Hue）
- Oozie
- Sentry

7.2. 停止Cloudera Navigator审计角色

如果群集正在运行Cloudera Navigator数据管理组件，并且启用了以下服务以进行审计，请停止以下角色。 （您也可以选择跳过此步骤并使这些服务保持运行，但在Cloudera Manager升级过程中，可能不会发生Cloudera Navigator的一些审核。）
- HDFS - NameNode
- HBase - Master and RegionServers
- Hive - HiveServer2
- Hue - Beeswax Server

要确定哪些服务启用了审核：转到Cloudera Manager的主页。

- 点击 配置 > Navigator Settings.
- 在搜索框中输入 “Enable Audit” 。Enable Audit Collection属性显示启用了Cloudera Navigator审核的服务。

7.3. 停止Cloudera管理服务：

• 选择“集群”>“Cloudera Management Service”。
• 选择操作>停止。

7.4. 停止Cloudera Manage Server，数据库和Agent：

1. 使用Cloudera Manager管理控制台停止任何正在运行的命令。 这些包括用户命令和命令，Cloudera Manager自动触发以响应状态更改或计划。 您可以等待命令完成，或停止任何正在运行的命令。see Viewing Running and Recent Commands.

   点击页面右上角搜索框左边的图标查看。

   如果不停止所有命令，则升级后Cloudera Manager Server无法启动。

2. 在运行Cloudera Manager Server的主机上，停止Cloudera Manager Server：

   sudo service cloudera-scm-server stop

3. 如果在Cloudera Manager中使用嵌入式PostgreSQL数据库，请停止数据库运行的主机（通常是Cloudera Manager Server主机）上的数据库：

   sudo service cloudera-scm-server-db stop

4. 如果Cloudera Manager主机也在运行Cloudera Manager Agent，请停止Cloudera Manager Agent：

   sudo service cloudera-scm-agent stop

7.5. 备份Cloudera Manager服务器主机上的以下目录：

- /etc/cloudera-scm-server- /etc/cloudera-scm-agent

7.6. 建立对Cloudera Manager Server软件包的访问权限

见step5

1. 备份当前Cloudera Manager repo 文件：

   /etc/yum.repos.d/

   2 从https://archive.cloudera.com/cm5/进入到与您的操作系统相匹配的目录，然 后开始下载适用于您的发行版的Cloudera.repo文件。

   对于Red Hat或CentOS 6，请转到相应的版本目录，例如https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/。 在该目录中，找到包含存储库基本URL和GPG密钥的信息的repo文件。 cloudera-manager.repo类似于以下内容：

   [cloudera-manager]\# Packages for Cloudera Manager, Version 5, on RHEL or CentOS 6 x86_64name=Cloudera Managerbaseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/gpgkey = https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-clouderagpgcheck = 1

   1. 在Cloudera Manager Server主机上执行以下操作之一：

      • 升级到最新版本的Cloudera Manager：

      将cloudera-manager.repo文件复制到系统的软件包管理软件的配置位置：

      Copy cloudera-manager.repo to /etc/yum.repos.d/

      • 升级到特定版本的Cloudera Manager：

      将cloudera-manager.repo文件复制到系统的软件包管理软件的配置位置：

      Copy cloudera-manager.repo to /etc/yum.repos.d/

      升级到指定版本

      修改baseurl：

      baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/

      to:

      baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.0.1/.

   2. 运行以下命令清除缓存目录并升级软件：

      sudo yum clean allsudo yum upgrade cloudera-manager-server cloudera-manager-daemons cloudera-manager-agent

   yum clean all清理yum缓存目录，确保您下载并安装最新版本的软件包。
   如果您的系统不是最新的，则在之前运行yum update，必须先升级任何基础系统组件。 yum表示哪些组件必须升级。

7.7. 配置/etc/cloudera-scm-agent/config.ini

如果您自定义了/etc/cloudera-scm-agent/config.ini文件，则您的定制文件将以扩展名.rpmsave或.dpkg-old重命名。 将个性化配置合并到到新安装的/etc/cloudera-scm-agent/config.ini文件中。
PS:安装过程中发现，老的配置文件保存，新的配置文件被复制成.rpmnew。

7.8. 检查是否已经安装包

在Cloudera Manager Server主机上，通过运行以下命令，确认您现在已经安装了与要安装的Cloudera Manager版本相对应的以下软件包：

```$ rpm -qa 'cloudera-manager-*'cloudera-manager-server-5.13.0-0.cm5130.p0.38.el6.x86_64cloudera-manager-agent-5.13.0-0.cm5130.p0.38.el6.x86_64cloudera-manager-daemons-5.13.0-0.cm5130.p0.38.el6.x86_64 ```

7.9. 启动Cloudera Manager Server。

在Cloudera Manager Server主机（安装了cloudera-manager-server软件包的主机）上执行以下操作：
- 如果您使用Cloudera Manager的嵌入式PostgreSQL数据库，请启动数据库。 如果您的安装使用其他数据库，Cloudera Manager将在启动后与它们重新连接。

> sudo service cloudera-scm-server-db start

• 启动Cloudera Manager Server:
  

  sudo service cloudera-scm-server start

7.10. 登录到Cloudera Manager管理控制台。

启动Cloudera Manager Server可能需要几分钟的时间，并且控制台在服务器启动完成之前不可用。 显示升级向导。

7.11. 升级Cloudera Manager Agent

两种升级方式:- 使用Cloudera Manager升级Agent - 手动升级Agent

使用Cloudera Manager升级Agent

当Cloudera Manager升级Cloudera ManagerAgent时，Cloudera Manager将处理升级和清理，*并可选择升级JDK*。

1. 选择是，我想立即升级Cloudera Manager Agent软件包，然后单击继续。

2. 选择要安装的Cloudera Manager Agent的版本。 通常情况下，这是Cloudera Manager Server的匹配版本。 但是，如果您使用Cloudera Manager server的自定义repository( 而不是 archive.cloudera.com)，请选择Custom Repository并提供所需的信息。 自定义repository 位置必须包含匹配的Agent 版本。

3. 点击继续。 显示“JDK安装选项”

   如果前面已经安装这里跳过

4. 点击继续

5. 指定证书并启动代理程序安装

   选择root或输入具有无密码sudo权限的帐户的用户名。
   选择一种认证方法：

   1. 如果您选择密码认证，请输入并确认密码。
   2. 如果您选择公钥认证，请提供所需密钥文件的密码和路径。

   您可以指定一个备用的SSH端口。 默认值是22。

   您可以指定一次运行的主机安装的最大数量。 默认值是10。

6. 点击继续。

   Cloudera Manager Agent软件包和JDK（如果选择是）将被安装

7. 点击继续。

   主机检查器运行检查您的托管主机是否有正确的版本和配置。 如果发生问题，您可以进行更改，然后重新运行检查。

   如果您对检查结果满意，请点击继续。

手动Manually upgrade Agent software

要手动升级Cloudera Manager Agent软件，请使用软件包命令清理旧版本，下载新版本并升级软件。要手动升级Cloudera Manager代理，请执行以下操作：

1. 在除Cloudera Manager Server主机之外的所有群集主机上，停止代理：
   sudo service cloudera-scm-agent stop

2. 选择否，我想跳过代理升级，然后点击继续。

3. 按照步骤6中所述复制repo 文件。

4. 在除Cloudera Manager Server主机之外的所有主机上运行以下命令：

sudo yum clean allsudo yum upgrade cloudera-manager-daemons cloudera-manager-agent

1. 如果您定制了/etc/cloudera-scm-agent/config.ini文件，则您的定制文件将以扩展名.rpmsave或.dpkg-old重命名。 将任何定制合并到由 package manage安装的/etc/cloudera-scm-agent/config.ini文件中。

2. 在所有群集主机上，启动代理：

sudo service cloudera-scm-agent start

1. 点击继续。

   主机检查器运行检查您的托管主机是否有正确的版本和配置。 如果发生问题，您可以进行更改，然后重新运行检查。

   如果您对检查结果满意，请点击继续。

7.12. Click Finish.

7.13. 配置数据库

如果是从Cloudera Manager 5.0进行升级，并且正在使用Cloudera Navigator的外部数据库，则会显示**数据库设置**页面。 配置这些数据库设置： 1. 输入数据库的数据库主机，数据库类型，数据库名称，用户名和密码。

1. 单击测试连接以确认Cloudera Manager可以使用您提供的信息与Cloudera Navigator数据库进行通信。 如果测试成功，请单击继续;

   否则，请检查并更正为数据库提供的信息，然后再次尝试测试。 （对于某些服务器，如果您正在使用嵌入式数据库，则会看到一条消息，指出将在稍后的步骤中创建数据库。）

7.14、进入“Review Changes”页面。

查看要应用的配置更改，然后单击继续。 升级向导将显示一个对话框，允许您选择是否重新启动Cloudera管理服务。

7.15. 点击继续。

如果保留默认选择，升级向导将重新启动Cloudera管理服务。

7.16. 点击完成。

将会显示主页。现在所有的服务（除了你停止的服务之外）都应该运行。

7.17.启动之前停止的服务

如果作为此升级的一部分，您停止了一些选定的服务和角色，请重新启动以下角色：

• HDFS - NameNode
• HBase - Master和RegionServers
• Hive - HiveServer2
• Hue - Beeswax Server

7.18. 如果您升级了JDK，请执行以下操作：

1. 如果Cloudera Manager Server主机也在运行Cloudera Manager Agent，请重新启动Cloudera Manager Server：

sudo service cloudera-scm-server restart

如果Cloudera Manager Server 没有启动, see Troubleshooting Installation and Upgrade Problems.

1. 重新启动所有服务：
   在主页>状态选项卡上，单击群集名称旁边的click ，然后选择重新启动。

   在显示的确认对话框中，单击重新启动。

7.20. 如果从Navigator 2.6或更低版本升级：

启动并登录到Cloudera Navigator数据管理组件UI。 显示升级导航页面。 根据导航器元数据服务器存储目录中的数据量，升级过程可能需要三到四个小时或更长时间。

7.21. 升级完成后，单击继续。 显示Cloudera Navigator 登录页面。

7.22.如果从CDH 5.5.0或更低版本升级到CDH 5.5.0或更高版本，则在所有主机上重新启动agent 以更新并重新启动supervisord进程：

RHEL 7 and higher:

sudo service cloudera-scm-agent next_stop_hardsudo service cloudera-scm-agent restart

Other Linux Distributions:

sudo service cloudera-scm-agent hard_restart

Step 8：验证并测试升级

如果用于更新和启动Cloudera Manager Server的命令无错地完成，则升级已成功完成。 要验证，请检查服务器版本是否已更新。

1. 验证代理是否正在向Cloudera Manager发送检测信号：

   a. 点击主机>所有主机。

   b. 点击标题为Last Heartbeat的列标题对其进行排序。

   c. 验证每个主机的最后一次检测信号是否在一分钟内发生。

2. 在Cloudera Manager管理控制台中，单击主机选项卡。

3. 点击检查所有主机。 在大型集群上，主机检查员可能需要一些时间才能完成运行。在继续下一步之前，您必须等待过程完成。
4. 点击 显示检查结果。 显示主机检查器进程的所有结果，包括当前安装的版本。如果这包括当前组件版本的列表，则安装按预期完成。
5. 验证监视功能是否按预期工作; 请按照测试安装中的说明进行操作。

Step 9: 升级任何必需的Navigator 组件

升级集群中部署的所有Cloudera Navigator组件：

• Cloudera Manager Key Trustee Server
• Cloudera Navigator Key HSM
• Cloudera Navigator Key Trustee KMS
• Cloudera Navigator Encrypt.

您可以随时升级其他Cloudera Navigator组件。 在升级Cloudera Manager或CDH时，可以不必执行这些升级。

Step 10: (可选）升级CDH

见使用Cloudera Manager升级CDH 和Managed Services