PowerHA 7.1 .1 新特征

1.前言

   PowerHA7.1.1的诞生，无疑给企业带来了更好、更强健、更灵活的HA解决方案[PowerHA7.1 + PowerVM + GPFS 可以誉为Smart Cloud 三剑客]，PowerHA7.1.1与早期的HACMP|PowerHA相比，有了更多的特征:

①：PowerHA7.1.1的五层视图的RSCT层新增了CAA功能——出现了CAA集群[CAA的深入剖析，请点击此处]

  #lssrc -g caa

Subsystem Group PID Status
clcomd caa 6553806 active
clconfd caa 6619352 active

②：PowerHA7.1新增了CAA、repository disk，其中磁盘心跳完全由repository disk接管，并且在早期的HACMP|powerha环境中，enhanced-concurrent 只能用来做磁盘心跳，而在PowerHA7.1中，enhanced concurrent模式的磁盘可以用来做资源组

③：PowerHA7.1在IP规划方面也有很多的变化，出现了很多的multicast X，譬如multicast heartbeat，multicast traffic等：其具体表现在：

 3.1 首先必须配置base adapter，并且必须在配置完persistent ip后才能配置base adapter 网关

 3.2 配置完base adapter网络后，再配置persistent ip

 3.3 /etc/hosts表下面的IP与对应的IP别名有非常严格的规定，譬如主机名不能够作为别名写到/etc/hosts下；主机名不能作为服务地址别名；主机名，CAA节点名，节点的通讯路径必须一致（默认的）；一旦cluster配置配置好后，主机名不能再更换等等【PS，之所以有这么多严格的规定，是因为有了CAA层】

④：新增clmgr工具（PowerHA7.1.0也有，但是功能不强大），所有的集群管理任务都可以通过clmgr执行，同时clmgr支持所有的C-SPOC功能，更加出乎意料的是，在clmagr命令下，对大小写不再敏感，譬如cluster，CLUSTER,clUSTER得到的结果是一样的

⑤：IPAT for replacement 被弃除，只有IPAT for aliase模式

⑥：PowerHA7.1不再支持串口心跳

2.PowerHA7.1心跳 —— FC 在PowerVM心跳中的实施

FC 心跳的概念

PowerHA7.1 中心跳分为三类：以太网络 Mutil-Cast 心跳、FC 心跳和 Repository disk 心跳。为了使 HA 更加稳定，有效预防脑裂，通常建议客户在实施的时候配置 FC 心跳。当 IP 心跳或者 SAN 心跳正常时，Repository Disk 处于 UP RESTRICTED AIXCONTROLLED 状态，只是作为 Standby，不进行心跳数据的传输。当 IP 心跳或者 SAN 心跳均不可用时，Repository Disk 处于 UP AIX_CONTROLLED 状态，传输心跳消息。

       在 PowerVM 环境下，VIOC 一般使用虚拟 HBA 卡，而不配置物理 HBA 卡。

在这种情况下，FC 心跳如何实施？下面是实施的要点：

1.首先需要将两个 VIOS 上的一个物理光纤卡端口接在一个光纤交换机上，然后配置一个 ZONE，将两个 FC Port 划分在内。需要在 VIOS 和 VIOC 中新建一个虚拟网卡（或者给 VIOS 的 SEA 增加一个 3358 的 VLAN tag 也可以），VLAN ID 设置 3358 即可。不需要物理交换机与 SEA 的接口打 3358 的 VLAN ID，VIOC 和 VIOS 上的 3358 的虚拟网卡上也不能配置 IP 地址。

2.划 ZONE 的时候，只需要对两个/多个 VIOS 上的物理光纤卡划 zone。在 VIOC 上，虚拟光纤卡不是必须的（由于生产环境下多使用 NPIV，所以在 VIOC 下都会有 vfc 设备），在 VIOC 没有 vfc 卡的情况下，vfc 心跳可以通过 vscsi client 实现。

3.虚拟光纤卡心跳的实现，是通过 VIOS 与 VIOC 之间的 sfwcomm 设备实现的，也就是 VLAN 3358 对应的设备名称。

4.如果 VIOS 上有单独可用于 FC 心跳的物理光纤口，那么可以单独给这两个 WWPN 划 zone。如果资源紧张，那么使用存储映射的光纤卡也可以，但是最好将两个 WWPN 单独配置在一个新的 zone 里（由于存储映射已经有了一个 zone 把两个 WWPN 划分在了一起，不增加新的 zone 也能实现功能，但是为了避免存储的干扰，单独增加一个 ZONE 效果会更好。）

3.PowerVM 中 FC 心跳的实施步骤

1.在配置 fc 心跳之前，在 HA 节点（VIOC）进行查看：

# lscluster -i sfwcom

Interface sfwcom not found 提示没有 sfwcom 设备。

图 1.虚拟环境下 FC 心跳的架构图

2.在 VIOS 中调整物理光纤卡的参数：

chdev -P -l fcs0 -a tme=yeschdev -P -l fscsi0 -a dyntrk=yes -a fc_err_recov=fast_fail

需要注意的是，由于 HBA 卡下挂有设备，因此直接修改 HBA 卡的参数是不能成功的，这就需要增加-P 参数，先行修改 ODM 库中的配置信息。配置成功后，重启才能生效。

3.创建 VLAN

在 VIOS 的 SEA 上增加 3358 的 VLAN(或者直接在 VIOS 中 DLPAR 增加一个 PVID 为 3358 的虚拟网卡，然后保存修改到分区 profile 中)：

图 2 VIOS 增加 SEA 的 VLAN tag

如果是在 SEA 上增加 3358 的 VLAN，那么创建完毕以后，需要 de-active 和 re-active VIOS。如果是 DLPAR 一个新的 PVID 为 3358 的虚拟网卡，那么就不需要 de-active 和 re-active VIOS。

在 VIOC 上，用 DLPAR 增加一个新的虚拟网卡（然后在 HMC 上 save configuration），指向 VIOS 上的 3358 VLAN：

图 3 查看虚拟网卡

图 4 查看虚拟网卡

在 VIOC 上 cfgmgr 重新扫描设备信息。

然后在 HA 节点上（vioc）查看， sfwcom 已经可见。

# lscluster -i sfwcomNetwork/Storage Interface QueryCluster Name: wxyclusterCluster UUID: 397cd38e-8bdc-11e2-844a-ce02cc0e300aNumber of nodes reporting = 1Number of nodes stale = 0Number of nodes expected = 1Node node1Node UUID = 398263b2-8bdc-11e2-844a-ce02cc0e300aNumber of interfaces discovered = 1        Interface number 1, sfwcom                IFNET type = 0 (none)                NDD type = 304 (NDD_SANCOMM)                Smoothed RTT across interface = 0                Mean deviation in network RTT across interface = 0                Probe interval for interface = 100 ms                IFNET flags for interface = 0x00000000                NDD flags for interface = 0x00000009                Interface state = UP# lsdev -C|grep sfwsfw0           Available             Storage Framework Modulesfwcomm0       Available 20-T1-01-FF Fibre Channel Storage Framework Commsfwcomm1       Available             vLAN Storage Framework Comm

这样，在虚拟化环境下实现 PowerHA7.1 的 FC heartbeat 就完成了。

测试将 node1 节点 halt -q，然后再 node2 上观察 node1 节点的 sfwcom 接口状态，处于 stale 状态，而 node2 自身的 sfwcom 状态正常，这符合预期：

Node node1Node UUID = 398263b2-8bdc-11e2-844a-ce02cc0e300aNumber of interfaces discovered = 3        Interface number 1, en0                IFNET type = 6 (IFT_ETHER)                NDD type = 7 (NDD_ISO88023)                MAC address length = 6                MAC address = CE:02:CC:0E:30:0A                Smoothed RTT across interface = 7                Mean deviation in network RTT across interface = 3                Probe interval for interface = 100 ms                IFNET flags for interface = 0x1E080863                NDD flags for interface = 0x0021081B                Interface state = STALE                Number of regular addresses configured on interface = 2                IPv4 ADDRESS: 172.16.25.175 broadcast 172.16.25.255 netmask 255.255.255.0                IPv4 ADDRESS: 172.16.25.178 broadcast 172.16.25.255 netmask 255.255.255.0                Number of cluster multicast addresses configured on interface = 1                IPv4 MULTICAST ADDRESS: 228.16.25.175        Interface number 2, sfwcom                IFNET type = 0 (none)                NDD type = 304 (NDD_SANCOMM)                Smoothed RTT across interface = 0                Mean deviation in network RTT across interface = 0                Probe interval for interface = 100 ms                IFNET flags for interface = 0x00000000                NDD flags for interface = 0x00000009                Interface state = STALE        Interface number 3, dpcom                IFNET type = 0 (none)                NDD type = 305 (NDD_PINGCOMM)                Smoothed RTT across interface = 76                Mean deviation in network RTT across interface = 7                Probe interval for interface = 830 ms                IFNET flags for interface = 0x00000000                NDD flags for interface = 0x00000009                Interface state = STALE

4.总结

通过目前的实施案例来看，在 PowerVM 环境下实施 PowerHA7.1 是完全没有问题的，PowerHA 也能实现其在物理分区中相同的功能。关于技术要点，总结如下：

• PowerHA7.1 中允许 1 个 HA 节点只有 1 个网卡、1 个 BootIP 和一个 ServiceIP，并且 ServieIP 可以和 BootIP 在相同网段，这为在 VIOC 中简化网络结构提供了便利（网络的高可用通过 VIOS 上 SEA 的 NIB 或 EtherChannel 来实现） 。
• netmon.cf 的功能的成功实现，解决了 PowerHA 监控虚拟网卡状态的问题
• FC 心跳的虚拟环境下的实施保证了 VIOC 在没有物理 HBA 卡的情况下，通过虚拟 FC 心跳的功能，使 PowerHA 更加稳定，有效地预防脑裂。