在AIX上运行RAC时网络方面的一些最佳经验

在AIX上运行RAC时网络方面的一些最佳经验

By JaneZhang(张建英) on 五月 23, 2013

在AIX上运行RAC时网络方面的一些最佳经验

1. Oracle推荐使用Etherchannel来配置网卡绑定，推荐主/备模式的网卡绑定，主/主(Active/Active)模式不推荐，因为主/备模式更稳定一些。注意：从11.2.0.2开始，Oracle 的集群软件Grid Infrastructure(GI)中新增了Redundant Interconnect with Highly Available IP(HAIP)，以实现集群私网的高可用性和负载均衡。也就是说，有了HAIP之后，无需使用网卡绑定就可以实现私网网卡的冗余( 关于HAIP的更多信息，请参考 Redundant Interconnect with Highly Available IP (HAIP) 简介)。

2. Oracle针对网络的另外一个推荐是使用Jumbo Frames，网卡和交换机支持9000 MTU 大小就可以启用。MTU (Maximum Transmission Unit)是指最大的网络传输单位，默认一般是1500 bytes。由于在RAC实例间传输的数据可能在2K to 64K或者更大，当MTU是1500时，会导致这些数据被分割，对性能产生影响。启动Jumbo Frames后，MTU可以达到9000 bytes，这样可以降低数据被分割的次数。 更多信息，请参考MOS文档：
Recommendation for the Real Application Cluster Interconnect and Jumbo Frames (Note 341788.1)

3. 如果网络的一些参数设置不合理，可能会产生"gc cr multi block request" 这样的等待事件。如果在AWR中发现了这个等待事件很高，需要检查UDP 参数udp_sendspace和udp_recvspace的设置是否满足下面的要求：

针对AIX:
o 设置udp_sendspace >=[(DB_BLOCK_SIZE * DB_FILE_MULTIBLOCK_READ_COUNT) + 4096]，但是不低于 65536.
o 设置udp_recvspace 为 4到10倍的udp_sendpace
o 由于sb_max 必须 >= udp_recvspaceIf ，可能需要增加sb_max的值(默认为1048576)
o 如果udp的参数设置不合理，可能会产生“socket buffer overflows”，如果这个值非0， 需要增加udp_recvspace:
 netstat -s | grep "socket buffer overflows"

4. 针对交换机使用哪种协议，CRS 和 RAC 没有要求，如果使用了Etherchannel，只要这种协议和Etherchannel兼容并且稳定就可以。

下面的文档中有针对网络方面的一些要求：
Minimum Software Versions and Patches Required to Support Oracle Products on IBM Power Systems (Note 282036.1)
10 Gigabit Ethernet
. LACP timeout: Use the “long timeout” switch setting for the amount of time to wait
before sending LACPDUs.
· Flow control: Enable flow control at the switch port and on the server side ports
(using HMC) for the 10GE adapter or 10GE HEA configuration.