24小时值守F&Q

---

zabbix告警

• 告警中，当提示机房间链路丢包，延迟增大、down机等问题登陆相应设备进行双向MTR。
• 把得到的双向MTR截图直接发给涉及的机房故障群（组），@相关技术可以提高回应速度。
• MTR上会显示丢包、延迟增大、不通的节点ip，查询该ip的归属，如果双向MTR内事故ip都属于同一地市，那么要着重跟进该机房。
• 当查询出故障归属地市后，群内无反应，及时拨打该机房24小时值班人员电话。并告知其情况，表明在该ip节点有故障。

---

故障点不在骨干链路上

• 当服务器mtr对端时从第一跳开始就丢包(第一跳为交换机)，那么服务器ping交换机ip查看是否确实丢包。服务器默认网关的ip为交换机ip地址。
• 如果ping交换机都丢包，要及时打电话给网络组成员，可能是光纤模块引起的故障。
• 如果MTR第二条丢包严重，初步判断为机房设备问题（包括代理商），可直接向机房人员说明。

---

保证业务不受影响

• 当联系机房后，被告知故障无法及时恢复，应及时切走业务流量。
• 遇到无法及时处理的情况，联系网络组。
• 当故障较多时无法一人处理，联系网络组处理网络故障。

---

故障恢复

• 如果故障具有持续性、间接性、物理因素引发的故障，不要恢复使用。
• 如果故障已经确保恢复，MTR、ping、wget均为正常数值可切回流量恢复使用。必要时可通过调整轮询比例方式调整切量大小。

---

日志故障记录

• 根据zabbix告警记录故障发生时间，根据测试故障结果的时间为故障恢复时间。
• 如果多机房到同一个机房产生故障，大多数为后者故障引起的，所以只记录该机房故障即可。
• 记录时写明值班人员名字，发送邮箱。