网络医院的故事----连载3

故事之十]防火墙设置错误，合法用户进入受限

        [症状]今天的“病人”是某市社会保险局，昨天下午全局工作人员加班，配合网络管理部门于18:30安装好了一套新的防火墙系统，重新启动整个保险网络系统，反应良好，防火墙工作也很正常。但好景不长，今天上班时，许多Intranet内部有权用户就打电话反映在查询和操作保险资料时出现无法进行数据调用和修改的故障现象，此时屏幕提示登录者为“非法用户”；系统管理员同时还发现只有从防火墙处可以访问网络并修改数据。同时，一个有趣的现象却是，Internet外部普通用户在查询各种用户资料时却没有问题，他们无论从何处都可以顺利地访问Web服务器。他们投诉的对象主要是“业务部门”：“为何都一天了，还在借口计算机网络故障不受理业务，到底能不能弄好，什么时候能弄好”。
由于Intranet主要是供内部系统业务机构的各级有权网络用户使用，所以系统的许多正常功能无法正常启用，致使员工和业务对象反响都很强烈。
        该社会保险局的网络结构比较复杂，含业务专用网，OA网，Intranet网和Internet网等。其中，Intranet设计为内部业务网，主要进行业务服务。Internet主要是为电话接入访问的用户提供服务， OA网通过LAN内的以太网交换机同Web服务器实现联结。无论是Intranet用户还是Internet用户
均可以在网上申报和查询资料。业务数据的安全设计为双Web服务器，Internet用户和Intranet用户各用一个。Intranet的Web服务器兼有备份数据的功能，两个Web服务器互联，之间的业务数据同时更新。Internet用户只能浏览、查询数据并可以进行网上申报等各种服务，不能更改数据。对Intranet内部用户实行有权访问和申报、数据修改特权限制等体制。局内的OA网用户可以象Internet用户那样随时访问和查询Internet的Web数据服务器，其中设置了部分有权用户，他们可以访问Intranet业务网的Web服务器。安装的防火墙对IP包进行过滤，只允许合法IP用户进入。从“病人”传真过来的网络结构图看，Intranet的用户用PSTN公用电话系统、DDN数据专线将各地、县、区的业务网络节点联结起来， 使用者都是地点固定的内部用户(员工)。
       
[诊断过程]显然，故障现象与昨天新安装的防火墙系统有很大关系。将网络测试仪F683接入服务器所在网段，启动网段搜索功能，可以发现Internet用户的Web服务器，但不能发现Intranet的Web服务器。去掉防火墙，则可以搜索到该服务器。说明确实是防火墙的问题。但昨天安装防火墙时整个系统是正常的，所以查找故障的焦点要放在安装防火墙以后有无更改过防火墙参数。此即故障排除经验中的所谓“动则有过”故障查找原则。如果能弄清网管人员都动过哪些参数和设置，查找故障的工作会便捷得多。经常让人感到遗憾且奇怪的是，多数维护管理人员都不会承认更动过网络的任何设置，这次也同以往一样。
用网络测试仪连续作ICMP类型PING测试发现，Web服务器是存在的，且反应率为百分之百。说明Web服务器在网络上且可以正常工作。同时用网络一点通One Touch选择Web服务器的IP地址为目标地址发送流量，启动网络测试仪的协议分析功能，发现数据帧指向防火墙以后就没有任何反应了：任何回应数据帧都未出现。将网络助理One Touch的IP地址设置成任何一个已经存在的有权用户的IP地址，然后对Web服务器发送流量，这时网络测试仪可以观察到防火墙有回应数据帧出现。这说明防火墙对合法IP地址的有权用户是有反应的，但一般返回的数据帧是非法用户的提示信息。注意到前述现象中提到过只有防火墙能访问Web服务器，我们就将网络测试仪的MAC地址改为与防火墙相同的MAC地址，用网络测试仪假冒防火墙进入网络，启动网段搜索时则可以看到久别了的Web服务器。
        以上现象说明，该防火墙的功能比较强，除了能过滤IP地址外，还能对各站点的MAC地址进行过滤，以防止“拥有合法IP地址的非法用户”进入系统，是一个比较好的“看门人”。但让人疑惑的是昨天安装防火墙时，网络管理人员只启动了IP包过滤功能，并未启动MAC地址鉴别功能，那么，MAC地址滤波功能是谁启动的呢？答案是：不得而知。查看防火墙帮助文件，按提示揿下Format下拉式中的MAC地址过滤菜单，关闭MAC地址过滤功能，系统随即恢复正常。
       
[诊断评点]不少防火墙是靠对IP地址进行过滤和用户密码识别等方法来鉴别有权用户及其合法性等级的，一般不对网卡的MAC地址进行识别。安全性要求高的用户则需要对用户的MAC地址进行鉴别，以便阻止获悉了密码的非法用户模仿IP地址(用户可以在2分钟内随意更改工作站的IP地址)访问网络，部分防火墙和网管系统具有类似功能。我们知道，一般网卡的MAC地址是按制造商的编码设置的，从原理上讲世界上没有两块具有完全相同MAC地址的网卡，而多数网卡地址在制造时就永久地固定在ROM中，用户是不能更改的。对于具有固定用户的Intranet网络，具有MAC地址过滤功能的防火墙是非常有效的，它可以阻止对网络的各种试探性进攻。对于Internet用户，这一功能不能启用，所以需要采用两台Web服务器，一个用于查询和申报，另一个作备份，并可以按有权体系修改相应数据。可以肯定，系统管理人员昨天在防火墙安装完成以后可能出于好奇或是其它原因擅自将防火墙的MAC识别功能按钮有意无意地按下了，从而启动了MAC识别功能，致使今天整个系统工作不畅。
       
[诊断建议]对Intranet网络固定有权用户和部分OA网络固定有权用户设置MAC地址鉴别功能对于系统安全和阻止非法用户、恶意用户的进攻是有效的。这类用户多数来自于网络内部的成员，对加权识别设置和安全口令有一定了解，容易钻空子。设置MAC识别功能后，除非是在对应的那台唯一的机器上进行操作，否则是无法进入网络的。我们向该社会保险局建议将防火墙安装分两步走：先将系统内的网络成员的所有网卡的MAC地址备份，在备份工作完成以前，暂时不启动MAC地址鉴别功能；第二步，启动MAC地址识别功能，以提高系统的可靠性。稍微麻烦的是，有权用户在更换网卡时必须向防火墙管理员申请重新设置合法的MAC地址档案才能进网工作。这样，网络固定有权用户的任何成员在需要更改机器的IP地址以及更换网卡或新机器时都必须向系统管理原申报备案后才能进行。

[故事之十一]电缆超长，LAN可用，WAN不可用       
[症状]今天的病人是某进出口公司，开通DDN专线后部分用户抱怨数据交换的速度变慢，且经常有联结中断的现象。网络支持人员虽经多方查找仍不得要领，故请求网络医院出诊援救。
该公司的网络结构原先是单纯的局域网，分布在三层楼面中，共有300个站点，每个楼层有100个左右的用户。配线间设在最上面一层的楼层中，用交换机将各楼层共分成三个网段。以前员工均使用拨号上网方式实现与Internet的联结，自我感觉网络速度还比较快，工作一直很正常。新近增加了路由设备，并申请开通了DDN专线。每个楼层用集线器将用户联结起来，结果最低楼层的员工反映有时速度很慢，并常有莫名其妙的中断现象。由于该公司没有配备任何网络监测工具，且在局域网内传输数据不受影响，只在上Internet网时才有麻烦，故直到工程竣工两周后才向网络医院求援。
       
[诊断过程]该公司的网络为10Base-T局域网，此次只增加了DDN设备和路由器，其它配置基本不变。故将网络测试仪F68X从最低楼层的某个用户端接入网络进行观察，平均流量为1.2％，未发现异常。改用流量发送功能作流量逐级递增的体能测试，也未发现任何异常。表面上看，该网段似乎没有什么问题。为快速定位网络故障，将流量发送到其它网段，同时观察网络状况。随着发送流量的增加，1分钟后发现错误帧，帧类型为FCS错误帧，并指示FCS帧来自第二层的某个用户。显然，只据此现象就判断故障原因为该工作站的网卡损坏或网卡驱动程序错误，似乎显得“证据不足”，因为整个楼层的用户反映的故障现象是相同的。继续观察到5分钟，发现FCS错误帧数量增加为10个用户左右，由此可以断定不是某个工作站的问题。为此，令其它楼层多个用户与故障楼层用户交换数据(比如拷贝文件)，结果发现多个FCS帧错误。打开交换机端口工作表观察，本楼层的记录中也显示FCS帧错误，而其它的交换机端口工作表中没有FCS错误记录(交换机为非切发型交换机)，这说明是本网段内存在者线缆超长的链路。再试着向Internet某个已知用户发送流量，并且进行ICMP Ping测试，结果发现损失率为90％左右。由于刚才本网段内的体能测试未发现异常，所以只能是集线器与交换机联结的单条链路有问题。测试该电缆，长度指示为175米！超长。
       
[诊断评点]根据网络规范，以太网为碰撞侦听共享介质方式工作的。每个工作站到集线器的网线长度应不超过100米，方可保障无延迟碰撞(同轴电缆)或FCS帧错误。由于175米超常链路在集线器和交换机之间，所以本网段内的用户在交换数据时可以顺利进行。但与其它网段的用户交换数据时就可能处问题。但由于网络平均流量低，虽然在整个局域网内存在FCS帧错误影响，对低流量局域网内的数据交换而言，其对速度的影响甚微。当同时有多个用户通过DDN进行WAN数据交换时，FCS帧错误将导致64K的出口流量浪费加大。这是因为64K比10Mbps的速度要低得多，流量中错误帧的比例较高，进入WAN链路时可能要经过多次重发才能实现远程数据交换，感觉网络速度明显变慢。且由于经常有FCS错误帧，较容易引起WAN链路联结时因错误而中断，综合表现为故障楼层的所有用户都抱怨速度变慢且常中断。
       
[诊断建议]网络速度低时很多故障现象都将被掩盖起来。建议网络拥有者在新的网络工程结束时应该进行两项验收：网络布线系统现场认证测试和网络验收测试(最起码要作体能测试和加载条件下的逐个工作站的模拟上网测试)。

[故事之十二]路由器工作不稳定，自生垃圾太多，通道受阻

        [症状]今天的“病人”很特殊，是某电力信息部门的主管。称其特殊是是因为该部门主管曾多次打电话要求网络医院为期诊断广域连接的问题，但每次都会在15分钟内来电通知“故障已排除”。询问其排除方法，回答基本上都是“Reset”整个系统。由于该用户只安装了一套价格不菲的“网管系统”来管理整个网络，没有配备其它用于网络维护的工具，网络医院为此曾建议专门为其做一次全面的体检，对该信息网络的各个布线系统、网络设备、工作协议、负荷均衡性、负荷能力、错误帧耐受能力等做详细检测，但一直因各种原因未实施。今天的症状还是老毛病：某电厂的信息网络与电力信息中心的网络联系不畅，数据传输速度不稳定，连接时断时续，有所不同的是系统Reset后仍然不起作用。
       
[诊断过程]该网络下辖9个电厂子网络，一个子网络用X.25连接，8子网络个从去年起陆续更换为DDN链路。其中一条专线DDN线路(7#线路)偶尔会出现连接中断的现象，恢复系统时必须将路由器Reset才能重新连接。今天按老经验，故障现象出现时重复以往的操作程序却发现此办法不管用了，系统仍然不能连接。直到我们赶到现场时系统还未能恢复正常。将网络测试仪接入信息中心网络，可以看到与各电厂子网连接的路由器，查看7#路由器工作表，有少许传输延迟错误记录，通道流量30秒记录为7帧，其它线路的30秒记录则从170帧～2700帧不等，明显高于7#线路；对7#子网络做通道测试，最高为2kbps，远低于64kbps的线路最高速率，说明DDN链路传输正常数据的能力很弱。由于该路由器支持的错误识别和统计功能有限，用网管系统不能查看更详细的统计信息，故改用F69x流量分析仪串入WAN通道进行测试，发现少量未定义帧类型，其记录标识不稳定。也就是说，通道上有一些是网络不需要的且不稳定的比特流。这些比特流不便于分类，流量不稳定，时高时低，表明网络可能存在“垃圾”，且比较象窜入系统的干扰信号。这些垃圾严重影响正常数据的交换和传输。
为了验证其影响程度，我们用F683网络测试仪向远端子网络作ICMP Ping测试，损失率为10％，不算高，作ICMP Monitor测试，目标不可达50％，重定向20％，拥塞85％，这说明路由通道存在很严重的问题。从中心网络的主网段检测没有发现网络上有干扰比特流，测试为7#路由器供电的UPS输入输出电源谐波含量，显示正常，由此基本上可以排除垃圾比特来自于网外窜入干扰比特的可能性。将其它路由器与7#路由器掉换，重新设置后启动系统，故障依旧。由于垃圾比特数量少，不可能引发网络通道传输速率性能大幅度降低，因此推断“垃圾比特”极有可能是来自于专线DDN链路或远端子网络的路由器。本地信息中心没有配备测试DDN链路的工具，在没有足够证据怀疑就是DDN链路的问题(DDN链路系租用的电信线路)的时候，我们只能先从远端子网络查起。远端子网络没有任何网络维护工具，从中心网络的网管系统又看不到远端路由器存在异常数据，我们只能立即启程赶往7#电厂所在地。4小时后，我们抵达目的地并开始测试。先检测7#子网的工作状态，LAN内部数据交换正常，没有垃圾比特流存在。打开路由器工作表，其中的错误数据记录有少量帧延迟数据包，WAN连接数据交换故障现象依旧，网络测试仪测试的通道测试数据基本与中心网络相同。用F69x流量测试仪测试通道流量，发现大量“垃圾比特”，数量为55kbps，其中35％指示数据来自远端路由器。由此可以断定故障是由远端路由器或靠近路由器一段的DDN链路(可能性很小)造成。更换从信息中心带来的备用路由器后，故障消失。
       
[诊断评点]WAN通道故障可由多种原因造成。一般来讲，通道测试不合格就表明含路由器在内的WAN链路有问题。由于WAN链路可以由多种传输介质及传输协议组成，比如ATM、DDN、ISDN、Frame Relay、SDH等等，所以针对不同链路类型严格地讲要用专门的测试工具进行测试。
但因为一般用户都不配备WAN测试工具(部分集成商有相应配置)，所以用户或系统集成商只能先用排除法首先确定是否是路由器(含路由器)以内的网络问题，然后，才能向WAN链路运营商提出检查服务通道的要求。本故障是由远端路由器故障造成，路由器除了传送正常数据外还向WAN链路方向发送大量垃圾比特，从而占用通道流量，严重影响正常数据传输。早期路由器工作虽然不稳定，但每次故障时间不长，所以在“15分钟”内故障能自愈(此类故障我们称其为软故障)。本次故障由软故障转变为不能自愈的“硬故障”，反而为排除故障提供了有利条件。由于多数数据被DDN专线链路给“过滤”掉了，且远端路由器对错误数据的统计识别功能有限，所以从信息中心观测到的垃圾比特比较少，观察远端路由器也不能发现详细的错误统计。但ICMP Ping测试、ICMP Monitor等测试错误数据较大，与远端测试数据基本相等，同时从远端测试到的垃圾比特流很大(“F69x流量分析仪＋F68x网络测试仪组合”具有极强的检测功能，支持完整的错误识别和统计功能，这也是为什么我们认为DDN链路出故障的可能性小的原因)，所以断定故障出在远端路由器。其实，如果远端子网络配备有合适的测试工具的话，本故障在很短的时间内就可以排除。
       
[诊断建议]工欲善其事，必先利其器。大型网络配置一些备用网络设备是必要的，还需要按网络规模和使用级别、维护人员的技术等级配备相应的维护工具，并建立一整套测试维护的方案和规定，这样才能保证网络的可靠性，并保证能及时处理各种网络故障。
因为一般的网络设备都具备部分网管功能，能统计并识别30％～40％左右的网络错误和故障信息，所以，有时这给人一种错觉：认为只要具备网管功能，就能发现网络的一切故障。其实，进一步的性能测试需要专用工具，要求这类工具不光能能识别各种正常的工作协议，还要能识别形形色色的“网上垃圾”。一般来讲，除了配备相应的LAN测试工具外，由于WAN链路的测试维护由WAN链路运营商(比如电信公司)负责，但网络用户和系统集成商也需要配备一定数量的WAN测试工具以备性能评测、故障救急以及定期测试的需要。