ATCA标准与测试

ATCA旨在为运营商级解决方案提供一种优化的新型板卡(刀片式)和机箱(机架)外形规格，支持多种标准交换互连(包括以太网和PCI Express架构)技术。目前已经有大概超过100家厂商在设计和生产ATCA各个环节里的产品及相关软件。

1. ATCA介绍

ATCA（Advanced Telecom Computing Architecture）标准即先进的电信计算平台，它脱胎于在电信、航天、工业控制、医疗器械、智能交通、军事装备等领域应用广泛的新一代主流工业计算技术——CompactPCI（Compact Peripheral Component Interconnect，简称CPCI）标准。是为下一代融合通信及数据网络应用提供的一个高性价比的，基于模块化结构的、兼容的、并可扩展的硬件构架。

1.1 ATCA标准

ATCA标准是由一个核心规范——PICMG3.0 和一系列辅助规范组成。在核心规范中定义了机械结构、散热管理、电源分配和系统管理，而辅助规范则定义了多种交换互连技术。这些规范包括PICMG3.1 AdvancedTCA Ethernet、PICMG3.2 AdvancedTCA InfiniBand、PICMG3.3 AdvancedTCA StarFabric和PICMG3.4 AdvancedTCA PCI Express、PICMG3.5 AdvancedTCA Serial RapidIO\ PICMG3.8 AdvancedTCA Rear Transition Module以及PICMG IRTM.0 Intelligent Rear Transition Module。从ATCA的技术上来看，3.0以后的各个细节已定义得越来越明确。

ATCA旨在为运营商级解决方案提供一种优化的新型板卡(刀片式)和机箱(机架)外形规格，支持多种标准交换互连(包括以太网和PCI Express架构)技术。目前已经有大概超过100家厂商在设计和生产ATCA各个环节里的产品及相关软件。

1.2 ATCA发展背景

2001年9月，PICMG(全球PCI工业计算机制造组织)成立了一个委员会起草满足高吞吐量、高可靠性的下一代计算机平台标准。该委员会由代表了工业和电信设备制造商及终端用户的105个公司组成，其目标是建立、修改并计划在2002年底发布新的规范。经过12个月的奋战，PICMG3.0规范——先进的通讯计算机构架（ATCA）如期发布。整个过程中，组织内的各个团队分别负责问题的不同方面，为最终达到一个实用的解决方案的期望而努力，其中的核心团队负责监控整个进程，发现并解决过程中出现的潜在的不兼容性和障碍。这个规范的发表无疑是工程界的快速有效合作的很好范例。PICMG3.0规范有460页长，整个制订过程花费5年的会议和电话协商的时间。本书背景部分将对规范形成背后的动机作以阐述，同时对规范本身做一个全面的介绍。

PICMG 3.0的目标：PICMG标准化组织要求任何新规范的制订须以SOW（Statement of Work）的形式开始。SOW提供指导用以确保标准与原始目标吻合而不过分背离。PICMG 3.0的SOW是：“PICMG3.0标准是为下一代融合通讯及数据网络应用提供一个高性价比的，基于模块化结构的、兼容的、并可扩展的硬件构架，同时以模块结构的形式呈现以支持符合现代传输需求的科技或应用。”在核心标准中定义机械结构、散热管理、电源分配和系统管理。PICMG3.0规范的特色是专注于电信运营级需求“可靠性、可用性、适用性（RAS）”的应用，同时附带目的则为加速在高可靠度资料中心(HA Data Center)对此技术的采用。

此规范的目标更清楚针对那些未能被现存CompactPCI 标准规范或专属架构满足的应用，PICMG 3.0及其辅助规范将带给这样的应用市场提供一个良好解决方案。事实上，大多数PICMG 3.0 委员会成员业已根生于CompactPCI生态环境，并正在探索新的平台用以承载下一代通讯和资料应用。其间大家曾尝试着对2.X标准的修改来满足电信市场的需求，但只取得了有限的效果，最终不得不承认原有的CompactPCI规范不能满足电信应用对单板空间、功耗、带宽、系统管理的要求，新的标准则应运而生。

1.3 ATCA组成结构

ATCA代表着全开放、模块化的工业标准，它可以使设备制造商采用第三方厂商的可互操作性、成熟的商业化（COTS）软硬件组件。ATCA体现了开放式、标准化、模块化、可扩展、可重构的设计理念。ATCA的灵活性、稳定性、互操作性、可管理性以及计算性能都有不同等级的得到提升。标准化、模块化的设备很容易大规模生产，从而降低产品的价格，并使产品快速进入市场。标准化的内、外部接口和开放式的平台，使得只要处理板或刀片服务器遵循ATCA接口规范就可以插入到平台中，在快速实现集成或升级换代的同时，增强了系统的整体兼容性。因此，ATCA的诸多优势能够很好的满足产品的设计需求。

PICMG 3.0定义体系结构机制、电源、系统管理和结构接头的核心规范。

1.3.1 机框介绍：

PICMG 3.0中对ATCA槽位的规定是14槽或16槽，有些厂家为了适合小型企业的需求，对ATCA增加6槽和2槽两种架构。

1.3.2 单板规格

PICMG 3.0机构要求主要来自于对600mm ETSI 和19" EIA标准机柜空间使用的研究。PICMG3.0委员会在考虑单板尺寸能支持下一代元器件对物理和散热的需求的同时，机箱空间能和板子能达到最大限度的配合和利用。最初的工作是基于欧规卡的标准，继而又提升到支持低成本的片状金属架构(简单电讯封装)。对后走线模块的支持满足了对后I/O应用的需求。在决定可以使用的单板空间时，也充分考虑了前、后板的进深范围以提供大量电缆束绑空间。经过对不同规格尺寸的单板的优点进行讨论之后，PICMG3.0组织统一规格如下：前板 8U x 280mm，进深1.2" pitch，选配后板8U x 70mm深。基于1.2" pitch，19" EIA机框可以支持14槽，而600mm ETSI的机框可以支持16槽。图 1为600mm ETSI机架中的ACTA前后单板的侧视图：

 
图 1 ETSI机架中前后ATCA单板的侧视图

1.3.3 背板

背板体系结构可支持系统内各主板间的星型和全网状(full mesh)等连接方式，并且通过IPMB接口提供内建的IPMI 1.5系统管理能力。前端和后端布线可支持目前ETSI (European Telecommunications Standards Institute，欧洲电信标准化协会)标准机柜 (2200*600*600mm)布线方法。ATCA中的每个主板的单个插槽都能够支持高达200W的功率，而且每个主板的电源都通过冗余的48VDC来提供。

1.3.4 电源

PICMG 3.0 单板功耗最高200瓦，尽管就当今的硅技术而言，200W并不会造成困扰，但是以每框16个200瓦单板的机框功耗计算，整框就达到3200瓦，一个机架里如果有三框其功耗就达到了10K瓦。板子功耗高于200瓦，宽度就要翻倍，而这些板子就需要借助两槽宽度用于散热。当功耗是200W时，给单板引入直流低点压（3.3V，60A）变得不可行。标准的通讯设备在48V直流电压，200W功耗时输出电流是4A。在多数电信环境，具备48VDC电源，因而不用提供电源框，如图 2所示。在电源供给上引入双冗余电源用以消除电源供给异常所引发的单点故障。电源联接头的针脚包括用来确定PICMG3.0单板正确插入位置的调整针，以及电源管理针脚，如图 3所示。

 
图 2 48V直流供电

 

1.3.5 机箱管理

管理系统的信息传输和IPMI(智能平台管理接口)指令集被用作对ATCA框架的管理，包括对电源的管理、电子钥匙和机架内温度的监控。系统管理是通过机框管理控制器（ShMC）执行的 。机框管理控制器(ShMC)负责完成对ACTA系统中的现场置换单元(Field Replaceable Units， FRU) 如 单板，电源、风扇、温度传感器的管理。ShMC能够读取当前FRU的状态也可以命令FRU进入不同的电源状态。举个例子，如果ShMC观测到机框内温度发生跃升，它就可能控制风扇提高转速；ShMC同样负责对ATCA机架内电源的管理，如果电源开始对ACTA 单板进行供电，单板唯一可以运行的部分是系统管理，ShMC决定单板那些可以全部启动以及何时启动。系统管理架构的实体承载是基于I²C 接口的IPMB(智能平台管理总线)。I²C是一条具备数据和时钟的双串行信号线，I²C总线使用100Khz时钟和3.3V信号。ATCA规范制定要求2个IPMB总线，分别冠以IPMB-A和IPMB-B，两条总线合一称之为IPMB-0。IPMB可以以双总线或双星型配置方式实现。之所以要求双IPMB总线是为了保证系统管理子系统的可靠性。IPMB总线被用作联接ShMC与ATCA单板和ATCA机架中FRUs的桥梁。双IPMB总线可同时被使用以加倍传输频宽，但设计者必须考虑万一其中一条IPMB总线失灵所带来的冲击。典型的ATCA背板上系统管理间的互联如图 4所示，在背板上有两个ShMC槽位，两个交换槽位，11个节点槽位和1个风扇的连接。值得说明的是管理总线与所有的节点槽、交换槽通过一对双备份的ShMC联接。

 
图 4 系统管理背板联接

1.3.6 传输简介

PICMG3.0包含多种传输，这些传输模式如图 5所示由下而上依序提供系统管理层、控制层和资料层等的联接。系统管理是基于一条与各槽位都相连的I2C双串行信号线，系统管理信息则是基于IPMI规范被扩展到在PICMG3.0规范中使用。系统管理总线也是冗余方式确保在一条总线故障情况下，管理信息仍正常传递。在资料层旁边的控制层称作Base接口 (Base Interface)，Base接口是一个双星型的拓扑结构具有冗余的交换刀片和以太网BAST-T信号，在PICMG3.0中提供IP传输，这点在架构定义上非常像PICMG 2.16。PICMG 3.0单板的高速数据传输是通过Fabric接口(Fabric Interface)，Fabric接口是基于3.125Gbps SERDES信号，可以在星型和全网状结构中支持10Gb的传输速率。正如上面提到的，PICMG3.0核心规范定义了Fabric接口的信号和互联，而辅助规范定义了用于传输的协议。PICMG 3.0背板的互联支持全网状Fabric接口，双星型Base接口和冗余的系统管理，如图 5所示：

 
图 5 背板传输模式

Fabric 接口是PICMG 3.0 AdvancedTCA架构中主要的数据传输，可以承载高达2.1TB/s的资料吞吐量。PICMG 3.0规范中定义了Fabric 接口的电气连接特性，但是却没有规定具体的传输协议。这些传输协议在后续的3.0规范子集中得到了明确的定义。目前为止已经有4个3.0子规范被最终通过，它们是：3.1以太网和光纤信道传输 (Ethernet and Fibre Channel Transport)；3.2 InfiniBand传输；3.3星型传输 (StarFabric Transport)；3.4 PCI Express传输；PICMG 3.5 串行快速I/O传输 (Serial Rapid I/O Transport)正在制定中。这些3.0规范子集所定义的传输协议提供的传输的灵活性带来的直接好处就是易用性。ATCA产品的集成使用者在享受这种易用性的同时，需要留意平台中单板使用的传输协议。了解ATCA Fabric接口构架体系是充分利用ATCA架构所能提供高达2.1Tb/s带宽的保证。

1.3.7 ZD 配对连接器

在制定PICMG3.0规范的过程中另一个费时费力的工作是对承载数据传输的连接器的选择。虽然对连接器的特性需求已经被大家很好的理解，但是规范制定小组希望在现今市场中的性价比较好的连接器中做选择。经过数月的介绍调查，并最终以正式的投票表决方式确定了3.0规范的连接器――ZD，如图 6所示。此连接器的制造商是Tyco Electronic Packaging Corporation (Tyco) 和 ERNI Group of Companies (ERNI)。ZD连接器是针对满足高速差分信号而设计的，针脚外观视图是两根差分信号针位于一锹状屏蔽层内。

 
图 6 ZD连接器

ZD连接器的一对具有锹状屏蔽层的差分针脚有效减小了标准针脚以及针穴互连的相互影响。PICMG的仿真结果表明ZD可以完全满足3.125GHz 信号传输，甚至将来可以把信号频率提得更高。此外，值得关注的是，1个ATCA单板可以依照其连接（双星型或全网状）需求使用1到5个ZD连接器。

ATCA Fabric 接口信道是建立在LVDS(低压差分信号， Low Voltage Differential Signaling )差分对 ( differential pairs) 基础之上，电气特性需求是建立在3.125GHz SERDES 信号基础之上。数据编码使用8b/10b 编码机制 ， 并指定交流电信号对接以防止直流电逻辑层面上的数据传输的干扰。ATCA中两个板子的最小连接单元称作通路(channel)，一个通路(channel) 由4个埠 (port) 组成，每个埠(port) 又由两对差分信号(differential pair) 组成，构成了ATCA Fabric 接口的最小连接单元。端口的两对差分信号被映像成一收一发的传输模式。图 7描绘了一个差分对、一个埠、以及一个通路的针脚分布。在典型的编码机制下，一个埠(port)可支持5Gb/s全双工的数据传输速率，也就是一个通路支持20GB/s全双工的数据传输。

 
图 7 Fabric接口通路定义

ATCA 规范制定各个单板之间有一个通路连接，当3.0规范最初制定时，通路被认为只是支持单一的传输协议如以太网。在这种架构中通路只是最小的连接单位。随着PICMG 3.1的演进，规范制定组织开始讨论在一个通路中使用多种传输协议的可能性，最终大家统一最小的连接单元是端口(port) 而不是通路 (channel) ，此项决定允许PICMG 3.1 组织把光纤信道连接加入到定义以太网连接的章节中。PICMG 3.1规范是一个很好的范例描述一个信道中的端口如何被使用来支持不同的传输协议。表 1描述了一个信道中的4个端口在PICMG3.1定义的诸多协议中如何展现支持不同的传输协议配置。

 
表 1 PICMG3.0 以太网及光纤信道传输

由表 1 可见，一个PICMG3.1构架的机箱可支持9种不同的配置模式，可为各种应用提供定制Fabric 接口通路的选择。在上面的范例中，PICMG 3.1在一个通路中混合光纤信道和以太网口。AdvancedTCA规范还允许迥异的协议共存于一个通路中，超越了PICMG 3.1规范所定义的内容。AdvancedTCA支持OEM自定协议，允许在一个通路中除了PICMG 3.x协议之外，可以混合其它多种OEM协议。下面的例子描述了在一个通路中4个端口分别用于支持PICMG 3.1， PICMG3.2 和 一个 OEM 协议。

由于只有两个单板之间的Fabric接口互联才是所谓的通路。需要支持多种协议的应用应选择针对每个槽位分割协议，或把多种协议混合在一个通路中。对于Fabric 接口，一个重要的组件是电子钥匙(Electronic Keying)，ATCA标准针对Fabric接口定义了电气特性要求，以便于单板上运行的以太网，InfiniBand，星型结构(StarFabric)，PCI Express 或者其它OEM协议都可以在电气上做到兼容。也就是说所有协议使用的电压等级都是相同的，因此当一个以太网单板插入机箱时，如果以太网口的另一端跑的是一个OEM 协议时，这块单板不会损坏。电子钥匙的职能是当已经确认端口的两端是相互兼容的协议时，才允许端口的资料流通。

AdvancedTCA Fabric 接口是针对为下一代计算平台提供相应流量带宽而设计的架构。全网状连结( full mesh) 的AdvancedTCA 机箱可以提供3.125GHz 信号在8b/10b编码模式下高达2.1Tb/s的数据传输。同时能够在一个通路中的多个端口中支持多种不同的传输协议，使得应用架构设计者可以针对应用的特定需求自行定制数据传输方式。加之电子钥匙使得两端中具有兼容协议的端口能开启并匹配工作，ATCA子系列规范定义了端口可以使用的传输协议。AdvancedTCA的使用者需要对单板上所使用的Fabric 接口需求给予额外关注以确保当电源开关打开时，整个系统能够工作。了解Fabric接口是成功购买及使用AdvancedTCA的关键。

1.4 ATCA主要技术特点及优势

1.4.1 高速数据传输技术

ATCA机框内板卡的数据传输是多种数据传输方式的集合，数据传输接口包括系统管理接口、基本(Base)接口、交换(Fabric)接口和更新信道接口。系统管理传输是为了对机框管理数据提供支持。基本接口提供ATCA机框内的IP传输，是一个支持10/100/1000 BAST-T以太网的双星型结构。更新通道在一定程度上是相临两块单板之间共享状态信息的专用内连通道。交换接口是主要的数据传输方式，与传输协议无关。

ATCA交换(Fabric)接口是系统中各板卡之间的数据传输的主要方式，各板卡通过交换接口可以形成多种连结拓扑模式。包括：

星型拓扑(star topology)支持简单、低成本的设计；

网状拓扑(mesh topology)提供最高的带宽，配线灵活，可靠性高；

双星型拓扑(dual star topology)，内含两组星型接口，用来冗余备份，也可进行负载分担；

双双星拓扑(dual-dual star topology)，在机框中支持4组星型接口，在板卡之间提供更多的传输带宽；

在典型的编码机制下，一个交换通道支持20GB/s全双工的数据传输。在采用网状拓扑的连接方式下，系统支持高达2.4TBps的数据传输。

PICMG定义的交换接口所支持的协议除了以太外，还支持光纤通道、InfiniBand、PCI Express以及RapidIO等高速数据传输协议。

1.4.2 高度可管理性

ATCA具有基于智能平台管理接口(IPMI)和每节点双IPMI/IPMB连接的集中冗余平台管理能力，可以通过冗余机箱管理控制器、连接每个刀片式服务器的冗余电源插槽，以及交换机拓扑结构本身所支持的内部冗余特性。利用ShMC（机架管理控制器）系统管理子系统可以对机箱内的单板、电源、风扇、温度传感器等可热拔插单元进行智能调节和管理，而双IPMB总线可以确保一条总线失效的情况下系统管理 的仍可以稳定进行。

1.4.3 高平台密度

密度的定义是考虑散热功耗、以及冷却等因素后，每个机箱中安装刀片型系统的数量以及每组机架(frame)的机箱数量。高密度意味着更高的冗余度，以及在固定的空间中能安装更多的模块。

ATCA定义每板卡功耗达200W，外形规格为8U×280mm×1.2吋，19吋EIA机框可以支持14个槽位，而600mm ETSI的机框可以支持16个槽位。

1.4.4 灵活的扩展性和可重复使用性

ATCA是一种全开放、可互操作的电信工业标准。支持不同厂商多种板卡、机箱尺寸与配置的重复利用，可以满足接入、边缘和服务器市场的广泛需求。电信设备制造商可以采用来自第三方厂商的可互操作和成熟的商业化（COTS）软硬件组件，从而为设备厂商缩短了开发时间。基于开放性的电信架构为运营商带来了非常灵活的业务特性，有助于运营商快速地开发和增加新的业务，如图 8所示。

 
图 8 可重新配置的ATCA构建模块

1.4.5 功耗低

在PICMG 3．X规范定义下，ATCA在外形设计(机箱)上确保了更大的空间，同时提供了冗余风扇设计，以增强散热系统的功能。这些基础设计有效地确保了设备系统获得电信级的稳定性，不会因为散热不足或设备过热而导致宕机。基于ATCA架构的产品有较好的散热性能，这使得采用ATCA架构的产品能够采用更高计算速率的CPU，使得在同等条件下，采用ATCA架构的产品可以拥有更快的计算速度、更强的兼容性、更低的成本以及更为灵活和快速的业务部署能力。并且，ATCA技术的刀片服务器产品的功耗只有普通刀片服务器的10％，这对于数据中心尤其是超大规模数据中心来说意义巨大，可以为数据中心缓解其最为迫切的供电问题。