python菜鸟升级路--自动化解析生成xml文件

以前写过一个自动解析并生成netconf xml的python脚本，从性能、易读性、模块化等几个方便重构。

这个脚本的作用是生成netconf xml格式的配置文件。

这个脚本完成的工作主要有：

1. 根据表名和操作类别，就能自动判别或设置表ID。这一点非常重要，因为同一个表的不同配置页是通过ID来识别的。
2. 根据表名自动获取其层次关系，以及入参重构netconf xml配置文件

解决步骤详细分解如下：

1. 从ABC_mp.xml文档中解析出参数的层次关系
2. 解析入参变量，包括需要配置的表名，表里的参数名、参数值，以及对这个表的操作类别
3. 由于历史原因，入参只提供表名和操作类别，根据操作类别，设置表ID。
4. 根据2中的表名以及1中的层次关系，可以得到新xml里的最外层关系节点
5. 根据2中的表名以及参数，可以得到新xml里的最里层关系节点
6. 构建xml头部的hello rpc部分
7. 构建xml尾部close rpc部分
8. 将4+5+6+7组合起来构成一个完整的xml

现在逐条详细解析每个步骤的实现方案以及用的模块：

1. 采用了xml.etree.ElementTree模块解析ABC_mp.xml，由于ABC_mp.xml比较大有好几M，采用模块中的迭代器iter可以节省内存的消耗。分析得到配置文件是树形结构，复杂交错的关系可以分为2种父亲映射到孩子，孩子映射到父亲。由于父亲到孩子是一对多的关系，孩子到父亲是一对一的关系。采用collections模块中的defaultdict(list)的数据类型来保存恰到好处。将键值是父亲，而多个孩子保存在列表中。配置文件里的孩子到父亲是一对一的关系，所以就用字典来保存。
2. 解析入参第一个想到的就是argparse模块，只是我项目中的入参是非标准版的，还需要适配一下才能用这个模块
3. 表ID是识别同一个表类里不同表的唯一标识，对于不同的操作类型，其意义还不一样。当操作类型是create时，表ID要与已有表ID不同；当merge的时候，要根据表里的关键参数匹配当前所有配置找出最相似的那条记录，然后比较其他的参数值，并更改之；当delete的时候，与merge类似找出最相似的那张表并删除之。简化为，当create的时候，找出已有表ID的最大值，merge或delete的时候根据匹配原则选最相似的。所以用collections模块里的counter数据结构保存表ID，跟踪表ID出现的次数，就可以很容易的得到最大值。对于delete或merge，采用zip()函数可以同时比较好几条记录与当前记录的相似度，快速高效。
4. 采用ElementTree中的Element和SubElement来构造根节点和子节点，同时用set设置attribute，用text设置text。构造统一函数构建所有的节点。
5. 采用装饰器语法，将树的内容封装好，不同的操作类型对树的影响不一样。简单易扩展，避免写很多重复的代码。

代码如下：

步骤1对应的代码：

def GetAllNodes():    tree = ET.parse('ABC.xml')    root = tree.getroot()    allnodes = defaultdict(list)    parents = dict()    children = defaultdict(list)    for subclass in root.iter('class'):        for elem in subclass.iter('attribute'):            allnodes[subclass.get('name')].append(elem.get('name'))       for containment in root.iter('containment'):        parent = containment.find('./parent/hasClass').get('name')        child = containment.find('./child/hasClass').get('name')        parents[child] = parent        children[parent].append(child)    return allnodes,parents,children

步骤二对应的代码：

def BuildMoTree(Moname, params, oper):    root = ET.Element(Moname)    root.set('operation',oper)    for (key,value) in params:        onepara = ET.SubElement(root,key)        onepara.text = value        return root

步骤三：

def BuildMEMF(moname):    allnodes,parents,children = GetAllNodes()    moparent =  GetRelationships(parents, moname)    root = ET.Element('ManagedElement')    root.set('xmlns',"urn:com:ericsson:ecim:ComTop")    moparent.pop()    tmpnode = root    for parent in moparent[::-1]:        node = ET.SubElement(tmpnode,parent)        subnode = ET.SubElement(node,allnodes[parent][0])        subnode.text = '1'        if parent == 'ManagedFunction':            node.set('xmlns',"urn:com:ericsson:ecim:ManagedFunction")        tmpnode = node    return root,node

步骤四：

def build_hello():    hello_head = ET.Element('hello')    hello_head.set('xmlns',"urn:ietf:params:xml:ns:netconf:base:1.0")    caps = ET.SubElement(hello_head,'capabilities')    cap = ET.SubElement(caps,'capability')    cap.text = 'urn:ietf:params:netconf:base:1.0'    return hello_head    def rpc_close():    rpc_close = ET.Element('rpc')    rpc_close.set('message-id',"66")    rpc_close.set('xmlns',"urn:ietf:params:xml:ns:netconf:base:1.0")    ET.SubElement(rpc_close,'close-session')    return rpc_close

未完待续