python菜鸟升级路--自动化解析生成xml文件

以前写过一个自动解析并生成netconf xml的python脚本，从性能、易读性、模块化等几个方便重构。

这个脚本的作用是生成netconf xml格式的配置文件。

这个脚本完成的工作主要有：

根据表名和操作类别，就能自动判别或设置表ID。这一点非常重要，因为同一个表的不同配置页是通过ID来识别的。
根据表名自动获取其层次关系，以及入参重构netconf xml配置文件

解决步骤详细分解如下：

从ABC_mp.xml文档中解析出参数的层次关系
解析入参变量，包括需要配置的表名，表里的参数名、参数值，以及对这个表的操作类别
由于历史原因，入参只提供表名和操作类别，根据操作类别，设置表ID。
根据2中的表名以及1中的层次关系，可以得到新xml里的最外层关系节点
根据2中的表名以及参数，可以得到新xml里的最里层关系节点
构建xml头部的hello rpc部分
构建xml尾部close rpc部分
将4+5+6+7组合起来构成一个完整的xml

现在逐条详细解析每个步骤的实现方案以及用的模块：

采用了xml.etree.ElementTree模块解析ABC_mp.xml，由于ABC_mp.xml比较大有好几M，采用模块中的迭代器iter可以节省内存的消耗。分析得到配置文件是树形结构，复杂交错的关系可以分为2种父亲映射到孩子，孩子映射到父亲。由于父亲到孩子是一对多的关系，孩子到父亲是一对一的关系。采用collections模块中的defaultdict(list)的数据类型来保存恰到好处。将键值是父亲，而多个孩子保存在列表中。配置文件里的孩子到父亲是一对一的关系，所以就用字典来保存。
解析入参第一个想到的就是argparse模块，只是我项目中的入参是非标准版的，还需要适配一下才能用这个模块
表ID是识别同一个表类里不同表的唯一标识，对于不同的操作类型，其意义还不一样。当操作类型是create时，表ID要与已有表ID不同；当merge的时候，要根据表里的关键参数匹配当前所有配置找出最相似的那条记录，然后比较其他的参数值，并更改之；当delete的时候，与merge类似找出最相似的那张表并删除之。简化为，当create的时候，找出已有表ID的最大值，merge或delete的时候根据匹配原则选最相似的。所以用collections模块里的counter数据结构保存表ID，跟踪表ID出现的次数，就可以很容易的得到最大值。对于delete或merge，采用zip()函数可以同时比较好几条记录与当前记录的相似度，快速高效。
采用ElementTree中的Element和SubElement来构造根节点和子节点，同时用set设置attribute，用text设置text。构造统一函数构建所有的节点。
采用装饰器语法，将树的内容封装好，不同的操作类型对树的影响不一样。简单易扩展，避免写很多重复的代码。

代码如下：

步骤1对应的代码：

def GetAllNodes():
tree = ET.parse('ABC.xml')
root = tree.getroot()
allnodes = defaultdict(list)
parents = dict()
children = defaultdict(list)
for subclass in root.iter('class'):
for elem in subclass.iter('attribute'):
allnodes[subclass.get('name')].append(elem.get('name'))
for containment in root.iter('containment'):
parent = containment.find('./parent/hasClass').get('name')
child = containment.find('./child/hasClass').get('name')
parents[child] = parent
children[parent].append(child)
return allnodes,parents,children

步骤二对应的代码：
def BuildMoTree(Moname, params, oper):
root = ET.Element(Moname)
root.set('operation',oper)
for (key,value) in params:
onepara = ET.SubElement(root,key)
onepara.text = value
return root

步骤三：
def BuildMEMF(moname):
allnodes,parents,children = GetAllNodes()
moparent = GetRelationships(parents, moname)
root = ET.Element('ManagedElement')
root.set('xmlns',"urn:com:ericsson:ecim:ComTop")
moparent.pop()
tmpnode = root
for parent in moparent[::-1]:
node = ET.SubElement(tmpnode,parent)
subnode = ET.SubElement(node,allnodes[parent][0])
subnode.text = '1'
if parent == 'ManagedFunction':
node.set('xmlns',"urn:com:ericsson:ecim:ManagedFunction")
tmpnode = node
return root,node

步骤四：
def build_hello():
hello_head = ET.Element('hello')
hello_head.set('xmlns',"urn:ietf:params:xml:ns:netconf:base:1.0")
caps = ET.SubElement(hello_head,'capabilities')
cap = ET.SubElement(caps,'capability')
cap.text = 'urn:ietf:params:netconf:base:1.0'
return hello_head

def rpc_close():
rpc_close = ET.Element('rpc')
rpc_close.set('message-id',"66")
rpc_close.set('xmlns',"urn:ietf:params:xml:ns:netconf:base:1.0")
ET.SubElement(rpc_close,'close-session')
return rpc_close

未完待续