多功能PCIE交换机之四：非透明桥NTB

多功能PCIE交换机的一个重要组成部分就是非透明桥，正是因为有了非透明桥，使得它在现在的双活设计、高可用性方面成为了一个必不可少的器件。 为了让大家对PCIE非透明桥有个直观的了结，下面主要基于PLX87xx系列上 上的非透明桥进行说明。

8717用做两台或多台服务器的容错设计时，主要的有两种形式，一种是Active-Passive模式：两台服务器一端连接到Link
Port，一端连接到virtual
port，　这种配置直支持一次Failover.另外一种就是Active-Active，典型的应用场景就是两台机器通过两个8717形成背靠背的链接。由于有两个ＮＴＢ，并且两侧机器都是对称的设计，上面的这种方式支持容错后的恢复：即在容错步骤启动之后，如果之前出现问题的主机得到修复，还能够让它接管现在的主控设备，成为主控，而另外一台主机继续充当从机的角色。只要Failover后出现问题的机器能得到及时的修复或者替换，这样的设计能够支持无限次数的Failover。

8717地址空间

作为一个典型的支持多根节点的PCIE
Switch,它既有自己的扩展配置空间，支持ECMA访问，同时也必须提供访问自身、端口和ＤＭＡ通道相关的寄存器访问的方法。掌握了每个端口和子功能的访问方式，也就深入理解了8717的结构。8717的基址寄存器(BAR)
8717的Bar0/Bar1用做ECAM，Bar4~Bar5和普通的Bar功能上没有区别，只是它们后来用在接受upstream端口发送来的memory
access是否命中所在的窗口，在的话把它们发送到下级总线或设备。（根据virtual
port或者link
port对应的Bar进行地址高位的转化，并且转发给对侧节点。）8717的ECMA
由于8717实现的功能很多，即便扩展的ＰＣＩ配置空间也无法容下所有功能的寄存器，为了便于对所有功能的访问，根节点实现了memory
access 到configuration
access的转换，把那些功能的配置空间上的寄存器都映射到8717的BAR0所指定的内存空间（ＥＣＡＭ)，转换后的配置空间地址如下表所示：需要注意的是，上面并不是把所有的ＮＴ端口和ＤＭＡ通道的配置空间都映射到8717
Root port(Upstream port)的［bar0]上，只是说8717upstream
port、DMA、Virtual
port、Link
Port公享上面的示意图，但都需要配置自己的bar0/bar1.NT
Link Port 的配置空间和内存空间
先配置Ｂａｒ０／Ｂａｒ　１NT1的Link
Port配置空间位于［ＢＡＲ０］＋0x3_D000，mem空间在[bar2~bar5]NT0的Link
Port配置空间位于［ＢＡＲ０］＋0x3_F000，mem空间在[bar2~bar5]Bar Setup寄存器：
BAR0/1 Setup寄存器: offset E4HBAR2/3 Setup寄存器： offset E8H/ECH
BAR4/5 Setup寄存器： offset F0H/F4H对应的地址转换寄存器在：BAR2地址转换寄存器低位： offset C3CH
BAR2/3地址转换寄存器高位： offset C40HBAR2地址转换寄存器低位： offset C44H
BAR2/3地址转换寄存器高位： offset C48H

NT
Virtual Port 的配置空间和内存空间
先配置Ｂａｒ０／Ｂａｒ　１NT1的Virtual
Port配置空间位于［ＢＡＲ０］＋0x3_C000，mem空间在[bar2~bar5]NT0的Virtual
Port配置空间位于［ＢＡＲ０］＋0x3_E000，mem空间在[bar2~bar5]Ntx
Virtual Port都有一组地址翻译寄存器，它的偏移在：Bar
Setup寄存器：
BAR0/1 Setup寄存器: offset D0HBAR2/3 Setup寄存器： offset D4H/D8H
BAR4/5 Setup寄存器： offset DCH/E0H
对应的地址转换寄存器在：BAR2地址转换寄存器低位： offset C3CH
BAR2/3地址转换寄存器高位： offset C40HBAR2地址转换寄存器低位： offset C44H
BAR2/3地址转换寄存器高位： offset C48H

8717地址转换

因为8717是用来连接不同的host,不同的host可能会有不同的地址空间，无论是Active-Active还是Active-Passive模式，都需要跨host域进行读写，为了保证读写到期望的地址，需要实现正确的地址转换。8717提供了两种地址转换方式：直接地址转换和基于查找表的地址转换。

8717 直接地址转换

直接地址转换就是根据设置地址转换寄存器的设置，把命中当前Bar的地址转换成设置的值，然后丢到对侧节点。

8717 A-LUR地址转换

基于8717的bar2/3，实现了一个bar上对多个地址的转换，这些地址甚至可以映射到不同的host上去。当然实现对多个host上述地址转换和映射的前提是需要一个额外的ＰＣＩＥ桥：

8717ReqID-LUR
ID转换　

根据PCIE规范，TLP报文中包含了Request
ID,事务处理完之后会返回的TLP中包含期望的completion
ID，用来确保一次PCIE事务的正确完成。由于NTB需要跨越多个host域，对侧host访
问本侧memory空间，依赖于NTB接管并继续发送TLP访问请求，但是对侧host和本侧NTB的Request
ID显然不同，为此，除了实现Address
Translate之外，还需要实现RequestID的转换。8717引入了ReqID-LUT来实现这一转换。因此除了设置上面的地址转换寄存器之外，还需要设置正确的ReqID。
本文出自 “存储之厨” 博客，转载请与作者联系！