李寶峰，黎鐵軍，劉勇輝，馬柯帆，羅煜峰，姚信安

(國(guó)防科技大學(xué)計(jì)算機(jī)學(xué)院，湖南 長(zhǎng)沙 410073)

1 引言

隨著高性能計(jì)算機(jī)中的信號(hào)傳輸速率超過(guò)25 Gbps，傳統(tǒng)NRZ(Non-Return-to-Zero)信號(hào)對(duì)傳輸鏈路設(shè)計(jì)的限制更加嚴(yán)苛[1]，通過(guò)提高波特率來(lái)實(shí)現(xiàn)高帶寬傳輸?shù)碾y度越來(lái)越大[2 - 4]。而PAM4(4 Pulse Amplitude Modulation)信號(hào)采用4個(gè)電平表征符號(hào)，每個(gè)符號(hào)編碼2比特信息，相同波特率下的帶寬是NRZ的1倍，在25 Gbps以上高速信號(hào)傳輸系統(tǒng)中廣泛應(yīng)用。但是，PAM4信號(hào)的信噪比相對(duì)NRZ劣化了約9.5 dB[5]，相同電平幅度下的眼高只有NRZ的1/3，更易受到噪聲影響，導(dǎo)致誤碼率大幅增加[6 - 9]。

新一代高性能計(jì)算機(jī)的高速信號(hào)傳輸系統(tǒng)采用56 Gbps PAM4信號(hào)實(shí)現(xiàn)，傳輸通道跨越多塊PCB(Printed Circuit Borad)板和多級(jí)連接器，走線長(zhǎng)度長(zhǎng)、阻抗不連續(xù)點(diǎn)多，信號(hào)完整性設(shè)計(jì)面臨極大挑戰(zhàn)。為提高設(shè)計(jì)成功率，本文提出了面向全通道的56 Gbps高速信號(hào)傳輸系統(tǒng)仿真驗(yàn)證方案，通過(guò)仿真與測(cè)試相結(jié)合的方法，建立了更接近實(shí)際情況的跨越多PCB和多連接器的復(fù)雜傳輸通道模型，并對(duì)其進(jìn)行了全通道的協(xié)同仿真實(shí)驗(yàn)。通過(guò)多次仿真實(shí)驗(yàn)與設(shè)計(jì)優(yōu)化迭代驗(yàn)證了該設(shè)計(jì)較好地預(yù)測(cè)了56 Gbps高速信號(hào)傳輸系統(tǒng)的性能瓶頸，有力保障了56 Gbps PAM4高速信號(hào)的穩(wěn)定傳輸。

2 仿真驗(yàn)證設(shè)計(jì)

2.1 仿真驗(yàn)證方案

56 Gbps高速信號(hào)傳輸系統(tǒng)的傳輸通道由1塊背板BPM、3塊子板(上層互連接口板ZNIB、下層互連接口板ZNIT和互連通信板NRM)和3級(jí)連接器組成，PCB走線層采用松下M7N(MEGTRON7系列低介電常數(shù)DK(Dielectric Constant)材料)板材，銅箔類型為極低輪廓HVLP(High-frequency Very Low Profile)銅箔。為提高仿真精準(zhǔn)度，本文提出了面向全通道的仿真驗(yàn)證方案。第1步，通過(guò)仿真與測(cè)試擬合方法確定板材仿真參數(shù)；第2步，通過(guò)測(cè)試確定連接器仿真參數(shù)；第3步，提取傳輸通道上各傳輸鏈路的PCB設(shè)計(jì)模型，建立全通道HFSS(High Frequency Structure Simulator)仿真模型；第4步，對(duì)仿真模型進(jìn)行全通道的TDR(Time Domain Reflectometry)仿真、S參數(shù)仿真和有源仿真，根據(jù)仿真結(jié)果驗(yàn)證56 Gbps高速信號(hào)傳輸系統(tǒng)設(shè)計(jì)的可靠性。

仿真驗(yàn)證的硬件環(huán)境：3臺(tái)Windows 7服務(wù)器，每臺(tái)服務(wù)器配備2顆Intel Xeon E5530 12核CPU，內(nèi)存160 GB。軟件環(huán)境：ANSYS SIwave 2018.2.0、HFSS 2018.2.0、ANSYS HPC軟件套件和KEYSIGHT ADS2017軟件。

2.2 確定板材參數(shù)

高速信號(hào)仿真中，PCB板材的介電常數(shù)DK、損耗角正切DF(Dissipation Factor)值及銅箔粗糙度是主要輸入?yún)?shù)[10]。通過(guò)對(duì)真實(shí)測(cè)試板進(jìn)行仿真與測(cè)試結(jié)果的擬合，不斷調(diào)整優(yōu)化PCB板材的DK、DF值及銅箔表面粗糙度,以得到與測(cè)試相吻合的仿真結(jié)果。

制作的56 Gbps-PAM4測(cè)試板各通道的出線情況如圖1所示；測(cè)試板所采用的板材為M7N板材，銅箔類型為HVLP銅箔，各通道中的過(guò)孔均能滿足最小的過(guò)孔殘樁要求。

Figure 1 56 Gbps-PAM4 test board圖1 56 Gbps-PAM4測(cè)試板

采用矢量網(wǎng)絡(luò)分析儀VNA(Vector Network Analyzer)測(cè)量得到該通道的S參數(shù)結(jié)果,如圖2所示。

Figure 2 S parameter of VNA measured channel圖2 VNA實(shí)測(cè)鏈路S參數(shù)

在SIwave軟件中提取相應(yīng)的模型并導(dǎo)入HFSS仿真軟件進(jìn)行仿真參數(shù)的提取，仿真模型如圖3a所示。該模型中，為達(dá)到仿真與測(cè)試環(huán)境的一致性，在該模型的4個(gè)端口處分別添加了4個(gè)SMA(Sub-Miniature-A)模型。仿真與測(cè)試的對(duì)比結(jié)果如圖3b所示。

Figure 3 Simulation model and comparison of simulation & test results圖3 仿真模型和仿真與測(cè)試結(jié)果對(duì)比

圖3所示為仿真與測(cè)試的插入損耗和回波損耗結(jié)果對(duì)比圖。由圖3可知，兩者的插入損耗曲線擬合得較好，30 GHz之前兩曲線完全重合；回波損耗曲線在第2個(gè)諧振點(diǎn)可以很好地對(duì)應(yīng)上，且隨頻率變化的趨勢(shì)相同。以上仿真和測(cè)試的對(duì)比結(jié)果較好地說(shuō)明了當(dāng)銅箔粗糙度為0.3 um時(shí)，采用表1所示的DK、DF值，可較好實(shí)現(xiàn)仿真與測(cè)試結(jié)果的一致性，仿真可信度較高。

Table 1 DK/DF values after simulation and test fitting 表1 仿真與測(cè)試擬合后的DK/DF值

2.3 確定連接器參數(shù)

為提高信道中的數(shù)據(jù)傳輸速率，減少由于損耗引起的信號(hào)完整性問(wèn)題，高速連接器在設(shè)計(jì)時(shí)會(huì)綜合考慮引腳排列、板卡間距、介質(zhì)材料和信號(hào)完整性等因素，提供低損耗、低串?dāng)_和阻抗匹配性能強(qiáng)的高速連接器[11]。

56 Gbps高速信號(hào)傳輸系統(tǒng)中的最長(zhǎng)通道采用了3級(jí)連接器傳輸鏈路，共使用了IMPULSE連接器和MEZZ連接器2種類型的高速連接器。分別對(duì)2種連接器采用VNA進(jìn)行傳輸參數(shù)的測(cè)試，得到的結(jié)果如圖4所示。

Figure 4 Results of connector test 圖4 連接器測(cè)試結(jié)果圖

2.4 建立全通道HFSS仿真模型

2.4.1 傳輸通道拓?fù)浣Y(jié)構(gòu)

為保證仿真驗(yàn)證結(jié)果的代表性和覆蓋性，本文選取了56 Gbps高速信號(hào)傳輸系統(tǒng)中長(zhǎng)度最長(zhǎng)、構(gòu)成最復(fù)雜的通道作為仿真對(duì)象。如圖5a所示，該通道跨越3級(jí)連接器和4塊PCB板，分別為ZNIT板、ZNIB板、BPM板以及NRM板、2級(jí)IMPULSE連接器和1級(jí)MEZZ連接器。由于信號(hào)經(jīng)過(guò)的PCB板較多，傳輸損耗加大；經(jīng)過(guò)的連接器較多，鏈路的阻抗一致性變差，從而使得56 Gbps PAM4高速信號(hào)的傳輸面臨巨大挑戰(zhàn)。

Figure 5 Composition of full channels and simulation model topology 圖5 全通道組成與仿真模型拓?fù)?/p>

為預(yù)先驗(yàn)證設(shè)計(jì)的有效性，本文采用HFSS仿真軟件分別對(duì)各PCB傳輸鏈路進(jìn)行提取，進(jìn)而在ADS(Advanced Design System)仿真軟件中建立了全通道HFSS仿真模型，如圖5b所示。

2.4.2 BPM傳輸鏈路模型

對(duì)BPM板創(chuàng)建的仿真模型如圖6所示。BPM板共計(jì)28層，所選擇的仿真網(wǎng)絡(luò)位于S07層，線長(zhǎng)為329.419 4 mm(12.969 inch)，線寬、線距為9 mil/12 mil/9 mil，信號(hào)的目標(biāo)阻抗為92 (1±10%)Ω，過(guò)孔的成品孔徑為0.31 mm(12.20 mil)；板厚為5.984 mm(235.59 mil)，最大板厚孔徑比設(shè)計(jì)為19.3∶1。該信號(hào)一端為NRM板的連接器，一端為ZNIB板的連接器，其中NRM板的連接器位于Bottom層，背鉆需從Top層鉆至GND06層；ZNI板的連接器位于Top層，背鉆需從Bottom層鉆至GND08層，該端所經(jīng)歷的過(guò)孔通道較長(zhǎng)。走線2端均添加Lumped Port仿真端口，仿真的中心頻點(diǎn)為14 GHz，掃頻在10 MHz～50 GHz，步進(jìn)(Step)為0.001 GHz。所創(chuàng)建的模型中過(guò)孔的背鉆均能夠鉆至與走線層相鄰的信號(hào)參考層，因而過(guò)孔殘樁對(duì)信號(hào)的影響可以忽略[12 - 15]。仿真結(jié)果如圖7所示，圖7中分別給出了該模型的回波損耗和插入損耗結(jié)果，并分別列出了信號(hào)在12.5 GHz頻點(diǎn)和14 GHz頻點(diǎn)時(shí)的傳輸損耗。

Figure 6 Manual HFSS model of BPM board圖6 BPM板HFSS手動(dòng)建模模型

Figure 7 Simulation results of BPM board圖7 BPM板仿真結(jié)果

由仿真結(jié)果可知：在12.5 GHz頻點(diǎn)處，信號(hào)的插入損耗值為-4.764 dB@12.5 GHz，回波損耗值為-14.68 dB@12.5 GHz；在14 GHz頻點(diǎn)處，信號(hào)的插入損耗值為-5.232 7 dB@14 GHz，回波損耗值為-12.22 dB@14 GHz。信號(hào)的傳輸損耗表現(xiàn)較好。

2.4.3 ZNIT傳輸鏈路模型

對(duì)ZNIT板創(chuàng)建的仿真模型如圖8所示。模型中過(guò)孔的背鉆均能滿足最小的殘樁要求，因而過(guò)孔殘樁對(duì)信號(hào)的影響可以忽略。仿真結(jié)果如圖9所示。

Figure 8 Manual HFSS model of ZNIT board圖8 ZNIT板HFSS手動(dòng)建模模型

Figure 9 Simulation results of ZNIT board圖9 ZNIT板仿真結(jié)果

由仿真結(jié)果可知：在12.5 GHz頻點(diǎn)處，信號(hào)的插入損耗值為-1.937 dB@12.5 GHz，回波損耗值為-6.449 dB@12.5 GHz；在14 GHz頻點(diǎn)處，信號(hào)的插入損耗值為-2.483 dB@14 GHz，回波損耗值為-5.266 dB@14 GHz。信號(hào)的傳輸損耗表現(xiàn)較好。

2.4.4 ZNIB傳輸鏈路模型

對(duì)ZNIB板創(chuàng)建的仿真模型如圖10a所示,仿真的插入損耗SDD21和回波損耗SDD11結(jié)果如圖10b所示。

Figure 10 Manual HFSS model and simulation results of ZNIB board圖10 ZNIB板HFSS手動(dòng)建模模型及仿真結(jié)果

由仿真結(jié)果可知：在12.5 GHz頻點(diǎn)處，信號(hào)的插入損耗值為-2.473 dB@12.5 GHz，回波損耗值為-6.879 dB@12.5 GHz；在14 GHz頻點(diǎn)處，信號(hào)的插入損耗值為-2.243 dB@14 GHz，回波損耗值為-8.871 dB@14 GHz。信號(hào)的傳輸損耗表現(xiàn)較好。

2.4.5 NRM傳輸鏈路模型

對(duì)NRM板創(chuàng)建的仿真模型如圖11a所示,仿真的插入損耗和回波損耗結(jié)果如圖11b所示。

Figure 11 Manual HFSS model and simulation results of NRM board圖11 NRM板HFSS手動(dòng)建模模型及仿真結(jié)果

由仿真結(jié)果可知：在12.5 GHz頻點(diǎn)處，信號(hào)的插入損耗值為-1.87 dB@12.5 GHz，回波損耗值為-10.83 dB@12.5 GHz；在14 GHz頻點(diǎn)處，信號(hào)的插入損耗值為-2.26 dB@14 GHz，回波損耗值為-8.90 dB@14 GHz。信號(hào)的傳輸損耗表現(xiàn)較好。

3 仿真驗(yàn)證結(jié)果

本節(jié)對(duì)建立的全通道仿真模型進(jìn)行TDR仿真、S參數(shù)仿真和有源仿真實(shí)驗(yàn)。

3.1 TDR仿真結(jié)果及分析

根據(jù)圖5b所搭建的全通道仿真模型拓?fù)鋱D，進(jìn)行全通道TDR仿真分析，通過(guò)TDR仿真可以查看到全通道中阻抗突變的點(diǎn)，從而有針對(duì)性地進(jìn)行優(yōu)化。得到的仿真結(jié)果如圖12所示。

Figure 12 TDR simulation results圖12 TDR仿真結(jié)果

從TDR仿真結(jié)果中可發(fā)現(xiàn)，全通道的阻抗基本滿足目標(biāo)阻抗92±10%的要求，通道中個(gè)別點(diǎn)處的阻抗值較低，對(duì)應(yīng)為連接器與過(guò)孔相接處。由于此處突變較短，因此對(duì)全通道整體影響不大。

3.2 S參數(shù)仿真結(jié)果及分析

根據(jù)圖5b所搭建的拓?fù)鋱D，進(jìn)行全通道S參數(shù)仿真，得到的全通道的S參數(shù)結(jié)果如圖13所示。

Figure 13 Simulation results of S parameter of full channel 圖13 全通道S參數(shù)仿真圖

由全通道的S參數(shù)仿真結(jié)果可以看出，插入損耗在12.5 GHz頻點(diǎn)處為-11.121 dB@12.5 GHz，在14 GHz頻點(diǎn)處的插入損耗值為-11.965 dB@14 GHz；回波損耗在12.5 GHz頻點(diǎn)處為-18.476 dB@12.5 GHz，在14 GHz頻點(diǎn)處的回波損耗值為-12.537 dB@14 GHz。全通道的傳輸損耗較低。

3.3 有源仿真結(jié)果及分析

在得到全通道S參數(shù)的基礎(chǔ)上進(jìn)行有源仿真，搭建的仿真拓?fù)鋱D如圖14所示。圖14中全通道S參數(shù)導(dǎo)入的文件為利用圖5b所示拓?fù)浞抡娴玫降娜ǖ繱參數(shù)結(jié)果。

Figure 14 Topology of active simulation圖14 有源仿真拓?fù)鋱D

圖14中，接收端TX和發(fā)送端RX的芯片模型采用廠家提供的IBIS-AMI模型代替，該模型可設(shè)置不同的信號(hào)調(diào)制方式，作為與56 Gbps-PAM4信號(hào)的對(duì)比，此處同時(shí)仿真了25 Gbps-NRZ信號(hào)。鏈路跨板且有多級(jí)連接器長(zhǎng)，需要對(duì)TX和RX端進(jìn)行均衡參數(shù)的設(shè)置才能夠在接收端得到眼圖，實(shí)現(xiàn)有效的傳輸?；谌ǖ赖膫鬏敁p耗，發(fā)送端和接收端AMI參數(shù)設(shè)置如圖15所示。

仿真的速率分別設(shè)置為25 Gbps和56 Gbps，圖14中該模型的第2部分為芯片的封裝參數(shù)，此處采用芯片廠家提供的封裝S參數(shù)文件；該模型的第3部分為CHANNEL，該部分為所需要仿真的全通道，此處導(dǎo)入圖5b中仿真得到的全通道S參數(shù)文件；該模型的第4部分為眼圖探針，作為仿真結(jié)果的查看窗口，此處分別在接收端芯片前添加一個(gè)差分探針，查看未經(jīng)接收端芯片處理的眼圖效果及在接收端芯片后添加一個(gè)探針，查看對(duì)比經(jīng)過(guò)接收端芯片后的眼圖效果。具體的眼圖仿真結(jié)果如圖15所示。

Figure 15 25 Gbps-NRI simulation results of eye pattern圖15 25 Gbps-NRI 眼圖仿真結(jié)果

圖15為25 Gbps-NRZ的眼圖仿真結(jié)果。由圖15可知，在Receiver Input端未經(jīng)過(guò)接收端芯片均衡時(shí)，眼睛完全關(guān)閉；在Receiver Output經(jīng)過(guò)接收端芯片均衡后，眼睛的張開(kāi)情況得到較大的改善。圖16a給出了該眼圖的具體眼高和眼寬值。由圖16a可知，當(dāng)誤碼率為1.000E-6時(shí)，能夠得到張開(kāi)的眼睛，此時(shí)的眼高為0.172，眼寬為2.360E-11；但當(dāng)誤碼率超過(guò)1.000E-6時(shí)，眼圖成閉合趨勢(shì)，得不到信號(hào)質(zhì)量良好的眼圖。

a 眼圖誤碼率

b 不同誤碼率下的眼高和眼寬Figure 16 25 Gbps-NRZ eye map and eye height & eye width of eye pattern with different error rates圖16 25 Gbps-NRZ眼圖誤碼率及在不同誤碼率下的眼高和眼寬

圖17為56 Gbps-PAM4的眼圖仿真結(jié)果，在Receiver Input端未經(jīng)過(guò)接收端芯片均衡時(shí)，眼睛完全關(guān)閉；在Receiver Output經(jīng)過(guò)接收端芯片均衡后，眼睛的張開(kāi)情況得到較大的改善。圖18b給出了具體的眼高眼寬值。

Figure 17 56 Gbps-PAM4 simulation results of eye pattern圖17 56 Gbps-PAM4眼圖仿真結(jié)果

Figure 18 56 Gbps-PAM4 eye map and eye height & eye width of eye pattern with different error rates圖18 56 Gbps-PAM4眼圖誤碼率及在不同誤碼率下的眼高和眼寬

Table 2 Transmitter and receiver AMI parameters表2 發(fā)送端和接收端AMI參數(shù)

由圖18b可知，當(dāng)誤碼率為1.000E-6時(shí)，能夠得到張開(kāi)的眼睛，但誤碼率超過(guò) 1.000E-6時(shí)，眼睛關(guān)閉，得不到眼圖。

對(duì)比圖16a和圖18a的眼圖仿真結(jié)果可以發(fā)現(xiàn)，在當(dāng)前跨板多級(jí)連接器長(zhǎng)鏈路傳輸系統(tǒng)中，通過(guò)對(duì)發(fā)送端和接收端的均衡設(shè)置，系統(tǒng)能夠有效地實(shí)現(xiàn)25 Gbps-NRZ和56 Gbps-PAM4信號(hào)的傳輸；同時(shí)，在相同的鏈路環(huán)境下，系統(tǒng)傳輸NRZ信號(hào)和PAM4信號(hào)的誤碼率相同，均為1.000E-6，但系統(tǒng)的傳輸速率卻從25 Gbps上升到了56 Gbps，傳輸速率大為提高。

3.4 結(jié)論與工程實(shí)現(xiàn)

從全通道的TDR仿真可知，全通道的真實(shí)阻抗基本滿足設(shè)計(jì)的目標(biāo)阻抗要求，減少了信道傳輸過(guò)程中因阻抗匹配不一致而造成的反射問(wèn)題；S參數(shù)仿真結(jié)果表明，全通道的傳輸損耗較低，14 GHz處的插入損耗低于-12 dB；有源仿真中當(dāng)加入均衡時(shí)能夠有效地得到張開(kāi)的25 Gbps-NRZ和56 Gbps-PAM4眼圖，此時(shí)全通道的傳輸誤碼率為1.000E-6。全通道的仿真結(jié)果表明，在當(dāng)前仿真驗(yàn)證設(shè)計(jì)中能夠有效地實(shí)現(xiàn)56 Gbps PAM4信號(hào)的傳輸。本文所述成果已經(jīng)應(yīng)用于本單位高性能計(jì)算機(jī)系統(tǒng)的工程構(gòu)建，實(shí)際應(yīng)用結(jié)果表明，系統(tǒng)能很好地保證56 Gbps PAM4高速信號(hào)的穩(wěn)定傳輸，系統(tǒng)所需印制板如圖19所示。

Figure 19 System engineering implementation圖19 系統(tǒng)工程實(shí)現(xiàn)

4 結(jié)束語(yǔ)

本文針對(duì)56 Gbps高速信號(hào)傳輸系統(tǒng)進(jìn)行仿真分析研究，基于信號(hào)完整性，通過(guò)對(duì)仿真板材參數(shù)的精準(zhǔn)確定、連接器參數(shù)的確定及各傳輸子模塊仿真模型的建立，基于仿真結(jié)果實(shí)現(xiàn)了56 Gbps-PAM4信號(hào)的穩(wěn)定傳輸。通過(guò)仿真結(jié)果可知，采用仿真與測(cè)試的擬合方法可較好地確定板材仿真參數(shù)，為進(jìn)行高速信號(hào)仿真建立基礎(chǔ)；連接器和過(guò)孔為全通道中阻抗不連續(xù)的點(diǎn)，但在整個(gè)通道中由于突變較短，對(duì)通道整體性能影響較??；基于真實(shí)PCB板提取的3D仿真模型較準(zhǔn)確地說(shuō)明了各子模塊的傳輸損耗，并把每個(gè)模塊的S參數(shù)代入全通道拓?fù)渲?，通過(guò)調(diào)整均衡值仿真得到全通道的S參數(shù)與眼圖滿足設(shè)計(jì)要求。本文實(shí)現(xiàn)的傳輸系統(tǒng)仿真設(shè)計(jì)不僅為56 Gbps高速信號(hào)傳輸系統(tǒng)提供了指導(dǎo)，還為未來(lái)更高速率的設(shè)計(jì)打下了基礎(chǔ)。PAM4信號(hào)傳輸中較為關(guān)注的傳輸介質(zhì)的線性度及對(duì)應(yīng)的群延時(shí)影響方面的研究有待進(jìn)一步深入。