李寶峰,黎鐵軍,劉勇輝,馬柯帆,羅煜峰,姚信安
(國(guó)防科技大學(xué)計(jì)算機(jī)學(xué)院,湖南 長(zhǎng)沙 410073)
隨著高性能計(jì)算機(jī)中的信號(hào)傳輸速率超過(guò)25 Gbps,傳統(tǒng)NRZ(Non-Return-to-Zero)信號(hào)對(duì)傳輸鏈路設(shè)計(jì)的限制更加嚴(yán)苛[1],通過(guò)提高波特率來(lái)實(shí)現(xiàn)高帶寬傳輸?shù)碾y度越來(lái)越大[2 - 4]。而PAM4(4 Pulse Amplitude Modulation)信號(hào)采用4個(gè)電平表征符號(hào),每個(gè)符號(hào)編碼2比特信息,相同波特率下的帶寬是NRZ的1倍,在25 Gbps以上高速信號(hào)傳輸系統(tǒng)中廣泛應(yīng)用。但是,PAM4信號(hào)的信噪比相對(duì)NRZ劣化了約9.5 dB[5],相同電平幅度下的眼高只有NRZ的1/3,更易受到噪聲影響,導(dǎo)致誤碼率大幅增加[6 - 9]。
新一代高性能計(jì)算機(jī)的高速信號(hào)傳輸系統(tǒng)采用56 Gbps PAM4信號(hào)實(shí)現(xiàn),傳輸通道跨越多塊PCB(Printed Circuit Borad)板和多級(jí)連接器,走線長(zhǎng)度長(zhǎng)、阻抗不連續(xù)點(diǎn)多,信號(hào)完整性設(shè)計(jì)面臨極大挑戰(zhàn)。為提高設(shè)計(jì)成功率,本文提出了面向全通道的56 Gbps高速信號(hào)傳輸系統(tǒng)仿真驗(yàn)證方案,通過(guò)仿真與測(cè)試相結(jié)合的方法,建立了更接近實(shí)際情況的跨越多PCB和多連接器的復(fù)雜傳輸通道模型,并對(duì)其進(jìn)行了全通道的協(xié)同仿真實(shí)驗(yàn)。通過(guò)多次仿真實(shí)驗(yàn)與設(shè)計(jì)優(yōu)化迭代驗(yàn)證了該設(shè)計(jì)較好地預(yù)測(cè)了56 Gbps高速信號(hào)傳輸系統(tǒng)的性能瓶頸,有力保障了56 Gbps PAM4高速信號(hào)的穩(wěn)定傳輸。
56 Gbps高速信號(hào)傳輸系統(tǒng)的傳輸通道由1塊背板BPM、3塊子板(上層互連接口板ZNIB、下層互連接口板ZNIT和互連通信板NRM)和3級(jí)連接器組成,PCB走線層采用松下M7N(MEGTRON7系列低介電常數(shù)DK(Dielectric Constant)材料)板材,銅箔類型為極低輪廓HVLP(High-frequency Very Low Profile)銅箔。為提高仿真精準(zhǔn)度,本文提出了面向全通道的仿真驗(yàn)證方案。第1步,通過(guò)仿真與測(cè)試擬合方法確定板材仿真參數(shù);第2步,通過(guò)測(cè)試確定連接器仿真參數(shù);第3步,提取傳輸通道上各傳輸鏈路的PCB設(shè)計(jì)模型,建立全通道HFSS(High Frequency Structure Simulator)仿真模型;第4步,對(duì)仿真模型進(jìn)行全通道的TDR(Time Domain Reflectometry)仿真、S參數(shù)仿真和有源仿真,根據(jù)仿真結(jié)果驗(yàn)證56 Gbps高速信號(hào)傳輸系統(tǒng)設(shè)計(jì)的可靠性。
仿真驗(yàn)證的硬件環(huán)境:3臺(tái)Windows 7服務(wù)器,每臺(tái)服務(wù)器配備2顆Intel Xeon E5530 12核CPU,內(nèi)存160 GB。軟件環(huán)境:ANSYS SIwave 2018.2.0、HFSS 2018.2.0、ANSYS HPC軟件套件和KEYSIGHT ADS2017軟件。
高速信號(hào)仿真中,PCB板材的介電常數(shù)DK、損耗角正切DF(Dissipation Factor)值及銅箔粗糙度是主要輸入?yún)?shù)[10]。通過(guò)對(duì)真實(shí)測(cè)試板進(jìn)行仿真與測(cè)試結(jié)果的擬合,不斷調(diào)整優(yōu)化PCB板材的DK、DF值及銅箔表面粗糙度,以得到與測(cè)試相吻合的仿真結(jié)果。
制作的56 Gbps-PAM4測(cè)試板各通道的出線情況如圖1所示;測(cè)試板所采用的板材為M7N板材,銅箔類型為HVLP銅箔,各通道中的過(guò)孔均能滿足最小的過(guò)孔殘樁要求。
Figure 1 56 Gbps-PAM4 test board圖1 56 Gbps-PAM4測(cè)試板
采用矢量網(wǎng)絡(luò)分析儀VNA(Vector Network Analyzer)測(cè)量得到該通道的S參數(shù)結(jié)果,如圖2所示。
Figure 2 S parameter of VNA measured channel圖2 VNA實(shí)測(cè)鏈路S參數(shù)
在SIwave軟件中提取相應(yīng)的模型并導(dǎo)入HFSS仿真軟件進(jìn)行仿真參數(shù)的提取,仿真模型如圖3a所示。該模型中,為達(dá)到仿真與測(cè)試環(huán)境的一致性,在該模型的4個(gè)端口處分別添加了4個(gè)SMA(Sub-Miniature-A)模型。仿真與測(cè)試的對(duì)比結(jié)果如圖3b所示。
Figure 3 Simulation model and comparison of simulation & test results圖3 仿真模型和仿真與測(cè)試結(jié)果對(duì)比
圖3所示為仿真與測(cè)試的插入損耗和回波損耗結(jié)果對(duì)比圖。由圖3可知,兩者的插入損耗曲線擬合得較好,30 GHz之前兩曲線完全重合;回波損耗曲線在第2個(gè)諧振點(diǎn)可以很好地對(duì)應(yīng)上,且隨頻率變化的趨勢(shì)相同。以上仿真和測(cè)試的對(duì)比結(jié)果較好地說(shuō)明了當(dāng)銅箔粗糙度為0.3 um時(shí),采用表1所示的DK、DF值,可較好實(shí)現(xiàn)仿真與測(cè)試結(jié)果的一致性,仿真可信度較高。
Table 1 DK/DF values after simulation and test fitting 表1 仿真與測(cè)試擬合后的DK/DF值
為提高信道中的數(shù)據(jù)傳輸速率,減少由于損耗引起的信號(hào)完整性問(wèn)題,高速連接器在設(shè)計(jì)時(shí)會(huì)綜合考慮引腳排列、板卡間距、介質(zhì)材料和信號(hào)完整性等因素,提供低損耗、低串?dāng)_和阻抗匹配性能強(qiáng)的高速連接器[11]。
56 Gbps高速信號(hào)傳輸系統(tǒng)中的最長(zhǎng)通道采用了3級(jí)連接器傳輸鏈路,共使用了IMPULSE連接器和MEZZ連接器2種類型的高速連接器。分別對(duì)2種連接器采用VNA進(jìn)行傳輸參數(shù)的測(cè)試,得到的結(jié)果如圖4所示。
Figure 4 Results of connector test 圖4 連接器測(cè)試結(jié)果圖
2.4.1 傳輸通道拓?fù)浣Y(jié)構(gòu)
為保證仿真驗(yàn)證結(jié)果的代表性和覆蓋性,本文選取了56 Gbps高速信號(hào)傳輸系統(tǒng)中長(zhǎng)度最長(zhǎng)、構(gòu)成最復(fù)雜的通道作為仿真對(duì)象。如圖5a所示,該通道跨越3級(jí)連接器和4塊PCB板,分別為ZNIT板、ZNIB板、BPM板以及NRM板、2級(jí)IMPULSE連接器和1級(jí)MEZZ連接器。由于信號(hào)經(jīng)過(guò)的PCB板較多,傳輸損耗加大;經(jīng)過(guò)的連接器較多,鏈路的阻抗一致性變差,從而使得56 Gbps PAM4高速信號(hào)的傳輸面臨巨大挑戰(zhàn)。
Figure 5 Composition of full channels and simulation model topology 圖5 全通道組成與仿真模型拓?fù)?/p>
為預(yù)先驗(yàn)證設(shè)計(jì)的有效性,本文采用HFSS仿真軟件分別對(duì)各PCB傳輸鏈路進(jìn)行提取,進(jìn)而在ADS(Advanced Design System)仿真軟件中建立了全通道HFSS仿真模型,如圖5b所示。
2.4.2 BPM傳輸鏈路模型
對(duì)BPM板創(chuàng)建的仿真模型如圖6所示。BPM板共計(jì)28層,所選擇的仿真網(wǎng)絡(luò)位于S07層,線長(zhǎng)為329.419 4 mm(12.969 inch),線寬、線距為9 mil/12 mil/9 mil,信號(hào)的目標(biāo)阻抗為92 (1±10%)Ω,過(guò)孔的成品孔徑為0.31 mm(12.20 mil);板厚為5.984 mm(235.59 mil),最大板厚孔徑比設(shè)計(jì)為19.3∶1。該信號(hào)一端為NRM板的連接器,一端為ZNIB板的連接器,其中NRM板的連接器位于Bottom層,背鉆需從Top層鉆至GND06層;ZNI板的連接器位于Top層,背鉆需從Bottom層鉆至GND08層,該端所經(jīng)歷的過(guò)孔通道較長(zhǎng)。走線2端均添加Lumped Port仿真端口,仿真的中心頻點(diǎn)為14 GHz,掃頻在10 MHz~50 GHz,步進(jìn)(Step)為0.001 GHz。所創(chuàng)建的模型中過(guò)孔的背鉆均能夠鉆至與走線層相鄰的信號(hào)參考層,因而過(guò)孔殘樁對(duì)信號(hào)的影響可以忽略[12 - 15]。仿真結(jié)果如圖7所示,圖7中分別給出了該模型的回波損耗和插入損耗結(jié)果,并分別列出了信號(hào)在12.5 GHz頻點(diǎn)和14 GHz頻點(diǎn)時(shí)的傳輸損耗。
Figure 6 Manual HFSS model of BPM board圖6 BPM板HFSS手動(dòng)建模模型
Figure 7 Simulation results of BPM board圖7 BPM板仿真結(jié)果
由仿真結(jié)果可知:在12.5 GHz頻點(diǎn)處,信號(hào)的插入損耗值為-4.764 dB@12.5 GHz,回波損耗值為-14.68 dB@12.5 GHz;在14 GHz頻點(diǎn)處,信號(hào)的插入損耗值為-5.232 7 dB@14 GHz,回波損耗值為-12.22 dB@14 GHz。信號(hào)的傳輸損耗表現(xiàn)較好。
2.4.3 ZNIT傳輸鏈路模型
對(duì)ZNIT板創(chuàng)建的仿真模型如圖8所示。模型中過(guò)孔的背鉆均能滿足最小的殘樁要求,因而過(guò)孔殘樁對(duì)信號(hào)的影響可以忽略。仿真結(jié)果如圖9所示。
Figure 8 Manual HFSS model of ZNIT board圖8 ZNIT板HFSS手動(dòng)建模模型
Figure 9 Simulation results of ZNIT board圖9 ZNIT板仿真結(jié)果
由仿真結(jié)果可知:在12.5 GHz頻點(diǎn)處,信號(hào)的插入損耗值為-1.937 dB@12.5 GHz,回波損耗值為-6.449 dB@12.5 GHz;在14 GHz頻點(diǎn)處,信號(hào)的插入損耗值為-2.483 dB@14 GHz,回波損耗值為-5.266 dB@14 GHz。信號(hào)的傳輸損耗表現(xiàn)較好。
2.4.4 ZNIB傳輸鏈路模型
對(duì)ZNIB板創(chuàng)建的仿真模型如圖10a所示,仿真的插入損耗SDD21和回波損耗SDD11結(jié)果如圖10b所示。
Figure 10 Manual HFSS model and simulation results of ZNIB board圖10 ZNIB板HFSS手動(dòng)建模模型及仿真結(jié)果
由仿真結(jié)果可知:在12.5 GHz頻點(diǎn)處,信號(hào)的插入損耗值為-2.473 dB@12.5 GHz,回波損耗值為-6.879 dB@12.5 GHz;在14 GHz頻點(diǎn)處,信號(hào)的插入損耗值為-2.243 dB@14 GHz,回波損耗值為-8.871 dB@14 GHz。信號(hào)的傳輸損耗表現(xiàn)較好。
2.4.5 NRM傳輸鏈路模型
對(duì)NRM板創(chuàng)建的仿真模型如圖11a所示,仿真的插入損耗和回波損耗結(jié)果如圖11b所示。
Figure 11 Manual HFSS model and simulation results of NRM board圖11 NRM板HFSS手動(dòng)建模模型及仿真結(jié)果
由仿真結(jié)果可知:在12.5 GHz頻點(diǎn)處,信號(hào)的插入損耗值為-1.87 dB@12.5 GHz,回波損耗值為-10.83 dB@12.5 GHz;在14 GHz頻點(diǎn)處,信號(hào)的插入損耗值為-2.26 dB@14 GHz,回波損耗值為-8.90 dB@14 GHz。信號(hào)的傳輸損耗表現(xiàn)較好。
本節(jié)對(duì)建立的全通道仿真模型進(jìn)行TDR仿真、S參數(shù)仿真和有源仿真實(shí)驗(yàn)。
根據(jù)圖5b所搭建的全通道仿真模型拓?fù)鋱D,進(jìn)行全通道TDR仿真分析,通過(guò)TDR仿真可以查看到全通道中阻抗突變的點(diǎn),從而有針對(duì)性地進(jìn)行優(yōu)化。得到的仿真結(jié)果如圖12所示。
Figure 12 TDR simulation results圖12 TDR仿真結(jié)果
從TDR仿真結(jié)果中可發(fā)現(xiàn),全通道的阻抗基本滿足目標(biāo)阻抗92±10%的要求,通道中個(gè)別點(diǎn)處的阻抗值較低,對(duì)應(yīng)為連接器與過(guò)孔相接處。由于此處突變較短,因此對(duì)全通道整體影響不大。
根據(jù)圖5b所搭建的拓?fù)鋱D,進(jìn)行全通道S參數(shù)仿真,得到的全通道的S參數(shù)結(jié)果如圖13所示。
Figure 13 Simulation results of S parameter of full channel 圖13 全通道S參數(shù)仿真圖
由全通道的S參數(shù)仿真結(jié)果可以看出,插入損耗在12.5 GHz頻點(diǎn)處為-11.121 dB@12.5 GHz,在14 GHz頻點(diǎn)處的插入損耗值為-11.965 dB@14 GHz;回波損耗在12.5 GHz頻點(diǎn)處為-18.476 dB@12.5 GHz,在14 GHz頻點(diǎn)處的回波損耗值為-12.537 dB@14 GHz。全通道的傳輸損耗較低。
在得到全通道S參數(shù)的基礎(chǔ)上進(jìn)行有源仿真,搭建的仿真拓?fù)鋱D如圖14所示。圖14中全通道S參數(shù)導(dǎo)入的文件為利用圖5b所示拓?fù)浞抡娴玫降娜ǖ繱參數(shù)結(jié)果。
Figure 14 Topology of active simulation圖14 有源仿真拓?fù)鋱D
圖14中,接收端TX和發(fā)送端RX的芯片模型采用廠家提供的IBIS-AMI模型代替,該模型可設(shè)置不同的信號(hào)調(diào)制方式,作為與56 Gbps-PAM4信號(hào)的對(duì)比,此處同時(shí)仿真了25 Gbps-NRZ信號(hào)。鏈路跨板且有多級(jí)連接器長(zhǎng),需要對(duì)TX和RX端進(jìn)行均衡參數(shù)的設(shè)置才能夠在接收端得到眼圖,實(shí)現(xiàn)有效的傳輸?;谌ǖ赖膫鬏敁p耗,發(fā)送端和接收端AMI參數(shù)設(shè)置如圖15所示。
仿真的速率分別設(shè)置為25 Gbps和56 Gbps,圖14中該模型的第2部分為芯片的封裝參數(shù),此處采用芯片廠家提供的封裝S參數(shù)文件;該模型的第3部分為CHANNEL,該部分為所需要仿真的全通道,此處導(dǎo)入圖5b中仿真得到的全通道S參數(shù)文件;該模型的第4部分為眼圖探針,作為仿真結(jié)果的查看窗口,此處分別在接收端芯片前添加一個(gè)差分探針,查看未經(jīng)接收端芯片處理的眼圖效果及在接收端芯片后添加一個(gè)探針,查看對(duì)比經(jīng)過(guò)接收端芯片后的眼圖效果。具體的眼圖仿真結(jié)果如圖15所示。
Figure 15 25 Gbps-NRI simulation results of eye pattern圖15 25 Gbps-NRI 眼圖仿真結(jié)果
圖15為25 Gbps-NRZ的眼圖仿真結(jié)果。由圖15可知,在Receiver Input端未經(jīng)過(guò)接收端芯片均衡時(shí),眼睛完全關(guān)閉;在Receiver Output經(jīng)過(guò)接收端芯片均衡后,眼睛的張開(kāi)情況得到較大的改善。圖16a給出了該眼圖的具體眼高和眼寬值。由圖16a可知,當(dāng)誤碼率為1.000E-6時(shí),能夠得到張開(kāi)的眼睛,此時(shí)的眼高為0.172,眼寬為2.360E-11;但當(dāng)誤碼率超過(guò)1.000E-6時(shí),眼圖成閉合趨勢(shì),得不到信號(hào)質(zhì)量良好的眼圖。
a 眼圖誤碼率
b 不同誤碼率下的眼高和眼寬Figure 16 25 Gbps-NRZ eye map and eye height & eye width of eye pattern with different error rates圖16 25 Gbps-NRZ眼圖誤碼率及在不同誤碼率下的眼高和眼寬
圖17為56 Gbps-PAM4的眼圖仿真結(jié)果,在Receiver Input端未經(jīng)過(guò)接收端芯片均衡時(shí),眼睛完全關(guān)閉;在Receiver Output經(jīng)過(guò)接收端芯片均衡后,眼睛的張開(kāi)情況得到較大的改善。圖18b給出了具體的眼高眼寬值。
Figure 17 56 Gbps-PAM4 simulation results of eye pattern圖17 56 Gbps-PAM4眼圖仿真結(jié)果
Figure 18 56 Gbps-PAM4 eye map and eye height & eye width of eye pattern with different error rates圖18 56 Gbps-PAM4眼圖誤碼率及在不同誤碼率下的眼高和眼寬
Table 2 Transmitter and receiver AMI parameters表2 發(fā)送端和接收端AMI參數(shù)
由圖18b可知,當(dāng)誤碼率為1.000E-6時(shí),能夠得到張開(kāi)的眼睛,但誤碼率超過(guò) 1.000E-6時(shí),眼睛關(guān)閉,得不到眼圖。
對(duì)比圖16a和圖18a的眼圖仿真結(jié)果可以發(fā)現(xiàn),在當(dāng)前跨板多級(jí)連接器長(zhǎng)鏈路傳輸系統(tǒng)中,通過(guò)對(duì)發(fā)送端和接收端的均衡設(shè)置,系統(tǒng)能夠有效地實(shí)現(xiàn)25 Gbps-NRZ和56 Gbps-PAM4信號(hào)的傳輸;同時(shí),在相同的鏈路環(huán)境下,系統(tǒng)傳輸NRZ信號(hào)和PAM4信號(hào)的誤碼率相同,均為1.000E-6,但系統(tǒng)的傳輸速率卻從25 Gbps上升到了56 Gbps,傳輸速率大為提高。
從全通道的TDR仿真可知,全通道的真實(shí)阻抗基本滿足設(shè)計(jì)的目標(biāo)阻抗要求,減少了信道傳輸過(guò)程中因阻抗匹配不一致而造成的反射問(wèn)題;S參數(shù)仿真結(jié)果表明,全通道的傳輸損耗較低,14 GHz處的插入損耗低于-12 dB;有源仿真中當(dāng)加入均衡時(shí)能夠有效地得到張開(kāi)的25 Gbps-NRZ和56 Gbps-PAM4眼圖,此時(shí)全通道的傳輸誤碼率為1.000E-6。全通道的仿真結(jié)果表明,在當(dāng)前仿真驗(yàn)證設(shè)計(jì)中能夠有效地實(shí)現(xiàn)56 Gbps PAM4信號(hào)的傳輸。本文所述成果已經(jīng)應(yīng)用于本單位高性能計(jì)算機(jī)系統(tǒng)的工程構(gòu)建,實(shí)際應(yīng)用結(jié)果表明,系統(tǒng)能很好地保證56 Gbps PAM4高速信號(hào)的穩(wěn)定傳輸,系統(tǒng)所需印制板如圖19所示。
Figure 19 System engineering implementation圖19 系統(tǒng)工程實(shí)現(xiàn)
本文針對(duì)56 Gbps高速信號(hào)傳輸系統(tǒng)進(jìn)行仿真分析研究,基于信號(hào)完整性,通過(guò)對(duì)仿真板材參數(shù)的精準(zhǔn)確定、連接器參數(shù)的確定及各傳輸子模塊仿真模型的建立,基于仿真結(jié)果實(shí)現(xiàn)了56 Gbps-PAM4信號(hào)的穩(wěn)定傳輸。通過(guò)仿真結(jié)果可知,采用仿真與測(cè)試的擬合方法可較好地確定板材仿真參數(shù),為進(jìn)行高速信號(hào)仿真建立基礎(chǔ);連接器和過(guò)孔為全通道中阻抗不連續(xù)的點(diǎn),但在整個(gè)通道中由于突變較短,對(duì)通道整體性能影響較??;基于真實(shí)PCB板提取的3D仿真模型較準(zhǔn)確地說(shuō)明了各子模塊的傳輸損耗,并把每個(gè)模塊的S參數(shù)代入全通道拓?fù)渲?,通過(guò)調(diào)整均衡值仿真得到全通道的S參數(shù)與眼圖滿足設(shè)計(jì)要求。本文實(shí)現(xiàn)的傳輸系統(tǒng)仿真設(shè)計(jì)不僅為56 Gbps高速信號(hào)傳輸系統(tǒng)提供了指導(dǎo),還為未來(lái)更高速率的設(shè)計(jì)打下了基礎(chǔ)。PAM4信號(hào)傳輸中較為關(guān)注的傳輸介質(zhì)的線性度及對(duì)應(yīng)的群延時(shí)影響方面的研究有待進(jìn)一步深入。