王兆輝，沈劍良，張霞，陳艇

（國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，河南 鄭州450003）

1 引言

光纖通道（fibre channel，F(xiàn)C）[1]協(xié)議是美國(guó)國(guó)家標(biāo)準(zhǔn)委員會(huì)定義的高速串行通信協(xié)議，由于其傳輸距離遠(yuǎn)、抗干擾能力強(qiáng)等特點(diǎn)而廣泛應(yīng)用在航空航天環(huán)境下的電子指揮、控制、儀器儀表、仿真、信號(hào)處理、傳感器以及視頻數(shù)據(jù)分發(fā)等[2]領(lǐng)域，具有高可靠、高容錯(cuò)和高帶寬的性能指標(biāo)需求，而鏈路聚合技術(shù)是在不改變?cè)O(shè)計(jì)架構(gòu)基礎(chǔ)上增加通道有效帶寬的一種常用方案。

鏈路聚合是將離散數(shù)量的多條物理鏈路聚合為一條邏輯鏈路的技術(shù)，這是在Internet服務(wù)提供商（Internet service provider，ISP）網(wǎng)絡(luò)中實(shí)現(xiàn)高帶寬連接的一種廣泛使用的方法[3]。當(dāng)不存在更高帶寬的技術(shù)時(shí)，通過捆綁幾條帶寬較小的鏈路實(shí)現(xiàn)帶寬增加是一種廣泛用于高速交換芯片的數(shù)據(jù)鏈路技術(shù)應(yīng)用[4]，該技術(shù)可以提升數(shù)據(jù)包傳輸?shù)目缮炜s性和可靠性，大幅降低額外開銷。同時(shí)為了實(shí)現(xiàn)成本和公平性的平衡，必須在可用鏈路上平均分配數(shù)據(jù)包，否則數(shù)據(jù)包過度集中在少量鏈路上，進(jìn)而造成鏈路有效通道利用效率低下，導(dǎo)致傳輸時(shí)延增加，同時(shí)擁塞鏈路端點(diǎn)處的緩沖區(qū)溢出也可能導(dǎo)致數(shù)據(jù)包丟失[5]。

本文針對(duì)基于FC的交換芯片設(shè)計(jì)中鏈路聚合負(fù)載均衡、負(fù)載不均衡以及可靠性差的問題，提出一種動(dòng)態(tài)負(fù)載均衡（flow adaptive load dalancing，F(xiàn)ALB）鏈路聚合算法，該設(shè)計(jì)可以在更加復(fù)雜多變的網(wǎng)絡(luò)環(huán)境中提升對(duì)各種聚合鏈路的負(fù)載均衡調(diào)度靈活性、增加實(shí)際可用帶寬、提高鏈路聚合技術(shù)的整體功效和系統(tǒng)穩(wěn)定性。

2 相關(guān)工作

鏈路聚合技術(shù)由于是對(duì)子鏈路的“捆綁重組”，在流量傳輸時(shí)如何對(duì)負(fù)載合理分配是研究的核心難點(diǎn)。在配置好一組鏈路聚合組之后，每條子鏈路的流量負(fù)載不均衡可能會(huì)導(dǎo)致部分鏈路擁塞，同時(shí)也會(huì)造成整體聚合鏈路的實(shí)際可用帶寬過低。為了避免這種情況，系統(tǒng)需要在多條鏈路上執(zhí)行負(fù)載的均衡分配[6]，提升負(fù)載均衡算法的均衡性和可靠性是優(yōu)化聚合鏈路設(shè)計(jì)的主要研究方向[7]。

（1）均衡性

IEEE 802.3ax標(biāo)準(zhǔn)的鏈路聚合控制協(xié)議（link aggregation control protocol，LACP）是關(guān)于動(dòng)態(tài)鏈路聚合配置的協(xié)議[8]，它通過協(xié)議報(bào)文鏈路聚合控制協(xié)議數(shù)據(jù)單元（link aggregation control protocol data unit，LACPDU）和相連的設(shè)備交互信息。當(dāng)端口啟用LACP后，端口通過發(fā)送LACPDU給CPU，上報(bào)優(yōu)先級(jí)、系統(tǒng)MAC地址、端口的優(yōu)先級(jí)、端口號(hào)和操作指令等信息[9-10]，然后CPU再根據(jù)這些端口和鏈路信息對(duì)數(shù)據(jù)包路由傳輸動(dòng)態(tài)調(diào)度，但是該協(xié)議僅支持以太網(wǎng)協(xié)議傳輸?shù)脑O(shè)備，如何在基于FC協(xié)議的交換設(shè)備中通過LACP進(jìn)行動(dòng)態(tài)鏈路聚合還少有相關(guān)機(jī)構(gòu)研究。而TFRC（TCP-friendly rate control）算法是一種針對(duì)視頻流數(shù)據(jù)傳輸?shù)恼{(diào)度算法[11]，該算法使用傳輸速率作為鏈路擁塞控制的基礎(chǔ)，并以此來反映鏈路質(zhì)量的動(dòng)態(tài)變化。通過系統(tǒng)實(shí)時(shí)獲得的鏈路傳輸速率，可以做到對(duì)各鏈路的動(dòng)態(tài)調(diào)度?？梢杂行У靥岣哝溌穾挷⒈O(jiān)控鏈路狀態(tài)。但是由于該算法僅針對(duì)視頻流數(shù)據(jù)，在擁塞控制的基本單元選擇上不適用于FC交換網(wǎng)絡(luò)。

（2）可靠性

Akbari等[12]提出的STreLo算法是用于在聚合鏈路存在的情況下定位鏈路故障，該算法使用分段路由，通過發(fā)送周期探測(cè)包來定位鏈路的故障位置，保證鏈路的可靠性，具有毫秒級(jí)的定位速度和可擴(kuò)展性，但同時(shí)也存在功耗大、設(shè)計(jì)復(fù)雜的不足，在對(duì)于一些拓?fù)浜?jiǎn)單的聚合鏈路組中的實(shí)用性較低。Wenzel等[13]提出的單獨(dú)的分發(fā)策略方案，可以在聚合鏈路部分失敗的情況下通過引用備份鏈路來保障整個(gè)鏈路組的正常運(yùn)作，具有高度的靈活性，但同時(shí)增加備用鏈路也意味著資源開銷的增加。在目前實(shí)際工程設(shè)計(jì)中，鏈路聚合的主流設(shè)計(jì)還是采用哈希算法對(duì)子鏈路進(jìn)行靜態(tài)權(quán)重配置，隨著技術(shù)的不斷發(fā)展，對(duì)于聚合鏈路的實(shí)際可用帶寬比要求不斷提高，需要對(duì)傳統(tǒng)靜態(tài)負(fù)載均衡算法進(jìn)行平衡性和可靠性優(yōu)化。

本文根據(jù)LACP的動(dòng)態(tài)交互和備份鏈路設(shè)計(jì)思想，結(jié)合FC協(xié)議特點(diǎn)，提出了動(dòng)態(tài)負(fù)載均衡算法FALB，可靠性方面提出斷鏈重配置機(jī)制，保證在個(gè)別子鏈路出現(xiàn)掉鏈的情況時(shí)不影響整個(gè)鏈路組的數(shù)據(jù)傳輸，均衡性方面支持流量自適應(yīng)的負(fù)載均衡調(diào)度，實(shí)驗(yàn)表明可以在多種流量轉(zhuǎn)發(fā)模式下均收斂到95%以上的有效帶寬比，并通過了多種可靠性功能驗(yàn)證。

3 動(dòng)態(tài)鏈路聚合設(shè)計(jì)

本節(jié)首先介紹基于FC協(xié)議的動(dòng)態(tài)鏈路聚合整體設(shè)計(jì)思路，然后介紹FALB負(fù)載均衡調(diào)度算法，本文針對(duì)FC協(xié)議報(bào)文特點(diǎn)，通過流量監(jiān)控加哈希條目重分配的方式實(shí)現(xiàn)基于流量的動(dòng)態(tài)負(fù)載均衡。

3.1 整體設(shè)計(jì)框架

由于需要對(duì)子鏈路的負(fù)載分配權(quán)重進(jìn)行動(dòng)態(tài)調(diào)整，所以如何設(shè)計(jì)流量監(jiān)控和負(fù)載均衡算法是核心要點(diǎn)。為了實(shí)現(xiàn)基于動(dòng)態(tài)的負(fù)載均衡，本設(shè)計(jì)采用流量監(jiān)控反饋和鏈路權(quán)重計(jì)算的方式實(shí)時(shí)負(fù)載調(diào)整，整體設(shè)計(jì)框架如圖1所示。首先配置好整個(gè)鏈路聚合組的子鏈路通道端口號(hào)，在未有流量通過時(shí)平均分配哈希條目權(quán)重，在有流量通過鏈路組子鏈路進(jìn)行路由傳輸時(shí)，對(duì)每個(gè)子鏈路的通道入端口進(jìn)行流量統(tǒng)計(jì)和狀態(tài)監(jiān)控，并將每個(gè)端口的狀態(tài)信息數(shù)據(jù)實(shí)時(shí)上傳控制平面。

圖1 聚合鏈路組設(shè)計(jì)整體框架

在數(shù)據(jù)包進(jìn)入聚合鏈路組后首先進(jìn)行包頭字段處理。FC協(xié)議包頭字段格式如圖2所示，F(xiàn)C-FS-4協(xié)議規(guī)定最大可支持2 148 bit（不含擴(kuò)展幀頭）的FC協(xié)議報(bào)文。為了提取數(shù)據(jù)包路由指示信息，保證數(shù)據(jù)包的傳輸序列不變，本文中選取包頭域段中的D_ID和S_ID作為哈希函數(shù)的計(jì)算輸入值，域段D_ID表示數(shù)據(jù)包的目的地址，S_ID則表示數(shù)據(jù)包的源地址，根據(jù)兩組共48 bit位寬的域段信息可以將每個(gè)數(shù)據(jù)包的次序定位，以保證不會(huì)出現(xiàn)數(shù)據(jù)包傳輸亂序的情況。在完成包頭字段提取操作后將兩組位寬24 bit的域段值進(jìn)行拼接后作為每個(gè)數(shù)據(jù)包的哈希函數(shù)輸入值，哈希表共設(shè)置256個(gè)條目值作為每條子鏈路的映射地址，通過對(duì)這256個(gè)條目的分配來決定每條子通道的負(fù)載分配權(quán)重。在流量監(jiān)控方面采用對(duì)每條子鏈路端口的進(jìn)包數(shù)進(jìn)行統(tǒng)計(jì)并上傳，根據(jù)各子鏈路的負(fù)載情況進(jìn)行調(diào)度重配置后實(shí)現(xiàn)對(duì)哈希輸出條目映射域的動(dòng)態(tài)控制。

圖2 FC協(xié)議包頭字段格式

3.2 調(diào)度算法FALB

由于是哈希查表結(jié)果決定具體每條子鏈路的負(fù)載分配方案，所以動(dòng)態(tài)調(diào)度算法是整個(gè)聚合鏈路的核心設(shè)計(jì)。FALB動(dòng)態(tài)調(diào)度算法的設(shè)計(jì)是通過計(jì)算并更新每條子鏈路對(duì)應(yīng)的哈希條目地址權(quán)重值來實(shí)現(xiàn)負(fù)載的動(dòng)態(tài)均衡配置。這里首先計(jì)算每條子鏈路的端口負(fù)載速率，記每條子鏈路的端口速率為Xt，Xt的計(jì)算式如式（1）所示：

其中，Xt表示第t個(gè)子物理鏈路的端口負(fù)載速率，St表示第t個(gè)子物理鏈路的端口負(fù)載長(zhǎng)度，T表示時(shí)鐘周期。根據(jù)從控制平面中得到的端口速率數(shù)值反饋，權(quán)重調(diào)度算法可以得到每個(gè)子鏈路的哈希地址條目有效值Pt，其計(jì)算式如式（2）所示：

其中，R代表總哈希條目值，c代表敏感系數(shù)，流量自適應(yīng)的負(fù)載均衡效果受敏感系數(shù)的影響，取值為1時(shí)為完全動(dòng)態(tài)負(fù)載均衡（默認(rèn)為1），根據(jù)每時(shí)刻的Pt值對(duì)哈希查表的結(jié)果條目值映射域變化實(shí)現(xiàn)動(dòng)態(tài)的負(fù)載均衡控制。具體流程如圖3所示，首先提取S_ID和D_ID的輸入值，然后根據(jù)式（2）計(jì)算每條子鏈路的哈希有效條目值（Pt），當(dāng)有流量通過入端口時(shí)就會(huì)觸發(fā)流量監(jiān)控模塊，此時(shí)會(huì)將各子通道的流量數(shù)據(jù)上傳CPU并重新計(jì)算Pt值，如果不變則不改變子鏈路通道的哈希條目值映射范圍，如果Pt值改變則重新計(jì)算和分配哈希條目的地址映射。

圖3 流量監(jiān)控調(diào)度流程

3.3 斷鏈重配置機(jī)制

可靠性優(yōu)化方面，為了保證鏈路的穩(wěn)定性，設(shè)計(jì)了斷鏈重分配機(jī)制，如圖4所示。每條子鏈路對(duì)應(yīng)一段哈希地址的映射域。由于該調(diào)度算法可以實(shí)時(shí)監(jiān)控每條子鏈路的流量情況，所以當(dāng)其中一條或幾條鏈路出現(xiàn)故障時(shí)，該機(jī)制可以使故障鏈路的映射賦值使能關(guān)閉，并將屬于該鏈路的哈希映射地址平均分配給該鏈路組的其他成員，同時(shí)根據(jù)目前已建鏈的子鏈路數(shù)重新分配哈希表的條目地址映射，從而不影響整個(gè)鏈路組的數(shù)據(jù)傳輸。由于斷鏈后僅僅是將問題鏈路的映射使能位關(guān)閉而其物理端口號(hào)仍屬于原聚合鏈路組，所以當(dāng)故障排除完畢后，可以立即恢復(fù)該鏈路的正常工作狀態(tài)，節(jié)省了二次配置的時(shí)間，同時(shí)也提升了整體鏈路組的可靠性。

圖4 斷鏈重分配機(jī)制

4 實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)使用數(shù)據(jù)仿真加FPGA功能驗(yàn)證作為實(shí)驗(yàn)設(shè)計(jì)方案，仿真使用Vivado驗(yàn)證平臺(tái)對(duì)基礎(chǔ)功能模塊進(jìn)行時(shí)序分析驗(yàn)證，F(xiàn)PGA驗(yàn)證使用Xilinx Virtex UltraScale440的FPGA板卡作為本實(shí)驗(yàn)的環(huán)境開發(fā)板卡和Xgig光纖通道發(fā)包儀作為FC數(shù)據(jù)包發(fā)送設(shè)備來構(gòu)建實(shí)驗(yàn)環(huán)境，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析。

4.1 仿真驗(yàn)證

數(shù)據(jù)仿真方面Vivado仿真驗(yàn)證平臺(tái)是FPGA廠商賽靈思公司2012年發(fā)布的集成設(shè)計(jì)環(huán)境，采用層次化器件編輯器和布局規(guī)劃器設(shè)計(jì)可以用于快速綜合和verilog模塊級(jí)代碼的邏輯功能仿真和時(shí)序分析，本實(shí)驗(yàn)以 Virtex 7vx980tffg1930-2L 為核心芯片，采用312.5 MHz的時(shí)鐘頻率進(jìn)行時(shí)序仿真驗(yàn)證。

Vivado仿真結(jié)果如圖5所示，8條子物理鏈路的聚合鏈路組配置后，設(shè)置隨機(jī)類型域特征的S_ID和D_ID值的包頭，共配置8條子通道計(jì)數(shù)器（trunk0_num0_cnt0-7），每個(gè)計(jì)數(shù)器代表每條通路的實(shí)際流量情況。結(jié)果顯示正常發(fā)送不同的S_ID和D_ID數(shù)值的FC數(shù)據(jù)包后，每條子通路計(jì)數(shù)正常且符合預(yù)期，符合時(shí)序功能要求。

圖5 Vivado仿真結(jié)果

4.2 均衡性驗(yàn)證

由于鏈路聚合技術(shù)是將多條子鏈路整合為一條邏輯電路的技術(shù)，所以理論上整合后的鏈路組帶寬應(yīng)該為所有子鏈路帶寬之和，但是實(shí)際工程應(yīng)用中，鏈路組的實(shí)際帶寬取決于其負(fù)載均衡特性，所以本實(shí)驗(yàn)分別設(shè)計(jì)3種流量發(fā)送模型，具體參數(shù)見表1。通過縮小數(shù)據(jù)包的S_ID和D_ID取值范圍，可以有效地增加流量的集中度（范圍越小，代表流量轉(zhuǎn)發(fā)端口區(qū)域越集中，均衡難度越大）。

表1 流量測(cè)試模型

建立如圖6所示實(shí)驗(yàn)連接拓?fù)淠Ｐ?，將兩塊440FPGA開發(fā)板的兩個(gè)bank對(duì)接后，設(shè)置port0～port7端口為一條聚合鏈路，并采用8 GB/s（滿負(fù)載）的速率發(fā)送數(shù)據(jù)包，計(jì)算每組3種模式的有效帶寬比（實(shí)際有效帶寬與理論帶寬之比）。實(shí)驗(yàn)結(jié)果如圖7所示，其中橫軸為時(shí)間點(diǎn)，縱軸為聚合鏈路組的有效帶寬比。

圖6 實(shí)驗(yàn)連接拓?fù)?/p>

圖7 FALB負(fù)載均衡算法實(shí)驗(yàn)結(jié)果

根據(jù)實(shí)驗(yàn)數(shù)據(jù)結(jié)果可以看出，在發(fā)送測(cè)試數(shù)據(jù)流時(shí)兩種算法的流量負(fù)載均衡效果區(qū)別明顯，隨著流量集中度的增加（模式1～模式3），傳統(tǒng)靜態(tài)負(fù)載均衡算法的均衡性不斷下降，在模式3流量集中度到達(dá)50%時(shí)，聚合鏈路組的有效帶寬比下降到50%以下，可以看出隨著流量集中度的增加，傳統(tǒng)靜態(tài)負(fù)載均衡算法的負(fù)載均衡性能在不斷下降，這是由于傳統(tǒng)靜態(tài)負(fù)載均衡算法無法根據(jù)實(shí)際流量情況動(dòng)態(tài)調(diào)整各子鏈路的負(fù)載分配策略而導(dǎo)致負(fù)載分配不均，尤其當(dāng)負(fù)載集中于部分子鏈路時(shí)由于無法及時(shí)調(diào)整分配策略從而導(dǎo)致有效帶寬的浪費(fèi)。而FALB在3種模型中均保持80%以上且收斂于95%的有效帶寬比，且3種模式下的變化程度很小，說明該算法無論在高擁擠的還是分布更加發(fā)散的流量模型中均可以保持高效的負(fù)載均衡。實(shí)驗(yàn)結(jié)果表明FALB具有更好的負(fù)載均衡特性和穩(wěn)定性。

4.3 可靠性驗(yàn)證

在實(shí)際工程中，鏈路的可靠性測(cè)試是檢驗(yàn)在遇到常見故障時(shí)整體功能的完整性。本節(jié)中設(shè)置了3種測(cè)試方法，分別在1 GB/s、2 GB/s、4 GB/s、8 GB/s端口發(fā)包速率下進(jìn)行熱插拔（數(shù)據(jù)包正常發(fā)送過程中光纖端口的拔出和插入）、鏈路成員移除和鏈路成員增加的數(shù)據(jù)包發(fā)送可靠性測(cè)試，結(jié)果見表2，在所有支持速率下進(jìn)行的3種可靠性測(cè)試均可以正常工作，具有較高的可靠性。

表2 可靠性測(cè)試

5 結(jié)束語

本文提出一種動(dòng)態(tài)負(fù)載均衡的FALB調(diào)度算法的鏈路聚合設(shè)計(jì)，并最終在FPGA上實(shí)現(xiàn)，該設(shè)計(jì)可以在保證鏈路可靠性的基礎(chǔ)上實(shí)現(xiàn)基于流量自適應(yīng)的負(fù)載均衡效果，支持?jǐn)噫溨剡B，提升鏈路傳輸效率。在選擇鏈路時(shí)，使用優(yōu)化的動(dòng)態(tài)平衡算法可以有效地避免子鏈路負(fù)載分配不均所造成的有效帶寬比過低的問題。FALB鏈路聚合算法在相比較于傳統(tǒng)靜態(tài)負(fù)載均衡方案具有更好的負(fù)載均衡效果，可靠性更強(qiáng)，更適用于當(dāng)前流量分布不均、實(shí)際帶寬要求更高的網(wǎng)絡(luò)應(yīng)用環(huán)境，未來通過結(jié)合可編程協(xié)議解析技術(shù)，還可以使該算法的調(diào)度選擇域由用戶自定義選擇，從而增加整體設(shè)計(jì)的安全性和靈活性。