王小玫，任海蘭

(武漢郵電科學(xué)研究院光纖通信技術(shù)和網(wǎng)絡(luò)國家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢430074)

隨著互聯(lián)網(wǎng)上數(shù)據(jù)量的日益增長，運(yùn)營商對采用以太網(wǎng)技術(shù)的數(shù)據(jù)接入設(shè)備的帶寬和可靠性提出了越來越高的要求。在傳統(tǒng)技術(shù)中，最直接的解決辦法就是更換高速率設(shè)備來提高網(wǎng)絡(luò)帶寬，但這需要耗費(fèi)大量人力和物力，且設(shè)備更換的開銷也讓運(yùn)營商難以承受，因此該方法并不可取。鏈路聚合技術(shù)(Link Aggregation)通過將多個(gè)物理端口綁定為一個(gè)邏輯端口來增加鏈路帶寬，同時(shí)采用備份鏈路的機(jī)制，有效地提高設(shè)備之間鏈路的可靠性，而且大大節(jié)約了成本。在不進(jìn)行設(shè)備更換的條件下很好地解決鏈路帶寬和連接可靠性問題，因此是一種很實(shí)用的技術(shù)。手工鏈路聚合是鏈路聚合的一種聚合模式，應(yīng)用比較廣泛，大多數(shù)運(yùn)營級網(wǎng)絡(luò)設(shè)備均支持該特性，當(dāng)需要在兩個(gè)直連設(shè)備間提供一個(gè)較大的鏈路帶寬而對端設(shè)備又不支持LACP協(xié)議時(shí)，可以使用手工鏈路聚合。

1 MSAP介紹

MSAP(多業(yè)務(wù)接入平臺(tái))是定位于城域網(wǎng)邊緣接入層，基于成熟的SDH技術(shù)，采用先進(jìn)的GFP，VCAT，LCAS技術(shù)，融合以太網(wǎng)交換技術(shù)和ATM交換技術(shù)，實(shí)現(xiàn)TDM業(yè)務(wù)、以太網(wǎng)業(yè)務(wù)和ATM業(yè)務(wù)的綜合傳輸平臺(tái)［1］。MSAP支持多種業(yè)務(wù)，配置靈活，能夠提供PDH、V.35、以太網(wǎng)的光連接和大量E1、語音接口以及多個(gè)SDH上聯(lián)光接口，具有強(qiáng)大的組網(wǎng)能力。MSAP可以通過點(diǎn)對點(diǎn)透傳、L2匯聚加透傳和以太共享環(huán)這3種方式處理以太網(wǎng)業(yè)務(wù)，其中匯聚加透傳是指MSAP可以在系統(tǒng)內(nèi)部提供二層交換功能，即在一個(gè)或多個(gè)用戶以太網(wǎng)接口與一個(gè)或多個(gè)獨(dú)立的網(wǎng)絡(luò)鏈路之間，提供基于以太網(wǎng)數(shù)據(jù)鏈路層的交換，實(shí)現(xiàn)虛擬網(wǎng)橋(Virtual Bridge)功能，匯聚后的數(shù)據(jù)流再通過點(diǎn)對點(diǎn)透傳至MSTP網(wǎng)的終結(jié)點(diǎn)［2］。MSAP提升了接入網(wǎng)的組網(wǎng)能力和設(shè)備的集成度，實(shí)現(xiàn)了傳輸與接入設(shè)備的統(tǒng)一管理，降低了建網(wǎng)和運(yùn)維成本［3］。MSAP尤其適合對帶寬和業(yè)務(wù)質(zhì)量有較高要求的高端企業(yè)用戶。

2 鏈路聚合原理

鏈路聚合也稱為端口匯聚(Port Trunking)，該技術(shù)是將多個(gè)端口匯聚在一起形成一個(gè)匯聚組，實(shí)現(xiàn)出/入負(fù)荷在匯聚組中各個(gè)成員端口的負(fù)載均衡。傳統(tǒng)的數(shù)據(jù)通信物理接口帶寬容量主要是1 000/100/10(Mbit·s-1)［4］，通過鏈路聚合將端口捆綁在一起成倍地增加鏈路帶寬，如果鏈路使用中一個(gè)端口出現(xiàn)故障，網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)流可以動(dòng)態(tài)地快速轉(zhuǎn)向鏈路中其他工作正常的端口進(jìn)行傳輸，這樣，鏈路聚合技術(shù)在點(diǎn)到點(diǎn)鏈路上提供了固有的、自動(dòng)的冗余性，實(shí)現(xiàn)了鏈路備份和系統(tǒng)容錯(cuò)［5］。

手工聚合的匯聚組由用戶配置，不允許系統(tǒng)自動(dòng)添加或刪除匯聚組中的端口。聚合組中的端口有Selected(選中)和Unselected(未選中)兩種狀態(tài)。成員端口兩種狀態(tài)的確定主要依賴于參考端口，參考端口根據(jù)端口的雙工模式和速率大小從成員端口中選出，成員端口雙工速率的變化可能會(huì)影響參考端口的變化。聚合鏈路的總帶寬等于所有處于選中狀態(tài)端口的流量總和，并且聚合鏈路的流量會(huì)分擔(dān)到各個(gè)成員端口上。這種聚合模式穩(wěn)定性較好，不易受網(wǎng)絡(luò)環(huán)境的影響。

3 手工聚合在MSAP中的實(shí)現(xiàn)方案

3.1 MSAP設(shè)備網(wǎng)絡(luò)連接

MSAP的網(wǎng)絡(luò)拓?fù)淙鐖D1所示，一端接PTN傳輸網(wǎng)，另一端接SDH傳輸網(wǎng)。MSAP設(shè)備主要的板卡有匯聚卡、業(yè)務(wù)卡、上聯(lián)卡、網(wǎng)管盤及2M16卡，業(yè)務(wù)卡由于本身硬件條件及應(yīng)用環(huán)境的限制不能實(shí)現(xiàn)聚合功能，經(jīng)創(chuàng)新設(shè)計(jì)通過匯聚卡實(shí)現(xiàn)聚合功能。將業(yè)務(wù)卡向匯聚卡匯聚，在匯聚卡上配置聚合組，數(shù)據(jù)流從聚合組中處于選中狀態(tài)的成員端口轉(zhuǎn)發(fā)，這里的成員端口主要是匯聚卡的2個(gè)千兆口。業(yè)務(wù)卡的業(yè)務(wù)通過背板總線的交換口向匯聚卡匯聚，不同槽號(hào)業(yè)務(wù)卡通過網(wǎng)管界面配置向匯聚卡匯聚，使得業(yè)務(wù)卡的上聯(lián)口連接到Marvell6097的百兆口，然后業(yè)務(wù)通過Marvell6097的千兆口輸出到PTN傳輸網(wǎng)上進(jìn)行傳輸。業(yè)務(wù)卡通過交叉連接盤配置交叉業(yè)務(wù)，然后通過2M16板卡下2M業(yè)務(wù)，經(jīng)過E1協(xié)轉(zhuǎn)和光纖收發(fā)器接到用戶端。

圖1 MSAP設(shè)備網(wǎng)絡(luò)連接圖

3.2 功能實(shí)現(xiàn)總體框架

手工聚合在MSAP上的實(shí)現(xiàn)框架如圖2所示，主要包括配置模塊和實(shí)現(xiàn)模塊。實(shí)現(xiàn)模塊主要包括初始化、創(chuàng)建/刪除聚合組、添加/刪除聚合端口、端口狀態(tài)檢測、配置同步、流量負(fù)載分擔(dān)、靜態(tài)選擇以及驅(qū)動(dòng)讀寫。

圖2 鏈路聚合總體框架圖

配置模塊和聚合實(shí)現(xiàn)模塊的主要內(nèi)容如下:

1)配置模塊。配置模塊主要包括SNMP mib以及網(wǎng)管界面，該模塊負(fù)責(zé)解析和處理用戶輸入的相應(yīng)命令，是用戶與鏈路聚合模塊的接口。

2)初始化。初始化主要是為鏈路聚合的運(yùn)行作準(zhǔn)備，如全局變量的初始化、命令注冊以及聚合組狀態(tài)的確定(這里聚合組都初始化為無效狀態(tài)，無成員端口)。

3)端口狀態(tài)監(jiān)測。它主要負(fù)責(zé)不停地讀取端口在聚合組中的Select/Unselect狀態(tài)，然后根據(jù)端口的狀態(tài)重新將流量分配到各個(gè)處于選中狀態(tài)的端口上。

4)創(chuàng)建/刪除聚合組。創(chuàng)建聚合組就是將聚合組狀態(tài)標(biāo)識(shí)位置1，表示該聚合組現(xiàn)在有效;當(dāng)聚合組中沒有成員才可以將該聚合組刪除，將聚合組狀態(tài)標(biāo)識(shí)位置0，即該聚合組無效，不能再對該聚合組進(jìn)行操作。

5)向聚合組添加/刪除端口。向一個(gè)聚合組中添加/刪除成員端口。

6)配置同步。在對聚合接口進(jìn)行配置時(shí)，聚合組中的所有成員端口的配置要進(jìn)行自動(dòng)同步，而且這些配置會(huì)保存在端口上，即使聚合組被刪除，這些端口的配置仍然會(huì)保存。

7)負(fù)載均衡。主要是通過負(fù)載分擔(dān)表的填寫和hash算法來將流量盡可能均勻地分配到聚合組中處于選中狀態(tài)的端口上。

8)靜態(tài)選擇。靜態(tài)選擇主要是進(jìn)行聚合組中參考端口的選擇以及成員端口Select/Unselect狀態(tài)的確定。

9)驅(qū)動(dòng)讀寫。將邏輯上算好的值寫入芯片或從芯片中獲取當(dāng)前值，這里主要是操作Marvell6097提供的API函數(shù)。

3.3 關(guān)鍵技術(shù)

實(shí)現(xiàn)MSAP上的手工聚合功能最主要的部分就是確定端口的Selected/Unselected狀態(tài)，根據(jù)端口狀態(tài)來填寫負(fù)載均衡表。涉及到的關(guān)鍵技術(shù)是靜態(tài)選擇邏輯(參考端口的選擇和成員端口狀態(tài)的確定)和負(fù)載均衡技術(shù)。

3.3.1 靜態(tài)選擇邏輯

靜態(tài)選擇模塊包括參考端口的選擇和成員端口Selected/Unselected狀態(tài)的確定。

參考端口的選擇規(guī)則如下:當(dāng)聚合組內(nèi)有處于UP狀態(tài)的端口時(shí)，先比較端口的聚合優(yōu)先級，優(yōu)先級數(shù)值最小的端口作為參考端口;如果優(yōu)先級相同，再按照端口的全雙工/高速率→全雙工/低速率→半雙工/高速率→半雙工/低速率的優(yōu)先次序，選擇優(yōu)先次序更高、且第二類配置與對應(yīng)聚合接口相同的端口作為該聚合組的參考端口;如果優(yōu)先次序相同，則選擇端口號(hào)最小的端口作為參考端口。

聚合組中成員端口Selected/Unselected狀態(tài)的確定流程如圖3所示。

圖3 成員端口狀態(tài)確定流程圖

另外，聚合組中端口的選擇遵循非搶占原則［6］。當(dāng)一個(gè)聚合組中處于選中狀態(tài)的端口已經(jīng)達(dá)到聚合組所支持的最大端口數(shù)時(shí)，如果再添加的端口也符合選中條件，此時(shí)端口號(hào)越小越優(yōu)的原則將會(huì)失效，已經(jīng)處于選中狀態(tài)的端口優(yōu)先。這樣就可以避免某個(gè)正在轉(zhuǎn)發(fā)流量的端口突然中斷。

3.3.2 負(fù)載均衡及動(dòng)態(tài)備份

在聚合組下設(shè)置驅(qū)動(dòng)后，鏈路聚合系統(tǒng)會(huì)根據(jù)特定的算法把通過聚合接口發(fā)送的報(bào)文分配到各個(gè)處于選中狀態(tài)的成員端口上進(jìn)行轉(zhuǎn)發(fā)，以此實(shí)現(xiàn)流量的負(fù)載均衡。這里的負(fù)載均衡采用的是hash算法。當(dāng)聚合組中成員端口的Link狀態(tài)發(fā)生變化時(shí)，會(huì)影響到該端口在聚合組中的Select/Unselect狀態(tài)，則需重新填寫負(fù)載分擔(dān)表。硬件算法得出一個(gè)hash值，然后根據(jù)該hash值和負(fù)載均衡表來確定報(bào)文從哪個(gè)端口進(jìn)行轉(zhuǎn)發(fā)。

匯聚卡的兩個(gè)千兆口(下面簡稱G01，G02)屬于同一個(gè)聚合組，當(dāng)兩個(gè)端口都屬于選中狀態(tài)時(shí)，負(fù)載均衡表配置如圖4a所示，如果hash值為0，2，4，6，流量從G01轉(zhuǎn)發(fā)，hash值為1，3，5，7，流量從G02轉(zhuǎn)發(fā)，通過每個(gè)端口的報(bào)文數(shù)比例為1∶1。如果聚合組中端口的Selected/Unselected(未選中)發(fā)生變化，那么均衡表的值會(huì)隨之改變，如果G02因某種原因變?yōu)槲催x中狀態(tài)，那么負(fù)載均衡表如圖4b所示，報(bào)文全部從G01進(jìn)行轉(zhuǎn)發(fā)，當(dāng)G02再次從Unselect狀態(tài)變?yōu)镾elect狀態(tài)后，報(bào)文會(huì)再次均衡到兩個(gè)千兆口上進(jìn)行轉(zhuǎn)發(fā)。

圖4 負(fù)責(zé)均衡表配置

Marve7ll6097用到的hash算法主要采用源MAC地址和目的MAC地址異或的方法［4］。取源MAC和目的MAC的最后3 bit進(jìn)行異或運(yùn)算，得到的值在0～7之間，然后再根據(jù)負(fù)載分擔(dān)表決定流量應(yīng)該通過哪條鏈路進(jìn)行轉(zhuǎn)發(fā)。如源MAC為00-00-00-00-0F-01，目的MAC為00-00-00-00-0F-63，最后3 bit進(jìn)行異或后的結(jié)果為2，則該流量將從G01轉(zhuǎn)發(fā)。

調(diào)用Marvell6097提供的API函數(shù)，根據(jù)用戶對聚合組的設(shè)置，對聚合組、聚合組成員端口及負(fù)載均衡表做不同的設(shè)置:

u_longLAG_SetMar6095Trunk(TRUNKING_MEMBER*tm)

{

…/*找出聚合組中的成員端口*/

gprtSetTrunkPort(dev，port，GT_TRUE，trunkld);/*開啟端口的聚合功能*/

gprtSetTrunkRouting(dev，trunkId，tm→TrunkPortList);/*將聚合組的成員下發(fā)硬件*/

…/*軟件求出均衡表的值*/gprtSetTrunkMaskTable(dev，i，mask)/*填寫負(fù)載均衡表*/

…

}

4 功能測試與結(jié)果分析

手工鏈路聚合功能測試環(huán)境如圖5所示，用到的主要設(shè)備有MSAP、以太網(wǎng)測試儀、E1協(xié)轉(zhuǎn)、光纖收發(fā)器。以太網(wǎng)測試儀的一端用于接匯聚卡的千兆口，另一端接光纖收發(fā)器。

圖5 手工鏈路聚合功能測試環(huán)境

通過MSAP網(wǎng)管界面將業(yè)務(wù)板卡(如EOS/EOP)的匯聚模式配置為向上匯聚(向匯聚卡匯聚)，保證兩個(gè)千兆口都處于up狀態(tài)，并將匯聚卡的兩個(gè)千兆口加入到同一個(gè)聚合組，然后通過交叉盤配置交叉連接，業(yè)務(wù)將通過2M16卡下到一個(gè)E1協(xié)轉(zhuǎn)，然后到光纖收發(fā)器。

以太網(wǎng)測試儀從光纖收發(fā)器端發(fā)送源MAC為00-00-0F-00-FF-00，目的MAC是從00-00-0F-00-00-00到00-00-0F-0F-42-40的連續(xù)的1 000 000個(gè)報(bào)文，G01和G02兩個(gè)端口分別收到500 000個(gè)數(shù)據(jù)包。然后再次開始發(fā)送數(shù)據(jù)的同時(shí)將G02狀態(tài)設(shè)置為link down，鏈路L2將不再轉(zhuǎn)發(fā)數(shù)據(jù)報(bào)文，G01上收到998 580個(gè)數(shù)據(jù)包，少量掉包。

根據(jù)hash算法算出的hash值為0～7，然后根據(jù)負(fù)載分擔(dān)表將流量分配到各個(gè)成員端口上，兩個(gè)端口都處于up狀態(tài)時(shí)，測試結(jié)果與理論結(jié)果一致。在一個(gè)端口狀態(tài)發(fā)生變化時(shí)，重新設(shè)置負(fù)載均衡表，在這個(gè)過程中出現(xiàn)少量掉包屬于正?，F(xiàn)象，可以很快恢復(fù)正常通信。

5 小結(jié)

鑒于鏈路帶寬和可靠性對網(wǎng)絡(luò)服務(wù)的限制以及MSAP業(yè)務(wù)卡本身的局限性，本文在了解與掌握鏈路聚合(Link Aggregation)原理的基礎(chǔ)上，通過對聚合組中成員端口的配置同步、數(shù)據(jù)流的負(fù)載分擔(dān)以及動(dòng)態(tài)備份，實(shí)現(xiàn)了MSAP上手工聚合功能，該功能已經(jīng)在本作者所屬單位的MSAP-622設(shè)備上成功運(yùn)行，功能的實(shí)現(xiàn)增加了MSAP-622設(shè)備的鏈路帶寬，同時(shí)鏈路動(dòng)態(tài)備份提高了鏈路可靠性，達(dá)到測試標(biāo)準(zhǔn)，可滿足用戶需求。

［1］李永成，喬廬峰.多業(yè)務(wù)接入平臺(tái)(MSAP)的技術(shù)特點(diǎn)及實(shí)現(xiàn)［J］.電視技術(shù)，2009，33(S1):103-105.

［2］徐蓓，肖萍萍.QinQ在MSAP中的設(shè)計(jì)與實(shí)現(xiàn)［J］.電視技術(shù)，2012，36(9):78-79.

［3］劉寶慶，黃華，夏健剛.基于MSAP的邊緣接入網(wǎng)設(shè)計(jì)方案研究［J］.西華大學(xué)學(xué)報(bào):自然科學(xué)版，2009，28(3):24-25.

［4］金星亮.基于MSTP鏈路聚合的研究與實(shí)現(xiàn)［D］.成都:電子科技大學(xué)，2011.

［5］劉立.交換機(jī)鏈路聚合的原理與實(shí)驗(yàn)研究［J］.信息安全與技術(shù)，2010(9):54-56.

［6］鄭濤.以太網(wǎng)鏈路聚合的研究與實(shí)現(xiàn)［D］.杭州:杭州電子科技大學(xué)，2011.