羅鑒 宋曉麗

中圖分類號：TN915.1文獻標志碼：A 文章編號：1009-6868 (2012) 04-0027-005

摘要：文章認為為使以太網(wǎng)能更好地適應數(shù)據(jù)中心網(wǎng)絡融合需求，需對現(xiàn)有以太網(wǎng)進行全面性能提升，以實現(xiàn)低延時、無損的增強型以太網(wǎng)。文章探討了無損以太網(wǎng)關(guān)鍵技術(shù)：量化擁塞通知(QCN)、基于優(yōu)先級的流控(PFC)、增強傳輸選擇(ETS)、自動發(fā)現(xiàn)和能力交換協(xié)議(DCBX)，并對這些技術(shù)的特點及協(xié)議兼容性進行了研究和分析。文章認為無損以太網(wǎng)技術(shù)是保障數(shù)據(jù)中心網(wǎng)絡基礎(chǔ)設施在處理網(wǎng)絡流量過程中低延遲、無丟包的關(guān)鍵技術(shù)，將逐步為數(shù)據(jù)中心產(chǎn)品所支持。

關(guān)鍵詞：無損以太網(wǎng)；擁塞管理；流量控制；增強傳輸選擇

Abstract:Before converging Ethernet in data centers, it is necessary to improve the performance of existing Ethernet so that low-delay, lossless enhanced Ethernet can be achieved. In this paper, we introduce the key technologies in lossless Ethernet networks, including quantized congestion notification, priority-based flow control, enhanced transmission selection, and data-center bridging exchange. We analyze protocol compatibility between these technologies and predict the future of these technologies. Lossless Ethernet technologies are central in creating low-delay, lossless data-center networks and will be supported in all future data-center products.

Key words:lossless Ethernet; congestion management; flow control; enhanced transmission selection

新的數(shù)據(jù)中心中無損以太網(wǎng)技術(shù)是關(guān)鍵技術(shù)之一，國際電子電氣工程師學會(IEEE) 802.1數(shù)據(jù)中心橋接(DCB)工作組為此定義了多個標準。這些標準主要有：

(1)802.1 Qau[1]，該標準定義了后向擁塞通知協(xié)議，也稱量化擁塞通知(QCN)。其主要原理是當配置擁塞檢測點(CP)的橋端口檢測到擁塞情況，則通過擁塞通知消息(CNM)將擁塞情況反壓給導致?lián)砣姆磻c(RP)，通知其進行自身數(shù)據(jù)傳送速率的控制。

(2)802.1 Qbb[2]，該標準定義了基于優(yōu)先級的流控(PFC)。該標準采用了類似802.3X的暫停(PAUSE)機制，但PAUSE機制是對每個優(yōu)先級單獨進行的。

(3)802.1Qaz[3]，該標準包括增強傳輸選擇(ETS)、自動發(fā)現(xiàn)和能力交換協(xié)議(DCBX)兩部分。其中ETS將具有相同時延、丟包要求的不同優(yōu)先級業(yè)務流劃分到一個流量類別(TC)組，并為該TC分配一定比重的可用帶寬，以滿足不同應用對傳輸帶寬的需求；DCBX主要是通過擴展鏈路層發(fā)現(xiàn)協(xié)議(LLDP)的類型長度值(TLV)實現(xiàn)DCB控制層面協(xié)議。

(4)802.3bd[4]，該標準是為支持802.1Qbb PFC而對802.3[5]媒體訪問控制(MAC)控制幀進行的修訂，用于通過修訂后的M_CONTROL PFC原語實現(xiàn)對各優(yōu)先級的PFC功能的使能和流量控制。

1 無損以太網(wǎng)關(guān)鍵技術(shù)

1.1 量化擁塞通知

QCN是IEEE 802.1Qau標準所定義的擁塞管理機制。相對于其他擁塞管理技術(shù)，QCN采用了相對精準的后向擁塞通知機制，在核心網(wǎng)絡設備基于出端口隊列設置擁塞檢測點，檢測到擁塞發(fā)生則組建包含擁塞程度的擁塞通知消息CNM，并反壓至導致?lián)砣脑唇K端，令其依據(jù)CNM指示降低相應流的數(shù)據(jù)傳送速率。

圖1為QCN擁塞控制機制示意圖，終端數(shù)據(jù)流在設置了擁塞檢測的核心網(wǎng)絡設備匯聚，若發(fā)生擁塞，核心設備則根據(jù)擁塞程度組建CNM通知相應的終端降低速率。

圖1中核心網(wǎng)絡設備B6檢測其出端口緩沖占用率并采樣收到的幀，一旦發(fā)生擁塞即生成擁塞通知消息CNM，反壓到造成擁塞的數(shù)據(jù)幀的源節(jié)點，其中檢測擁塞的網(wǎng)絡功能實體為擁塞檢測點(CP)，對擁塞情況進行反應并進行相應數(shù)據(jù)速率調(diào)節(jié)的功能實體為反應點(RP)。

由上述QCN機制可見，其核心組件主要是用于檢測網(wǎng)絡擁塞的CP和用于調(diào)整終端速率的RP，下面將分別就CP和RP的工作原理進行簡要介紹。

(1)擁塞檢測點

CP是通過對于當前緩存占用情況的衡量來決定是否需要調(diào)整當前來包的速率，以及調(diào)整幅度的大小；通過對來包采樣來決定通知哪個源站點降低傳送速率。CP的緩存如圖2所示。

圖2中，Qeq是一個門限值，通常為物理緩存的20%，Q為當前隊列長度，Q off =Q -Q eq代表當前隊列超出閾值的長度。定義Q old為上次反饋F產(chǎn)生時的隊列長度，Q? =Q -Q old反應了自上一次F發(fā)送后的速度增加情況。則F的計算公式為：

這里w是一個非負常數(shù)，基準值為2。根據(jù)上述對于Q off和Q old的定義，當F為負(F <0)時，證明緩存過溢，需反饋CNM消息；當F >=0時，說明沒有擁塞發(fā)生，因此不需反饋擁塞消息。當F為負，即判斷有擁塞發(fā)生時，CP將提取被采樣報文的源地址作為CNM消息的目的地址，并將反應擁塞程度的參數(shù)信息作為CNM消息的有效負荷反壓至源終端，令其降低數(shù)據(jù)傳送速率。

(2)反應點

RP主要是基于CP反饋回來的CNM消息調(diào)整傳送速率，以進行擁塞管理或自動帶寬恢復，此外還可用于探測額外的可用帶寬。

對于傳送速率的調(diào)整，分為降低發(fā)送速率和增加發(fā)送速率。發(fā)送速率的降低可通過CNM消息及其攜帶的參數(shù)判斷執(zhí)行，然而CNM消息中并沒有通知速率恢復/增加的參數(shù)，因此RP提供了一種用于自動增加傳送速率的機制，即等待一定周期內(nèi)若沒有收到CNM消息，則判斷擁塞解除或無擁塞發(fā)生，并按照約定規(guī)則自行增加數(shù)據(jù)傳送速率。其中等待周期的設置是根據(jù)CP點抽樣概率而定的，通常為100個包的長度，這樣設置的思路是，假設CP的最小采樣概率是1%，當RP點已經(jīng)傳送100個包，還未收到擁塞通知，則可判定CP未發(fā)生擁塞，因此RP將按照約定原則增加其傳送速度。

1.2 基于優(yōu)先級的流控

PFC是基于優(yōu)先級的流控機制，該機制是在802.3ad的PAUSE機制上做了修改，將流量按802.1Q協(xié)議中虛擬局域網(wǎng)(VLAN)標簽的優(yōu)先級字段分為8個優(yōu)先級，對每個優(yōu)先級的流量分別實現(xiàn)獨立的PAUSE機制。其原理機制如圖3所示。

PFC為基于每優(yōu)先級的鏈路級流控，該功能通過M_CONTROL PFC原語實現(xiàn)，該原語是源于IEEE 802.3 MA_CONTROL原語，為此IEEE802.1 DCB工作組特制訂了相應的802.3bd協(xié)議用以規(guī)范為擴展PFC原語而對IEEE 802.3 MAC控制幀所作的修改。當PFC功能在某個端口使能，那么該端口IEEE 802.3 PauseAdminMode應關(guān)閉以免造成誤處理。

M_CONTROL PFC原語包含請求和指示兩種，若全雙工鏈路一側(cè)用戶希望阻止對端某一優(yōu)先級數(shù)據(jù)的傳輸則產(chǎn)生M_CONTROL.request原語，作為對該原語的處理，對端對等實體會收到相應的MA_CONTROL.indication原語。這兩個原語operand_list參數(shù)包含priority_enable_vector和time_vector兩個字段，分別用于指示各優(yōu)先級PFC使能情況，以及需要暫停數(shù)據(jù)傳送的時長。

考慮延時和處理時長的關(guān)系，接收方需要確保有足夠的緩存來存放從發(fā)送PFC PAUSE請求到遠端系統(tǒng)對PFC PAUSE幀作出反應之前所發(fā)送的報文，以免報文因緩存溢出而丟失。精確地計算緩存容量需求與網(wǎng)絡實現(xiàn)密切相關(guān)。圖4顯示了延時計算模型。

該模型中包含4個部分：

?PFC PAUSE幀產(chǎn)生和排隊時長

?PFC PAUSE幀通過物理介質(zhì)的時長

?遠端對于PFC PAUSE幀的響應時長

?返回路徑的物理介質(zhì)傳輸時延

為了保證無損的以太網(wǎng)絡，PFC技術(shù)實現(xiàn)中緩存的設計一定要充分考慮到時延的最壞情況。

1.3 增強傳輸選擇

ETS提供了一種數(shù)據(jù)中心環(huán)境下優(yōu)先級處理和帶寬分配的操作模型，通過ETS的使用，可以將不同類型業(yè)務比如局域網(wǎng)、存儲、集群、管理劃分至不同的流量類別(TC)，并為其提供相應的帶寬分配或盡力而為服務。ETS典型應用示例如圖5所示。

ETS是對輸出端口傳輸選擇實體功能的改進與增強。其思路是按照不同應用的傳輸性能(帶寬、丟包、時延等)需求將端口流量分配至不同的TC，并為每個TC分配一定比例的可用帶寬。同一TC中的流量享受相同的待遇(帶寬、丟包等)。例如，數(shù)據(jù)中心中網(wǎng)絡流量按應用類型分為交互進程通信(IPC)數(shù)據(jù)、存儲區(qū)域網(wǎng)絡(SAN)數(shù)據(jù)和普通局域網(wǎng)(LAN)數(shù)據(jù)3類，這3類數(shù)據(jù)對網(wǎng)絡性能的要求不同，IPC數(shù)據(jù)對時延敏感；SAN數(shù)據(jù)對丟包敏感；LAN數(shù)據(jù)對網(wǎng)絡要求最低，能適應現(xiàn)在的以太網(wǎng)。于是ETS就將這3類數(shù)據(jù)劃分至不同的TC，每個TC組分配不同的帶寬比，以確保在網(wǎng)絡帶寬不足時關(guān)鍵數(shù)據(jù)能優(yōu)先使用帶寬資源，IPC數(shù)據(jù)優(yōu)先于SAN數(shù)據(jù)，LAN數(shù)據(jù)優(yōu)先組級別最低。

ETS支持3～8個TC。之所以ETS至少應支持3個TC，是為了滿足ETS的最低配置，即一個TC包含PFC使能的優(yōu)先級，一個TC包含PFC非使能的優(yōu)先級，一個TC使用嚴格優(yōu)先級。每個TC可以包含一個或多個優(yōu)先級，同屬于一個TC的所有優(yōu)先級共享為該TC分配的帶寬，若該組的實際使用帶寬小于為其分配的帶寬，那么空閑的帶寬可為其他業(yè)務流量臨時占用。

1.4 自動發(fā)現(xiàn)和能力交換協(xié)議

DCBX是應用于DCB的控制層協(xié)議，該協(xié)議的主要目的是：

?DCBX了解對端設備的DCB能力，比如對端設備是否支持PFC和ETS。

?DCBX檢測設備關(guān)于DCB功能配置的不匹配。不匹配的檢測特性相關(guān)，有一些是允許不對稱配置的。

?在對端設備允許的情況下，DCBX為對端設備進行DCB功能配置。

該協(xié)議主要應用于DCB的PFC、ETS特性，IEEE 802.1 Qau能力的協(xié)商與檢測采用了類似該協(xié)議的機制，它們都是承載于IEEE 802.1AB LLDP[6]協(xié)議的TLV字段傳輸。

2 無損以太網(wǎng)關(guān)鍵技術(shù)

特點及協(xié)議兼容性分析

PFC協(xié)議的目的是實現(xiàn)“零丟包”的無損傳輸。其優(yōu)點是基于全雙工，反應快，能夠快速緩解擁塞，用于處理網(wǎng)絡流量浪涌是不錯的選擇。PFC協(xié)議但并沒有根本解決問題，還會導致?lián)砣麛U散。PFC協(xié)議比較適合小規(guī)模的組網(wǎng)環(huán)境。

QCN主要是通過橋接設備和終端設備對該協(xié)議的支持，實現(xiàn)后向擁塞的精準控制。該協(xié)議的使用能夠從根本上解決網(wǎng)絡的擁塞問題，找到導致?lián)砣淖钤垂?jié)點，并通知其降低速率；缺點是因CNM消息往往要跨網(wǎng)絡多節(jié)點傳輸，反應速度較慢，擁塞發(fā)生后往往需要一段時間才能產(chǎn)生顯著效果。QCN與PFC的聯(lián)合使用是一個不錯的解決方案，一方面PFC能夠快速緩解網(wǎng)絡擁塞問題，另一方面，QCN能夠根本的解決擁塞問題。QCN可以看做是PFC的補充解決方案。

ETS實現(xiàn)了帶寬資源的合理利用，按照不同應用的傳輸性能(帶寬、丟包、時延等)需求將端口流量分配至不同的TC組，并為每個TC組分配一定比例的可用帶寬。ETS提供了一種數(shù)據(jù)中心環(huán)境下優(yōu)先級處理和帶寬分配的操作模型，通過ETS的使用，可以將不同類型業(yè)務比如LAN、存儲、集群、管理劃分至不同的TC組，并為其提供相應的帶寬分配或盡力而為服務。通過ETS的使用，人們

實現(xiàn)了有限帶寬資源的最大化利用。

DCBX協(xié)議是無損以太網(wǎng)技術(shù)控制層面的協(xié)議，設備對于DCBX的支持是實現(xiàn)PFC和ETS的前提。通過該協(xié)議的使用，實現(xiàn)直連對等設備間配置信息交換，不匹配檢測及對端參數(shù)配置等。

通過上述分析可以看出，無損以太網(wǎng)涉及到的各項技術(shù)均是出于不同的目的(如無丟包、低延遲、增加帶寬利用率等)單獨設計實施的，那么在各項技術(shù)使用時，是否會遇到不同協(xié)議共存的協(xié)調(diào)性問題呢？下面將就無損以太網(wǎng)涉及的各項關(guān)鍵技術(shù)，從兼容性角度進一步進行分析。

PFC在點到點全雙工鏈路基于優(yōu)先級隊列中實現(xiàn)，對等實體間的配置應一致。PFC的觸發(fā)條件，可以為輸入緩存達到一定閾值(并未作具體規(guī)定)。PFC產(chǎn)生后主要作用于各個輸出隊列。當與QCN同時使用時，因QCN檢測也是基于出端口優(yōu)先級隊列，應注意PFC與QCN觸發(fā)的閾值設置問題。PFC與QCN共用應用場景如圖6所示。如PFC的閾值設置不當(較低)，就會導致QCN機制的失效。因此綜合考慮，合理設置QCN與PFC的閾值是十分必要的。

圖6中，當網(wǎng)絡發(fā)生擁塞時，設備E的入端口會產(chǎn)生用于PAUSE某優(yōu)先級的PFC指示，同時QCN也應基于對出端口的擁塞檢測，創(chuàng)建CNM消息反壓至導致?lián)砣脑垂?jié)點。該場景中，如無法掌握閾值合理設置，采用QCN來觸發(fā)PFC也是一種可選方案，這種方案使得網(wǎng)絡擁塞時，PFC可以較快速的響應并暫時緩解擁塞，QCN則利用PFC作用時間從根本上解決擁塞。在有些芯片具體實現(xiàn)中，QCN邊緣也可通過QCN觸發(fā)PFC。主要是解決終端不支持QCN的情況。

當PFC與ETS或者其他協(xié)議共用時，應充分考慮優(yōu)先級與TC的映射。如果出端口多個優(yōu)先級數(shù)據(jù)映射到同一個物理先入先出(FIFO)隊列，一個優(yōu)先級被PAUSE可能會導致同隊列的其他優(yōu)先級受連累的情況。優(yōu)先級TC映射不一致導致PFC異常情況舉例如圖7所示(在與PFC共用的情況下應充分考慮優(yōu)先級隊列與TC的映射關(guān)系)。

QCN主要基于設備出端口隊列進行，出端口緩存達到一定的閾值則創(chuàng)建CNM消息反壓至導致?lián)砣慕K端。該協(xié)議的使用不會對其他協(xié)議產(chǎn)生共存方面影響。相反，該協(xié)議與PFC共用能夠更好的解決網(wǎng)絡擁塞問題(如6所示)。

ETS是對端口輸出隊列進行分組，形成虛擬TC隊列，并依此執(zhí)行相應的調(diào)度，以實現(xiàn)帶寬的合理充分利用。不會對出端口物理隊列產(chǎn)生實質(zhì)的影響，因此它不會對其他協(xié)議產(chǎn)生影響。

此外，無損以太網(wǎng)在與TRILL[7]網(wǎng)絡共同使用時，PFC與ETS是基于全雙工鏈路的，不會出現(xiàn)什么問題，QCN機制中因CNM的目的地址是直接提取被抽樣數(shù)據(jù)報文的源地址，而TRILL網(wǎng)絡源地址信息是每跳更新的，因此QCN無法將CNM正確地反壓回去。網(wǎng)絡部署中，如果采用TRILL網(wǎng)絡，則相應的QCN必須具備擁塞通知互通功能，在網(wǎng)絡邊緣重建CNM消息反壓至正確的源終端。另外，當與TRILL網(wǎng)絡共同使用時，還應充分考慮網(wǎng)絡邊緣優(yōu)先級的映射問題，最好可以做到優(yōu)先級的一一映射，否則QCN機制可能出現(xiàn)錯誤。

3 結(jié)束語

無損以太網(wǎng)技術(shù)是保障數(shù)據(jù)中心網(wǎng)絡基礎(chǔ)設施在處理網(wǎng)絡流量過程中低延遲、無丟包的關(guān)鍵技術(shù)。伴隨云計算以及下一代數(shù)據(jù)中心網(wǎng)絡的快速發(fā)展，日益增長的應用需求以及網(wǎng)絡需求對于無損以太網(wǎng)性能的要求越來越高[8-14]?？梢灶A見，無損以太網(wǎng)技術(shù)將逐步為數(shù)據(jù)中心產(chǎn)品所支持，并成為數(shù)據(jù)中心網(wǎng)絡性能提高的基礎(chǔ)性關(guān)鍵技術(shù)。

4 參考文獻

[1] IEEE Std 802.1qau-2010, IEEE standard for local and metropolitan area networks -- Virtual bridged local area networks, Amendment 13: congestion notification [S]. 2010.

[2] IEEE Std 802.1qbb-2011, IEEE standard for local and metropolitan area networks — Virtual bridged local area networks, Amendment19: PBB-TE Infrastructure Segment Protection [S]. 2011.

[3] IEEE Std 802.1qaz-2011, IEEE standard for local and metropolitan area networks —Media access control (MAC) bridges and virtual bridged local area networks—Amendment 18: Enhanced transmission selection for bandwidth sharing between traffic classes [S]. 2011.

[4] IEEE Std 802.3bd-2001, IEEE standard for information technology —Telecommunications and information exchange between systems — Local and metropolitan area networks — Specific requirements, Part 3: Carrier sense multiple access with collision detection (CSMA/CD) access method and physical layer specifications, Amendment 8: MAC control frame for priority-based flow control [S]. 2001.

[5]IEEE Std 802.3-2005, IEEE standard for information technology - Telecommunications and information exchange between systems — Local and metropolitan area networks — Specific requirements, Part 3: Carrier sense multiple access with collision detection (CSMA/CD) access method and physical layer specifications [S]. 2005.

[6] IEEE Std 802.1ab-2009, IEEE standard for local and metropolitan area networks— Station and Media Access Control Connectivity Discovery [S]. 2009.

[7] Perlman R, EASTLAKE D, DUTT D, et al. Routing bridges (RBridges): Base protocol specification [S]. IETF. RFC 6325. 2011.

[8] 唐雄燕. 電信運營商的云計算與物聯(lián)網(wǎng)發(fā)展策略 [J]. 中興通訊技術(shù), 2011,17(2):33-36.

[9] 毛玉泉, 李思佳, 李波, 鄭秋榮. 一種新的多鏈路輪詢方案 [J]. 重慶郵電大學學報(自然科學版), 2011,23(5):585-592.

[10] 高洪, 董振江. 云計算分布式緩存技術(shù)及其在物聯(lián)網(wǎng)中的應用 [J]. 中興通訊技術(shù), 2011,17(4):37-40.

[11] 施華雷, 王寧, 劉宇, 田增山. 以太網(wǎng)數(shù)字影像遙測編碼器的硬件設計與實現(xiàn) [J]. 數(shù)字通信,2 012,(1):49-54.

[12] 徐志發(fā). 中國云數(shù)據(jù)中心的優(yōu)化布局與科學發(fā)展 [J]. 中興通訊技術(shù), 2011,17(6):37-39.

[13] 吳少勇, 甘玉璽, 張翰之. 以太網(wǎng)的環(huán)路檢測技術(shù) [J]. 中興通訊技術(shù), 2012,18(1):40-43.

[14] 薛一波, 易成岐. 云存儲 [J]. 中興通訊技術(shù), 2012,18(1):57-60.

收稿日期：2012-05-10

作者簡介

羅鑒，四川大學計算機科學系碩士畢業(yè)；中興通訊股份有限公司承載網(wǎng)預研部部部長；從事數(shù)據(jù)和光通信研究；已發(fā)表技術(shù)論文10余篇。

宋曉麗，中興通訊股份有限公司三級主任工程師；主要從事云計算數(shù)據(jù)中心方面的技術(shù)研究，負責相關(guān)領(lǐng)域技術(shù)預研、相關(guān)標準跟蹤及制訂等；已成功申請創(chuàng)新專利20余項，完成行業(yè)標準3項。