文/黃學(xué)松 范凱 周昕

湖北工業(yè)大學(xué)校園網(wǎng)扁平化改造中采用的主要技術(shù)是QinQ&PPPoE。本文介紹了基本思路，選型過程及實施效果。改造后的校園網(wǎng)傳輸速率提高，技術(shù)維護節(jié)省。

建設(shè)背景

高校校園網(wǎng)一般采用VLAN 技術(shù)。湖北工業(yè)大學(xué)校園網(wǎng)也經(jīng)歷了802.1X、PORTAL認(rèn)證、PPPoE認(rèn)證三個階段。校園網(wǎng)早期（2004年）建設(shè)時，考慮過PPPoE模式，但由于缺少實際案例，技術(shù)成本較高而擱置，當(dāng)時選擇了比較成熟適用的802.1X方案。采用的認(rèn)證計費系統(tǒng)是交換機廠家免費贈送。后續(xù)由于廠家對802.1X標(biāo)準(zhǔn)做了大量擴展，需要配合該獨家的交換機及客戶端才能使用，設(shè)備采購存在較大麻煩。為此我們將計費更換為當(dāng)時也較流行的網(wǎng)關(guān)計費方案。該方案與交換機廠家無關(guān)，部署、使用都非常簡便，因此在較長時間里滿足了學(xué)校校園網(wǎng)運營和管理需要。

但隨著校園網(wǎng)的發(fā)展，用戶數(shù)量不斷增加（用戶數(shù)3萬），出口帶寬越來越大（4G），P2P應(yīng)用大量存在，網(wǎng)內(nèi)流量也增長迅速。網(wǎng)關(guān)式認(rèn)證計費方案（X86架構(gòu)）的弱點就逐步顯現(xiàn)出來，流量超過700M時會出現(xiàn)明顯的延時甚至丟包，需要考慮更換認(rèn)證計費的新方案。

建設(shè)思路

計費認(rèn)證方案的總需求是：避免IP網(wǎng)絡(luò)的一些問題，減輕維護人員的工作量。以前校園網(wǎng)中管理存在的主要困難有：

有效避免用戶私接困難；用戶上網(wǎng)行為審計困難；同VLAN用戶量太大,可能導(dǎo)致廣播流量泛濫，占用帶寬，影響業(yè)務(wù)開展；某用戶中毒對交換機及同VLAN用戶影響大；面積查障/排障困難。

基于這一需求，PPPoE方案又被提上議程。PPPoE方案所需要的BRAS價格較高，早期PPPoE方案還存在著一定的技術(shù)局限性：

PPP協(xié)議和Ethernet在技術(shù)本質(zhì)上存在差異。傳統(tǒng)以太網(wǎng)不具備詳細(xì)的用戶管理功能。PPP協(xié)議需要被再次封裝到以太幀中，增加了封裝開銷，導(dǎo)致效率降低；增加了分片處理的開銷；PPPoE在發(fā)現(xiàn)階段會產(chǎn)生大量的廣播流量，對網(wǎng)絡(luò)性能可能產(chǎn)生較大的影響，導(dǎo)致網(wǎng)絡(luò)性能降低的矛盾卻越來越突出。如何最大限度地限制廣播流量，是需要考慮的問題；組播業(yè)務(wù)開展困難，而視頻業(yè)務(wù)大部分是基于組播的；為了方便管理和維護，需要為每個用戶設(shè)定一個VLAN，這樣就需要接入交換機、匯聚交換機和核心交換機都能夠支持QinQ功能。經(jīng)過PPPoE封裝以后的幀又要經(jīng)過QinQ封裝，幀會加大(達1526Byte)，需要接入、匯聚和核心交換機都能夠支持巨幀傳送。

在PPPoE模式下，每個用戶的帶寬都是受限的（學(xué)校分配策略：非高峰時段每用戶6M，高峰時段為2M），這種策略不僅限制了訪問外網(wǎng)的帶寬，也限制了內(nèi)網(wǎng)P2P應(yīng)用，如文件傳送等，也存在著較大的限制。

什么是QinQ&PPPoE技術(shù)？

QinQ技術(shù)。IEEE802.1Q中定義的VLAN Tag域中用12個比特位表示VLAN ID，最多支持4094個VLAN。而在大型校園網(wǎng)中，需要大量VLAN隔離用戶，這個數(shù)量遠(yuǎn)遠(yuǎn)不能滿足需求。QinQ能夠解決這個問題。QinQ在802.1Q封裝的報文Tag嵌套一個Tag，以增加Tag數(shù)量。它將私網(wǎng)VLAN Tag封裝在公網(wǎng)VLAN Tag中，報文帶著兩層Tag穿越網(wǎng)絡(luò)（二層VPN隧道）。QinQ分為基本QinQ和靈活QinQ。基本QinQ通常以物理端口來隔離用戶（或用戶網(wǎng)絡(luò)），是簡單二層VPN應(yīng)用。靈活QinQ根據(jù)用戶報文的Tag或其他特征（IP/MAC等），給用戶報文打上相應(yīng)的外層Tag，以區(qū)分用戶（或應(yīng)用）。如內(nèi)層標(biāo)簽代表用戶，外層標(biāo)簽代表業(yè)務(wù)，有效實現(xiàn)用戶定位和業(yè)務(wù)分流。

PPPoE技術(shù)。PPP（Point-to-Point Protocol點到點協(xié)議）是工作數(shù)據(jù)鏈路層的協(xié)議，實現(xiàn)同等單元之間的數(shù)據(jù)包傳輸。這種鏈路提供全雙工操作，并按照順序傳遞數(shù)據(jù)包。設(shè)計目的主要是用來通過撥號或?qū)＞€方式建立點對點連接發(fā)送數(shù)據(jù)，使其成為各種主機、網(wǎng)橋和路由器之間簡單連接的一種共通的解決方案。而PPPoE（Point-to-Point Protocol over Ethernet）協(xié)議允許通過一個連接客戶的簡單以太網(wǎng)橋啟動一個PPP 對話。PPPoE 以其良好的網(wǎng)絡(luò)管理效率，獲得了廣大網(wǎng)絡(luò)運營商的認(rèn)可和應(yīng)用。

技術(shù)選型

隨著技術(shù)的進步，PPPoE的上述局限性得到解決。某運營商BRAS采購及方案論證過程中，對市面上幾乎所有廠家的BRAS設(shè)備進行了非常詳細(xì)的測試。測試表明：上述PPPoE的技術(shù)局限問題在REDBACK、華為、Juniper的最新BRAS設(shè)備中，都有針對性地進行了解決和優(yōu)化。例如，組播幾乎所有送測設(shè)備都能很輕松地應(yīng)對5000～10000并發(fā)的組播需求；PPP協(xié)議帶來的封裝延遲用戶也幾乎無法感知。傳統(tǒng)以太網(wǎng)數(shù)據(jù)幀被重新封裝成PPPoE幀，所有流量都經(jīng)過PPPoE服務(wù)端，雖效率稍有降低但卻實現(xiàn)了強大的流量控制和用戶上網(wǎng)行為管理功能。傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)中被IP地址管理、ARP攻擊、接入層網(wǎng)絡(luò)環(huán)路等搞得焦頭爛額的管理員們，發(fā)現(xiàn)這些在PPPoE面前不是問題（傳統(tǒng)網(wǎng)絡(luò)架構(gòu)面對這些卻完全無能為力）。

PPPoE技術(shù)局限性的解決得益于QinQ的巧妙運用。QinQ 將用戶私網(wǎng)VLAN Tag封裝在公網(wǎng)VLAN Tag中，報文帶著兩層VLAN Tag穿越網(wǎng)絡(luò)。公網(wǎng)中只根據(jù)外層VLAN Tag傳送，私網(wǎng)VLAN Tag被屏蔽（內(nèi)層Tag 透明傳送）。這樣，不僅對數(shù)據(jù)流進行了區(qū)分，而且由于私網(wǎng)VLAN Tag被透明傳送，不同的用戶VLAN Tag 可以重復(fù)使用，只需要外層VLAN Tag 在公網(wǎng)上的惟一即可，實際上也擴大了可利用的VLAN Tag 數(shù)量。根據(jù)這個原理，采用雙層VLAN Tag技術(shù)構(gòu)造多個VLAN ，實現(xiàn)用戶認(rèn)證前端口隔離和VLAN 隔離，從而達到有效減少廣播流量的目的。

另外，送檢的BRAS設(shè)備都完全通過了IPv6的所有項目測試，包括認(rèn)證、接入控制、IPv6地址下發(fā)、IPv4/IPv6雙棧接入及流量區(qū)別計費等。測試時間長達半年，對設(shè)備的幾乎所有功能都進行了完整測試，測試結(jié)果堅定了學(xué)校校園網(wǎng)進行扁平化改造的決心。

除此之外，采用PPPoE模式以后，BRAS設(shè)備以下的所有設(shè)備都工作在二層，大大降低了這些設(shè)備的負(fù)荷，以前接入層交換機和樓棟匯聚交換機既需要處理基本的三層路由交換任務(wù)，還需要啟用一部分ACL、STP等安全功能，這些功能也大大消耗了交換機本身的CPU和內(nèi)存等資源。幾年來學(xué)校校園網(wǎng)運行表明，片區(qū)匯聚交換機和核心交換機的負(fù)荷非常?。–PU很少超過20%），但樓棟匯聚交換機卻負(fù)荷較大。如果樓棟內(nèi)的環(huán)路較多，上網(wǎng)用戶較多時，樓棟交換機的CPU的使用甚至?xí)_到100%，大大影響了該樓宇的網(wǎng)絡(luò)性能和用戶體驗。

經(jīng)過測試得出：采用QinQ&PPPoE技術(shù)進行網(wǎng)絡(luò)扁平化改造是可行的。在BRAS強大的吞吐性能及PPPoE完善的流量控制與用戶行為管理機制支撐下，完全能夠構(gòu)建一張沒有性能瓶頸的無阻塞校園網(wǎng)，并大大降低網(wǎng)絡(luò)管理和維護工作量。

建設(shè)方案

圖1 湖北工業(yè)大學(xué)校園網(wǎng)拓?fù)鋱D

湖北工業(yè)大學(xué)校園網(wǎng)改造方案是一攬子方案。經(jīng)過合法的招投標(biāo)程序和精細(xì)比較，學(xué)校全網(wǎng)改造最終采取以下建設(shè)方案。部分拓?fù)淙鐖D1所示。

兩臺某廠商ME60-X8作為全網(wǎng)的認(rèn)證和路由管理網(wǎng)關(guān)，三臺S9312構(gòu)建二層環(huán)網(wǎng)作為全網(wǎng)核心層，樓棟匯聚采用S5700系列交換機，接入采用S2700系列交換機，采用扁平化架構(gòu)，利用QinQ技術(shù)實現(xiàn)二層隔離，有效避免了廣播風(fēng)暴等網(wǎng)絡(luò)問題，實現(xiàn)用戶流量到網(wǎng)關(guān)都由ME60統(tǒng)一管理。ME60可按每用戶組播或者基于VLAN組播，考慮到未來網(wǎng)絡(luò)應(yīng)用不斷豐富和無線校園網(wǎng)等應(yīng)用可能導(dǎo)致的并發(fā)用戶激增，容易出現(xiàn)峰值接入認(rèn)證的情況，采用高性能的ME60-X8，而沒有選用目前所用的ME60-X3，充分考慮性能的冗余，而且ME60-X8具備獨立的路由處理引擎，相對于ME60-X3具備更加強大的路由處理能力。整個網(wǎng)絡(luò)結(jié)構(gòu)簡單、清晰，高性能和高可靠并存，用戶安全隔離，流量模型清晰可控，能夠支持IPoE/PPPoE/PORTAL等多種認(rèn)證接入方式，具備非常好的可擴展性，能夠滿足未來一個時期的業(yè)務(wù)增長需求。

這種網(wǎng)絡(luò)構(gòu)架，BRAS以下的所有設(shè)備都只能工作在二層，又給網(wǎng)絡(luò)規(guī)劃帶來新挑戰(zhàn)：隨著IP網(wǎng)絡(luò)向承載多業(yè)務(wù)方向發(fā)展，3G、NGN、IPTV等業(yè)務(wù)對于網(wǎng)絡(luò)的可靠性、QoS要求越來越高。在三層網(wǎng)絡(luò)中，可以通過路由快速收斂來保證，如可以通過OSPF、VRRP等協(xié)議，實現(xiàn)交換機和鏈路的冗余和故障的快速切換，提高核心網(wǎng)絡(luò)的穩(wěn)定和健壯，但不論是OSPF還是VRRP都是工作在三層的，在PPPoE組網(wǎng)模式下，傳統(tǒng)技術(shù)不能滿足快速收斂、鏈路切換的要求，當(dāng)然也就無法通過這類協(xié)議來實現(xiàn)核心交換機的故障轉(zhuǎn)移和鏈路切換。對于這一問題，如果核心交換機只有兩臺，可簡單地使用S9312等核心交換設(shè)備支持的CSS集群技術(shù)，通過構(gòu)建高性能交換機集群，使用跨框鏈路聚合提高鏈路利用率和網(wǎng)絡(luò)可靠性。而像我校使用三臺以上S9312交換機構(gòu)件核心層的用戶，可以采用智能以太環(huán)網(wǎng)解決方案，能夠?qū)⑷_以上的S9312等核心設(shè)備組建一個二層的以太環(huán)網(wǎng)，通過SEP為二層以太網(wǎng)絡(luò)提供高可靠性和服務(wù)質(zhì)量保證，可以防止環(huán)路上的廣播風(fēng)暴，鏈路故障時可以提供快速收斂，從而實現(xiàn)鏈路的快速切換。

經(jīng)過近一年的運行實踐表明：全網(wǎng)運行穩(wěn)定，設(shè)備運行良好，用戶體驗改善，運維人員工作量減輕，故障處置簡單、及時，全網(wǎng)改造達到了建設(shè)預(yù)期。監(jiān)控表明：所有的樓宇匯聚交換機和接入交換機，CPU的負(fù)荷最高只達到了32%（正常情況下基本都穩(wěn)定在20%以下，遠(yuǎn)優(yōu)于改造前）；而核心交換機的CPU更是穩(wěn)定在15%左右；負(fù)荷最大的BRAS設(shè)備的CPU最高也沒有超過30%，所有設(shè)備運行穩(wěn)定。