韓英賢

中國(guó)電信股份有限公司無(wú)錫分公司

0 引言

無(wú)錫城域網(wǎng)啟動(dòng)城域網(wǎng)虛擬化試點(diǎn)，引入vBRAS資源池規(guī)模承載小流量、大并發(fā)的ITMS業(yè)務(wù)。vBRAS資源池集中部署，將硬件BRAS承載的ITMS業(yè)務(wù)遷移至vBRAS，ITMS割接需寬帶接入網(wǎng)POP交換機(jī)（DCSW）通過(guò)VXLAN隧道將二層業(yè)務(wù)報(bào)文上送vBRAS。

某天，某局點(diǎn)覆蓋OLT的ITMS業(yè)務(wù)從上聯(lián)的硬件BRAS（國(guó)脈Ne40e、春申路M6000）割接到vBRAS后，部分終端（e8-C、天翼網(wǎng)關(guān)）TR069配置下發(fā)不成功，針對(duì)出現(xiàn)障礙的終端，ping大包（2000 bytes）不通。

1 分析過(guò)程

1.1 VXLAN隧道對(duì)IP MTU值的要求

由于障礙現(xiàn)象為對(duì)出現(xiàn)障礙的終端ping大包不通，初步判斷有網(wǎng)絡(luò)設(shè)備中繼端口的IP MTU值設(shè)置過(guò)小，導(dǎo)致VXLAN報(bào)文分片。

VXLAN（Virtual eXtensible Local Area Network，虛 擬 擴(kuò)展局域網(wǎng)），是由IETF定義的NVO3（Network Virtualization over Layer 3）標(biāo)準(zhǔn)技術(shù)之一，采用L2 over L4（MAC-in-UDP）的報(bào)文封裝模式，將二層報(bào)文用三層協(xié)議進(jìn)行封裝，可實(shí)現(xiàn)二層網(wǎng)絡(luò)在三層范圍內(nèi)的擴(kuò)展。VXLAN作為一種隧道技術(shù)，隧道的起始和終點(diǎn)為VTEP（VXLAN Tunnel End Point），VTEP對(duì)報(bào)文進(jìn)行VXLAN隧道的封裝和解封裝；VXLAN可以將二層以太網(wǎng)幀封裝在VXLAN隧道中，因此可以實(shí)現(xiàn)跨三層的二層組網(wǎng)，組建大二層網(wǎng)絡(luò)。

VXLAN的報(bào)文格式如圖1所示。

圖1 VXLAN的報(bào)文格式

VXLAN報(bào)文是在原始二層以太網(wǎng)幀的外面加1個(gè)8字節(jié)的VXLAN頭，包括24比特的VNI字段，用于標(biāo)識(shí)不同的用戶，實(shí)現(xiàn)用戶之間的隔離。之后再加UDP頭，這個(gè)UDP頭的目的端口固定為4789，源端口通過(guò)原始以太網(wǎng)幀哈希后獲得。在UDP外會(huì)加上IP頭，源地址為源Vtep地址、目的地址為目的Vtep地址。

根據(jù)標(biāo)準(zhǔn)，VXLAN報(bào)文不能進(jìn)行分片處理，如三層網(wǎng)絡(luò)中的中間設(shè)備將VXLAN報(bào)文分片，Vtep會(huì)將分片后的報(bào)文丟棄。為了確保VXLAN報(bào)文不被中間設(shè)備分片處理，需要修改VXLAN隧道途經(jīng)所有設(shè)備中繼端口的IP MTU值。

目前，城域網(wǎng)內(nèi)VXLAN報(bào)文的最大報(bào)文尺寸1558 bytes，測(cè)算依據(jù)如下：

原始二層以太幀的IP負(fù)荷（包括IP報(bào)頭）：1500 bytes

vlan頭（包括qinq）：8 bytes

原始二層以太幀頭：14 bytes

vxlan頭：8 bytes

UDP頭：8 bytes

外層IP報(bào)頭：20 bytes

為確保VXLAN報(bào)文不被分片，IP MTU值需根據(jù)最大VXLAN報(bào)文的大小設(shè)置。城域網(wǎng)的中繼均為以太鏈路，以太端口的默認(rèn)IP MTU值為1500 bytes。為確保VXLAN報(bào)文不分片，城域骨干網(wǎng)三層中繼端口的IP MTU均設(shè)置為1600 bytes。

1.2 檢查VXLAN報(bào)文沿途設(shè)備中繼端口的IP MTU值

由于障礙現(xiàn)象為ping大包不通，因此首先檢查VXLAN隧道途經(jīng)設(shè)備端口的IP MTU值配置。

在寬帶接入網(wǎng)POP交換機(jī)與vBRAS之間建vxlan隧道，檢查沿途設(shè)備（包括POP交換機(jī)、硬件BRAS、CR、核心交換機(jī)、vBRAS）三層中繼端口的IP MTU值，均為1600 bytes，沒(méi)有問(wèn)題，網(wǎng)絡(luò)拓?fù)淙鐖D2所示。

圖2 網(wǎng)絡(luò)拓?fù)鋱D

1.3 檢查障礙終端的類型

由于只有部分終端不能下發(fā)配置，通過(guò)檢查障礙終端類型確定是否和終端型號(hào)有關(guān)。通過(guò)TR069網(wǎng)管服務(wù)器、終端MAC地址等信息，發(fā)現(xiàn)障礙終端均為友華，但僅部分友華終端不能下發(fā)配置。

1.4 M6000關(guān)閉下聯(lián)POP交換機(jī)承載vxlan報(bào)文的子接口

由于之前已遷移50萬(wàn)ITMS業(yè)務(wù)（POP交換機(jī)均上聯(lián)華為硬件BRAS），未發(fā)現(xiàn)此類問(wèn)題。本次遷移涉及的硬件BRAS包括一臺(tái)中興M6000。因此先在M6000上關(guān)閉下聯(lián)POP交換機(jī)承載VXLAN報(bào)文的子接口，VXLAN報(bào)文均通過(guò)另1臺(tái)硬件BRAS Ne40e轉(zhuǎn)發(fā)，障礙終端ping大包能通，下發(fā)配置正常。確定障礙點(diǎn)在M6000。同時(shí)，由于POP交換機(jī)雙上聯(lián)2臺(tái)硬件BRAS，通過(guò)Ne40e轉(zhuǎn)發(fā)的VXLAN報(bào)文正常，因此該障礙只影響部分終端。

1.5 檢查M6000中繼端口的IP MTU配置

根據(jù)維護(hù)經(jīng)驗(yàn)，對(duì)終端管理地址ping大包不通，原因均為VXLAN報(bào)文被分片，因此仍然懷疑VXLAN報(bào)文在M6000被分片。

在vBRAS側(cè)對(duì)障礙終端ping大包，在障礙終端側(cè)抓包，發(fā)現(xiàn)終端側(cè)已正常收到ping的request報(bào)文，并已回應(yīng)ping echo報(bào)文。說(shuō)明從vBRAS側(cè)發(fā)往終端的報(bào)文沒(méi)有問(wèn)題。盡管vBRAS側(cè)不方便抓包，但仍可判斷是終端回應(yīng)的ping echo報(bào)文在M6000被分片。

再檢查M6000相關(guān)中繼的IP MTU值，由于MTU值只針對(duì)出方向有效，因此重點(diǎn)檢查M6000上聯(lián)CR的10GE端口。發(fā)現(xiàn)M6000的端口分別有三個(gè)MTU值，MTU（默認(rèn) 9216 bytes）、IP MTU（默認(rèn) 1500 bytes）、MPLS MTU（默認(rèn) 1550 bytes），MTU針對(duì)二層以太幀，IP MTU已根據(jù)要求改為1600 bytes，MPLS MTU為默認(rèn)值1550 bytes。將MPLS MTU也改為1600 bytes后，障礙終端大包能ping通，且配置下發(fā)正常。障礙解決。

1.6 障礙原因分析

M6000三層端口的MTU值設(shè)置區(qū)分為IP MTU和MPLS MTU，從POP交換機(jī)發(fā)出的VXLAN報(bào)文外層報(bào)頭的目的地址為vBRAS loopback地址，該地址為/32掩碼路由，通過(guò)isis宣告，M6000針對(duì)/32位IGP路由會(huì)自動(dòng)生成MPLS標(biāo)簽，通過(guò)MPLS標(biāo)簽轉(zhuǎn)發(fā)。因此VXLAN報(bào)文從M6000上聯(lián)CR端口轉(zhuǎn)發(fā)時(shí)，按照MPLS標(biāo)簽轉(zhuǎn)發(fā)，是MPLS MTU值生效，IP報(bào)文增加MPLS標(biāo)簽（4 bytes）后，最大IP報(bào)文達(dá)到1554 bytes（ITMS原始二層報(bào)文中未含vlan標(biāo)簽），由于默認(rèn)MPLS MTU為1550 bytes，所以VXLAN報(bào)文在出M6000時(shí)被分片，導(dǎo)致該報(bào)文在vBRAS側(cè)被丟棄。華為硬件BRAS（Ne40e、Me60）端口三層MTU值不區(qū)分IP和MPLS報(bào)文，因此三層MTU值設(shè)置為1600 bytes后，對(duì)IP和MPLS報(bào)文均生效，所以經(jīng)過(guò)華為硬件BRAS的VXLAN報(bào)文不會(huì)被分片。

只對(duì)友華終端有影響的原因，是由于友華終端Wan口IP MTU默認(rèn)為1500 bytes，其余終端均為1492bytes，因此只有友華終端回應(yīng)的報(bào)文經(jīng)過(guò)M6000時(shí)，最大報(bào)文長(zhǎng)度由于超過(guò)了M6000 默認(rèn)MPLS MTU值而被分片。

2 解決措施

本次障礙的原因是VXLAN報(bào)文在M6000上聯(lián)端口出方向被分片，導(dǎo)致分片報(bào)文在vBRAS側(cè)被丟棄。與華為BRAS不同，中興M6000上聯(lián)端口的IP MTU和MPLS MTU需分別設(shè)置，盡管IP MTU已設(shè)置為1600 bytes，MPLS MTU仍為默認(rèn)的1550 bytes。M6000在轉(zhuǎn)發(fā)VXLAN報(bào)文時(shí)，默認(rèn)為MPLS轉(zhuǎn)發(fā)，基于IP轉(zhuǎn)發(fā)的VXLAN報(bào)文最大為1550 bytes（上聯(lián)端口報(bào)文不含vlan id），加上4 bytes MPLS標(biāo)簽后，報(bào)文最大長(zhǎng)度為1554 bytes，超出了M6000默認(rèn)的端口MPLS MTU，導(dǎo)致報(bào)文分片。

解決措施：城域網(wǎng)內(nèi)所有M6000上聯(lián)CR的中繼端口MPLS MTU均設(shè)置為1600 bytes。

3 結(jié)束語(yǔ)

隨著網(wǎng)絡(luò)云化、BRAS池化、網(wǎng)業(yè)分離等城域網(wǎng)架構(gòu)逐步調(diào)整，VXLAN技術(shù)將在城域網(wǎng)、數(shù)據(jù)中心得到廣泛應(yīng)用。由于VXLAN報(bào)文不能被分片的特性，在城域網(wǎng)、數(shù)據(jù)中心部署基于VXLAN的應(yīng)用時(shí)，需重點(diǎn)關(guān)注MTU值的問(wèn)題，包括IP MTU和MPLS MTU。在分析VXLAN報(bào)文長(zhǎng)度和轉(zhuǎn)發(fā)方式的基礎(chǔ)上，需注意不同廠商設(shè)備的配置差異，建議現(xiàn)網(wǎng)部署時(shí)，網(wǎng)絡(luò)設(shè)備三層端口的IP MTU和MPLS MTU均設(shè)置為1600 bytes。