張承立，何肖嶸，宋蔚芳

（中國電信股份有限公司上海分公司，上海 200122）

1 引言

2011年4月，IANA（Internet Assigned Numbers Authority）宣布IPv4地址池剩下最后一個(gè)A類地址，全球各大運(yùn)營商都將互聯(lián)網(wǎng)IPv6的演進(jìn)提上日程。IPv4向IPv6的遷移過程中，由于IPv6無法兼容IPv4，產(chǎn)生了隧道及雙棧兩種過渡方案。因現(xiàn)網(wǎng)用戶和業(yè)務(wù)大多承載在IPv4網(wǎng)絡(luò)上，在IPv6終端及應(yīng)用未大量普及前，運(yùn)營商為保證平滑過渡，并兼顧后期純IPv6的目標(biāo)，往往采用IPv4/IPv6雙棧的方案，同時(shí)實(shí)施IPv4地址的私網(wǎng)化改造，解決IP資源緊缺的問題，最終實(shí)現(xiàn)純IPv6的全網(wǎng)部署。

鑒于國家網(wǎng)絡(luò)安全和信息化委員會(huì)對(duì)現(xiàn)網(wǎng)運(yùn)維的相關(guān)要求，CGN、BRAS、AAA等網(wǎng)絡(luò)設(shè)備，需要保存6個(gè)月以上的用戶日志，然而私網(wǎng)雙棧過渡期間，地址類型將涵蓋IPv4公網(wǎng)、IPv4私網(wǎng)、IPv6地址，并涉及IP地址端口映射，地址類型的多樣性及兼容模式與各網(wǎng)絡(luò)設(shè)備交互量成倍增長，對(duì)IP地址溯源的傳統(tǒng)物理架構(gòu)下，各設(shè)備大量離散數(shù)據(jù)的分布式處理、硬盤頻繁讀/寫產(chǎn)生的物理硬件損壞率的提升，以及突發(fā)請(qǐng)求下系統(tǒng)性能的靈活擴(kuò)展，提出了挑戰(zhàn)。而溯源云化實(shí)現(xiàn)方式，較好地解決了這些問題。

2 寬帶私網(wǎng)雙棧IP溯源模型

IP地址雙協(xié)議棧技術(shù)指在一臺(tái)設(shè)備上同時(shí)啟用IPv4協(xié)議棧和IPv6協(xié)議棧，這臺(tái)設(shè)備既能和IPv4網(wǎng)絡(luò)通信，又能和IPv6網(wǎng)絡(luò)通信。固網(wǎng)寬帶私網(wǎng)雙棧，作為IPv6過渡期的運(yùn)營商實(shí)施方案，關(guān)鍵是引入了NAT444，通過兩次IPv4的地址網(wǎng)絡(luò)地址轉(zhuǎn)換（network address translation，NAT）映射，將用戶側(cè)的IPv4私網(wǎng)地址對(duì)應(yīng)到電信側(cè)的IPv4公網(wǎng)地址端口范圍，大幅提升了IPv4公網(wǎng)地址復(fù)用率，延長了IPv4的生命周期，同時(shí)也為IPv6的最終部署爭(zhēng)取了寶貴的時(shí)間。

IPv4兩次NAT映射分別發(fā)生在電信末端的接入設(shè)備家庭網(wǎng)關(guān)及上層多業(yè)務(wù)邊緣路由器（multi-service edge router，MSE），如圖1所示。通過NAT映射，首先將一個(gè)公網(wǎng)地址65 536個(gè)端口按每段4 096個(gè)分割為16段端口范圍，單個(gè)用戶寬帶認(rèn)證通過后，最終分配到可使用的IPv4公網(wǎng)資源為一個(gè)公網(wǎng)地址加4 096個(gè)端口，這一做法實(shí)現(xiàn)了IPv4公網(wǎng)地址1:16的復(fù)用，相當(dāng)于直接將運(yùn)營商現(xiàn)有的IPv4資源擴(kuò)容了近16倍。但不同的用戶可同時(shí)使用相同的IPv4公網(wǎng)地址，加上IPv6地址，大幅增加了溯源的復(fù)雜度。

圖1 IPv4私網(wǎng)化的兩次NAT映射

鑒于同一IPv4公網(wǎng)地址可分配不同用戶，以及不同MSE設(shè)備可以統(tǒng)一配置模板下發(fā)相同的電信側(cè)私網(wǎng)地址，原有IPv4公網(wǎng)地址+時(shí)間戳的溯源將無法唯一定位上網(wǎng)賬號(hào)，新IPv6+IPv4私網(wǎng)雙棧的溯源模型如圖2所示。

圖2 私網(wǎng)雙棧的溯源模型

客戶終端設(shè)備（customer premise equipment，CPE）在上網(wǎng)認(rèn)證、授權(quán)和計(jì)費(fèi)（authentication authorization and accounting，AAA）時(shí)，對(duì)于私網(wǎng)雙棧的場(chǎng)景，MSE會(huì)下發(fā)電信側(cè)的IPv4私網(wǎng)地址為100.X.X.X的地址及240E開頭的IPv6地址。

對(duì)于溯源系統(tǒng)而言，需要采集處理如下信息。

? 遠(yuǎn)程認(rèn)證撥號(hào)用戶服務(wù)（remote authentication dial-in user service，RADIUS）日志，包含用戶私網(wǎng)IP地址、接入設(shè)備NASIP。

? 運(yùn)營商級(jí)NAT（carrier-grade NAT，CGN）日志，包含CGN標(biāo)識(shí)、私網(wǎng)IP、映射后公網(wǎng)IP地址、分配的編口范圍。

匹配步驟如下：

? 通過RADIUS日志、NAT日志的私網(wǎng)IP、時(shí)間戳進(jìn)行匹配查找；

? 根據(jù) NAT日志的CGN 標(biāo)識(shí)與RADIUS的NASIP是否相同，判斷是否是同一NAT域；

? 采集MSE設(shè)備CGN板卡通過Syslog推送的IP地址映射記錄，從而獲得公、私網(wǎng)地址及端口段的對(duì)應(yīng)關(guān)系；

? 將上述信息合成，最終將寬帶賬號(hào)、上聯(lián)MSE、IPv4私網(wǎng)地址、IPv4公網(wǎng)地址、端口范圍、IPv6地址以及上下線的時(shí)間等信息，合成為一條記錄。

得到合成記錄后，溯源的查證通過IPv4公網(wǎng)地址+端口（或IPv6地址）+時(shí)間戳，反向?qū)?yīng)到具體上網(wǎng)賬號(hào)的過程，如圖3所示。

圖3 私網(wǎng)雙棧溯源過程

事實(shí)上，地址、端口、時(shí)間戳3個(gè)要素便可以溯源到唯一的上網(wǎng)賬號(hào)。而溯源在時(shí)間上的一致性，通過網(wǎng)絡(luò)側(cè)設(shè)備、平臺(tái)側(cè)設(shè)備與多級(jí)時(shí)鐘源同步完成。

通常，時(shí)間同步網(wǎng)由各節(jié)點(diǎn)時(shí)鐘和傳遞同步定時(shí)信號(hào)的同步鏈路構(gòu)成。同步網(wǎng)的主要功能是準(zhǔn)確地將網(wǎng)絡(luò)中的各級(jí)時(shí)鐘與基準(zhǔn)時(shí)鐘建立并保持信號(hào)同步，滿足通信網(wǎng)整體在時(shí)間上的高度一致性。各級(jí)時(shí)鐘源同步確保溯源時(shí)間一致如圖4所示，圖4中一級(jí)TS時(shí)鐘源，可由自主運(yùn)行的銫原子鐘組或銫原子鐘與衛(wèi)星定位系統(tǒng)（GPS和/或GLONASS及其他定位系統(tǒng)）組成，作為同步網(wǎng)的全網(wǎng)時(shí)鐘基準(zhǔn)。二級(jí)TS時(shí)鐘源可作為區(qū)域時(shí)鐘的基準(zhǔn)，通過向一級(jí)TS時(shí)鐘源同步或可同時(shí)接收GPS等作同步校準(zhǔn)。三級(jí)TS時(shí)鐘源則可在二級(jí)時(shí)鐘源的基礎(chǔ)上擴(kuò)展，以滿足區(qū)域內(nèi)的設(shè)備及相關(guān)業(yè)務(wù)的時(shí)間同步需求。

圖4 各級(jí)時(shí)鐘源同步確保溯源時(shí)間一致

本文中的溯源平臺(tái)及相關(guān)網(wǎng)絡(luò)設(shè)備，與三級(jí)TS時(shí)鐘源同步完成用戶上網(wǎng)請(qǐng)求時(shí)RADIUS報(bào)文的時(shí)間戳、MSE上公轉(zhuǎn)私NAT Syslog報(bào)文時(shí)間戳、溯源平臺(tái)的本地時(shí)間戳等保持一致。溯源合成記錄中所取時(shí)間是相關(guān)報(bào)文時(shí)間戳的值，這個(gè)值由時(shí)鐘同步的網(wǎng)絡(luò)設(shè)備插入，與用戶側(cè)的終端設(shè)備時(shí)間是否準(zhǔn)確并沒有關(guān)系。可確保從不同的用戶設(shè)備、不同的區(qū)域、不同的網(wǎng)元線路上網(wǎng)，只要提供正確的IP地址、上網(wǎng)端口及時(shí)間戳3個(gè)要素便可以精準(zhǔn)地溯源唯一上網(wǎng)賬號(hào)。

值得注意的是，由于網(wǎng)絡(luò)傳輸存在一定的時(shí)延，不同的網(wǎng)絡(luò)設(shè)備廠商對(duì)IPv4及IPv6報(bào)文處理方式和順序不同，現(xiàn)網(wǎng)的運(yùn)行過程中，IPv4、IPv6、CGN NAT映射的請(qǐng)求報(bào)文在實(shí)際到達(dá)溯源平臺(tái)時(shí)會(huì)存在亂序的情況，便需以時(shí)間同步為基礎(chǔ)，通過緩存進(jìn)行二次關(guān)聯(lián)，盡可能滿足在報(bào)文亂序情況，溯源記錄的完整性。例如基于Spark的內(nèi)存時(shí)延關(guān)聯(lián)、二次關(guān)聯(lián)合成技術(shù)。當(dāng)采集的NAT日志找不到匹配的RADIUS上下線信息時(shí)，支持臨時(shí)寫入緩存隊(duì)列，延遲一個(gè)可配置的時(shí)間段（比如30 s內(nèi)）再次加載匹配。盡可能降低因設(shè)備差異、路由差異、采集時(shí)延等導(dǎo)致的公轉(zhuǎn)私溯源記錄匹配失敗場(chǎng)景。Spark內(nèi)存延遲匹配技術(shù)示意圖如圖5所示。

圖5 Spark內(nèi)存延遲匹配技術(shù)示意圖

3 私網(wǎng)雙棧溯源的業(yè)務(wù)應(yīng)用

為提升用戶體驗(yàn)，實(shí)現(xiàn)單點(diǎn)登錄或自動(dòng)獲取用戶賬號(hào)等信息，運(yùn)營商在應(yīng)用側(cè)會(huì)通過IP地址信息溯源定位當(dāng)前用戶，如圖6所示。

圖6 私網(wǎng)雙棧溯源的業(yè)務(wù)應(yīng)用場(chǎng)景

如IPTV用戶在定購電信產(chǎn)品時(shí)，通過IP地址溯源用戶賬戶信息，并與機(jī)頂盒SN所登記的用戶賬戶對(duì)比，實(shí)現(xiàn)用戶身份的一致性校驗(yàn)，滿足用戶無感訂購的需求，同時(shí)加強(qiáng)訂購過程的安全性。用戶通過網(wǎng)上營業(yè)廳進(jìn)行測(cè)速時(shí)，無須輸入賬號(hào)，點(diǎn)擊開始測(cè)速，便可以得出該用戶簽約速率是否測(cè)速達(dá)標(biāo)。其通過溯源，定位用戶當(dāng)前的上網(wǎng)賬號(hào)，進(jìn)而返回該用戶在運(yùn)營商處的簽約速率，與實(shí)際測(cè)速速率進(jìn)行比較。

在溯源系統(tǒng)提供了私網(wǎng)雙棧的溯源能力后，應(yīng)用需確認(rèn)如何獲取當(dāng)前用戶的IP地址和端口信息。需要注意的是，在使用nginx（一種高性能的HTTP和反向代理Web服務(wù)器）、防火墻Server NAT等場(chǎng)景下，應(yīng)用側(cè)需保持用戶側(cè)的源地址和源端口信息，否則無法準(zhǔn)確溯源到實(shí)際用戶。

4 私網(wǎng)雙棧溯源云化改造

溯源系統(tǒng)理論上可以利用RADIUS報(bào)文，在AAA認(rèn)證計(jì)費(fèi)平臺(tái)的基礎(chǔ)上構(gòu)建緊耦合的溯源功能?？紤]運(yùn)營商的AAA平臺(tái)建設(shè)較早，大多為傳統(tǒng)的IT架構(gòu)，而私網(wǎng)雙棧溯源在處理公私網(wǎng)映射、上下線報(bào)文入庫、中間計(jì)費(fèi)報(bào)文更新、IPv4和IPv6上網(wǎng)記錄的合成、海量的歷史溯源記錄存儲(chǔ)及對(duì)外提供的溯源大數(shù)據(jù)查詢等能力，都更貼近云的特性。

在IPv4、IPv6利用私網(wǎng)雙棧平滑過渡的同時(shí)，可考慮溯源系統(tǒng)的云化改造，充分利用云存儲(chǔ)和云計(jì)算的優(yōu)勢(shì)，為固網(wǎng)AAA整體云化提供實(shí)踐基礎(chǔ)。

4.1 RADIUS鏡像報(bào)文采集

為保持原有AAA架構(gòu)不變，且不影響現(xiàn)網(wǎng)業(yè)務(wù)的正常使用，可采用鏡像報(bào)文采集的方式，如圖7所示，獲取RADIUS的所有認(rèn)證計(jì)費(fèi)報(bào)文，并由MSE的CGN板卡發(fā)送NAT映射Syslog報(bào)文給溯源平臺(tái)，以便獲取溯源所需的必要信息。固網(wǎng)AAA鏡像流量采集如圖7所示。

圖7 固網(wǎng)AAA鏡像流量采集

4.2 溯源記錄合成

采集數(shù)據(jù)處理示意圖如圖8所示，使用Flume分布式數(shù)據(jù)采集服務(wù)框架，可以通過分布式部署、平滑擴(kuò)展支持多節(jié)點(diǎn)、多數(shù)據(jù)源的數(shù)據(jù)采集，充分利用現(xiàn)網(wǎng)AAA平臺(tái)的冗余架構(gòu)，保證數(shù)據(jù)的完整性，并能對(duì)采集的數(shù)據(jù)進(jìn)行指定預(yù)處理（例如按條件過濾或格式規(guī)整），適合于RADIUS鏡像流式數(shù)據(jù)以及CGN映射數(shù)據(jù)的處理。通過分布式計(jì)算能力，建立溯源關(guān)鍵數(shù)據(jù)的索引，提供快速查詢的能力；利用云存儲(chǔ)完成歷史溯源數(shù)據(jù)的海量存儲(chǔ)，滿足運(yùn)營商的溯源及統(tǒng)計(jì)分析要求。

圖8 采集數(shù)據(jù)處理示意圖

4.3 溯源查詢接口

當(dāng)溯源記錄合成后，根據(jù)用戶當(dāng)前是否在線（是否收到斷線請(qǐng)求報(bào)文），可生成在線溯源庫及歷史溯源庫，針對(duì)不同的應(yīng)用場(chǎng)景通過統(tǒng)一的溯源查詢中心能力接口，提供外部應(yīng)用完成溯源查詢的請(qǐng)求，并通過能力開放平臺(tái)（enabler open platform，EOP）等，獲取業(yè)務(wù)所需的賬號(hào)關(guān)聯(lián)信息，溯源查詢接口如圖9 所示。

圖9 溯源查詢接口

溯源查詢能力也可注冊(cè)能力開放平臺(tái)，從而參與各類電信級(jí)業(yè)務(wù)能力編排，更快速、靈活地支撐業(yè)務(wù)產(chǎn)品所需的相關(guān)功能。

5 溯源云化實(shí)現(xiàn)的性能及價(jià)值分析

為驗(yàn)證溯源云化實(shí)現(xiàn)的性能，模擬云虛機(jī)單臺(tái)配置為8核CPU、32 GB內(nèi)存；數(shù)據(jù)庫組成MySQL 2×2集群的條件，400萬寬帶用戶基數(shù)溯源云化實(shí)現(xiàn)的部分性能指標(biāo)見表1、表2、表3。

表1 單臺(tái)虛機(jī)RADIUS計(jì)費(fèi)采集的性能

表2 單臺(tái)服務(wù)器上Syslog日志采集的性能

表3 數(shù)據(jù)庫合成溯源記錄增、刪、改、查的性能

云化后若使用通用的共享虛擬磁陣進(jìn)行數(shù)據(jù)庫讀/寫，可能會(huì)存在與其他共享同一虛擬磁陣的應(yīng)用發(fā)生I/O爭(zhēng)用的問題，且普通硬盤共享磁陣的I/O在測(cè)試中只能穩(wěn)定在5 000 TPS（transaction per second）的讀/寫能力，通過優(yōu)化為SSD的硬盤或建立內(nèi)存數(shù)據(jù)庫可較好地解決這一問題。

云化虛擬機(jī)與傳統(tǒng)物理硬件平臺(tái)比對(duì)分析見表4。

表4 云化虛機(jī)與傳統(tǒng)物理硬件平臺(tái)對(duì)比

6 結(jié)束語

私網(wǎng)雙棧的現(xiàn)網(wǎng)部署，切實(shí)解決了IPv4地址資源耗盡問題，為互聯(lián)網(wǎng)應(yīng)用遷移至IPv6提供了無縫過渡的可能。而與傳統(tǒng)AAA平臺(tái)解耦后的私網(wǎng)雙棧溯源系統(tǒng)，使現(xiàn)網(wǎng)認(rèn)證無須改造，也能支持私網(wǎng)雙棧的寬帶業(yè)務(wù)，并通過溯源系統(tǒng)云化部署，在云計(jì)算和云存儲(chǔ)的支撐下，提供更好的溯源大數(shù)據(jù)處理，能更靈活地滿足運(yùn)營商在運(yùn)維及網(wǎng)絡(luò)安全要求下海量溯源數(shù)據(jù)留存的需求。