葉朝陽，沈辰，黃明慶，張士聰，劉伊莎

互聯(lián)網(wǎng)BGP路由可視及安全檢測(cè)技術(shù)架構(gòu)與實(shí)踐

葉朝陽1，沈辰2，黃明慶3，張士聰1，劉伊莎1

（1. 浙江省新型互聯(lián)網(wǎng)交換中心有限公司，浙江 杭州 311200； 2. 中國信息通信研究院，北京 100191；3. 華為技術(shù)有限公司，北京 100095）

邊界網(wǎng)關(guān)協(xié)議（border gateway protocol，BGP）是支撐互聯(lián)網(wǎng)50年來快速發(fā)展的核心協(xié)議，因早期設(shè)計(jì)考慮不足一直存在路由劫持、路由泄露等路由安全威脅漏洞。隨著互聯(lián)網(wǎng)應(yīng)用日益深入，BGP路由安全問題逐漸引起業(yè)界重視，邊界網(wǎng)絡(luò)安全防護(hù)意義重大。提出了一種BGP路由安全檢測(cè)架構(gòu)，通過推理構(gòu)建全球BGP路由知識(shí)庫實(shí)現(xiàn)互聯(lián)網(wǎng)全局路由可視性，并基于此實(shí)現(xiàn)路由劫持、路由泄露等路由安全事件的準(zhǔn)實(shí)時(shí)檢測(cè)。通過在杭州交換中心部署實(shí)踐，證明本系統(tǒng)可構(gòu)造較完整的互聯(lián)網(wǎng)全局路由知識(shí)庫、實(shí)現(xiàn)較準(zhǔn)確和實(shí)時(shí)的BGP路由安全事件檢測(cè)。

BGP；路由安全；路由劫持；路由泄露

1 引言

1.1 BGP路由安全問題

以BGP（border gateway protocol）為基礎(chǔ)協(xié)議的全球互聯(lián)網(wǎng)經(jīng)過50多年的蓬勃發(fā)展，逐步從計(jì)算機(jī)互聯(lián)網(wǎng)、消費(fèi)互聯(lián)網(wǎng)向產(chǎn)業(yè)互聯(lián)網(wǎng)演進(jìn)，成為全社會(huì)數(shù)字化基礎(chǔ)設(shè)施，對(duì)安全可信的路由服務(wù)訴求越來越強(qiáng)烈，而早期BGP設(shè)計(jì)所帶來的兩個(gè)矛盾也越來越突出。一方面是缺乏安全可信機(jī)制。協(xié)議設(shè)計(jì)之初假設(shè)參與各方可信、可靠，沒有考慮參與方的無意錯(cuò)誤或惡意行為可能造成的路由安全威脅；另一方面是缺乏全局視圖。各參與方只掌握自己相關(guān)的局部信息，缺乏全局視圖以支撐互聯(lián)網(wǎng)級(jí)別的可視運(yùn)營(yíng)、分析檢測(cè)、診斷等，處理相關(guān)路由安全事故偏被動(dòng)，且支撐信息和工具不足。

據(jù)路由安全相互協(xié)議規(guī)范（MANRS）統(tǒng)計(jì)，僅僅被監(jiān)測(cè)到的路由安全事故每年高達(dá)數(shù)千起，其中一些重大安全事故更是造成了全球范圍的影響。例如，2019年6月，BGP優(yōu)化器進(jìn)行基于精細(xì)路由的流量疏導(dǎo)，下游運(yùn)營(yíng)商錯(cuò)誤地將該路由泄露給了Verizon（美國無線運(yùn)營(yíng)商，威訊無線），Verizon進(jìn)一步擴(kuò)散后放大該錯(cuò)誤進(jìn)而導(dǎo)致網(wǎng)絡(luò)嚴(yán)重?fù)砣?，直接影響了約15%的互聯(lián)網(wǎng)流量。類似的問題在2010年、2019年也先后發(fā)生在中國電信，同樣是因二次路由泄露導(dǎo)致網(wǎng)絡(luò)嚴(yán)重?fù)砣煌氖?，?dāng)時(shí)中國電信曾因被海外媒體污名報(bào)道而承受較大壓力；2021年4月，VDF因錯(cuò)誤通告原本屬于Google、Microsoft、Akamai、Cloudflare、Fastly等大型科技公司的31 000多個(gè)路由，形成大面積路由劫持；2018年4月，犯罪者通過劫持某以太坊錢包網(wǎng)站的DNS明細(xì)路由，竊取用戶訪問入口進(jìn)而實(shí)施網(wǎng)絡(luò)盜取。

所有這些路由安全事故都是因有意或無意的錯(cuò)誤作用到BGP路由傳播鏈條而形成，按照錯(cuò)誤形成方式進(jìn)行分類包括如下3方面。

· 前綴劫持：始發(fā)自治系統(tǒng)（autonomous system，AS）通告了本不屬于自己的前綴。

· 路徑劫持：傳播擴(kuò)散路由時(shí)偽造不存在的路徑。

· 路由泄露：傳播擴(kuò)散時(shí)將路由泄露給了不合理的第三方。

這些路由安全事故可能造成的危害包括：路由黑洞導(dǎo)致的網(wǎng)絡(luò)訪問中斷，流量繞行導(dǎo)致的網(wǎng)絡(luò)擁塞、結(jié)算費(fèi)用增加，更嚴(yán)重的包括利用路由劫持和泄露進(jìn)行流量偵聽、中間人攻擊和仿冒攻擊等。

1.2 相關(guān)研究

業(yè)界BGP路由安全相關(guān)研究可以最早追溯到BGP協(xié)議誕生之初，包括以下3個(gè)研究方向。

（1）協(xié)議層面的安全防護(hù)加固

早期，業(yè)界討論的重點(diǎn)是從協(xié)議層面形成安全機(jī)制，考慮到性能開銷以及現(xiàn)實(shí)部署等多方面的因素，目前已經(jīng)得以應(yīng)用的安全機(jī)制較為有限。比較常見的如TCP MD5、GTSM（generalized TTL security mechanism）、路由抖動(dòng)抑制（route flap damping，RFD）等。但此類方案無法解決路由劫持、泄露及路徑篡改等當(dāng)前域間路由安全核心問題。

（2）域間路由可信驗(yàn)證機(jī)制

針對(duì)BGP存在無法對(duì)路由信息進(jìn)行真實(shí)性和完整性驗(yàn)證的問題，業(yè)界探索形成了通過帶外建立可信任權(quán)威數(shù)據(jù)源的方式，推動(dòng)域間路由從“無條件信任”向“可驗(yàn)證”方式演變。通過在帶外建立互聯(lián)網(wǎng)資源數(shù)據(jù)簽發(fā)基礎(chǔ)設(shè)施——即資源公鑰基礎(chǔ)設(shè)施（resource public key infrastructure，RPKI），為路由器提供可信的BGP路由安全驗(yàn)證防護(hù)所需的全局資源數(shù)據(jù)，從2012年起陸續(xù)發(fā)布了BGP-ROV（route origin verification）和BGP-PV（path verification）系列RFC。近期在互聯(lián)網(wǎng)名稱與數(shù)字地址分配機(jī)構(gòu)（the Internet corporation for assigned names and numbers，ICANN）/區(qū)域互聯(lián)網(wǎng)注冊(cè)機(jī)構(gòu)（regional internet registries，RIRs）的大力推動(dòng)下，路由源簽證（route origin authentication，ROA）數(shù)據(jù)簽發(fā)及相應(yīng)的BGP-ROV部署應(yīng)用近年來獲得了較快進(jìn)展。盡管如此，離真正全面落實(shí)BGP路由安全協(xié)議加固防護(hù)仍然有較大距離，存在如下挑戰(zhàn)。

· ROA數(shù)據(jù)簽發(fā)覆蓋率仍然不足30%，且在實(shí)際網(wǎng)絡(luò)中BGP-ROV方案部署率更低，離全面落實(shí)路由起源驗(yàn)證仍然有較長(zhǎng)的路要走。

· 圍繞路徑劫持和路由泄露的安全防護(hù)，業(yè)界提出了一些方案，但都未形成共識(shí)，其主要制約因素有：BGP的路徑迭代驗(yàn)證帶來大量計(jì)算開銷，業(yè)界還在探索路徑驗(yàn)證能力與計(jì)算開銷之間的平衡方案；路徑驗(yàn)證數(shù)據(jù)的簽發(fā)，特別是商業(yè)關(guān)系數(shù)據(jù)，相較于ROA更涉及運(yùn)營(yíng)商的商業(yè)隱私。

RPKI基礎(chǔ)設(shè)施全面部署和應(yīng)用，本身也存在挑戰(zhàn)：除相關(guān)基礎(chǔ)設(shè)施的建設(shè)投資和運(yùn)營(yíng)投入外，RPKI的中心化簽名認(rèn)證和分發(fā)機(jī)制還涉及中心化治理風(fēng)險(xiǎn)、與底層基礎(chǔ)網(wǎng)絡(luò)間的數(shù)據(jù)同步問題等。

（3）BGP路由安全分析檢測(cè)

如果說前者是主動(dòng)的BGP路由安全防護(hù)，BGP路由安全分析檢測(cè)則屬于后端被動(dòng)監(jiān)測(cè)，二者共同構(gòu)成完整的防護(hù)體系。BGP路由安全分析監(jiān)測(cè)的核心價(jià)值包括如下3個(gè)方面。

· 主動(dòng)防護(hù)只能基于本地路由器接收到的協(xié)議報(bào)文進(jìn)行，并不能有效防范發(fā)生在外部的針對(duì)本網(wǎng)始發(fā)前綴的劫持和泄露危害。

· 主動(dòng)防護(hù)方案受部署場(chǎng)景覆蓋及所依賴數(shù)據(jù)的完備性限制，預(yù)期在相當(dāng)長(zhǎng)時(shí)期內(nèi)都無法依賴其實(shí)現(xiàn)完整的路由安全保障。

· 互聯(lián)網(wǎng)級(jí)別的網(wǎng)絡(luò)運(yùn)營(yíng)監(jiān)管，需要打造全網(wǎng)可視化視圖，進(jìn)行實(shí)時(shí)安全威脅分析及態(tài)勢(shì)感知，為進(jìn)一步的故障定位、診斷、消減等提供支撐。

近20多年來，BGP路由信息收集及安全分析檢測(cè)一直是互聯(lián)網(wǎng)生態(tài)圈學(xué)術(shù)研究的熱點(diǎn)之一，特別是在美歐地區(qū)，逐步建立起了初步的用于全球互聯(lián)網(wǎng)路由信息采集及安全分析能力。

（1）互聯(lián)網(wǎng)路由信息采集

傳統(tǒng)上，互聯(lián)網(wǎng)路由運(yùn)維主要依賴運(yùn)營(yíng)商共同發(fā)起提供的Looking Glass Servers。20世紀(jì)末，美國和歐洲分別發(fā)起了以Route Views和RIPE RIS項(xiàng)目為主的BGP路由信息采集公共基礎(chǔ)設(shè)施建設(shè)——通過專用采集器（collector）與現(xiàn)網(wǎng)BGP路由器采集點(diǎn)（vantage point，VP）建立對(duì)等（peer）關(guān)系單向獲取BGP路由信息，并開放提供給業(yè)界進(jìn)行進(jìn)一步的數(shù)據(jù)分析利用。截至目前，Route Views和RIPE RIS在全球共計(jì)建設(shè)了超過50多個(gè)路由采集器，從全球數(shù)百個(gè)AS提取BGP路由信息。

（2）BGP路由數(shù)據(jù)分析研究與應(yīng)用

基于上述基礎(chǔ)設(shè)施所采集到的路由信息，業(yè)界展開了BGP路由數(shù)據(jù)分析相關(guān)研究與應(yīng)用，其中最有代表性的組織是CAIDA（Center for Applied Internet Data Analysis），其組織和支撐的研究覆蓋數(shù)據(jù)采集、分析、可視化、分層共享等各相關(guān)環(huán)節(jié)以及商業(yè)、教育、研究和政府組織等產(chǎn)業(yè)生態(tài)。概況起來，這一領(lǐng)域的分析研究有兩大主要方向：全球互聯(lián)網(wǎng)基礎(chǔ)知識(shí)庫的推理構(gòu)建以及路由劫持、路由泄露等路由安全事故的檢測(cè)分析。其中，知識(shí)庫包括前綴起源、AS拓?fù)?、AS鄰居商業(yè)關(guān)系等，基于此可構(gòu)造全球互聯(lián)網(wǎng)級(jí)別的全局?jǐn)?shù)據(jù)視圖，提供互聯(lián)網(wǎng)運(yùn)營(yíng)維護(hù)支撐的同時(shí)，也為進(jìn)一步的路由安全檢測(cè)提供了支撐?？傮w上業(yè)界形成了兩大技術(shù)路徑：以知識(shí)庫推理為基礎(chǔ)的邏輯推理方法和以AI算法為核心的路由異常監(jiān)測(cè)大數(shù)據(jù)分析方法。

1.3 本文研究方向

相對(duì)來說，BGP路由安全分析監(jiān)測(cè)領(lǐng)域在我國總體上還處于空白狀態(tài)，一個(gè)客觀原因是當(dāng)前我國BGP AS無論規(guī)模還是開放互聯(lián)互通程度與美歐相比有著相當(dāng)大的差別（例如，美國有近2萬AS，大量通過互聯(lián)網(wǎng)交換中心（internet exchange point，IXP）互聯(lián)互通；我國AS數(shù)量不到2 000，主要通過三大運(yùn)營(yíng)商交換中心進(jìn)行互聯(lián)互通）。面向未來，本文認(rèn)為有必要加強(qiáng)如下能力的研究和儲(chǔ)備。

（1）我國網(wǎng)間互聯(lián)架構(gòu)持續(xù)優(yōu)化，工信部于2019年正式批復(fù)國家（杭州）新型IXP，交換中心的運(yùn)營(yíng)主體——浙江省新型互聯(lián)網(wǎng)交換中心有限責(zé)任公司，于2020年成功組建，鼓勵(lì)企業(yè)使用自主AS/IP接入網(wǎng)絡(luò)，打造開放互聯(lián)的網(wǎng)絡(luò)新生態(tài)。運(yùn)營(yíng)商之間的骨干直連點(diǎn)僅面向基礎(chǔ)電信運(yùn)營(yíng)商開放，交換中心則面向更多企業(yè)和機(jī)構(gòu)提供流量交換服務(wù)，如本地互聯(lián)網(wǎng)接入服務(wù)商、互聯(lián)網(wǎng)內(nèi)容提供商、云服務(wù)商、工業(yè)互聯(lián)網(wǎng)企業(yè)、科技網(wǎng)、教育網(wǎng)等，匯聚了大量具備自主AS/IP的網(wǎng)絡(luò)，網(wǎng)絡(luò)之間通過BGP對(duì)等互聯(lián)。因此，在多邊復(fù)雜流量交換的背景下，一旦發(fā)生BGP安全事件，將會(huì)影響大量企業(yè)和流量，交換中心的網(wǎng)絡(luò)安全防護(hù)意義重大。

（2）互聯(lián)網(wǎng)級(jí)別的BGP路由安全威脅感知能力。當(dāng)前國內(nèi)主要聚焦于單網(wǎng)/單設(shè)備的自身配置觸發(fā)的BGP路由安全防范，而隨著互聯(lián)網(wǎng)在社會(huì)生活中的深入滲透，互聯(lián)網(wǎng)級(jí)安全威脅感知能力愈發(fā)重要。BGP入口消息潛在安全威脅的檢測(cè)能力，以幫助基礎(chǔ)電信運(yùn)營(yíng)商盡快發(fā)現(xiàn)和界定故障、避免因進(jìn)一步消息擴(kuò)散而導(dǎo)致的放大效應(yīng)；針對(duì)自身重要業(yè)務(wù)前綴在全球范圍的安全威脅感知能力。在跨國業(yè)務(wù)和交易日益發(fā)展的背景下，存在對(duì)這類重要前綴可能發(fā)生在外部的劫持和泄露感知的需求。

（3）隨著我國信息化戰(zhàn)略推進(jìn)，加快IXP部署腳步以支持更開放高效的云網(wǎng)融合架構(gòu)已提上議事日程，未來我國BGP AS規(guī)模及互聯(lián)互通復(fù)雜度必然將大幅度提升。隨著越來越多關(guān)乎國計(jì)民生的業(yè)務(wù)走向線上，相應(yīng)的全局可視化視圖及事故檢測(cè)分析能力必然成為該新型數(shù)字化基礎(chǔ)設(shè)施的核心能力要求。

本文主要方向如下。

（1）本研究采用基于知識(shí)庫推理的邏輯推理技術(shù)路線。通過推理算法構(gòu)建起全球互聯(lián)網(wǎng)三大核心知識(shí)庫：前綴起源、AS拓?fù)浼班従由虡I(yè)關(guān)系。其中，前綴起源知識(shí)庫可覆蓋100%全球骨干路由，AS拓?fù)浼班従由虡I(yè)關(guān)系知識(shí)庫可覆蓋全球互聯(lián)網(wǎng)較高層級(jí)AS（覆蓋度依賴于路由信息采集器部署密度和位置。一般來說，AS 層級(jí)（tier）或傳送度（transit degree）越高，其對(duì)應(yīng)相關(guān)知識(shí)庫覆蓋程度越好）。相對(duì)于路由安全主動(dòng)防護(hù)所依賴的RPKI數(shù)據(jù)庫中約30%覆蓋率的ROA數(shù)據(jù)（對(duì)應(yīng)前綴起源知識(shí)庫）、受標(biāo)準(zhǔn)進(jìn)度影響還是空白的AS路徑相關(guān)數(shù)據(jù)（對(duì)應(yīng)AS link拓?fù)浼班従由虡I(yè)關(guān)系知識(shí)庫），本研究所提供的互聯(lián)網(wǎng)知識(shí)庫是對(duì)資源公鑰基礎(chǔ)設(shè)施（resource public key infrastructure， RPKI）資源簽名記錄的極大補(bǔ)充，盡管暫不能直接應(yīng)用到協(xié)議主動(dòng)防護(hù)（需確保記錄100%可信），但對(duì)構(gòu)建全球互聯(lián)網(wǎng)可視化視圖、BGP路由安全事件的準(zhǔn)實(shí)時(shí)檢測(cè)仍然有巨大意義，甚至未來通過知識(shí)庫記錄可信度管理，可直接作為RPKI數(shù)據(jù)的補(bǔ)充而應(yīng)用于主動(dòng)防護(hù)。

（2）本研究基本算法以時(shí)空穩(wěn)定度、貝葉斯概率推理為核心推理構(gòu)建上述三大知識(shí)庫，但要進(jìn)一步提升準(zhǔn)確度，必須對(duì)相關(guān)干擾因素進(jìn)行深入研究。主要有兩類干擾因素，一方面，BGP所允許的合法“例外”存在，例如，因任播（anycast）、前綴聚合、分布式拒絕服務(wù)攻擊（distributed denial of service，DDoS）攻擊防護(hù)等需要而存在的合法多起源沖突；除一般的lateral peering、transit provider商業(yè)關(guān)系之外存在的sibling、partial transit、hybrid等特殊商業(yè)關(guān)系；一些個(gè)別私下協(xié)商長(zhǎng)期合法存在的valley-path（違反BGP路由擴(kuò)散路徑的一般原則——valley-free）。另一方面，因BGP路由采集點(diǎn)覆蓋不足導(dǎo)致的BGP基礎(chǔ)路由信息采樣偏差，相應(yīng)地可能使得一些數(shù)據(jù)特征提取可能偏差。本研究通過針對(duì)性的合法例外場(chǎng)景識(shí)別和分析、數(shù)據(jù)偏差下的數(shù)據(jù)調(diào)測(cè)處理，較大幅度提升了推理結(jié)果的準(zhǔn)確度，均達(dá)到99%以上。

（3）推理分析結(jié)果的驗(yàn)證校準(zhǔn)是評(píng)估算法、持續(xù)推動(dòng)算法優(yōu)化的關(guān)鍵一環(huán)，除了抽樣式人工比對(duì)驗(yàn)證，對(duì)于類似于本案例的較大規(guī)模數(shù)據(jù)分析輸出，基于一定規(guī)模的基準(zhǔn)庫進(jìn)行整體量化評(píng)估非常重要。本研究的三大知識(shí)庫中，前綴起源基準(zhǔn)庫可基于業(yè)界已經(jīng)具備的RPKI ROA數(shù)據(jù)集構(gòu)建，但AS link拓?fù)洹⑧従由虡I(yè)關(guān)系基準(zhǔn)庫業(yè)界還缺乏公認(rèn)標(biāo)準(zhǔn)，因此本文對(duì)如何構(gòu)建AS link拓?fù)洹⑧従由虡I(yè)關(guān)系基準(zhǔn)庫進(jìn)行了初步嘗試。其中，AS link拓?fù)浠鶞?zhǔn)庫的構(gòu)建本文基于兩個(gè)核心判斷：BGP路由信息采集點(diǎn)（vantage point，VP）所輸出的直接鄰居是可靠可信，且在full-feeding模式下（采集器與目標(biāo)采集點(diǎn)的BGP鄰居關(guān)系為C2P，通告所有路由）能采集到該VP采集點(diǎn)AS所有鄰居；而AS鄰居商業(yè)關(guān)系基準(zhǔn)庫的構(gòu)建，則是通過部分ISP在其網(wǎng)站公開的BGP團(tuán)隊(duì)屬性路由策略鄰居關(guān)系信息語義挖掘完成。

2 BGP路由安全分析檢測(cè)系統(tǒng)

2.1 系統(tǒng)總體架構(gòu)

BGP路由安全分析檢測(cè)系統(tǒng)總體架構(gòu)如圖1所示，共有三大關(guān)鍵模塊組成：數(shù)據(jù)采集與預(yù)處理、互聯(lián)網(wǎng)知識(shí)庫推理、路由安全事故檢測(cè)。

本系統(tǒng)整體采用邏輯推理方法，核心是互聯(lián)網(wǎng)知識(shí)庫推理構(gòu)建，在此基礎(chǔ)上經(jīng)相對(duì)簡(jiǎn)單的推理即可實(shí)現(xiàn)路由安全事故檢測(cè)。相較于一些采用AI算法直接基于大數(shù)據(jù)完成路由安全事故檢測(cè)的研究，本系統(tǒng)所基于的知識(shí)庫邏輯推理，一方面更符合運(yùn)維人員工作邏輯，有利于事故檢測(cè)的同時(shí)提供更多具體的故障定位支撐；另外，其所構(gòu)建的互聯(lián)網(wǎng)全局知識(shí)庫，類似于為互聯(lián)網(wǎng)打開了交通地圖，為數(shù)字世界基礎(chǔ)設(shè)施的高效運(yùn)維提供了重要底座。

圖1 BGP路由安全分析檢測(cè)系統(tǒng)總體架構(gòu)

2.2 數(shù)據(jù)采集與預(yù)處理

2.2.1 數(shù)據(jù)采集

數(shù)據(jù)采集主要涉及以下3類。

（1）VP點(diǎn)BGP路由信息，包括RIB信息以及BGP update消息。這些信息通常由Route Views和RIPE RIS等公共采集器通過與路由器建立BGP會(huì)話的方式獲取，并每隔一段時(shí)間壓縮為MRT文件存檔，供外部使用者通過HTTP get獲取。

（2）交換中心BGP路由信息，使用服務(wù)器與RS（route server）建立BGP鄰居，基于開源路由軟件采集路由前綴、起源AS以及ASpath等關(guān)鍵數(shù)據(jù)。

（3）其他輔助數(shù)據(jù)源，如Peering DB、IRR DB、RPKI ROA、Tier 1 ASN清單、保留ASN號(hào)清單等。這類數(shù)據(jù)大多無須實(shí)時(shí)提取，但仍需要根據(jù)各自特點(diǎn)保證數(shù)據(jù)時(shí)效性。

2.2.2 數(shù)據(jù)預(yù)清洗與預(yù)整理

數(shù)據(jù)預(yù)清洗最重要的目的是過濾掉無效數(shù)據(jù)，以避免這些數(shù)據(jù)流入后續(xù)處理環(huán)節(jié)、影響分析結(jié)果的準(zhǔn)確性。例如，根據(jù)是否存在AS環(huán)路、是否涉及保留ASN、是否出現(xiàn)了非連續(xù)Tier1 ASN等，可以將一些AS path作為無效數(shù)據(jù)提前加以識(shí)別清洗。

因涉及持續(xù)大量的數(shù)據(jù)更新和迭代計(jì)算，數(shù)據(jù)預(yù)整理成為保障高效、準(zhǔn)實(shí)時(shí)分析輸出必不可少的重要環(huán)節(jié)。本系統(tǒng)從原始BGP路由中提取前綴起源、AS path信息及其相關(guān)特征（如時(shí)間特征、空間特征，其中時(shí)間特征為觀測(cè)到該記錄的時(shí)戳信息，空間特征為觀察到該記錄的觀測(cè)點(diǎn)信息）進(jìn)行數(shù)據(jù)庫整理，并建立時(shí)間跨度滑窗機(jī)制（窗口大小可配置，1周到3個(gè)月不等）持續(xù)進(jìn)行數(shù)據(jù)更迭。如此可大幅度提升系統(tǒng)I/O效率、大幅度提升迭代計(jì)算的實(shí)時(shí)性。

2.3 互聯(lián)網(wǎng)路由全局知識(shí)庫推理

互聯(lián)網(wǎng)路由全局知識(shí)庫就像是數(shù)字世界基礎(chǔ)設(shè)施的交通地圖，是互聯(lián)網(wǎng)運(yùn)維的重要支撐，其全局知識(shí)庫主要包括：前綴起源（站點(diǎn)）、AS Link拓?fù)洌肪W(wǎng)）、AS商業(yè)關(guān)系（方向指示）三大知識(shí)庫組成。因互聯(lián)網(wǎng)BGP各參與方只掌握局部信息（本地及由鄰居獨(dú)立選擇后部分通告的信息），如何能基于這些局部信息推理構(gòu)建出較完整的互聯(lián)網(wǎng)全局視圖一直是業(yè)界的重點(diǎn)研究方向之一。

2.3.1 前綴起源知識(shí)庫推理構(gòu)建

前綴起源信息記錄特定前綴的始發(fā)AS信息，其知識(shí)庫推理構(gòu)建算法包括如下兩個(gè)關(guān)鍵部分。

（1）基于時(shí)空穩(wěn)定度，構(gòu)造前綴起源基礎(chǔ)數(shù)據(jù)庫

這里時(shí)間穩(wěn)定度指的是在特定時(shí)間窗內(nèi)，能持續(xù)觀測(cè)到該前綴起源的時(shí)間模型；空間穩(wěn)定度指的是能觀測(cè)到該前綴起源的觀測(cè)點(diǎn)分布情況?；跁r(shí)空穩(wěn)定度模型，系統(tǒng)可每對(duì)前綴起源記錄進(jìn)行穩(wěn)定度打分，并得到相對(duì)穩(wěn)定的前綴起源數(shù)據(jù)庫記錄。

（2）多起源AS（multiple origin AS，MOAS）沖突清理

MOAS指的是特定前綴有多個(gè)起源AS，多起源沖突清理就是需要區(qū)分哪些是合法的多起源沖突、哪些是潛在的前綴劫持。系統(tǒng)首先排查出相對(duì)穩(wěn)定的MOAS記錄作為長(zhǎng)期合法存在的多起源納入知識(shí)庫，并進(jìn)一步對(duì)瞬態(tài)MOAS沖突進(jìn)行清理，識(shí)別合法MOAS沖突。具體清理方法依賴于不同的合法MOAS沖突場(chǎng)景，例如，anycast服務(wù)的多起源通告；較常見的provider AS為customer AS代為始發(fā)通告，或者進(jìn)一步的路由聚合；sibling AS（指從屬于同一運(yùn)營(yíng)商，二者之間互為transit provider的AS）之間互相始發(fā)對(duì)方的前綴；DDoS防護(hù)服務(wù)商利用類似前綴劫持方式引導(dǎo)流量等場(chǎng)景。對(duì)于合法MOAS沖突，可進(jìn)行標(biāo)注后計(jì)入知識(shí)庫；而未被識(shí)別合法MOAS沖突的瞬態(tài)記錄，則作為疑似前綴起源劫持而被排除在知識(shí)庫記錄之外。

2.3.2 AS link拓?fù)渲R(shí)庫推理構(gòu)建

本知識(shí)庫記錄格式為：。其中，時(shí)間維度信息為推理分析窗口時(shí)間范圍內(nèi)（一般為“數(shù)周”時(shí)長(zhǎng)的滑窗）觀測(cè)到對(duì)應(yīng)前綴起源記錄的次數(shù)；空間維度信息推理分析窗口時(shí)間范圍內(nèi)能夠觀測(cè)到該起源記錄的采集點(diǎn)數(shù)量。

AS link拓?fù)渲R(shí)庫的推理構(gòu)建總體上也是基于時(shí)空穩(wěn)定度，也即所觀測(cè)到的AS link的時(shí)間穩(wěn)定度和空間穩(wěn)定度。進(jìn)一步的記錄清洗處理主要需要應(yīng)對(duì)好兩個(gè)挑戰(zhàn)。一方面，對(duì)于相對(duì)不穩(wěn)定的AS link記錄處理，如何將backup link、正常的拓?fù)湔{(diào)整（如增刪鏈路）等存在一定瞬態(tài)表現(xiàn)的記錄與存在link偽造的路徑劫持記錄進(jìn)行區(qū)分。另一方面，如何避免IXP RS等不同的處理方式對(duì)AS link記錄的干擾（RS在進(jìn)行BGP控制消息處理時(shí)最新的推薦做法是不在AS Path中記錄IXP自身的ASN，但較早存在不少類似情況，進(jìn)而對(duì)AS link的判斷形成一定干擾）。

本知識(shí)庫記錄格式為：。其中，AS1與AS2為互為鄰居的兩個(gè)AS，不區(qū)分先后。時(shí)空穩(wěn)定度為推理分析窗口時(shí)間內(nèi)綜合評(píng)估空間和時(shí)間維度信息得到的AS鄰居關(guān)系穩(wěn)定度評(píng)估值。

2.3.3 AS鄰居商業(yè)關(guān)系知識(shí)庫推理構(gòu)建

AS鄰居商業(yè)關(guān)系知識(shí)庫推理構(gòu)建相對(duì)來說是所有知識(shí)庫構(gòu)建中挑戰(zhàn)最大的，其主要體現(xiàn)在兩個(gè)方面。其一是AS鄰居商業(yè)關(guān)系的多樣性。除了最為常見的P2C（provider to customer）和P2P（peer to peer）商業(yè)關(guān)系，還有多種復(fù)雜商業(yè)關(guān)系：sibling to sibling（屬于同一運(yùn)營(yíng)商，表現(xiàn)為互為transit）、hybrid（兩個(gè)AS之間存在兩條或以上link，且不同link采用了不同商業(yè)關(guān)系）、partial transit（相對(duì)于full transit，其并不將上游transit provider路由進(jìn)一步下發(fā)給customer）等。其二是商業(yè)關(guān)系及其路由擴(kuò)散策略盡管有一般性要求和規(guī)范，但本質(zhì)上由運(yùn)營(yíng)商協(xié)商和定義，基于一般性規(guī)范推導(dǎo)的結(jié)果必然存在偏差。

（1）一般商業(yè)關(guān)系知識(shí)庫推理構(gòu)建

AS鄰居商業(yè)關(guān)系推理構(gòu)建相關(guān)研究大多建立在Lixia Gao的Valley-free理論之上，即認(rèn)為有效的AS path應(yīng)該是“任意數(shù)量C2P link + 0/1個(gè)P2P link + 任意數(shù)量P2C link”的組合。ProbLink是業(yè)界最新有關(guān)一般商業(yè)關(guān)系推理的研究。首先，基于AS rank算法推理得到Top Clique（Tier 1 ASes）；然后，依據(jù)Valley-free原則推導(dǎo)P2C鏈路，繼而將剩余鏈路標(biāo)記為P2P鏈路，形成初始鄰居關(guān)系推理結(jié)果。受觀測(cè)限制（觀測(cè)點(diǎn)數(shù)量及觀測(cè)點(diǎn)位置）以及部分存在的Valley-path情況，上述推理必然存在沖突或錯(cuò)誤。針對(duì)這種情況，ProbLink提取AS path主要特征（如link triplet、non-path、distance to clique、vantage point、co-located IXP等），通過樸素貝葉斯概率推理來進(jìn)一步求解link鄰居商業(yè)關(guān)系的最大可能性。

本系統(tǒng)主要以ProbLink為基礎(chǔ)進(jìn)行一般商業(yè)關(guān)系推理，除了過程中的貝葉斯參數(shù)調(diào)測(cè)，主要進(jìn)行了如下方面的調(diào)整。

· 互聯(lián)網(wǎng)Tier 1 AS清單可公開獲取且相對(duì)來說變更不是太頻繁，本系統(tǒng)嘗試用靜態(tài)輸入的Tier 1 AS清單取代Top Clique推理算法，發(fā)現(xiàn)推理結(jié)果有更好的準(zhǔn)確率表現(xiàn)。

· 樸素貝葉斯算法要求特征相互獨(dú)立，但ProbLink所提取的特征實(shí)際上并不完全獨(dú)立，且在特征提取時(shí)沒有考慮到P2P觀測(cè)量會(huì)遠(yuǎn)小于P2C的情況。本系統(tǒng)特征組合、特征增加、特征參數(shù)等進(jìn)行了調(diào)試優(yōu)化，發(fā)現(xiàn)可以進(jìn)一步提升算法準(zhǔn)確率。

· 為了提升算法效率，同時(shí)也避免錯(cuò)誤的逆推理（把原本正確的結(jié)果推導(dǎo)為錯(cuò)誤的結(jié)果），本文對(duì)進(jìn)入第二步概率推理的link范圍進(jìn)行了進(jìn)一步的篩選：基于第一步所得到的推理結(jié)果，如果某link出現(xiàn)在不同觀測(cè)點(diǎn)AS path數(shù)量足夠，對(duì)其出現(xiàn)違反Valley-free的情況進(jìn)行信用（credit）計(jì)分，最終篩查出相對(duì)可信的推理結(jié)果，不用重復(fù)進(jìn)行概率推理。

（2）復(fù)雜商業(yè)關(guān)系知識(shí)庫推理構(gòu)建

復(fù)雜商業(yè)關(guān)系盡管整體占比較低，但對(duì)進(jìn)一步提升商業(yè)關(guān)系知識(shí)庫構(gòu)建準(zhǔn)確度有著較大影響。主要存在如下復(fù)雜關(guān)系類型。

· sibling：其推理邏輯主要是通過挖掘與AS相關(guān)的注冊(cè)登記信息判斷，如對(duì)應(yīng)單位、管理員的名稱/姓名、地址、郵箱、電話等。

· partial transit：其推斷可通過對(duì)現(xiàn)有P2C link進(jìn)行進(jìn)一步full 或partial transit的篩查，對(duì)于出現(xiàn)了傳遞上游provider路由到下游customer的為full transit，否則為partial transit。

· hybrid：hybrid的推理相對(duì)比較復(fù)雜，其核心推理支撐是需要判斷兩個(gè)AS之間存在兩條獨(dú)立的link且位于不同地理位置，直接的方案是借助traceroute工具探測(cè)得到對(duì)應(yīng)link的不同IP地址，再通過IP地址信息挖掘獲得其AS和POP地址位置，從而判斷是否存在異地雙link情況。該方案準(zhǔn)確性高，但工程部署難度較高（包括IP地址POP位置挖掘技術(shù)挑戰(zhàn)及計(jì)算量），最終本文采取了基于PeeringDB挖掘基于IXP的P2P link，如推理同時(shí)存在P2C，則為hybrid。

本知識(shí)庫記錄格式為：。其中，AS1與AS2為互為鄰居的兩個(gè)AS，鄰居商業(yè)關(guān)系類型表達(dá)：0 — P2P；-1 — P2C；2 — Sibling；3 — partial transit；4 — hybrid。

2.4 BGP路由安全（準(zhǔn)）實(shí)時(shí)檢測(cè)

一旦推理得到上述完整可信的互聯(lián)網(wǎng)全局知識(shí)庫，BGP路由安全檢測(cè)的邏輯就相對(duì)比較簡(jiǎn)單：從網(wǎng)絡(luò)中提取BGP updates消息，與三大知識(shí)庫展開分析比對(duì)即可快速判斷潛在前綴劫持、路徑劫持和路由泄露事件。為提高準(zhǔn)確度和實(shí)時(shí)性，本系統(tǒng)進(jìn)行了兩方面的優(yōu)化。

（1）快速迭代更新知識(shí)庫，提升知識(shí)庫時(shí)效性、準(zhǔn)確性

從BGP updates中提取路由信息，除了檢測(cè)路由安全事情外，還需持續(xù)迭代到知識(shí)庫推理中?；ヂ?lián)網(wǎng)是持續(xù)更新的系統(tǒng)，如前綴的交易遷移、鏈路增刪、網(wǎng)絡(luò)建設(shè)調(diào)整等，系統(tǒng)需要將這些正常的變更進(jìn)一步與路由安全威脅區(qū)分開來，就需要更及時(shí)地結(jié)合BGP updates消息進(jìn)行知識(shí)庫迭代管理，而不僅僅基于間隔幾個(gè)小時(shí)采集到的RIB信息。

圖2 杭州NNIX實(shí)驗(yàn)環(huán)境

（2）基于本地的實(shí)時(shí)檢測(cè)分析

當(dāng)前Route Views和RIPE RIS每間隔5 min進(jìn)行一次update消息壓縮整理供外部提取、檢測(cè)分析（在考慮后續(xù)支持live stream）。本系統(tǒng)當(dāng)前可基于獲取的本地?cái)?shù)據(jù)源進(jìn)行實(shí)時(shí)的檢測(cè)分析。

3 實(shí)驗(yàn)結(jié)果評(píng)估

3.1 環(huán)境搭建及基準(zhǔn)庫構(gòu)建

3.1.1 環(huán)境搭建

本系統(tǒng)在國家（杭州）新型互聯(lián)網(wǎng)交換中心部署，除了通過公網(wǎng)獲取Route Views和RIPE RIS等的全球公共路由信息外，還通過服務(wù)器（基于開源路由軟件）與交換中心RS建立BGP鄰居關(guān)系，單向獲取RS上的BGP路由信息（不反向傳遞任何路由信息，避免干擾現(xiàn)網(wǎng)），作為本地?cái)?shù)據(jù)補(bǔ)充。具體實(shí)驗(yàn)環(huán)境如圖2所示。

3.1.2 基準(zhǔn)庫構(gòu)建

基準(zhǔn)庫構(gòu)建是算法調(diào)校、結(jié)果評(píng)估驗(yàn)收非常重要的依據(jù)?；ヂ?lián)網(wǎng)路由安全分析領(lǐng)域基準(zhǔn)庫構(gòu)建一直是業(yè)界在探索的難題，特別是跟路徑和鄰居商業(yè)關(guān)系相關(guān)的基準(zhǔn)。

（1）前綴起源基準(zhǔn)庫

從數(shù)據(jù)來源來看，當(dāng)前國際公開權(quán)威的前綴起源數(shù)據(jù)主要來源于IRR、ROA數(shù)據(jù)。截至2021年7月，IRR注冊(cè)覆蓋的起源前綴信息90.7萬條，ROA簽發(fā)起源前綴信息33萬條。同時(shí)，由中國信息通信研究院牽頭建設(shè)的國內(nèi)首個(gè)路由權(quán)威數(shù)據(jù)源目前已覆蓋國內(nèi)138個(gè)自治域網(wǎng)絡(luò)的路由信息，具備國內(nèi)超過2.9萬條權(quán)威前綴信息。

（2）AS link基準(zhǔn)庫

一般來說，BGP路由VP采集點(diǎn)所在AS如果以full feed方式（將collector作為其customer provider）向collector傳遞全量路由時(shí)，所得到的路由信息應(yīng)該能全面真實(shí)反饋該AS的鄰居情況?；谶@樣的判斷，摘取full feed VP采集到的路由信息，以VP AS為原點(diǎn)收集其所有鄰居AS信息，作為AS link基準(zhǔn)庫。本系統(tǒng)通過此方法，建立起了大約25萬條link基準(zhǔn)庫記錄。

（3）鄰居商業(yè)關(guān)系基準(zhǔn)庫

運(yùn)營(yíng)商可通過BGP community傳遞自定義的相關(guān)路由策略，其中包括商業(yè)關(guān)系相關(guān)策略（部分運(yùn)營(yíng)商的實(shí)踐）。但具體策略描述所代表的語義由各運(yùn)營(yíng)商自行定義，所以并不能簡(jiǎn)單通過community相關(guān)屬性挖掘完成鄰居關(guān)系基準(zhǔn)庫的建立。但好消息是，部分運(yùn)營(yíng)商會(huì)在其website中對(duì)其community值所代表的含義給予說明，本系統(tǒng)正是通過挖掘相關(guān)網(wǎng)站得到相關(guān)語義說明，從而構(gòu)建出鄰居關(guān)系基準(zhǔn)庫。通過這個(gè)方法，本文成功挖掘出約7萬條商業(yè)關(guān)系基準(zhǔn)庫。

基于基準(zhǔn)庫，本文嘗試進(jìn)行算法查全率和準(zhǔn)確率的評(píng)估，其中查全率（recall）=TP/(TP+FN)，準(zhǔn)確率（precision）=(TP+TN)/樣本總數(shù)。其中，TP（true positive）代表正確檢出的錯(cuò)誤數(shù)，F(xiàn)N（false negative）代表被漏報(bào)的錯(cuò)誤，TN（true negative）代表沒有被誤報(bào)的正常結(jié)果。

3.2 實(shí)驗(yàn)結(jié)果

經(jīng)過3個(gè)月的互聯(lián)網(wǎng)BGP路由信息采集，經(jīng)過數(shù)據(jù)預(yù)處理后，共得到約100萬條前綴起源記錄、5 000萬條全球AS path記錄，并建立了各記錄的時(shí)間、空間等相關(guān)信息，動(dòng)態(tài)管理機(jī)制。各知識(shí)庫推理結(jié)果、路由安全檢測(cè)相關(guān)結(jié)果如下。

（1）前綴起源知識(shí)庫及前綴劫持檢測(cè)

前綴起源支持庫推理構(gòu)建結(jié)果如圖3所示，共計(jì)得到IPv4前綴起源記錄1 037 058條，基于ROA基準(zhǔn)庫的108 354 IPv4前綴，前綴起源匹配度>99%。對(duì)前綴劫持檢測(cè)結(jié)果進(jìn)行抽查對(duì)比分析。例如，2020年10月5日檢測(cè)發(fā)現(xiàn)1條前綴劫持，而同期BGPStream發(fā)布兩條異常。對(duì)其中BGPStream有告警而沒有告警的記錄進(jìn)行分析發(fā)現(xiàn)，該現(xiàn)象的發(fā)生是公有云服務(wù)商向其他公司轉(zhuǎn)租子前綴，導(dǎo)致出現(xiàn)類似子前綴劫持現(xiàn)象，而本系統(tǒng)通過引入時(shí)空穩(wěn)定度可較好規(guī)避此類告警。

圖3 前綴起源支持庫推理構(gòu)建結(jié)果

（2）AS link知識(shí)庫及路徑劫持檢測(cè)

AS link知識(shí)庫推理構(gòu)建結(jié)果如圖4所示，推理得到穩(wěn)定的AS link知識(shí)庫記錄共計(jì)有529 337條，但同時(shí)還觀測(cè)到約有1萬條穩(wěn)定度不足的link，這些非穩(wěn)態(tài)link的產(chǎn)生原因需持續(xù)觀測(cè)和進(jìn)一步分析。在進(jìn)行準(zhǔn)確度評(píng)估時(shí)發(fā)現(xiàn)，基于VP觀測(cè)點(diǎn)構(gòu)造的link基準(zhǔn)庫評(píng)估的準(zhǔn)確度接近100%，本文認(rèn)為可能有兩方面的原因：根據(jù)業(yè)界研究，基于link偽造的路徑劫持發(fā)生比例遠(yuǎn)低于其他類型路由安全事件，更重要的是，VP觀測(cè)點(diǎn)所在AS通常位置較重要、運(yùn)營(yíng)較規(guī)范，出現(xiàn)與VP AS相關(guān)的鏈路偽造可能性更低。受link記錄中存在的不穩(wěn)定情況影響，因暫時(shí)還未落實(shí)進(jìn)一步清洗判斷（是否為正常的link變更或backup link臨時(shí)切換），一個(gè)直接的影響是基于當(dāng)前知識(shí)庫檢測(cè)到的路徑劫持告警可能存在一定的假陽性。

圖4 AS link知識(shí)庫推理構(gòu)建結(jié)果

（3）鄰居商業(yè)關(guān)系知識(shí)庫及路由泄露檢測(cè)

AS鄰居商業(yè)關(guān)系知識(shí)庫推理結(jié)果如圖5所示，P2C鏈路150 228條，P2P 372 143條；sibling 319條，hybrid和partial各約4 000條，見表1，從一般商業(yè)關(guān)系推理結(jié)果基于基準(zhǔn)庫的評(píng)估來看，兩種link關(guān)系類型的查全率和準(zhǔn)確率都超過>99%（復(fù)雜商業(yè)關(guān)系因基準(zhǔn)庫樣本不夠沒有評(píng)估），相比于經(jīng)典ASRank和ProbLink算法都有不同程度提升。

圖5 AS鄰居商業(yè)關(guān)系知識(shí)庫推理結(jié)果（一般商業(yè)關(guān)系）

表1 一般商業(yè)關(guān)系推理結(jié)果評(píng)估

值得注意的是，基于鄰居關(guān)系知識(shí)庫推理結(jié)論來審視AS path，共計(jì)有0.5%的link triplet三元組、5.7%的AS path違反了valley-free原則。這其中最主要的因素應(yīng)該是長(zhǎng)期合法valley-path的存在，其他原因包括復(fù)雜商業(yè)關(guān)系、一般商業(yè)關(guān)系推理誤差。在進(jìn)行路由泄露檢測(cè)時(shí)，重點(diǎn)要排除長(zhǎng)期合法存在valley-path的干擾。

4 結(jié)束語

前綴劫持、路徑劫持和路由泄露等BGP路由安全事故多年來高發(fā)不下，每年都會(huì)發(fā)生若干起全球性重大安全事故。隨著互聯(lián)網(wǎng)日益發(fā)展成為全社會(huì)數(shù)字化核心基礎(chǔ)設(shè)施，互聯(lián)網(wǎng)全局路由視圖及實(shí)時(shí)路由安全檢測(cè)日益重要。相對(duì)單系統(tǒng)/單網(wǎng)絡(luò)的路由安全保障更聚焦于避免自身錯(cuò)誤配置導(dǎo)致路由安全，互聯(lián)網(wǎng)全網(wǎng)級(jí)別的路由安全分析檢測(cè)還可以對(duì)入口消息進(jìn)行檢測(cè)，發(fā)現(xiàn)潛在路由劫持和泄露等安全威脅，可為故障早發(fā)現(xiàn)、早定位、早隔離提供實(shí)時(shí)支撐，避免二次放大造成更嚴(yán)重危害。此外，還可以對(duì)重點(diǎn)前綴（如DNS等基礎(chǔ)設(shè)施、關(guān)乎國計(jì)民生的關(guān)鍵服務(wù)設(shè)施等）進(jìn)行全球全網(wǎng)路由安全威脅主動(dòng)監(jiān)測(cè)，這在業(yè)務(wù)開展日益國際化、日益分布式的今天意義更為重大。

本系統(tǒng)采取邏輯推理方法，首先通過推理構(gòu)建了全球互聯(lián)網(wǎng)的三大知識(shí)庫：前綴起源、AS link拓?fù)?、鄰居商業(yè)關(guān)系，進(jìn)而基于三大知識(shí)庫實(shí)現(xiàn)（準(zhǔn)）實(shí)時(shí)路由安全事故檢測(cè)能力?；诖耍喈?dāng)于有了互聯(lián)網(wǎng)基礎(chǔ)性的“交通地圖”—路網(wǎng)信息及事故監(jiān)測(cè)。本系統(tǒng)基于時(shí)空穩(wěn)定度、貝葉斯推理等核心算法，通過針對(duì)性梳理和識(shí)別容易對(duì)知識(shí)庫和檢測(cè)分析造成干擾的正常場(chǎng)景，包括正常的多起源沖突場(chǎng)景、復(fù)雜商業(yè)關(guān)系場(chǎng)景、backup link及臨時(shí)link變更場(chǎng)景等，以進(jìn)一步提升知識(shí)庫推理和故障檢測(cè)的準(zhǔn)確度；針對(duì)數(shù)據(jù)采集偏差特點(diǎn)、計(jì)算開銷導(dǎo)致的及時(shí)性等，本系統(tǒng)在特征組合、特征設(shè)計(jì)和調(diào)參，提升算法推理準(zhǔn)確度的同時(shí)降低了工程部署難度。通過基準(zhǔn)庫構(gòu)建及評(píng)估、與業(yè)界最佳實(shí)踐的分析對(duì)比等，證明本系統(tǒng)在查全率、準(zhǔn)確率及可用性等方面都達(dá)到了業(yè)界先進(jìn)水平。與此同時(shí)，本文認(rèn)為互聯(lián)網(wǎng)全局路由的可視度、安全檢測(cè)分析查全率和準(zhǔn)確率等都還有較大提升空間。

（1）更加豐富的數(shù)據(jù)采集生態(tài)

從數(shù)據(jù)推理結(jié)果來看，AS link的可視化程度仍然還有較大差距，特別是P2P link的傳播特點(diǎn)決定了需要更深更廣的采集點(diǎn)覆蓋，其提升P2P鏈路可視化程度的同時(shí)，也必然可改進(jìn)P2C與P2P誤判比例，降低路由泄露誤判情況。同時(shí)，更多的局部和本地信息采集可增加知識(shí)庫信息的明細(xì)程度。

（2）數(shù)據(jù)面探針基礎(chǔ)設(shè)施建設(shè)

當(dāng)前的研究聚焦于控制面的大數(shù)據(jù)分析，未來可考慮進(jìn)一步結(jié)合數(shù)據(jù)面ping/traceroute探針，一方面可以對(duì)控制面分析結(jié)果給予驗(yàn)證和輔助支撐，例如對(duì)前綴可達(dá)性和路由路徑的驗(yàn)證，對(duì)需要結(jié)合POP位置的相關(guān)推理支撐。更核心的是，該數(shù)據(jù)面探針系統(tǒng)還可提供更廣泛的數(shù)據(jù)面可視化支撐，與本系統(tǒng)控制面可視化共同構(gòu)成互聯(lián)網(wǎng)可視化的關(guān)鍵兩個(gè)要素。

（3）路徑劫持檢測(cè)告警的準(zhǔn)確度提升

主要是如何區(qū)分非穩(wěn)態(tài)link與偽造link的研究。實(shí)踐中，可考慮增加本地或區(qū)域鄰居信息，以加強(qiáng)跟本地或區(qū)域AS相關(guān)路徑偽造的檢出準(zhǔn)確性。

（4）數(shù)據(jù)分析積累

這對(duì)基于數(shù)據(jù)分析的研究意義重大。包括互聯(lián)網(wǎng)也在動(dòng)態(tài)變化，需要持續(xù)積累數(shù)據(jù)、優(yōu)化算法，不斷尋找最優(yōu)解。BGP自主對(duì)等參與的特點(diǎn)決定了一般規(guī)則之外的特例存在，例如valley-free是建立在網(wǎng)間流量結(jié)算最優(yōu)的一般規(guī)則上，但基于業(yè)務(wù)體驗(yàn)、網(wǎng)絡(luò)負(fù)載等考慮運(yùn)營(yíng)商可部分調(diào)整；云服務(wù)商在生態(tài)中的地位日益提高，基于網(wǎng)絡(luò)層級(jí)的商業(yè)結(jié)算一般規(guī)則也越來越多的出現(xiàn)特例。數(shù)據(jù)分析需要對(duì)這些一般規(guī)則之外的特例進(jìn)行長(zhǎng)期積累，進(jìn)行白名單管理。

[1] ZHAO X L, PEI D, et al. An Analysis of BGP Multiple Origin AS Conflicts[C]// Proceedings of the 1st ACM SIGCOMM Workshop on Internet Measurement 2001. New York: ACM Press, 2001.

[2] CHIN K W. On the characteristics of BGP multiple origin AS conflicts[C]//Proceedings of 2007 Australasian Telecommunication Networks and Applications Conference. Piscataway: IEEE Press, 2007: 157-162.

[3] LUCKIE M, HUFFAKER B, DHAMDHERE A, et al. AS relationships, customer cones, and validation[C]//Proceedings of the 2013 conference on Internet measurement conference. New York: ACM Press, 2013.

[4] LI Y C, SCOTT C et al. Stable and Practical AS Relationship Inference with ProbLink[C]//Proceedings of 16th {USENIX} Symposium on Networked Systems Design and Implementation ({NSDI} 19). 2019: 581-598.

[5] GIOTSAS V, LUCKIE M, et al. Inferring Complex AS Relationships[C]// Proceedings of the 2014 conference on Internet measurement conference. New York: ACM Press, 2014.

[6] FENG G Y, SESHAN S, STEENKISTE P. PARI: a probabilistic approach to AS relationships inference[EB]. 2019

[7] JIN Z T, SHI X G, YANG Y, et al. TopoScope: recover AS relationships from fragmentary observations[C]// Proceedings of the ACM Internet Measurement Conference. New York: ACM Press, 2020.

Architecture and practice of BGP internet routing visibility and security detection

YE Chaoyang1, SHEN Chen2, HUANG Mingqing3, ZHANG Shicong1, LIU Yisha1

1. National (Hangzhou) New-Type Internet Exchange Point, Zhejiang 311200, China 2. China Academy of Information and Communications Technology, Beijing 100191, China 3. Huawei Technologies Co., Ltd., Beijing 100095, China

Border Gateway Protocol (BGP) is the de facto inter-domain routing protocol of today’s global internet for exchanging routing information. However, it was supposed that all participants were reliable without generating routing security issues by mistakes or on purpose when BGP was designed 50 years ago. As Internet is getting involved in all aspects of our society, internet routing security is becoming the problems that couldn’t be ignored anymore. A general architecture was proposed which coved inference of BGP routing knowledge database and provided visibility of global internet routing. Detection of route security events such as routing hijacks and routing leaks were realized. The deployment shows that the system can provide good visibility of internet routing and precise detection of routing security events.

BGP, internet routing security, routing hijack, routing leak

TP393

A

10.11959/j.issn.1000?0801.2021263

2021?08?24；

2021?12?08

葉朝陽（1976?），男，浙江省新型互聯(lián)網(wǎng)交換中心有限責(zé)任公司總經(jīng)理、中國互聯(lián)網(wǎng)協(xié)會(huì)互聯(lián)網(wǎng)互聯(lián)互通工作委員會(huì)副主任委員，主要研究方向?yàn)樾滦突ヂ?lián)網(wǎng)交換中心網(wǎng)絡(luò)架構(gòu)與協(xié)議設(shè)計(jì)、云網(wǎng)交換等。

沈辰（1989?），中國信息通信研究院工程師，主要研究方向?yàn)榛ヂ?lián)網(wǎng)網(wǎng)絡(luò)互聯(lián)互通、互聯(lián)網(wǎng)路由安全、互聯(lián)網(wǎng)測(cè)量與性能分析等。

黃明慶（1969?），男，華為技術(shù)有限公司高級(jí)IP技術(shù)研究專家，主要研究方向?yàn)榫W(wǎng)絡(luò)空間安全、互聯(lián)網(wǎng)協(xié)議架構(gòu)等。

張士聰（1990?），男，浙江省新型互聯(lián)網(wǎng)交換中心有限責(zé)任公司技術(shù)部經(jīng)理，主要研究方向?yàn)樾滦突ヂ?lián)與網(wǎng)絡(luò)架構(gòu)。

劉伊莎（1992?），女，浙江省新型互聯(lián)網(wǎng)交換中心有限責(zé)任公司IT工程師，主要研究方向?yàn)樾滦突ヂ?lián)與網(wǎng)絡(luò)架構(gòu)信息化。