孫智慧，齊法制

中國科學(xué)院高能物理研究所，北京 100049

定速率的傳輸[1]。如何使用IPv6 網(wǎng)絡(luò)服務(wù)于高能物理實(shí)驗(yàn)數(shù)據(jù)的共享，如何實(shí)現(xiàn)面向高能物理合作單位之間高能物理數(shù)據(jù)在IPv4 及IPv6 網(wǎng)絡(luò)鏈路的靈活切換是本文的一項(xiàng)重點(diǎn)工作。本文提出一種面向高能物理網(wǎng)格環(huán)境網(wǎng)絡(luò)監(jiān)測及優(yōu)化的方案，采用面向服務(wù)的網(wǎng)絡(luò)性能監(jiān)控框架（perfSONAR），部署于高能物理網(wǎng)格環(huán)境的各個站點(diǎn)中，監(jiān)測網(wǎng)絡(luò)性能狀況，并基于虛擬網(wǎng)絡(luò)技術(shù)構(gòu)建面向高能物理數(shù)據(jù)傳輸?shù)腎Pv4 及IPv6 虛擬專用網(wǎng)絡(luò)，通過監(jiān)測高能物理網(wǎng)格環(huán)境中各節(jié)點(diǎn)的網(wǎng)絡(luò)性能，優(yōu)化高能物理數(shù)據(jù)傳輸路徑的選擇，提升廣域網(wǎng)數(shù)據(jù)傳輸效率，保證高能物理傳輸?shù)目煽啃?，為高能物理?shù)據(jù)分析和處理提供良好的網(wǎng)絡(luò)支撐環(huán)境。

1 面向高能物理網(wǎng)格環(huán)境的網(wǎng)絡(luò)測量

網(wǎng)格技術(shù)是將全球地理上分散的計算、存儲資源通過網(wǎng)絡(luò)有機(jī)的整合起來，協(xié)同工作，為大型科學(xué)實(shí)驗(yàn)研究提供計算支持，以便完成單個集群無法實(shí)現(xiàn)的大規(guī)模計算任務(wù)[2]。高能物理網(wǎng)格環(huán)境是利用網(wǎng)格技術(shù)把面向高能物理實(shí)驗(yàn)分散的計算、存儲資源有機(jī)的整合起來，支持面向高能物理大型實(shí)驗(yàn)的數(shù)據(jù)處理、數(shù)據(jù)存儲、數(shù)據(jù)共享等服務(wù)。目前，全球最大的網(wǎng)格系統(tǒng)是有歐洲核子中心（CERN）主導(dǎo)的全球高能物理網(wǎng)格WLCG (Worldwide LHC Computing Grid)系統(tǒng)[3]，WLCG 將全球超過40 個國家和地區(qū)的 150 多個研究機(jī)構(gòu)聯(lián)合起來，整合超過50 萬顆 CPU 的計算資源和超過500PB 的存儲資源。高能物理研究所計算中心于2001年加入WLCG，并建成國內(nèi)最大的高能物理計算網(wǎng)格平臺。當(dāng)前高能

引 言

近年來隨著科研活動網(wǎng)絡(luò)化的趨勢越來越明顯，高速、高性能科研計算網(wǎng)絡(luò)成為科研項(xiàng)目必須的基礎(chǔ)設(shè)施，基于網(wǎng)絡(luò)進(jìn)行科研項(xiàng)目或科學(xué)實(shí)驗(yàn)的協(xié)同研究已成為一種必要的科研手段。尤其在高能物理領(lǐng)域，高能物理實(shí)驗(yàn)的開展依賴于大型科學(xué)實(shí)驗(yàn)裝置，如北京正負(fù)電子對撞機(jī)（BEPCII）、中國散裂中子源（CSNS）、歐洲核子中心大型強(qiáng)子對撞機(jī)（LHC）、美國散裂中子源（SNS）、德國電子同步加速器（DESY）、日本質(zhì)子同步加速器（J-PARC）等，這些大型科學(xué)實(shí)驗(yàn)裝置分布于不同的國家或區(qū)域，并且實(shí)驗(yàn)的參與者也來自不同的國家或區(qū)域，因此跨地區(qū)、跨區(qū)域的高能物理科研活動成為一種趨勢，需要與之相匹配的網(wǎng)絡(luò)環(huán)境的支撐；另一方面這些大型科學(xué)實(shí)驗(yàn)裝置產(chǎn)生大量的實(shí)驗(yàn)數(shù)據(jù)，如LHC 每年將產(chǎn)生30PB 的實(shí)驗(yàn)數(shù)據(jù)，BEPCII 累計將產(chǎn)生5PB 原始數(shù)據(jù)，中國散裂中子源每年約產(chǎn)生數(shù)百TB的原始數(shù)據(jù)，這些高能物理實(shí)驗(yàn)數(shù)據(jù)需要傳輸、共享到各個高能物理合作單位之間，以實(shí)現(xiàn)最終物理分析的目標(biāo)，大批量高能物理實(shí)驗(yàn)數(shù)據(jù)的高速、穩(wěn)定傳輸是高能物理實(shí)驗(yàn)開展的前提，并直接影響到高能物理實(shí)驗(yàn)數(shù)據(jù)分析工作的進(jìn)程和最終結(jié)果，因此對高能物理合作單位之間高能物理實(shí)驗(yàn)數(shù)據(jù)共享網(wǎng)絡(luò)的網(wǎng)絡(luò)性能實(shí)時監(jiān)測與分析的研究是必要的。

在現(xiàn)有的網(wǎng)絡(luò)基礎(chǔ)環(huán)境中，國內(nèi)高能物理網(wǎng)格環(huán)境都已支持IPv4 及IPv6 網(wǎng)絡(luò)，在IPv4 網(wǎng)絡(luò)鏈路資源出現(xiàn)不足的情況下，跨域的網(wǎng)絡(luò)傳輸無法實(shí)現(xiàn)網(wǎng)絡(luò)流量的快速、動態(tài)調(diào)整，無法滿足高能物理數(shù)據(jù)對網(wǎng)絡(luò)帶寬的需求，難以保證關(guān)鍵實(shí)驗(yàn)數(shù)據(jù)以恒所計算中心正在主導(dǎo)面向國內(nèi)高能物理合作單位之間建立國內(nèi)高能物理網(wǎng)格平臺計劃，目前已有山東大學(xué)、上海交通大學(xué)、華中師范大學(xué)、中國科學(xué)與技術(shù)大學(xué)等單位加入，因此對國內(nèi)高能物理網(wǎng)格環(huán)境中各個合作單位之間的網(wǎng)絡(luò)性能測量及評估是必要的。

1.1 網(wǎng)絡(luò)測量技術(shù)

網(wǎng)絡(luò)測量（Network Measurement）是通過一定的技術(shù)和方法，并使用軟件和硬件工具對網(wǎng)絡(luò)中的節(jié)點(diǎn)、鏈路、指標(biāo)參數(shù)進(jìn)行測量，分析與整理測量數(shù)據(jù)，得到網(wǎng)絡(luò)結(jié)構(gòu)、性能指標(biāo)及運(yùn)行狀態(tài)的一系列活動總和。網(wǎng)絡(luò)測量為網(wǎng)絡(luò)行為學(xué)的研究提供重要的理論依據(jù)和準(zhǔn)確的驗(yàn)證平臺，是對理論模型進(jìn)行驗(yàn)證與修正的重要基準(zhǔn)；是檢測網(wǎng)絡(luò)擁塞狀況、定位網(wǎng)絡(luò)性能瓶頸的關(guān)鍵途徑；是建立網(wǎng)絡(luò)安全防范機(jī)制，保證網(wǎng)絡(luò)安全、穩(wěn)定地運(yùn)行的前 提[4]。網(wǎng)絡(luò)測量按測量的對象不同，可分為網(wǎng)絡(luò)拓?fù)錅y量、網(wǎng)絡(luò)性能測量和網(wǎng)絡(luò)流量測量。其中對網(wǎng)絡(luò)性能的研究最為集中也最為廣泛，網(wǎng)絡(luò)性能測量按獲取測量報文方式的不同，又分為主動網(wǎng)絡(luò)性能測量（Active Measurement）和被動網(wǎng)絡(luò)性能測量（Passive Measurement）[5]。

主動網(wǎng)絡(luò)性能測量是通過主動構(gòu)造各種結(jié)構(gòu)的探測報文序列，發(fā)送到被測目標(biāo)網(wǎng)絡(luò)中，通過被測目標(biāo)網(wǎng)絡(luò)的反饋信息或者探測報文傳輸經(jīng)過目標(biāo)網(wǎng)絡(luò)后攜帶的目標(biāo)網(wǎng)絡(luò)信息來推測網(wǎng)絡(luò)性能[6]。主動網(wǎng)絡(luò)性能測量常用的工具有Ping、Traceroute、Pathload、netperf、iperf 等。文獻(xiàn)[7]提出了一種基于蒙特卡洛隨機(jī)抽樣的思想探測理論，該方法采用隨機(jī)發(fā)送單個小探測報文計算整條路徑的可用帶寬、鏈路容量及空閑率，進(jìn)而分析得到各路由節(jié)點(diǎn)上的流量變化。 文獻(xiàn)[8]提出了一種易于部署的用戶空間主動測量框架（FlowTrace），該框架利用應(yīng)用程序TCP 流進(jìn)行網(wǎng)絡(luò)帶寬測量從而定位帶寬瓶頸，并且測量開銷較小。文獻(xiàn)[9-11]提出一種基于軟件定義網(wǎng)絡(luò)的主動發(fā)送探測包的方式來測量網(wǎng)絡(luò)鏈路延遲，且文獻(xiàn)[11]的方法及其設(shè)計的軟件OpenNetMon 也支持對可用帶寬及丟包率的測量。

被動網(wǎng)絡(luò)性能測量技術(shù)是通過抽取或復(fù)制網(wǎng)絡(luò)真實(shí)流量數(shù)據(jù)，并按照不同粒度水平記錄和處理，獲取網(wǎng)絡(luò)性能數(shù)據(jù)。被動網(wǎng)絡(luò)性能測量技術(shù)可以記錄測量節(jié)點(diǎn)最完整的信息，包括從物理層一直到應(yīng)用層的協(xié)議數(shù)據(jù),可以快速地檢測到網(wǎng)絡(luò)錯誤和網(wǎng)絡(luò)失效，了解網(wǎng)絡(luò)的運(yùn)行狀況。被動網(wǎng)絡(luò)性能測量工具和技術(shù)主要有Sniffer（嗅探器）、Wireshark、WinCap、Network General、SNOR 等。文 獻(xiàn)[12]提出了一種基于對象和應(yīng)用的流量特征統(tǒng)計描述的方法，周期性地導(dǎo)出該信息來描述鏈路流量特征，減少了傳輸和存儲的數(shù)據(jù)量并擁有更高效的存儲組織查詢分析。文獻(xiàn)[13]提出了一種基于支持向量機(jī)的流量分類方法，利用非線性變換和結(jié)構(gòu)風(fēng)險最小化原則將流量分類問題轉(zhuǎn)化為二次尋優(yōu)問題，具有良好的分類準(zhǔn)確率和穩(wěn)定性。文獻(xiàn)[14]提出了一種提取大流的算法FEFS，通過在線識別和淘汰小流，把大流信息保存在有限的高速存儲空間中，從而快速提取大流。文獻(xiàn)[15]提出一種基于自適應(yīng)流抽樣的測量方法,通過一個簡單、分組開銷較小的數(shù)據(jù)結(jié)構(gòu)來獲取網(wǎng)絡(luò)性能。文獻(xiàn)[16]提出了 Smart Selection Sampling(S3 )方法,通過利用流長分布信息選擇合適的抽樣函數(shù),能夠調(diào)整抽樣函數(shù)，獲得更高的測量精度。文獻(xiàn)[17-18]提出了基于SDN 網(wǎng)絡(luò)架構(gòu)的網(wǎng)絡(luò)可用帶寬被動測量方法，但這種方法測量結(jié)果的準(zhǔn)確性受時間估計的影響較大。

采用主動網(wǎng)絡(luò)性測量方式能夠快速地理解端到端的路徑，并且不需要部署到互聯(lián)網(wǎng)的核心設(shè)備，無需涉及用戶隱私數(shù)據(jù)，部署方便、成本較小，但主動測量需要向網(wǎng)絡(luò)中注入流量，增加了被測網(wǎng)絡(luò)負(fù)擔(dān)。采用被動網(wǎng)絡(luò)性能測量方式可以不需要向網(wǎng)絡(luò)發(fā)送探測數(shù)據(jù)包，不增加和修改通過網(wǎng)絡(luò)的數(shù)據(jù)負(fù)載，因此對網(wǎng)絡(luò)的行為沒有影響，但被動網(wǎng)絡(luò)性能測量難以獲得對網(wǎng)絡(luò)的整體理解。文獻(xiàn)[19-20]采用主被動結(jié)合的方式進(jìn)行網(wǎng)絡(luò)性能的測量，這種方式綜合被動測量和主動測量技術(shù)的優(yōu)缺點(diǎn)，可用合理控制減少對網(wǎng)絡(luò)的影響，提高測量的準(zhǔn)確性。跨廣域網(wǎng)的網(wǎng)絡(luò)準(zhǔn)確測量一直是網(wǎng)絡(luò)測量的難點(diǎn)問題，廣域網(wǎng)上的網(wǎng)絡(luò)設(shè)備可能分屬不同的運(yùn)營商和機(jī)構(gòu)，其網(wǎng)絡(luò)狀況也在不斷的發(fā)生變化，測量結(jié)果常常受到時鐘偏差、路徑是否一致等方面因素影響。本研究的目標(biāo)是通過對高能物理網(wǎng)格環(huán)境的網(wǎng)絡(luò)性能測量，建立一個全局的網(wǎng)絡(luò)性能視圖，從而更改的優(yōu)化和調(diào)整高能物理網(wǎng)格環(huán)境數(shù)據(jù)共享路徑，以期提升網(wǎng)絡(luò)共享效率。采用被動網(wǎng)絡(luò)測量方式難以得到對高能物理網(wǎng)格環(huán)境整體性能的理解，因此本研究采用主動網(wǎng)絡(luò)性能測量方式，通過在高能物理合作單位之間部署網(wǎng)絡(luò)測量探針，獲取高能物理合作單位之間網(wǎng)絡(luò)性能參數(shù)，記錄數(shù)據(jù)傳輸網(wǎng)絡(luò)的網(wǎng)絡(luò)路由。

1.2 基于perfSONAR 的網(wǎng)絡(luò)測量

perfSONAR(performance service-oriented network monitoring architecture)，是一個面向服務(wù)的網(wǎng)絡(luò)性能監(jiān)控框架，它是由美國能源科學(xué)網(wǎng)絡(luò)（ESnet），GéANT，Internet2 和巴西國家教育與研究網(wǎng)絡(luò)（RNP）共同發(fā)起的，旨在解決跨多域網(wǎng)絡(luò)的路徑上的端到端性能問題[21]，主要面向歐洲核子中心大型強(qiáng)子對撞機(jī)實(shí)驗(yàn)（LHC）網(wǎng)格環(huán)境提供網(wǎng)絡(luò)測量和監(jiān)控工具包。perfSONAR 架構(gòu)中集成ping、traceroute、tracepath、iperf、iperf3、nuttcp 等網(wǎng)絡(luò)測量工具，并對這些測量工具進(jìn)行封裝，實(shí)現(xiàn)對被測網(wǎng)絡(luò)的網(wǎng)絡(luò)端到端的可用帶寬、端到端延遲、端到端的丟包率以及連接穩(wěn)定性及轉(zhuǎn)發(fā)路徑等測量，并將其測量結(jié)果存檔，提供查詢界面以方便檢索測量結(jié)果。截止2020年2月全球300 多個頂級域和1000 多個組織的2000 多個注冊主機(jī)上部署了perfSONAR。

基于perfSONAR 對網(wǎng)絡(luò)可用帶寬、延遲及丟包率測量的良好集成，本文采用perfSONAR 架構(gòu)進(jìn)行面向高能物理網(wǎng)格環(huán)境的網(wǎng)絡(luò)性能測量，通過在高能物理合作單位之間部署perfSONAR 測量探針，主動發(fā)送探測包的方式獲取高能物理網(wǎng)格環(huán)境網(wǎng)絡(luò)性能參數(shù)，如延遲、丟包、可用帶寬等。為方便說明，如圖1 所示，在中國科學(xué)院高能物理研究所（IHEP）、山東大學(xué)（SDU）、上海交通大學(xué)（SJTU）、華中師范大學(xué)（CCNU）四個點(diǎn)部署perfSONAR 網(wǎng)絡(luò)測量探針，通過端到端的網(wǎng)絡(luò)配置，建立Full-Mesh 的IPv4 及IPv6 網(wǎng)絡(luò)測量環(huán)境，并通過網(wǎng)絡(luò)測量可視化平臺來展示四點(diǎn)之間的網(wǎng)絡(luò)測量結(jié)果。

圖1 網(wǎng)絡(luò)測量架構(gòu)Fig.1 Network measurement architecture

1.3 網(wǎng)絡(luò)測量可視化平臺

在面向高能物理網(wǎng)格環(huán)境中，每個站點(diǎn)都存在高能物理實(shí)驗(yàn)數(shù)據(jù)交換的可能，因此在部署網(wǎng)絡(luò)測量探針時不僅僅是只考慮某一點(diǎn)到其他節(jié)點(diǎn)的網(wǎng)絡(luò)性能狀況，而是要考慮高能物理網(wǎng)格環(huán)境中任意兩個站點(diǎn)之間的網(wǎng)絡(luò)性能。同時在部署網(wǎng)絡(luò)測量探針時，理論上任意兩點(diǎn)之間的網(wǎng)絡(luò)探針都會有網(wǎng)絡(luò)測量數(shù)據(jù)的產(chǎn)生，這些數(shù)據(jù)的展示其實(shí)是一個二維矩陣的圖。本文采用開源的MaDDash（Monitoring and Debugging Dashboard，監(jiān)控和調(diào)試儀表板）軟件構(gòu)建了網(wǎng)絡(luò)性能可視化展示平臺，可以對多個測量點(diǎn)之間網(wǎng)絡(luò)性能構(gòu)建一個可視化的展示矩陣，矩陣的每一點(diǎn)代表橫向與縱向測量點(diǎn)之間網(wǎng)絡(luò)性能狀況，同時用不同顏色標(biāo)記出網(wǎng)絡(luò)性能的狀況，支持對網(wǎng)絡(luò)可用帶寬、網(wǎng)絡(luò)丟包與延遲以及網(wǎng)絡(luò)路徑的可視化展示，可視化矩陣圖展示方式可以更直觀的反映出多個測量點(diǎn)之間的網(wǎng)絡(luò)性能狀況。

為更好的說明本文搭建的網(wǎng)絡(luò)性能可視化平臺的效果， 以中國科學(xué)院高能物理研究所（IHEP）、山東大學(xué)（SDU）、上海交通大學(xué)（SJTU）、華中師范大學(xué)（CCNU）四個點(diǎn)可用帶寬測量為例，在以上四個節(jié)點(diǎn)部署網(wǎng)絡(luò)測量探針， 其測試結(jié)果如圖2 所示，為一個4×4 的矩陣圖，顏色反映可用帶寬的區(qū)間值，通過此矩陣式可視化展示可以比較直觀的反映出測量點(diǎn)之間的網(wǎng)絡(luò)性能狀況。

圖2 網(wǎng)絡(luò)性能測量數(shù)據(jù)矩陣圖Fig.2 Network performance measurement data matrix

2 面向高能物理網(wǎng)格環(huán)境的網(wǎng)絡(luò)測量

廣域網(wǎng)優(yōu)化技術(shù)可以顯著提升用戶網(wǎng)絡(luò)體驗(yàn)，一直是研究人員和各大網(wǎng)絡(luò)設(shè)備廠商關(guān)注的熱點(diǎn)。廣域網(wǎng)優(yōu)化的途徑主要包括基于數(shù)據(jù)優(yōu)化的廣域網(wǎng)優(yōu)化技術(shù)、基于協(xié)議優(yōu)化的廣域網(wǎng)優(yōu)化技術(shù)以及基于鏈路優(yōu)化的廣域網(wǎng)優(yōu)化技術(shù)。本研究面向高能物理實(shí)驗(yàn)數(shù)據(jù)網(wǎng)格環(huán)境，在不改變物理學(xué)家獲取的物理實(shí)驗(yàn)數(shù)據(jù)以及數(shù)據(jù)傳輸系統(tǒng)的前提下，本文采用鏈路優(yōu)化技術(shù)來優(yōu)化面向高能物理合作單位之間網(wǎng)絡(luò)性能，通過構(gòu)建基于SDN 技術(shù)的高能物理合作單位虛擬專用網(wǎng)絡(luò)，調(diào)節(jié)高能物理數(shù)據(jù)傳輸路徑來提升數(shù)據(jù)傳輸效率。

2.1 面向高能物理虛擬專用網(wǎng)構(gòu)建

本文面向高能物理合作單位之間大批量高能物理實(shí)驗(yàn)數(shù)據(jù)的傳輸需求，同時需要滿足數(shù)據(jù)傳輸?shù)母呖煽啃院透咝市?，能夠最大限度的利用高能物理合作單位之間現(xiàn)有網(wǎng)絡(luò)鏈路資源。為了更好的利用IPv4、IPv6 鏈路資源，本文的一項(xiàng)工作重點(diǎn)是采用SDN 技術(shù)及虛擬專用網(wǎng)技術(shù)在高能物理合作單位之間構(gòu)建IPv4 及IPv6 虛擬專用網(wǎng)絡(luò)，利用SDN 架構(gòu)統(tǒng)一視圖管理、靈活路徑調(diào)整、自定義網(wǎng)絡(luò)需求等優(yōu)勢，在高能物理合作單位之間部署SDN 架構(gòu)網(wǎng)絡(luò)，并有統(tǒng)一的控制器進(jìn)行管理。當(dāng)前SDN 技術(shù)在設(shè)備端支持已經(jīng)比較廣泛，大多數(shù)網(wǎng)絡(luò)設(shè)備廠商的網(wǎng)絡(luò)交互設(shè)備基本都支持SDN技術(shù)，尤其是OpenFlow 協(xié)議，且當(dāng)前虛擬專用網(wǎng)（VPN）技術(shù)也有廣泛的應(yīng)用。目前常用的虛擬專用網(wǎng)技術(shù)有二層的隧道協(xié)議PPTP( Point to Point Tunneling Protocol, 點(diǎn)對點(diǎn)隧道協(xié)議)、L2F( Layer 2 Forwarding, 二層前向轉(zhuǎn)發(fā)協(xié)議)、 L2TP ( Layer 2 Tunneling Protocol, 二層隧道協(xié)議)，三層的隧道協(xié)議IPSec(Internet Protocol Security)、GRE（General Routing Encapsulation）以及應(yīng)用層的SSL（SSH，HTTPS）。本文采用三層GRE 隧道技術(shù)，利用支持GRE 隧道技術(shù)的SDN 交換機(jī)部署于高能物理合作單位之間，通過GRE 隧道技術(shù)構(gòu)建高能物理合作單位之間IPv4 及IPv6 虛擬專用網(wǎng)絡(luò)，如圖2 所示。通過IPv4overIPv6 技術(shù)充分利用IPv6 鏈路資源解析基于IPv4 數(shù)據(jù)傳輸系統(tǒng)的IPv4 實(shí)驗(yàn)數(shù)據(jù)，充分利用高能物理合作單位之間IPv4 及IPv6 鏈路資源。

為了更好地說明本方案建立的面向高能物理數(shù)據(jù)傳輸?shù)奶摂M專用網(wǎng)絡(luò)，本文在高能物理研究所、山東大學(xué)、上海交通大學(xué)以及華中師范大學(xué)部署支持GRE 協(xié)議的SDN 交換機(jī)，任意兩點(diǎn)之間分別建立IPv4 GRE 隧道及IPv6 GRE 隧道，如圖3 所示，每一點(diǎn)都有6 條路徑與其他三點(diǎn)相連，因此本方案所建立的虛擬專用網(wǎng)絡(luò)是一個Full-Mesh 的網(wǎng)絡(luò)。在n 個站點(diǎn)的IPv4 及IPv6 融合的Full-Mesh網(wǎng)絡(luò)中，任意兩點(diǎn)經(jīng)過k 個節(jié)點(diǎn)的路徑條數(shù)其實(shí)是一個從n-2 個元素中取k 個點(diǎn)的排列問題，路徑條數(shù)為又因每段路徑上都IPv4 網(wǎng)絡(luò)及IPv6 網(wǎng)絡(luò)，故n 個節(jié)點(diǎn)中任意兩點(diǎn)經(jīng)過k 個點(diǎn)的路徑條數(shù)為故得到n 個節(jié)點(diǎn)的Full-Mesh 網(wǎng)絡(luò)中任意一個節(jié)點(diǎn)a 到任意一個節(jié)點(diǎn)b 的全部路徑的計算公式為：

圖3 虛擬專用網(wǎng)架構(gòu) Fig.3 Virtual private network architecture

對于Full-Mesh 的網(wǎng)絡(luò)，隨著網(wǎng)絡(luò)中節(jié)點(diǎn)數(shù)目的增加，網(wǎng)絡(luò)中的路徑將以指數(shù)倍數(shù)增加，全網(wǎng)路徑的計算和管理對控制器來說有一定的壓力，但在實(shí)際環(huán)境中很難做到對全網(wǎng)做到Full-Mesh 的連接，通常情況是對關(guān)鍵節(jié)點(diǎn)進(jìn)行Full-Mesh 連接，面向高能物理網(wǎng)格環(huán)境的鏈路連接核心在高能物理研究所，其實(shí)際節(jié)點(diǎn)數(shù)也是有限的，所以本文的方案在這樣的場景下是適合的。

2.2 基于SDN 的路徑優(yōu)化技術(shù)

SDN（軟件定義網(wǎng)絡(luò)）因其實(shí)現(xiàn)了網(wǎng)絡(luò)控制平面與數(shù)據(jù)轉(zhuǎn)發(fā)平面的分離，實(shí)現(xiàn)邏輯上的集中控制和開放 API 的協(xié)作，在網(wǎng)絡(luò)標(biāo)準(zhǔn)性、開放性、透明性等方面有巨大優(yōu)勢，能夠?yàn)槟繕?biāo)網(wǎng)絡(luò)建立全局統(tǒng)一的網(wǎng)絡(luò)視圖，方便目標(biāo)網(wǎng)絡(luò)全局的網(wǎng)絡(luò)策略管理以及靈活的路徑調(diào)整等。本文面向高能物理合作單位之間的高能物理實(shí)驗(yàn)數(shù)據(jù)的傳輸性能，在基于SDN 架構(gòu)的網(wǎng)絡(luò)中構(gòu)建高能物理合作單位之間的虛擬專用網(wǎng)，通過SDN 控制器對整個虛擬專用網(wǎng)絡(luò)路徑及路徑性能狀態(tài)的管理，并下發(fā)相應(yīng)的路由流來完成對高能物理合作單位之間路徑的切換過程。本文假定合作單位之間每個節(jié)點(diǎn)的網(wǎng)絡(luò)交換設(shè)備不對數(shù)據(jù)轉(zhuǎn)發(fā)性能做限制的情況下，理論上任意相鄰的兩段路徑網(wǎng)絡(luò)性能較好，其路徑疊加以后，網(wǎng)絡(luò)性能也會較好。本文的方法基于此理論，利用部署在高能物理合作單位之間的網(wǎng)絡(luò)測量探針測量的丟包、延遲及可用帶寬等網(wǎng)絡(luò)性能參數(shù)，然后利用提出的路徑選擇算法來計算當(dāng)前高能物理合作單位之間的最優(yōu)路徑，并由控制器下發(fā)相應(yīng)的路由流信息，完成高能物理數(shù)據(jù)傳輸?shù)穆酚汕袚Q。本文的路徑選擇算法是利用對網(wǎng)絡(luò)測量參數(shù)丟包率、延遲及可用帶寬的加權(quán)值來計算，值得注意的是加權(quán)參數(shù)值為一個可以配置的數(shù)值，可通過配置界面來由網(wǎng)絡(luò)管理人員修改和配置。

本文的路徑選擇算法如下：

（1）定義兩點(diǎn)間可用帶寬為ab（available bandwidth），延遲為rtt（round trip time），丟包率為plr（packet loss rate）；

（2）計算出兩點(diǎn)之間可用帶寬的成本值cost（ab），通過對測量的可用帶寬數(shù)據(jù)按從大到小的順序排列，其排序值為當(dāng)前鏈路可用帶寬的成本值，記作：例如site A 到site B 的可用帶寬為（3）計算出兩點(diǎn)之間延遲的成本值cost（rtt），通過對測量的延遲數(shù)據(jù)按從小到大的順序排列，其排序值為當(dāng)前鏈路延遲的成本值，記作

（4）計算出兩點(diǎn)之間丟包率的成本值cost（plr），通過對測量的丟包率數(shù)據(jù)按從小到大的順序排列，其排序值為當(dāng)前鏈路丟包率的成本值，記作

（5）計算兩點(diǎn)之間路徑的最終成本值cost，cost為可用帶寬、延遲及丟包率的加權(quán)值，記作：例如site A 到site B 的路徑得分為：

（6）最后對兩點(diǎn)之間可能的所有鏈路的最終成本值進(jìn)行排序，選擇得分最低的為當(dāng)前最優(yōu)路徑。

為了更好的說明本文提出的算法，如下圖4 所示，三點(diǎn)site A（記作A）、site B（記作B）、site C（記作C）之間路徑選擇為例，A 到B 之間的路徑有六條，即A-＞B(IPv4 路 徑)、A-＞B(IPv6 路 徑)、A-＞C-＞B(純IPv4 路徑)、A-＞C-＞B(純IPv6 路徑)、A-＞C-＞B(先IPv4 后IPv6 路 徑) 和A-＞C-＞B( 先IPv6 后IPv4路徑)。其中A-＞C-＞B 的成本值為：

圖4 路徑選擇示意圖Fig.4 Path selection diagram

3 測試結(jié)果

為了說明本方案提出的面向高能物理網(wǎng)格環(huán)境中網(wǎng)絡(luò)性能監(jiān)測與優(yōu)化技術(shù)，分別對中國科學(xué)院高能物理研究所（IHEP）、上海交通大學(xué)（SJTU）和山東大學(xué)（SDU）的IPv4 及IPv6 網(wǎng)絡(luò)性能測量數(shù)據(jù)進(jìn)行分析。其中表 1 為高能物理研究所、上海交通大學(xué)以及山東大學(xué)之間的IPv4 及IPv6 可用帶寬測試結(jié)果，并對IPv4 及IPv6 可用帶寬進(jìn)行排序，計算出的值；表 2 為高能物理研究所、上海交通大學(xué)以及山東大學(xué)之間的IPv4 及IPv6延遲測試結(jié)果，并對IPv4 及IPv6 延遲進(jìn)行排序，計算出的值；表 3 為高能物理研究所、上海交通大學(xué)以及山東大學(xué)之間的IPv4及IPv6 丟包率測試結(jié)果，并對IPv4 及IPv6 丟包率進(jìn)行排序，計算出的值。需要說明的是由于廣域網(wǎng)網(wǎng)絡(luò)性能是隨時段動態(tài)變化，因此對廣域網(wǎng)網(wǎng)絡(luò)性能的測試也只是在一段時間內(nèi)反映廣域網(wǎng)網(wǎng)絡(luò)的性能。本文中表 1、表 2、表 3 給出的數(shù)據(jù)是在同一時段進(jìn)行測試的結(jié)果，并取 10 次測試結(jié)果的平均值，這樣能很好地降低測試結(jié)果的誤差，比較真實(shí)地反映測試時間段廣域網(wǎng)網(wǎng)絡(luò)性能；同時表 1、表 2、表3 給出數(shù)據(jù)的目的是對比 IPv4、IPv6 以及本文提出網(wǎng)絡(luò)方案的性能，因此在同一時段做的測試數(shù)據(jù)完全能夠?qū)Ρ疚姆桨妇W(wǎng)絡(luò)性能進(jìn)行評估和說明，因此本文給出某一時段的測試數(shù)據(jù)對本方案的評測是有效的且有意義的。

表1 IHEP、SJTU、SDU 之間可用帶寬測量結(jié)果（Mb.s-1）Table 1 the measurement result of Available bandwidth between IHEP, SJTU and SDU （Mb.s-1）

表2 IHEP、SJTU、SDU 之間延遲測試結(jié)果（ms）Table 2 The measurement result of latency between IHEP, SJTU and SDU（ms）

表3 IHEP、SJTU、SDU 直接丟包率測試結(jié)果(10-5)Table 3 The measurement result of packet loss rate between IHEP, SJTU and SDU （10-5）

基于對網(wǎng)絡(luò)業(yè)務(wù)場景的不同，所關(guān)注網(wǎng)絡(luò)性參數(shù)也不同的原則，本文面向高能物理網(wǎng)格環(huán)境中高能物理實(shí)驗(yàn)數(shù)據(jù)的共享需求，在對網(wǎng)絡(luò)性能方面比較關(guān)注，較多關(guān)注丟包及可用帶寬，因此丟包率及可用帶寬的權(quán)值會大一些，在及的前提下，只能取0.1 或別為可用帶寬、延遲及丟包率的權(quán)值，并取保留一位小數(shù)）。由于網(wǎng)絡(luò)延遲測量結(jié)果較恒定且高能物理合作單位之間網(wǎng)絡(luò)延遲差別并不大，因此本文選擇同理本文更關(guān)注可用帶寬來提升面向高能物理合作單位之間網(wǎng)絡(luò)傳輸性能，因此本文取

表4 為以高能物理研究所到山東大學(xué)為例，基于本文提出的方法按照路徑cost值疊加原理得到高能物理研究所到山東大學(xué)所有路徑的cost值，其中cost1的為可用帶寬的權(quán)值為延遲的權(quán)值為丟包率的權(quán)值為的計算結(jié)果為可用帶寬的權(quán)值為延遲的權(quán)值為丟包率的權(quán)值為的計算結(jié)果；cost3為可用帶寬的權(quán)值為延遲的權(quán)值為丟包率的權(quán)值為的計算結(jié)果。從計算結(jié)果來看，任意兩點(diǎn)之間的IPv6 路徑基本好于IPv4 路徑?；趯ost1、cost2、cost3的結(jié)果對比，算法的結(jié)果都顯示高能物理研究所到山東大學(xué)的網(wǎng)絡(luò)最優(yōu)路徑為高能所到山東大學(xué)的IPv6 鏈路，其次為高能所到山東大學(xué)的IPv4 鏈路。而且在算法結(jié)果中，高能所到山東大學(xué)途徑上海交通大學(xué)的鏈路中，純IPv6 鏈路要好于混合鏈路以及純IPv4 鏈路，另外混合鏈路，不論是先IPv4 后IPv6 還是先IPv6 后IPv4 都好于純IPv4鏈路。實(shí)際環(huán)境中也是IPv6 鏈路的網(wǎng)絡(luò)性能好于IPv4 鏈路，本文的實(shí)驗(yàn)結(jié)果表明本項(xiàng)目提出的基于權(quán)值的網(wǎng)絡(luò)性能參數(shù)優(yōu)化的最優(yōu)路徑選擇算法與實(shí)際網(wǎng)絡(luò)環(huán)境想接近，能夠選擇高能物理網(wǎng)格環(huán)境中任意兩點(diǎn)的最優(yōu)路徑，從而提升網(wǎng)絡(luò)傳輸效率。

表4 IHEP 到SDU 所有路徑cost 值Table 4 Cost value of all paths from IHEP to SDU

4 結(jié)束語

隨著國家級大科學(xué)工程項(xiàng)目的不斷增多，尤其以高能物理為代表的大科學(xué)工程海量實(shí)驗(yàn)數(shù)據(jù)的跨地域傳輸及共享，對現(xiàn)有IPv4 為主的科學(xué)數(shù)據(jù)共享網(wǎng)絡(luò)鏈路資源造成極大的挑戰(zhàn)。如何協(xié)同已有的IPv4 及IPv6 鏈路資源來服務(wù)于科研數(shù)據(jù)的共享是一個值得思考的問題。本文面向高能物理網(wǎng)格環(huán)境提出一種網(wǎng)絡(luò)監(jiān)測及優(yōu)化的方案，基于對高能物理網(wǎng)格環(huán)境的網(wǎng)絡(luò)性能監(jiān)測數(shù)據(jù)，優(yōu)化高能物理數(shù)據(jù)傳輸路徑的選擇，提升面向高能物理網(wǎng)格環(huán)境的高能物理實(shí)驗(yàn)數(shù)據(jù)的傳輸效率，本文的方法也具有普適性，可以應(yīng)用到其他領(lǐng)域。在與基于數(shù)據(jù)優(yōu)化的網(wǎng)絡(luò)優(yōu)化技術(shù)以及基于協(xié)議優(yōu)化的網(wǎng)絡(luò)優(yōu)化技術(shù)相比，本文提出的網(wǎng)絡(luò)優(yōu)化技術(shù)的優(yōu)勢是不需要設(shè)備特殊功能支持（如數(shù)據(jù)壓縮、數(shù)據(jù)去重等），不需要對傳輸協(xié)議及傳輸系統(tǒng)做修改。本文的另一個重要工作是基于SDN 技術(shù)架構(gòu)，提出了一種網(wǎng)絡(luò)路徑優(yōu)化及選擇算法，本文的算法是基于節(jié)點(diǎn)間交換設(shè)備不做任何轉(zhuǎn)發(fā)限制的前提下，基于本文提出的權(quán)值的路徑疊加優(yōu)化算法在一定程度上提升了路徑的傳輸效率，后續(xù)還將對基于流的網(wǎng)絡(luò)性能測量以及對路徑選擇算法進(jìn)行非線性優(yōu)化來獲取更優(yōu)的網(wǎng)絡(luò)性能測量結(jié)果及路徑優(yōu)化與選擇方案。

誠然，在當(dāng)前國內(nèi)高能物理網(wǎng)格環(huán)境中，本文實(shí)現(xiàn)對IPv4 和IPv6 網(wǎng)絡(luò)鏈路測量數(shù)據(jù)進(jìn)行數(shù)據(jù)共享路徑的選擇和優(yōu)化，但如何開展基于IPv4 及IPv6 路徑并行數(shù)據(jù)共享是本文下一步工作內(nèi)容，屆時還需要添加更多的節(jié)點(diǎn)及優(yōu)化本文的路徑選擇及優(yōu)化算法來實(shí)現(xiàn)高能物理網(wǎng)格環(huán)境中任意節(jié)點(diǎn)之間的高可靠、高效率高能物理科學(xué)實(shí)驗(yàn)數(shù)據(jù)的傳輸。

利益沖突聲明

所有作者聲明不存在利益沖突關(guān)系。