孫麗玫，王迎春，唐利莉，王建明（中國移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司，北京 100080）

0 引言

隨著5G、移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、物聯(lián)網(wǎng)等信息技術(shù)與經(jīng)濟(jì)社會(huì)各領(lǐng)域的深度融合，數(shù)據(jù)中心已成為數(shù)字經(jīng)濟(jì)、數(shù)字中國發(fā)展的重要載體和戰(zhàn)略性基礎(chǔ)設(shè)施。近年來，我國數(shù)據(jù)中心從規(guī)模到數(shù)量都有大幅增長(zhǎng)。到2017 年底，我國在用數(shù)據(jù)中心機(jī)架總體規(guī)模達(dá)到166 萬架，總體數(shù)量達(dá)到1 844 個(gè)；規(guī)劃在建數(shù)據(jù)中心規(guī)模107 萬架，數(shù)量463 個(gè)；其中大型以上數(shù)據(jù)中心為增長(zhǎng)主力，在數(shù)據(jù)中心總體規(guī)模占比近50%，預(yù)計(jì)未來占比將進(jìn)一步提高?；跇I(yè)務(wù)需求、基礎(chǔ)設(shè)施、網(wǎng)絡(luò)經(jīng)濟(jì)、經(jīng)濟(jì)效益、運(yùn)維管理等因素，全國數(shù)據(jù)中心布局逐步趨于合理。數(shù)據(jù)中心用戶對(duì)數(shù)據(jù)中心的選擇面進(jìn)一步擴(kuò)大。用戶選擇數(shù)據(jù)中心時(shí)，不僅要考慮價(jià)格成本、建設(shè)運(yùn)維水平、服務(wù)商能力等因素，更要考量數(shù)據(jù)中心的網(wǎng)絡(luò)質(zhì)量是否滿足業(yè)務(wù)需求。

1 業(yè)務(wù)需求與時(shí)延要求

互聯(lián)網(wǎng)+時(shí)代全業(yè)務(wù)發(fā)展，數(shù)據(jù)中心用戶對(duì)數(shù)據(jù)中心建設(shè)、網(wǎng)絡(luò)質(zhì)量提出了更高的要求，尤其是部分低時(shí)延業(yè)務(wù)，時(shí)延成為其選取數(shù)據(jù)中心位置、衡量數(shù)據(jù)中心網(wǎng)絡(luò)質(zhì)量的一個(gè)重要指標(biāo)。

1.1 時(shí)延定義

時(shí)延是數(shù)據(jù)信號(hào)從信息業(yè)務(wù)用戶至數(shù)據(jù)中心再回到信息業(yè)務(wù)用戶間的傳輸時(shí)間，當(dāng)時(shí)延過大時(shí)用戶的感知體驗(yàn)下降，部分對(duì)時(shí)延敏感的業(yè)務(wù)端情況甚至?xí)绊懙狡涫杖?，因此時(shí)延成為用戶選擇數(shù)據(jù)中心的主要考慮因素之一。需要說明的是，本文將數(shù)據(jù)中心用戶定義為：通過自建或租用數(shù)據(jù)中心，為公眾或企業(yè)提供信息服務(wù)的互聯(lián)網(wǎng)內(nèi)容提供商ICP、企業(yè)、媒體和各類網(wǎng)站；信息業(yè)務(wù)用戶定義為：數(shù)據(jù)中心各類應(yīng)用系統(tǒng)的最終客戶，如個(gè)人用戶、企業(yè)用戶等。

1.2 業(yè)務(wù)時(shí)延

不同的數(shù)據(jù)業(yè)務(wù)對(duì)時(shí)延要求各不相同。一般而言，面向業(yè)務(wù)用戶、需要及時(shí)處理的業(yè)務(wù)對(duì)時(shí)延要求高，稱為低時(shí)延需求，如云支付、游戲等業(yè)務(wù)為低時(shí)延需求業(yè)務(wù)，時(shí)延要求為5～10 ms；而網(wǎng)頁瀏覽等業(yè)務(wù)，一般要求在50 ms 內(nèi)；數(shù)據(jù)備份存儲(chǔ)、大數(shù)據(jù)處理等業(yè)務(wù)，一般在200 ms內(nèi)。

隨著技術(shù)的發(fā)展，低時(shí)延需求的業(yè)務(wù)種類逐步增加，目前主要有4 類：一是金融和電子交易類信息業(yè)務(wù)，如期貨等高頻交易（HFT——High Frequency Trad?ing）的電子交易類業(yè)務(wù)，時(shí)延要求是2～10 ms；二是基于TCP 協(xié)議的高清視頻類業(yè)務(wù)，包括4K/8K 高清視頻直播和點(diǎn)播業(yè)務(wù)、高清視頻會(huì)議以及未來的虛擬現(xiàn)實(shí)（VR）等實(shí)時(shí)性要求極高的大帶寬業(yè)務(wù)，時(shí)延需求20 ms以內(nèi)；三是部分云業(yè)務(wù)，特別是虛機(jī)遷移、數(shù)據(jù)熱備份和實(shí)時(shí)性要求比較高的云桌面、云支付等業(yè)務(wù)，云支付需求為10 ms，云桌面需求為20 ms；四是即將到來的5G 移動(dòng)網(wǎng)絡(luò)的傳送承載業(yè)務(wù)，如車聯(lián)網(wǎng)、工業(yè)控制等業(yè)務(wù)，其網(wǎng)絡(luò)時(shí)延需求為3～5 ms。

金融交易、云支付等業(yè)務(wù)提供方在選擇數(shù)據(jù)中心時(shí)，網(wǎng)絡(luò)時(shí)延是首要衡量指標(biāo)。美國咨詢公司TABB Group 在2008 年的《The Value of a Millisecond：Find?ing the Optimal Speed of a Trading Infrastructure》研究報(bào)告中指出，對(duì)于一個(gè)在美國電子交易市場(chǎng)的交易公司而言，如果其交易系統(tǒng)處理時(shí)間（包括傳輸時(shí)延）比競(jìng)爭(zhēng)對(duì)手慢5 ms，它將損失1%的利潤(rùn)，慢10 ms 則損失擴(kuò)大至10%。

1.3 時(shí)延組成

以數(shù)據(jù)包端到端傳輸過程來分析，時(shí)延由以下2部分組成：

a）訪問請(qǐng)求路徑：信息業(yè)務(wù)用戶端—網(wǎng)絡(luò)傳輸—數(shù)據(jù)中心。

b）資源下載路徑：數(shù)據(jù)中心—網(wǎng)絡(luò)傳輸—信息業(yè)務(wù)用戶端。

其中網(wǎng)絡(luò)傳輸涉及的設(shè)備或組件有信息業(yè)務(wù)用戶端的計(jì)算機(jī)網(wǎng)卡、網(wǎng)絡(luò)設(shè)備、傳輸設(shè)備、服務(wù)器、處理平臺(tái)等，每個(gè)網(wǎng)元轉(zhuǎn)發(fā)數(shù)據(jù)包和經(jīng)過的光纖傳輸所消耗的總時(shí)間，就是業(yè)務(wù)端到端時(shí)延。

業(yè)務(wù)端到端時(shí)延=數(shù)據(jù)中心外部網(wǎng)絡(luò)時(shí)延+數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)時(shí)延+系統(tǒng)處理時(shí)延

系統(tǒng)處理時(shí)延是業(yè)務(wù)應(yīng)用系統(tǒng)處理數(shù)據(jù)包的時(shí)間，主要由CPU、GPU 處理能力決定。數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)時(shí)延由數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)架構(gòu)和設(shè)備能力決定，正常情況下，數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)時(shí)延一般為ms 級(jí)，部分?jǐn)?shù)據(jù)中心承諾為1 ms。數(shù)據(jù)中心外部網(wǎng)絡(luò)時(shí)延與通信網(wǎng)絡(luò)質(zhì)量、數(shù)據(jù)中心位置相關(guān)性高，且在整個(gè)業(yè)務(wù)時(shí)延中占比較大，本文將主要分析數(shù)據(jù)中心外部網(wǎng)絡(luò)時(shí)延。

2 影響數(shù)據(jù)中心外部網(wǎng)絡(luò)時(shí)延的要素

互聯(lián)網(wǎng)數(shù)據(jù)包是由傳送網(wǎng)絡(luò)和業(yè)務(wù)承載網(wǎng)絡(luò)來進(jìn)行傳輸，因此數(shù)據(jù)中心外部網(wǎng)絡(luò)時(shí)延，一般由傳送時(shí)延和路由時(shí)延組成。

2.1 傳送時(shí)延

傳送時(shí)延與數(shù)據(jù)包傳送的距離、傳送節(jié)點(diǎn)數(shù)量和傳輸設(shè)備能力相關(guān)。一般而言，傳送時(shí)延由傳輸時(shí)延和傳輸節(jié)點(diǎn)時(shí)延2個(gè)部分組成。

2.1.1 傳輸時(shí)延

目前的傳輸網(wǎng)絡(luò)主要以光作為傳輸媒質(zhì)的光傳輸系統(tǒng)，傳輸時(shí)延和傳輸距離成正比，即5 μs/km。

2.1.2 傳輸節(jié)點(diǎn)時(shí)延

傳輸節(jié)點(diǎn)時(shí)延是傳輸鏈路上每個(gè)單節(jié)點(diǎn)轉(zhuǎn)發(fā)時(shí)延的總和。單節(jié)點(diǎn)轉(zhuǎn)發(fā)時(shí)延與設(shè)備類型、設(shè)備技術(shù)等相關(guān)。從OSI 七層網(wǎng)絡(luò)來看，L0 層網(wǎng)元引入時(shí)延為ns級(jí)、L1 層網(wǎng)元引入時(shí)延為μs 級(jí)。光傳送網(wǎng)主要采用L0～L1 層，L0 層如光學(xué)器件時(shí)延為ns 級(jí)，傳輸光纖時(shí)延5 μs/km；L1 層如OTN 節(jié)點(diǎn)時(shí)延10～100 μs，SDH 節(jié)點(diǎn)時(shí)延100 μs級(jí)。

另外設(shè)備技術(shù)也會(huì)影響單節(jié)點(diǎn)時(shí)延，如100G 波分平臺(tái)相比10G 波分平臺(tái)時(shí)延要小10%左右；采用不同的FEC 算法，時(shí)延也不同，基本上每增加一次迭代，時(shí)延增加一倍；業(yè)務(wù)類型和映射方式也對(duì)時(shí)延有影響，一般而言支路側(cè)速率越低，映射路徑越長(zhǎng)，封裝時(shí)延越長(zhǎng)。但總的說來，其時(shí)延基本在μs級(jí)。

節(jié)點(diǎn)數(shù)量則和網(wǎng)絡(luò)層次、網(wǎng)絡(luò)結(jié)構(gòu)、業(yè)務(wù)需求、傳輸系統(tǒng)能力相關(guān)。網(wǎng)絡(luò)層次越高（如國際、省際）、層次越少，單位距離內(nèi)的節(jié)點(diǎn)數(shù)量越少；網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、業(yè)務(wù)需求節(jié)點(diǎn)數(shù)量多，單位距離內(nèi)節(jié)點(diǎn)數(shù)量越多；在沒有業(yè)務(wù)需求情況下，傳輸系統(tǒng)能力越強(qiáng)，單位距離內(nèi)的節(jié)點(diǎn)數(shù)量越少。另外，不同的傳輸技術(shù)單節(jié)點(diǎn)時(shí)延也稍有差別。總之，網(wǎng)絡(luò)層次越高、越少、結(jié)構(gòu)簡(jiǎn)單、開口點(diǎn)需求越少、傳輸系統(tǒng)能力越強(qiáng)，單位距離內(nèi)的節(jié)點(diǎn)數(shù)量越小，相應(yīng)總的節(jié)點(diǎn)時(shí)延越小。

總之，影響傳送網(wǎng)端到端的時(shí)延主要因素是光信號(hào)在光傳輸系統(tǒng)中的傳輸時(shí)延，即和傳輸距離相關(guān)，約占總傳輸時(shí)延的80%；且隨著傳輸距離的增加，傳輸距離對(duì)總傳輸時(shí)延的影響占比越大。

2.2 路由時(shí)延

數(shù)據(jù)包在信息傳送中，由業(yè)務(wù)承載網(wǎng)來選擇傳送路由；因此網(wǎng)絡(luò)時(shí)延還受到路由影響，即每經(jīng)過一個(gè)路由器，跳數(shù)就加1，業(yè)務(wù)時(shí)延對(duì)應(yīng)也會(huì)增加。數(shù)據(jù)包在傳送過程中，經(jīng)過的路由越復(fù)雜（或跳數(shù)越多）則時(shí)延越長(zhǎng)。數(shù)據(jù)包在業(yè)務(wù)承載網(wǎng)中傳送而產(chǎn)生的時(shí)延即為路由時(shí)延。

路由時(shí)延是路由上每個(gè)單節(jié)點(diǎn)時(shí)延的總和。單節(jié)點(diǎn)時(shí)延包括打包時(shí)延、數(shù)據(jù)單元（PDU）傳送時(shí)延、排隊(duì)時(shí)延、處理時(shí)延。等待并將接收到的字節(jié)流打成數(shù)據(jù)包，將數(shù)據(jù)包比特全部傳送到線路上，對(duì)數(shù)據(jù)包進(jìn)行包頭檢查和分析以選擇路徑，上述每個(gè)動(dòng)作都會(huì)帶來相應(yīng)時(shí)延。當(dāng)鏈路上有多個(gè)數(shù)據(jù)包在等待輸出時(shí)則產(chǎn)生排隊(duì)時(shí)延，排隊(duì)時(shí)延受當(dāng)前網(wǎng)絡(luò)負(fù)載影響，在μs級(jí)到ms級(jí)之間。

單節(jié)點(diǎn)時(shí)延與設(shè)備類型、設(shè)備緩存、數(shù)據(jù)包的長(zhǎng)度、線路速率等相關(guān)，目前運(yùn)營(yíng)商的業(yè)務(wù)承載網(wǎng)通常采用IP技術(shù)組網(wǎng)，運(yùn)營(yíng)商IP承載網(wǎng)內(nèi)跳轉(zhuǎn)時(shí)延一般可以按1 ms/節(jié)點(diǎn)考慮。

下面以2類典型業(yè)務(wù)場(chǎng)景來進(jìn)行分析研究。

2.2.1 跨運(yùn)營(yíng)商網(wǎng)絡(luò)服務(wù)場(chǎng)景

考慮信息業(yè)務(wù)用戶與提供應(yīng)用業(yè)務(wù)的數(shù)據(jù)中心用戶為不同電信運(yùn)營(yíng)商客戶，需要跨運(yùn)營(yíng)商網(wǎng)絡(luò)提供服務(wù)。假設(shè)信息業(yè)務(wù)用戶在北京，為運(yùn)營(yíng)商A用戶，將訪問運(yùn)營(yíng)商B 的呼和浩特?cái)?shù)據(jù)中心。按照運(yùn)營(yíng)商IP承載網(wǎng)內(nèi)跳轉(zhuǎn)時(shí)延約1 ms/節(jié)點(diǎn)考慮，業(yè)務(wù)場(chǎng)景的典型網(wǎng)絡(luò)拓?fù)淙鐖D1 所示，時(shí)延分析如表1 所示，預(yù)計(jì)其網(wǎng)絡(luò)時(shí)延約20 ms。

需要說明的是，傳輸距離通常不是兩點(diǎn)的直線距離，與傳輸沿線通信管道敷設(shè)路徑和路由選擇有關(guān)。

圖1 業(yè)務(wù)場(chǎng)景A典型網(wǎng)絡(luò)拓?fù)鋱D

表1 業(yè)務(wù)場(chǎng)景A時(shí)延分析

在工信部指導(dǎo)下，我國已建設(shè)了13個(gè)國家級(jí)互聯(lián)網(wǎng)骨干直聯(lián)點(diǎn)，包括北京、上海、廣州、成都、鄭州、武漢、西安、沈陽、南京、重慶、杭州、貴陽、福州，在這些節(jié)點(diǎn)城市，3 家運(yùn)營(yíng)商互聯(lián)網(wǎng)能實(shí)現(xiàn)高速直聯(lián)。非骨干直聯(lián)點(diǎn)的周邊城市將就近通過直聯(lián)點(diǎn)互聯(lián)。因此數(shù)據(jù)中心設(shè)置在非直聯(lián)點(diǎn)城市時(shí)，其與用戶端的數(shù)據(jù)包傳輸將會(huì)多出幾個(gè)跳接環(huán)節(jié)；時(shí)延也將隨傳輸路徑長(zhǎng)度、跳接節(jié)點(diǎn)次數(shù)的增加而增加。

2.2.2 同一運(yùn)營(yíng)商網(wǎng)絡(luò)服務(wù)場(chǎng)景

若信息業(yè)務(wù)用戶與提供應(yīng)用業(yè)務(wù)的數(shù)據(jù)中心為同一運(yùn)營(yíng)商客戶，則在運(yùn)營(yíng)商網(wǎng)內(nèi)提供服務(wù)。假設(shè)信息業(yè)務(wù)用戶在北京，為運(yùn)營(yíng)商A 用戶，將訪問運(yùn)營(yíng)商A的呼和浩特?cái)?shù)據(jù)中心。按照運(yùn)營(yíng)商網(wǎng)內(nèi)跳轉(zhuǎn)時(shí)延約1 ms/節(jié)點(diǎn)，業(yè)務(wù)場(chǎng)景A 的典型網(wǎng)絡(luò)拓?fù)淙鐖D2 所示，時(shí)延分析如表2 所示，預(yù)計(jì)其網(wǎng)絡(luò)時(shí)延約14 ms。在上述網(wǎng)絡(luò)架構(gòu)圖中，數(shù)據(jù)中心可能通過省網(wǎng)路由器上骨干網(wǎng)，這樣整個(gè)路程將增加跳轉(zhuǎn)次數(shù)，網(wǎng)絡(luò)時(shí)延將增加約2 ms。

2.3 小結(jié)

從上述分析可知，傳輸路徑、網(wǎng)絡(luò)路由的選擇對(duì)時(shí)延有較大影響。時(shí)延要求高的業(yè)務(wù)即低時(shí)延業(yè)務(wù)應(yīng)選擇最短傳輸路徑、最優(yōu)網(wǎng)絡(luò)架構(gòu)。目前電信運(yùn)營(yíng)商都在優(yōu)化網(wǎng)絡(luò)架構(gòu)，網(wǎng)絡(luò)的傳輸時(shí)延也越來越低。

圖2 業(yè)務(wù)場(chǎng)景B典型網(wǎng)絡(luò)拓?fù)鋱D

表2 業(yè)務(wù)場(chǎng)景B時(shí)延分析

3 網(wǎng)絡(luò)時(shí)延的優(yōu)化舉措

為更好滿足低時(shí)延業(yè)務(wù)需求，優(yōu)化數(shù)據(jù)業(yè)務(wù)外部網(wǎng)絡(luò)時(shí)延，需從以下幾個(gè)方面分別進(jìn)行優(yōu)化。

3.1 優(yōu)化信息傳輸距離

首先應(yīng)優(yōu)化數(shù)據(jù)中心與信息業(yè)務(wù)用戶之間的傳輸距離，傳輸距離越短，傳送時(shí)延就越短。每減少1 km，傳送往返時(shí)延將降低10 μs。距離長(zhǎng)度，在傳送網(wǎng)的時(shí)延中影響達(dá)到80%以上。

根據(jù)現(xiàn)有的光傳送技術(shù)和網(wǎng)絡(luò)情況，一般而言，如果時(shí)延需求在10 ms 以內(nèi)時(shí)，數(shù)據(jù)處理中心與信息業(yè)務(wù)用戶端的距離建議在200 km 以內(nèi)；如果時(shí)延需求在30 ms 以內(nèi)時(shí)，數(shù)據(jù)處理中心與信息業(yè)務(wù)用戶端的距離建議在500 km以內(nèi)。

3.2 優(yōu)化網(wǎng)絡(luò)架構(gòu)

優(yōu)化承載業(yè)務(wù)的IP 承載網(wǎng)絡(luò)架構(gòu)，減少網(wǎng)絡(luò)層級(jí)，提高網(wǎng)絡(luò)扁平化程度，以有效減少路由跳接次數(shù)，降低網(wǎng)絡(luò)時(shí)延。目前部分?jǐn)?shù)據(jù)中心是通過省網(wǎng)/城域網(wǎng)上聯(lián)至骨干匯聚點(diǎn)，再進(jìn)入骨干核心節(jié)點(diǎn)；這樣的網(wǎng)絡(luò)轉(zhuǎn)發(fā)跳數(shù)較多；建議條件具備時(shí)，尤其是數(shù)據(jù)轉(zhuǎn)發(fā)量大的大型數(shù)據(jù)中心，應(yīng)直接接入骨干匯聚點(diǎn)或骨干核心節(jié)點(diǎn)。

各運(yùn)營(yíng)商持續(xù)優(yōu)化傳輸網(wǎng)絡(luò)架構(gòu)，如一干二干融合、骨干節(jié)點(diǎn)增加等舉措，將有效優(yōu)化網(wǎng)絡(luò)節(jié)點(diǎn)、縮短長(zhǎng)途傳輸?shù)木嚯x。對(duì)于網(wǎng)間傳輸量較大的業(yè)務(wù)，推薦優(yōu)先考慮在國家互聯(lián)網(wǎng)骨干直聯(lián)點(diǎn)設(shè)置數(shù)據(jù)中心。重要的數(shù)據(jù)中心之間、互為備份的數(shù)據(jù)中心之間，建議采用專用傳輸鏈路直聯(lián)，避免IP 層面的跳轉(zhuǎn)，將大大降低相互訪問的時(shí)延。

3.3 采用低時(shí)延設(shè)備

對(duì)于承載低時(shí)延業(yè)務(wù)的傳輸設(shè)備或IP 網(wǎng)絡(luò)設(shè)備，應(yīng)優(yōu)先選擇低時(shí)延設(shè)備。

在相同光纜路由條件下，采用高速率傳輸系統(tǒng)，將有效降低電路時(shí)延。實(shí)踐表明，采用相干光通信技術(shù)的100G WDM系統(tǒng)相對(duì)于10G/40G WDM系統(tǒng)，電路時(shí)延減少10%左右。未來傳輸網(wǎng)絡(luò)將優(yōu)化到400G 系統(tǒng)，時(shí)延將進(jìn)一步降低。

IP網(wǎng)絡(luò)設(shè)備方面，高端路由器的時(shí)延一般在200 μs以內(nèi)，而低端路由器時(shí)延在ms級(jí)。目前交換機(jī)時(shí)延一般為幾十μs，而低時(shí)延交換機(jī)已達(dá)到百ns級(jí)?，F(xiàn)在服務(wù)器和計(jì)算機(jī)也推出了一些低時(shí)延的網(wǎng)卡產(chǎn)品，將時(shí)延降到了1 μs以下，依然還有提升空間。

4 結(jié)束語

為更好地滿足低時(shí)延業(yè)務(wù)需求，應(yīng)合理布局?jǐn)?shù)據(jù)中心。業(yè)務(wù)時(shí)延要求越高（即低時(shí)延需求），數(shù)據(jù)中心應(yīng)越靠近信息業(yè)務(wù)用戶。對(duì)于5G 和物聯(lián)網(wǎng)等低時(shí)延業(yè)務(wù)（如工業(yè)控制等時(shí)延需求低于5 ms），可將微數(shù)據(jù)中心就近部署在業(yè)務(wù)場(chǎng)景周邊，以滿足極低時(shí)延業(yè)務(wù)需求。另外，傳輸距離、網(wǎng)絡(luò)架構(gòu)、設(shè)備時(shí)延等也是影響時(shí)延的因素，應(yīng)通過縮短數(shù)據(jù)包傳輸距離、優(yōu)化網(wǎng)絡(luò)架構(gòu)、優(yōu)選時(shí)延指標(biāo)好的設(shè)備等措施，減少業(yè)務(wù)端到端時(shí)延。