韓 彪,王 韜,王寶生

(國防科技大學計算機學院，湖南 長沙 410073)

1 引言

隨著大數(shù)據(jù)、云計算、人工智能和超級計算等新興技術在各個領域的廣泛應用，數(shù)據(jù)中心對海量數(shù)據(jù)的存儲、處理和傳輸能力變得越來越重要。為了滿足不同業(yè)務對服務質量QoS(Quality of Ser- vice)的需求(如存儲容量、處理能力、帶寬和延遲等)，數(shù)據(jù)中心可以通過組網(wǎng)技術擴展到由數(shù)百臺服務器組成的集中式大型數(shù)據(jù)中心或分布式小型數(shù)據(jù)中心。數(shù)據(jù)中心網(wǎng)絡通過電纜、光纖和無線等通信方式建立高效的拓撲結構，將多種物理單元互聯(lián)互通，負責數(shù)據(jù)中心內部和數(shù)據(jù)中心之間的通信功能。如何設計一個擴展性強、可持續(xù)、彈性的數(shù)據(jù)中心網(wǎng)絡架構，使網(wǎng)絡拓撲適應動態(tài)變化的業(yè)務流量，對于有效地利用數(shù)據(jù)中心資源和網(wǎng)絡傳輸帶寬，盡可能地減少網(wǎng)絡運營和維護支出至關重要。

傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡普遍采用如圖1所示的3層樹型網(wǎng)絡拓撲，網(wǎng)絡分為接入層、匯聚層和核心層，逐層向上采用性能更高的交換機進行連接，網(wǎng)絡帶寬逐級收斂[1]。在這種拓撲結構中，服務器通常以機柜為單位進行組織，每臺機柜包含10～20臺服務器，通過柜頂ToR(Top of Rack)交換機進行連接，然后通過匯聚交換機和核心交換機實現(xiàn)不同機柜之間的通信。數(shù)據(jù)中心通過核心交換機連接邊界路由器,實現(xiàn)與外部互聯(lián)網(wǎng)的通信。在該架構中，所有網(wǎng)絡連接都是通過統(tǒng)一和固定容量的電纜或光纖建立的。然而，隨著數(shù)據(jù)中心網(wǎng)絡規(guī)模的擴張，分層樹型結構對上層交換機的帶寬聚合性能要求越來越高，端口數(shù)目的需求也越來越大，導致了高昂的部署成本。同時，在靠近核心層的分支中需要更高的帶寬和更強大的交換機，這使得核心交換機往往成為網(wǎng)絡擁塞情況下的瓶頸。同時，數(shù)據(jù)中心網(wǎng)絡運營商通常采用具有較大超額訂購比(通常為5∶1或20∶1[1，2])的網(wǎng)絡結構，雖然降低了成本，但在流量高峰期服務質量會下降。

Figure 1 Tree topology of traditional data center network圖1 傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡樹型拓撲

對實際數(shù)據(jù)中心網(wǎng)絡流量特性的測量和分析表明[3]，數(shù)據(jù)中心網(wǎng)絡的流量一般分為2種：一種是數(shù)據(jù)大小在2～20 KB的小流，比如用戶查詢請求，通常呈現(xiàn)出高度隨機性、突發(fā)性和時延敏感等特征，并且其時延限制一般要求為10～100 ms；另一種是數(shù)據(jù)大小在1～100 MB的大流，比如軟件分發(fā)、MapReduce任務和文件備份等應用的數(shù)據(jù)流，通常呈現(xiàn)出持續(xù)時間長、吞吐量大且對傳輸帶寬敏感等特征?，F(xiàn)有測量工作[4]表明，數(shù)據(jù)中心網(wǎng)絡中小流數(shù)目超過了80%，而大流的總流量則達到數(shù)據(jù)中心的80%以上，由于流量的高度動態(tài)性，數(shù)據(jù)中心網(wǎng)絡通常在各層結構上產(chǎn)生流量擁塞熱點。據(jù)統(tǒng)計，數(shù)據(jù)中心網(wǎng)絡中86%的鏈路發(fā)生擁塞時長超過10 s，而其中15%的擁塞時長超過100 s，不管是短時間擁塞還是長時間擁塞，均會在交換機中造成不同長度的排隊時延，是造成數(shù)據(jù)中心網(wǎng)絡傳輸性能和服務質量下降的主要原因之一。此外，只有60%的接入和核心鏈路處于活躍狀態(tài)，95%的匯聚鏈路的利用率低于10%[5]。因此，如何通過動態(tài)調度來消除流量擁塞熱點并實現(xiàn)負載均衡，是提升數(shù)據(jù)中心網(wǎng)絡傳輸性能的重要問題。

傳統(tǒng)有線數(shù)據(jù)中心分層樹型拓撲結構受限于靜態(tài)網(wǎng)絡拓撲和固定容量的不靈活鏈路，無法適應各類豐富且高度動態(tài)的業(yè)務流量模式?，F(xiàn)有的工作通過擴展上述以交換機為中心的層次樹拓撲結構，如胖樹[6]、VL2(Virtual Layer 2)[7]和PortLand[8]等,還提出了一些新型有線數(shù)據(jù)中心網(wǎng)絡架構，其中包括基于遞歸拓撲結構的DCell[9]、FiConn[10]和BCube[11]，如圖2所示，可以進一步提升網(wǎng)絡結構的可擴展性和容錯性，消除瓶頸鏈路，并保障傳輸高帶寬；基于隨機小世界架構的SWDC(Small-World Data Centers)[12]和Jellyfish[13]提出構建隨機網(wǎng)絡拓撲，以實現(xiàn)比現(xiàn)有結構化網(wǎng)絡更小的網(wǎng)絡直徑、更少的擁塞熱點和更高的傳輸性能；基于光電線路交換機的拓撲可變數(shù)據(jù)中心網(wǎng)絡架構，如c-Through[14]、Helios[15]、REACToR[16]和XFabric[17]等，可以在一定程度上解決動態(tài)流量和靜態(tài)拓撲的矛盾。盡管如此，這些設計仍然不足以消除動態(tài)不平衡流量導致的性能下降。許多應用需要動態(tài)調度大量服務器/機架之間的數(shù)據(jù)傳輸，傳統(tǒng)的數(shù)據(jù)中心分層網(wǎng)絡架構將難以滿足高帶寬、低時延的傳輸需求[18]。另一方面，數(shù)據(jù)中心中的組件不斷增加，數(shù)據(jù)中心的規(guī)模隨之擴展，布線成本和復雜性也隨之增加，同時也帶來了一些間接的后果，如機架散熱、因電纜束粗大導致的空間利用率低下，以及布線管理、維護和改造的運營成本等問題。

Figure 2 Typical network topologies in wired data center圖2 典型有線數(shù)據(jù)中心網(wǎng)絡拓撲

無線數(shù)據(jù)中心網(wǎng)絡架構由于其具有靈活組網(wǎng)的特征，且可以適應流量需求中的高動態(tài)性和隨機性，降低擁塞熱點發(fā)生的概率，減少系統(tǒng)傳輸時延，近年來開始逐漸受到業(yè)界的廣泛關注。受數(shù)據(jù)中心網(wǎng)絡流量特征的啟發(fā)(95%的網(wǎng)絡流量由前10%的大流產(chǎn)生)，Celik等人[19]率先提出通過在超大流量的數(shù)據(jù)中心網(wǎng)絡中建立無線鏈路來緩解熱點的問題。為了匹配傳統(tǒng)有線數(shù)據(jù)中心網(wǎng)絡的高帶寬低時延特性，現(xiàn)有無線數(shù)據(jù)中心網(wǎng)絡架構均采用高頻無線技術，主要包括60 GHz毫米波技術和自由空間光FSO(Free Space Optical)無線光通信技術。無線數(shù)據(jù)中心可以支持重配置，以使數(shù)據(jù)中心網(wǎng)絡適應動態(tài)變化的流量模式和負載。通過靈活的鏈接提供更高的吞吐量，減少投入和運營成本，并提供方便的部署、管理和維護。盡管如此，無線數(shù)據(jù)中心網(wǎng)絡的設計與部署仍然面臨著巨大的挑戰(zhàn)，例如設計無障礙的物理拓撲，調整虛擬拓撲以動態(tài)適應流量變化，優(yōu)化鏈路屬性以滿足不同的QoS要求，進行功率控制和干擾管理等。

本文首先對比分析了60 GHz毫米波、太赫茲和光無線通信等候選高速無線技術的優(yōu)缺點。然后介紹了現(xiàn)有無線數(shù)據(jù)中心網(wǎng)絡的最新進展，深入討論了無線數(shù)據(jù)中心網(wǎng)絡面臨的挑戰(zhàn)，并對研究工作中的開放性問題進行了探討。最后對無線數(shù)據(jù)中心網(wǎng)絡的發(fā)展前景進行了展望，并對全文進行了總結。

2 候選高速無線技術

相比于傳統(tǒng)有線數(shù)據(jù)中心網(wǎng)絡，基于高速無線技術構建的無線數(shù)據(jù)中心網(wǎng)絡具有如下潛在優(yōu)勢：

(1)降低數(shù)據(jù)中心網(wǎng)絡的安裝和維護成本。將大量機架服務器進行有線互聯(lián)是一項相當繁雜的工程任務，也是一項容易出錯的任務。隨著數(shù)據(jù)中心網(wǎng)絡整體規(guī)模的急劇擴展，這一問題會加劇。通過新增即插即用的無線組網(wǎng)模塊，可以在很大程度上降低數(shù)據(jù)中心網(wǎng)絡的布線成本和復雜性，降低部署和維護開銷，同時，通過無線技術還可以提高冷卻效率和機架的空間利用率。

(2)節(jié)約數(shù)據(jù)中心運營中的網(wǎng)絡資源成本。為了處理突發(fā)流量導致的峰值負載情況，在傳統(tǒng)有線數(shù)據(jù)中心網(wǎng)絡中，網(wǎng)絡運營商需要購買超額的網(wǎng)絡資源以確保流量峰值時段的用戶服務質量，增加了運營成本。通過新增無線組網(wǎng)設備，可以在機架之間根據(jù)流量靈活構建無線鏈路，利用動態(tài)自適應的拓撲結構來承載動態(tài)流量并進行負載均衡，無需購買過量的網(wǎng)絡資源，有效地降低了數(shù)據(jù)中心網(wǎng)絡的運營成本。

(3)更節(jié)能、更靈活、更高效。隨著無線通信設備的小型化低功耗化，無線傳輸速率的不斷提升，無線技術將會逐漸替代部分或全部的有線鏈路，無線數(shù)據(jù)中心網(wǎng)絡將會擁有更加廣闊的應用前景。同時，由于無線數(shù)據(jù)中心網(wǎng)絡的組網(wǎng)靈活性和可重構性，它可以處理超額訂購和擁塞熱點，而且能夠根據(jù)QoS需求和流量負載動態(tài)調整虛擬拓撲結構，因此，無線數(shù)據(jù)中心網(wǎng)絡可以提供更高的吞吐量和更大的帶寬利用率。

然而，在無線數(shù)據(jù)中心網(wǎng)絡的設計和部署方面存在著巨大的挑戰(zhàn)，這取決于底層無線通信技術的不同特點。接下來將介紹候選高速無線技術的潛在優(yōu)缺點，并進行詳細的比較。圖3所示為電磁頻譜分布圖[20]。

2.1 毫米波通信

Figure 3 Electromagnetic spectrum distribution diagram圖3 電磁頻譜分布圖

毫米波(Millimeter Wave)是指處于30～300 GHz的極高頻EHF(Extremely High Frequency)頻段，波長在1～10 ms的電磁波。該頻段擁有豐富、未被利用的頻譜資源，能夠提供高達Gbps級別的傳輸帶寬，相比于傳統(tǒng)低頻無線技術(如工作在2.4 GHz/5 GHz頻段的IEEE 802.11n協(xié)議),毫米波技術由于具有更高的傳輸帶寬、更小的干擾范圍和更加穩(wěn)定的傳輸特性，成為下一代無線通信系統(tǒng)的核心技術之一[21]。雖然毫米波頻段數(shù)據(jù)傳輸速率很高，然而過短的波長導致其在自由空間中的衰減速度極快，有效通信范圍非常受限；同時毫米波鏈路具有高定向性，在面對障礙物時阻擋效應嚴重，難以通過繞射等方式繼續(xù)傳播，嚴重影響了毫米波作為數(shù)據(jù)載體的實際應用[22]。近年來的研究發(fā)現(xiàn)，可以通過將毫米波與波束成型技術結合，將毫米波信號能量集中成方向性的窄波束進行數(shù)據(jù)傳輸，不但可以提高信號傳輸范圍，還可以實現(xiàn)頻譜資源的空分復用，提高頻譜利用率。

現(xiàn)階段的毫米波通信技術研究主要集中在24～100 GHz頻段范圍內，如28 GHz,38 GHz,60 GHz與72 GHz等頻段。同時，毫米波通信已經(jīng)應用于一些無線通信標準中：(1)IEEE 802.15.3c協(xié)議[23]作為第1個工作在57～64 GHz頻段的無線協(xié)議，首次達到了1 Gbps的帶寬；(2)IEEE 802.11ad協(xié)議[24]使用60 GHz頻段通信，最大支持32根天線，峰值帶寬可以達到4.6 Gbps；(3)IEEE 802.11ay協(xié)議是第1個真正意義上的毫米波寬帶無線接入?yún)f(xié)議，它使用60 GHz頻段通信，通過方向性基站進行數(shù)據(jù)傳輸，最高支持100 Gbps的峰值傳輸速率，并可保證在300～500 m的傳輸范圍內得到20～40 Gbps的穩(wěn)定傳輸[24,25]。

2.2 太赫茲通信

太赫茲THz(Terahertz)波是一種位于毫米波和紅外光波之間的電磁波，其頻率位于0.1～10 THz(1 THz=1 012 Hz)波段，其波段處于電子學向光學的過渡區(qū)域，是電子頻譜中唯一待開發(fā)的頻譜資源[26]。

雖然THz和EHF頻段具有共同的傳播特性，但是太赫茲通信有其獨特的優(yōu)勢和實現(xiàn)挑戰(zhàn)性。首先，作為更高頻的電磁波，太赫茲波可以提供更大的帶寬和更高的傳輸容量，太赫茲通信可支持數(shù)十Gbps到數(shù)Tbps的高速傳輸速率，有足夠的帶寬以支撐數(shù)據(jù)中心的數(shù)據(jù)傳輸。其次，太赫茲波相較于毫米波，其在空氣中的衰減更為嚴重，且當空氣中水分子較多時衰減尤為嚴重[27]。此外，太赫茲波的頻率選擇性更強。由于波長范圍在3 μm～3 mm，太赫茲波收發(fā)器占地面積小，可以通過在小尺寸收發(fā)器中交織大量不同頻帶的天線來補償嚴重的傳輸損耗。通過采用有效的定向和波束成型技術，可以獲得準直的太赫茲光束，從而可以在短到中距離內獲得可觀的數(shù)據(jù)速率，并顯著降低由于高定向性而產(chǎn)生的干擾。與微波通信相比，太赫茲通信的方向性更強，能夠有效地降低功耗，其較高的頻率和較強的方向性也有助于實現(xiàn)更安全的通信，可實現(xiàn)數(shù)據(jù)中心數(shù)據(jù)的安全傳輸。

2.3 自由空間光通信

無線光通信是指通過使用可見、紅外和紫外線光束作為信號載體在非引導介質中進行傳輸?shù)姆绞?。尤其是在近紅外波段工作的無線光被稱為自由空間光FSO，自由空間光通信是指光信號通過大氣而非光纖作為傳輸媒質來進行光信號傳輸?shù)耐ㄐ畔到y(tǒng)[28]。自由空間光通信與毫米波、高速微波等技術相比具有通信距離遠、視距傳輸和高帶寬的特點[28]。自由空間光通信相比于光纖通信，無需布線，但是在實際部署過程中對齊比較困難[29]。目前，針對自由空間光的通信研究相對較早，技術比較成熟。自由光通信由于傳輸距離遠、無需布線、部署簡單等特點，可用于數(shù)據(jù)中心的通信場景，對傳統(tǒng)有線通信進行補充。目前，已有Airfiber和Terabeam等企業(yè)將FSO應用于服務領域的網(wǎng)絡通信。自由空間光通信相比于微波通信等技術，具有更高的傳輸帶寬，可實現(xiàn)較高的傳輸速率。但是，傳統(tǒng)的用于室外通信的自由空間光通信系統(tǒng)容易受到環(huán)境干擾，比如雨、霧等，會造成信號的嚴重衰減，而且由于需要進行遠距離定位跟蹤對準，系統(tǒng)復雜，成本相對較高，將之應用于數(shù)據(jù)中心的室內場景也可有效避免自由空間光通信的這一劣勢。

2.4 候選高速無線技術的比較分析

表1比較了數(shù)據(jù)中心中3種候選的高速無線技術，這3種無線技術的頻譜都在非授權頻段。給定可用帶寬，利用毫米波、太赫茲和自由空間光可以分別實現(xiàn)Gbps、Tbps和數(shù)Tbps的傳輸速率，但在實際通信系統(tǒng)實現(xiàn)中，毫米波能達到的傳輸速率僅為7 Gbps,自由空間光能達到的傳輸速率目前測試達到了40 Gbps，而太赫茲在實驗室中能達到的傳輸速率測試達到了100 Gbps。隨著工作頻率的升高，方向性和穿透損失變得更加顯著。盡管高定向鏈路(如自由空間光)需要視距鏈路LoS(Line of Sight)，但它們有助于補償傳輸損耗并減少干擾。當毫米波在接收端受到熱噪聲影響時，太赫茲接收端同時受到吸收光譜和熱噪聲的影響，而FSO接收機中的主要干擾是由環(huán)境光源引起的。由于毫米波已經(jīng)被視為5G及下一代網(wǎng)絡的關鍵技術，毫米波通信模塊的成本有望在中短期內降低，應用規(guī)模將進一步擴大。雖然FSO模塊已經(jīng)商用，但其傳輸速率與光模塊有關，需要極為精確的校準以建立LoS鏈路，相對毫米波通信而言條件更為苛刻，實際部署仍有許多工程問題需要解決。盡管目前最先進的太赫茲收發(fā)器和天線還沒有很好地商業(yè)化，但它們尺寸很小，方向性強，傳輸速率也很可觀，未來的應用價值可以預見。

Table 1 Comparisons of candidate high-speed wireless technologies表1 候選高速無線技術對比

3 現(xiàn)有無線數(shù)據(jù)中心網(wǎng)絡架構

根據(jù)使用的無線技術的不同，現(xiàn)有無線數(shù)據(jù)中心網(wǎng)絡架構主要有2類，一類是通過毫米波進行無線通信，另一類是通過自由空間光FSO進行無線光通信。

3.1 基于60 GHz毫米波的無線數(shù)據(jù)中心網(wǎng)絡

2009年，微軟的研究工作Flyway提出在機架頂端的ToR交換機上部署60 GHz無線收發(fā)器來解決數(shù)據(jù)中心網(wǎng)絡的熱點問題[30]。2011年，Halperin等人[31]在Flyway的基礎上進一步擴展，搭建了60 GHz原型系統(tǒng)，對60 GHz鏈路的傳輸穩(wěn)定性、干擾程度和TCP吞吐量進行了實際模擬和測量。實驗結果表明，60 GHz在鏈路穩(wěn)定性、干擾避免和信道重用方面優(yōu)勢明顯。

2012年,Zhou等人[32]提出了3D波束成型(3D-Beaforming)算法，通過在數(shù)據(jù)中心房間天花板上部署特制的反射板，不同機架上的天線將收發(fā)角對準反射板，通過反射板的單次反射實現(xiàn)直接通信。2014年，Zhu等人[33]提出了低時延無線數(shù)據(jù)中心網(wǎng)絡框架Angora，該架構在機架頂端部署多個60 GHz天線，并通過特殊的連接設計構建連接Kautz圖結構，使得所有天線能夠無干擾地通信。2017年，Zhang等人[34]提出了一種借助于可升降可旋轉的曲柄支架調節(jié)其上的毫米波天線實現(xiàn)60 GHz毫米波LoS視距傳輸?shù)姆绞紾raphite。2019年，張慶芳[35]提出了Comb無線數(shù)據(jù)中心網(wǎng)絡拓撲結構，通過增加無線收發(fā)裝置上天線的數(shù)量，并將該結構部署在不同平面上，增強了設備的連通性。

2013年，Shin等人[36]提出了一種完全采用無線連接的數(shù)據(jù)中心網(wǎng)絡架構Cayley，該架構通過在中空的圓柱形機架的內外放置60 GHz定向毫米波收發(fā)器來實現(xiàn)。2013年，Cui等人[37 - 39]在軟件定義網(wǎng)絡的框架下，應用60 GHz毫米波與傳統(tǒng)有線數(shù)據(jù)中心網(wǎng)絡組成混合網(wǎng)絡架構，將無線通信用于數(shù)據(jù)中心網(wǎng)絡內的流量熱點上。2017年，Cui等人[40，41]提出了無線數(shù)據(jù)中心網(wǎng)絡Diamond架構，該架構突破了ToR的限制，通過在每一個服務器上配備無線終端，組成了高度可配置化的無線傳輸環(huán)。

2017年，Umamaheswaran等人[42]提出一種服務器到服務器的無線數(shù)據(jù)中心網(wǎng)絡S2S-WiDCN (Server-to-Server Wireless Data Center Network)架構,無線DCN中服務器之間沿著服務器間的水平線和垂直面實現(xiàn)通信。2017年，張慶安等人[43，44]在有線無線混合型網(wǎng)絡架構基礎上，設計出一種面向物理層組播優(yōu)化的混合型網(wǎng)絡架構。 2019年，景彥昊[45]在有線數(shù)據(jù)中心架構ExCCC-DCN(Exchanged Cube-Connected Cycles Data Center Network)的基礎上，參考李旸[46]的球型網(wǎng)絡，對其進行了無線改造。

3.2 基于太赫茲的無線數(shù)據(jù)中心網(wǎng)絡

2014年，Akyildiz等人[47]重點介紹了太赫茲高速收發(fā)器體系結構的局限性和可能的解決方案，并討論了開發(fā)新的超寬帶天線和超大型天線陣列的挑戰(zhàn)。2019年，Ghafoor等人[48]對將太赫茲用于連接ToR交換機的信道接入方案進行了探討。2019年，Ahearne等人[49]對太赫茲在數(shù)據(jù)中心中的應用進行了實驗、仿真和理論建模，并指出了其未來的潛力及相對于傳統(tǒng)有線光網(wǎng)絡的新功能。

2016年，Mollahasani等人[50]根據(jù)太赫茲頻率的特性對其在數(shù)據(jù)中心中的應用優(yōu)勢進行了探討，指出了太赫茲技術在無線數(shù)據(jù)中心中的建議帶寬和相對濕度。2018年，Petrov等人[51]在前人研究的基礎上提出了用于室內環(huán)境的無線太赫茲以太網(wǎng)擴展的分步路線圖。2019年，Elayan等人[52]對THz無線通信與其他競爭者之間進行了全面比較，并重點介紹了有關太赫茲標準化活動的里程碑。

2018年，Hossain等人[53]提出了用于THz通信網(wǎng)絡的開源網(wǎng)絡仿真平臺TeraSim，該平臺有望使網(wǎng)絡社區(qū)能夠測試THz網(wǎng)絡協(xié)議，而不必深入研究信道和物理層。

3.3 基于空間自由光的無線數(shù)據(jù)中心網(wǎng)絡

相比于60 GHz毫米波技術，基于空間自由光FSO的無線數(shù)據(jù)中心網(wǎng)絡由于采用了更高的頻段，具有更高的傳輸帶寬、更小的干擾角、更遠的傳輸距離等優(yōu)勢。但是，由于FSO設備的收發(fā)角度非常小，收發(fā)器進行對準通信時，其角度調整精度要求很高。同時，F(xiàn)SO設備相比60 GHz毫米波技術尚不成熟，成本更加昂貴，廣泛部署難度更大。

2014年，研究人員首次在FireFly中探討了將空間自由光通信技術(FSO)應用于數(shù)據(jù)中心網(wǎng)絡中高速無線傳輸?shù)目尚行訹54]。在FireFly的基礎上，Bao等人[55]提出基于自由空間光的動態(tài)組播數(shù)據(jù)中心網(wǎng)絡架構FlyCast。 2016年，微軟提出ProjectToR[56]，進一步探討了如何解決FSO收發(fā)器進行快速精準的對準通信問題。

2017年，Deng等人[57,58]提出并展示了一種基于無框架雙軸MEMS(Micro-ElectroMechanical System)微鏡和反光膜標記孔徑的可重構10 Gbps FSO系統(tǒng)。2016年，Hamza等人[59]提出光學無線蜂窩數(shù)據(jù)中心網(wǎng)絡體系結構OWCell，使用排列成規(guī)則多邊形的機架單元作為構建塊來創(chuàng)建巨型數(shù)據(jù)中心網(wǎng)絡DCN。

2018年，Chaintoutis等人[60]提出了一種自由空間光互連解決方案，該解決方案利用2D光束控制發(fā)送器，并使用了高帶寬廣域光電二極管陣列接收器。2018年，Celik等人[61]開發(fā)了一種自上而下的流量修飾TG(Traffic Grooming)方法，以設計和配置光學無線DCN。

2019年，Qin等人[62]探討了構建無線小世界數(shù)據(jù)中心網(wǎng)絡的可能性。2020年，Qin等人[63,64]在先前工作的基礎上提出了一個易于部署和高性能的混合DCN架構SFNet,進一步提高了網(wǎng)絡性能。

3.4 無線數(shù)據(jù)中心網(wǎng)絡研究工作總結

表2對當前典型的無線數(shù)據(jù)中心網(wǎng)絡研究工作進行了綜述，對比了無線數(shù)據(jù)中心網(wǎng)絡架構的類型(有線-無線混合、純無線)、所采用的無線技術、研究工作的亮點、物理拓撲、邏輯拓撲以及存在的問題。

4 無線數(shù)據(jù)中心網(wǎng)絡設計與部署挑戰(zhàn)

4.1 物理拓撲結構

物理拓撲結構對于無線數(shù)據(jù)中心網(wǎng)絡的設計與部署至關重要。(1)為了匹配現(xiàn)有有線鏈路的高速帶寬，無線數(shù)據(jù)中心網(wǎng)絡一般采用高頻無線技術，其高定向、弱穿透特性使得傳輸極易因各類障礙物的物理遮擋(如數(shù)據(jù)中心機房屋頂、機架結構、機房設施等)而迅速衰減，導致傳輸距離受限，因此，物理拓撲結構設計需要盡可能地提供無障礙無線鏈路；(2)物理拓撲結構還需要考慮無線信號之間的干擾，尤其是將高頻無線技術密集于狹窄的數(shù)據(jù)中心內部時，將會造成嚴重的干擾，從而影響無線鏈路質量和網(wǎng)絡性能；(3)物理拓撲結構會影響數(shù)據(jù)中心內部的散熱和熱流動，如果設計不當，可能會導致冷卻系統(tǒng)功耗過高，從而導致系統(tǒng)故障；(4)物理拓撲結構的設計還會影響可用無線鏈路的數(shù)目，傳統(tǒng)無線數(shù)據(jù)中心網(wǎng)絡架構主要在機架頂端放置無線設備，可部署的無線設備數(shù)目嚴格受限于機架大小，造成可用無線鏈路數(shù)目嚴重受限。因此，如何設計高效的無線數(shù)據(jù)中心網(wǎng)絡物理拓撲結構，是有效承載大規(guī)模動態(tài)數(shù)據(jù)中心流量的重要基礎問題。

Table 2 Comparison of wireless data center network research表2 無線數(shù)據(jù)中心網(wǎng)絡研究工作對照

4.2 無線核心機制設計

無線數(shù)據(jù)中心網(wǎng)絡承襲了傳統(tǒng)無線網(wǎng)絡的大部分特點，又有其自身新的特性?？偟膩碚f，其核心機制包括了無線資源分配、鏈路調度、功率控制、波束成型、干擾管理和路由協(xié)議等。無線數(shù)據(jù)中心網(wǎng)絡通過設計核心機制的可重構性和靈活性來滿足網(wǎng)絡動態(tài)變化的QoS需求。首先，除了時間和頻率維度的資源分配之外，無線數(shù)據(jù)中心網(wǎng)絡需要更多地考慮空間對資源分配的影響，在數(shù)據(jù)中心的相對較小且受到限制的范圍內，怎樣構建通過干擾管理來重用頻率的資源分配方案，如何設計具有流量自適應特性的三維調度算法，如何通過波束成型和功率控制機制來提供并發(fā)傳輸，是無線數(shù)據(jù)中心網(wǎng)絡研究中的關鍵問題。其次，應該考慮適合物理拓撲結構的動態(tài)鏈路調度機制，通過選擇集中式/分布式的鏈路調度算法，實現(xiàn)全局/局部鏈路調度，獲得理想的網(wǎng)絡性能。合適的鏈路調度算法可以提升數(shù)據(jù)中心網(wǎng)絡的整體性能，應用更加復雜的流量模式。特別是在高流量負載情況下，通過將靈活的鏈路調度與路由協(xié)議結合，才能最大限度地使用網(wǎng)絡資源和鏈路帶寬。最后，為解決熱點問題，在使用無線連接時，應使用適當?shù)男诺婪峙洳呗砸源_保信道使用的獨立性。 現(xiàn)有研究已經(jīng)對信道進行了建模，并使用了啟發(fā)式算法(例如遺傳算法)來解決干擾問題，但是仍無法精確獲得它們。 算法(約占算法的一部分)具有更大的不穩(wěn)定性和性能不確定性。

4.3 QoS保障和負載均衡

QoS機制為實現(xiàn)高度多樣化的數(shù)據(jù)中心流量類型提供保證，為了提供QoS保障，需要多數(shù)據(jù)中心的流量根據(jù)大小、完成時間請求和優(yōu)先級等進行區(qū)分。數(shù)據(jù)中心的流量類型通常分為帶寬饑渴的大象流和延遲敏感的小流，在數(shù)據(jù)中心，雖然網(wǎng)絡中大象流構成了其總流量的80%左右，但小流數(shù)目超過了80%。在小流中，可能存在具有高可靠和低延遲服務需求的更高優(yōu)先級關鍵流。例如，如果大象流與小流在同一條路徑上路由，則可能會遇到不可容忍的延遲。因此，在無線數(shù)據(jù)中心網(wǎng)絡中，需要能夠根據(jù)應用需求對不同類型的流進行區(qū)分和處理，區(qū)別于現(xiàn)有有線網(wǎng)絡的包采樣和端口鏡像等機制，設計出快速、精確、輕量的流量監(jiān)測機制，給予數(shù)據(jù)中心多樣化的QoS保證，是一個關鍵的前沿問題。

此外，無線技術的出現(xiàn)給數(shù)據(jù)中心網(wǎng)絡的負載均衡策略設計帶來了很大影響。一方面，選擇合適的無線鏈路進行流量路由可以有效縮短原有網(wǎng)絡的路由路徑長度，降低負載開銷時延；另一方面，無線鏈路的引入也為數(shù)據(jù)中心網(wǎng)絡負載均衡提供了更多選擇，可以完成更加靈活的整體網(wǎng)絡負載均衡。但是，無線流量的負載均衡在實際數(shù)據(jù)中心網(wǎng)絡中的部署仍面臨較大挑戰(zhàn)：首先，數(shù)據(jù)中心網(wǎng)絡中密集的無線部署將造成復雜的干擾問題，相關干擾的無線鏈路會影響鏈路容量和網(wǎng)絡性能，導致負載均衡策略失效，如何進行干擾管理以滿足負載均衡的需求是一個巨大的挑戰(zhàn)；其次，無線鏈路的引入導致鏈路數(shù)量急劇增長，傳統(tǒng)啟發(fā)式的負載均衡算法無法保障數(shù)據(jù)中心網(wǎng)絡的性能，實現(xiàn)能夠確保性能的負載均衡算法是一個相當有難度的問題。

4.4 無線設備的成本、功耗及傳輸速率

首先，目前能應用于數(shù)據(jù)中心的無線收發(fā)器成本仍然很高，雖然制造工藝水平基本可以將大部分的毫米波通信器件做到小型化、便攜化，甚至可以集成到其他部件中，但是出于成本的考慮，目前應用的范圍仍然十分有限。隨著5G商用規(guī)模的擴大，毫米波通信器件的成本有望進一步降低。自由空間光和太赫茲通信的有關技術仍以實驗室研究為主，相對于毫米波通信，商用范圍更小、成本更高。其次，無線設備的功耗會直接影響數(shù)據(jù)中心的功耗，目前可用于數(shù)據(jù)中心網(wǎng)絡的無線技術中，60 GHz通信設備的功耗仍然較大，自由光通信和太赫茲通信設備的功耗仍有很大優(yōu)化空間，功耗問題會直接影響無線設備在數(shù)據(jù)中心中的部署，也會為數(shù)據(jù)中心運行帶來一定的安全風險。最后，無線鏈路的傳輸速率及可靠性仍難以匹配有線光纖鏈路，目前已經(jīng)商用的60 GHz通信鏈路最高傳輸速率僅為7 Gbps，自由空間光通信鏈路最高測試速率雖然達到了40 Gbps，但仍然無法滿足數(shù)據(jù)中心100 Gbps甚至Tbps級別的帶寬需求。太赫茲通信由于可以提供100 Gbps以上的傳輸速率，目前已被業(yè)界重點關注，但其商用普及仍然面臨較大的挑戰(zhàn)。

5 無線數(shù)據(jù)中心網(wǎng)絡展望

目前來說，無線技術在數(shù)據(jù)中心中的應用還處于起步階段，未來需要解決不少理論和工程問題，以下是一些潛在的研究方向和待解決的問題。值得注意的是，這里討論的主要內容是無線數(shù)據(jù)中心網(wǎng)絡在未來一段時間內的發(fā)展趨勢。

5.1 新的網(wǎng)絡拓撲和高速無線技術

隨著骨干網(wǎng)有線網(wǎng)絡帶寬突破400 Gbps，毫米波無線鏈路的帶寬將不能給新型數(shù)據(jù)中心提供足夠的傳輸能力。對比毫米波通信，自由空間光和太赫茲通信具有更高的傳輸帶寬、更小的干擾范圍和更遠的傳輸距離，可以構建具有更高容量的網(wǎng)絡架構，也會催生更多新的無線數(shù)據(jù)中心網(wǎng)絡架構。為了充分利用新的高速無線技術帶來的靈活性和可重構性，新型數(shù)據(jù)中心需要根據(jù)自身變化設計出新的拓撲結構和網(wǎng)絡體系結構。隨著未來FSO和太赫茲技術的日漸成熟和推廣應用，適用于數(shù)據(jù)中心的無線收發(fā)器成本將進一步降低，在數(shù)據(jù)中心的普遍應用將成為可能。尤其是太赫茲波作為電子頻譜中唯一待開發(fā)的頻譜資源，其在數(shù)據(jù)中心網(wǎng)絡中的應用有不可忽視的價值。

5.2 有線無線混合數(shù)據(jù)中心網(wǎng)絡架構

基于無線技術的新型網(wǎng)絡設施可以作為傳統(tǒng)有線數(shù)據(jù)中心網(wǎng)絡某些特定場景的補充，可以處理有線鏈路線路復雜度高和擁塞熱點等問題。盡管無線網(wǎng)絡的方案對于現(xiàn)在無法預測的流量模式和網(wǎng)絡中不平衡的流量負載來說非常合適，但是無線鏈路在使用過程中面臨諸如干擾、帶寬、穩(wěn)定性等眾多不確定因素，因此在機架內和機架間通信的一些場合仍然適合使用有線傳輸。可以預見，在不久的將來，有線無線混合的異構數(shù)據(jù)中心將會成為趨勢，混合數(shù)據(jù)中心網(wǎng)絡的最大優(yōu)勢是可以利用現(xiàn)有的數(shù)據(jù)中心為基礎，以相對較低的成本對數(shù)據(jù)中心進行改造升級，進而實現(xiàn)其性能的提升?；旌蠑?shù)據(jù)中心中，機柜頂部無線收發(fā)節(jié)點的設計和部署是影響無線網(wǎng)絡性能的關鍵。

5.3 無線數(shù)據(jù)中心網(wǎng)絡與5G技術的融合

“云-網(wǎng)-邊-端”的融合將成為5G網(wǎng)絡端到端的新技術架構。通過對數(shù)據(jù)中心的云化改造，借由軟件定義網(wǎng)絡/網(wǎng)絡功能虛擬化等技術對核心網(wǎng)等網(wǎng)元進行虛擬化，最終實現(xiàn)5G網(wǎng)絡的部署。邊緣計算業(yè)務部署之后，隨著5G相關網(wǎng)元在數(shù)據(jù)中心的大規(guī)模應用，數(shù)據(jù)中心網(wǎng)絡將成為5G網(wǎng)絡部署的核心場景之一。無線數(shù)據(jù)中心網(wǎng)絡使得網(wǎng)絡的可重構成為現(xiàn)實，網(wǎng)絡拓撲結構可以根據(jù)需求動態(tài)靈活變化，為實現(xiàn)5G網(wǎng)絡功能以及資源的靈活部署和動態(tài)調度提供了可能。

5.4 智能化無線數(shù)據(jù)中心網(wǎng)絡技術

隨著云計算、軟件定義網(wǎng)絡SDN和網(wǎng)絡功能虛擬化NFV(Network Function Virtualization)等技術在數(shù)據(jù)中心的迅速部署，轉控分離、三層解耦和統(tǒng)一編排等技術為數(shù)據(jù)中心網(wǎng)絡實現(xiàn)自動化、資源靈活調度和智能運維奠定了基礎。一方面，數(shù)據(jù)驅動的智能化網(wǎng)絡技術可以為無線信道分配、鏈路調度、功率控制和干擾管理等核心機制提供自動化決策，有助于實現(xiàn)并加速無線技術及其產(chǎn)品在數(shù)據(jù)中心的進一步部署；另一方面，無線數(shù)據(jù)中心網(wǎng)絡的故障排查比傳統(tǒng)有線網(wǎng)絡更復雜，難度更大，基于AI的智能運維技術通過對無線數(shù)據(jù)中心網(wǎng)絡的自主分析,可以實現(xiàn)網(wǎng)絡故障自主監(jiān)測與定位、故障預測、業(yè)務預測與分析等功能，未來有望在數(shù)據(jù)中心網(wǎng)絡中得到進一步應用。

5.5 安全與節(jié)能

安全和能耗問題是貫穿數(shù)據(jù)中心網(wǎng)絡發(fā)展始終的重要問題，無線數(shù)據(jù)中心網(wǎng)絡也不例外。為了防止安全風險擴散，數(shù)據(jù)中心網(wǎng)絡往往需要及時進行隔離。高頻無線技術的定向和有限穿透特性在一定程度上限制了無線信號的傳輸范圍，不會存在類似傳統(tǒng)射頻信號的廣播特性，使得通過物理障礙來劃分數(shù)據(jù)中心網(wǎng)絡成為可能，從而降低網(wǎng)絡被竊聽和入侵的風險。另外，降低無線數(shù)據(jù)中心網(wǎng)絡的能耗可以從2方面入手，一是開發(fā)低功耗的無線收發(fā)設備，降低硬件能耗；二是設計輕量、低開銷的傳輸協(xié)議和算法，對無線數(shù)據(jù)中心網(wǎng)絡傳輸?shù)哪芎拈_銷進行聯(lián)合優(yōu)化，降低軟件能耗。

6 結束語

面對飛速增長的數(shù)據(jù)流量，傳統(tǒng)有線數(shù)據(jù)中心網(wǎng)絡受限于靜態(tài)的網(wǎng)絡拓撲和固定容量的不靈活的鏈路，無法適應大量種類豐富且高度動態(tài)的業(yè)務流量模式。此外，復雜的有線鏈路造成網(wǎng)絡擴張、能耗管理和運營維護的極大困難。本文概述了無線數(shù)據(jù)中心網(wǎng)絡的背景和研究動機，簡要介紹了候選高速無線通信技術的優(yōu)缺點以及當前無線數(shù)據(jù)中心網(wǎng)絡架構的研究進展，從設計和部署的角度提出了無線數(shù)據(jù)中心網(wǎng)絡面臨的挑戰(zhàn)，并對無線數(shù)據(jù)中心未來發(fā)展的方向和趨勢進行了探討。目前對無線數(shù)據(jù)中心網(wǎng)絡架構的研究仍有待進一步深入。