萬志濤

（諾基亞西門子中國研究院 北京100015）

在移動網(wǎng)絡(luò)用戶數(shù)量不斷增加的同時，應(yīng)用數(shù)量也在迅速增長，加之用戶對使用體驗(yàn)和網(wǎng)絡(luò)質(zhì)量的要求越來越高。從模擬網(wǎng)到數(shù)字網(wǎng)，從2G到3G再向LTE的演進(jìn)過程也順應(yīng)這種需求增長的趨勢。歸根結(jié)底，計(jì)算能力的相應(yīng)提升是基礎(chǔ)性的。在現(xiàn)有的移動通信網(wǎng)絡(luò)中，從無線接入網(wǎng)的設(shè)備到IP核心網(wǎng)大都采用相對比較封閉的硬件架構(gòu)，采購成本和維護(hù)成本都比較高。更高的運(yùn)算能力需求如果能夠通過相對比較廉價的硬件設(shè)備來提供，對于運(yùn)營商降低成本是非常有幫助的。

隨著微電子技術(shù)的發(fā)展，通用處理器的功耗逐漸降低，能效比上更接近專用硬件，而開發(fā)成本則大大降低。云計(jì)算技術(shù)的應(yīng)用使得計(jì)算能力的提供和使用不再受地理位置的限制，又進(jìn)一步促進(jìn)了價廉通用的硬件平臺取代價格較昂貴的專用硬件平臺。同時也可能解決基站機(jī)房空間受限導(dǎo)致的供電、散熱等問題。在這樣的背景下，本文給出了通過結(jié)合多核處理器和云計(jì)算技術(shù)，通過架構(gòu)規(guī)劃，對代碼進(jìn)行平行優(yōu)化，設(shè)計(jì)了時延檢測的支撐協(xié)議和錯誤恢復(fù)等機(jī)制，實(shí)現(xiàn)了高性能、低時延的面向時延敏感服務(wù)的云計(jì)算平臺。

1 應(yīng)用背景和技術(shù)現(xiàn)狀

1.1 目標(biāo)應(yīng)用領(lǐng)域現(xiàn)狀

對移動通信網(wǎng)來說，現(xiàn)有硬件設(shè)備的升級和性能提升，成本和工作量最大的在無線接入設(shè)備，其主體即現(xiàn)有移動通信網(wǎng)中的基站。從升級現(xiàn)有設(shè)備的場地問題考慮：首先是站址比較復(fù)雜，獨(dú)立的鐵塔，運(yùn)營商自有建筑物和租用第三方建筑物頂部等；其次是空間受限但基于可靠性的要求，空調(diào)設(shè)備和備用電源等輔助設(shè)備必不可少。隨著更高的應(yīng)用需求的出現(xiàn)，升級這些設(shè)備空間、散熱、電源都面臨挑戰(zhàn)，比如在大型的場館中。從硬件成本的角度考慮，移動通信網(wǎng)絡(luò)中現(xiàn)有很多設(shè)備都是封閉架構(gòu)，硬件的升級涉及芯片重新選型、硬件重新設(shè)計(jì)、軟件的移植和重新設(shè)計(jì)等多個方面?，F(xiàn)階段很多這樣的設(shè)備正在逐漸向基于ATCA和microTCA[1]等開放架構(gòu)發(fā)展，以降低硬件的采購升級、升級成本。但仍然沿用專用處理器的解決方案，相對于新出現(xiàn)的通用多核處理器硬件平臺，綜合成本仍然有壓縮的空間。

1.2 云計(jì)算的發(fā)展現(xiàn)狀

云計(jì)算是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過這種方式，共享的軟硬件資源和信息可以按需提供給其他設(shè)備。云運(yùn)算概念的基本思想可以追溯到1961年約翰·麥卡錫（John McCarthy）提出的計(jì)算機(jī)分時共享技術(shù)。限于當(dāng)時條件，這個設(shè)想缺乏必要的技術(shù)支撐。作為繼19世紀(jì)80年代大型計(jì)算機(jī)到客戶端-服務(wù)器的大轉(zhuǎn)變之后的又一種巨變，云計(jì)算增加了新的內(nèi)涵。用戶不再需要了解“云”中基礎(chǔ)設(shè)施的細(xì)節(jié)，不必具有相應(yīng)的專業(yè)知識，也無需直接進(jìn)行控制。云計(jì)算描述了一種基于互聯(lián)網(wǎng)新IT服務(wù)增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展而且經(jīng)常是虛擬化的資源[2]。目前，大部分的云計(jì)算基礎(chǔ)構(gòu)架是由通過數(shù)據(jù)中心傳送的可信賴的服務(wù)和建立在服務(wù)器上的不同層次的虛擬化技術(shù)組成的。人們可以在任何提供網(wǎng)絡(luò)基礎(chǔ)設(shè)施的地方使用這些服務(wù)?！霸啤蓖ǔ１憩F(xiàn)為對所有用戶的計(jì)算需求的單一訪問點(diǎn)[3]。

現(xiàn)有商業(yè)化的云計(jì)算平臺一般都具有面向較為復(fù)雜事務(wù)性應(yīng)用的特點(diǎn)。比如Amazon的EC2、Google的App Engine、IBM的Blue Cloud、微軟的Azure等。舉例來說，一個用戶的一次網(wǎng)上繳費(fèi)可能包括設(shè)計(jì)用戶鑒權(quán)認(rèn)證、查詢消費(fèi)列出清單、電子支付等多個步驟。每個步驟都需要多個數(shù)據(jù)庫查詢、修改或更新操作。因?yàn)榇蠖忌婕巴罱K用戶的交互，對時延不太敏感，秒級或10 s級都可以容忍。

1.3 多核處理器及其發(fā)展現(xiàn)狀

一般來說，一個芯片上集成2個以上“核”（處理單元）的處理器被稱為“多核”（multi-core）處理器，也有將一個芯片上集成2個以上、8個以下同構(gòu)核的處理器稱為“多核”處理器，而將多于8個核（可能異構(gòu)）的處理器稱為“眾核”（many-core）處理器[4]，本文采用前一種說法。依據(jù)核的類型可以將多核處理器劃分為同構(gòu)和異構(gòu)兩種形態(tài)。同構(gòu)多核處理器是指處理器芯片上集成的所有核的結(jié)構(gòu)是完全相同的，各個核心的地位也是等同的。異構(gòu)多核處理器在一個芯片上集成了多種功能不同的核。如從控制結(jié)構(gòu)角度將核劃分為負(fù)責(zé)管理調(diào)度的主核和負(fù)責(zé)計(jì)算的從核。從計(jì)算能力的側(cè)重角度將核劃分為通用核、DSP核等。另外，也可以根據(jù)指令集類型、核間互聯(lián)方式、高速緩存的共享方式等進(jìn)行分類。目前，主流的多核處理器大都是將內(nèi)存控制器、總線控制器、網(wǎng)絡(luò)接口等集成到一個SoC（system on chip）上。SoC能降低成本、減少功耗并簡化硬件設(shè)計(jì)。尤其是通用指令集多核處理器可以更好地提供COTS（commercial off-the-shelf）的板卡，在硬件成本、開發(fā)成本、產(chǎn)品供應(yīng)保障、代碼可移植性和平滑升級能力等方面優(yōu)勢明顯。本文所涉及的多核處理器是同構(gòu)通用指令集多核處理器，這種處理器結(jié)構(gòu)一致，代碼實(shí)現(xiàn)和移植便利，擴(kuò)展性好?，F(xiàn)在的主流處理器生產(chǎn)商大都已轉(zhuǎn)向多核處理器的生產(chǎn)和研發(fā)。其中涵蓋了 Power、SPRARC、x86、MIPS、ARM 等架構(gòu)。MIPS指令集的Tilera、Cavium、Netlogic等生產(chǎn)商已經(jīng)推出商業(yè)應(yīng)用的多核處理器。其中Tilera已經(jīng)推出同構(gòu)64核的Tile64和Tilepro64處理器[5]，并針對浮點(diǎn)運(yùn)算進(jìn)行了優(yōu)化設(shè)計(jì)，適合作為密集運(yùn)算平臺。另外，片上集成了XAUI、XGMII、PCIE 等接口，簡化了硬件設(shè)計(jì)，并有助于減少輸入/輸出的時延和抖動。相對于Power、SPARC、x86架構(gòu)的處理器，MIPS架構(gòu)處理器主頻低、功耗低，但計(jì)算密度高。

1.4 小結(jié)

綜上所述，本文所要解決的問題是通過綜合成本較低的通用多核處理器取代現(xiàn)有移動網(wǎng)絡(luò)中的成本較高的專用硬件。通過云計(jì)算技術(shù)實(shí)現(xiàn)移動無線網(wǎng)絡(luò)中的接入網(wǎng)計(jì)算能力的重新分布，以解決基站空間受限的問題，并同時提供能滿足高速增長的計(jì)算需求擴(kuò)展能力。

2 整體方案

2.1 硬件平臺架構(gòu)

在目前眾多的MIPS指令集同構(gòu)多核處理器中，浮點(diǎn)和定點(diǎn)運(yùn)算能力比較平衡的一個多核處理器就是Tilera的Tilepro 64多核處理器。Cavium[6]和Netlogic[7]現(xiàn)有的處理器中浮點(diǎn)運(yùn)算的能力都比較低。Tilera在MIPS架構(gòu)內(nèi)增強(qiáng)了對浮點(diǎn)運(yùn)算的支持。圖1顯示了該多核處理器的結(jié)構(gòu)，每個核都具備相同的結(jié)構(gòu)并通過網(wǎng)狀的5路高速總線聯(lián)接起來[5]；片上集成了包括 GMII、XGMII、XAUI等在內(nèi)的MAC和PHY；同時核內(nèi)還提供了對包頭進(jìn)行預(yù)處理的輔助硬件以及內(nèi)存控制器和PCI-e總線控制器[5]，是一個接口比較完善的SoC，外圍電路設(shè)計(jì)相對簡單、外圍器件較少。

Tilera多核處理器的主頻同其他大部分MIPS指令集的處理器類似都比較低，目前Tilepro64的最高主頻為866 MHz[5]。相對于x86等指令集的通用處理器來說，除了主頻低，限于芯片尺寸、晶體管數(shù)、功耗等因素（也是市場定位問題）片內(nèi)高速緩存也相對小很多。實(shí)驗(yàn)數(shù)據(jù)顯示對狀態(tài)復(fù)雜的事務(wù)性任務(wù)的處理表現(xiàn)不理想，但對于高速網(wǎng)絡(luò)數(shù)據(jù)處理能效比和空間占用都比較理想。

2.2 軟件架構(gòu)

軟件架構(gòu)中最關(guān)鍵的部分包括數(shù)據(jù)的高效快速接收、處理和發(fā)送。系統(tǒng)的可用性、可靠性還需要包括時延敏感節(jié)點(diǎn)的發(fā)現(xiàn)、任務(wù)指派、負(fù)載平衡、錯誤恢復(fù)等機(jī)制共同保證。

操作系統(tǒng)選用經(jīng)過優(yōu)化的ZOL（zero overhead linux）[5]。系統(tǒng)進(jìn)程調(diào)度和用戶、核心兩態(tài)轉(zhuǎn)換的開銷較少，系統(tǒng)調(diào)度性能得到了提升，有利于時延的保證。

考慮到主頻低對處理速度的影響，將處理并行化可以減小系統(tǒng)時延。對于復(fù)雜但是相對局部的計(jì)算來說，比如說矩陣的運(yùn)算，可以從高度并行化并減少重復(fù)計(jì)算入手。

其他關(guān)鍵的問題還包括“云”中時延敏感節(jié)點(diǎn)的發(fā)現(xiàn)，分布式的注冊服務(wù)和任務(wù)指派、負(fù)載平衡以及比較關(guān)鍵的時延保證機(jī)制。在保證系統(tǒng)時延的基礎(chǔ)上，對于因網(wǎng)絡(luò)異常導(dǎo)致的偶發(fā)丟包、錯包，可靠性約束要求應(yīng)有高速的恢復(fù)機(jī)制。運(yùn)算節(jié)點(diǎn)的故障應(yīng)盡快發(fā)現(xiàn)和隔離。

2.3 數(shù)據(jù)的封裝和傳遞

相對于現(xiàn)有商業(yè)化的云計(jì)算應(yīng)用事務(wù)性特點(diǎn)來說，移動網(wǎng)絡(luò)中的一些關(guān)鍵處理對時延更為敏感，比如說對于無線接入網(wǎng)，數(shù)據(jù)平面的處理時延要小于5 ms[8]，而空中接口的幀處理時延要小于1 ms[9]。同時，數(shù)據(jù)處理的局部性特征更為明顯，對大量的數(shù)據(jù)處理都是對數(shù)據(jù)直接進(jìn)行運(yùn)算并得出計(jì)算結(jié)果而不是通過查詢其他記錄數(shù)量很大的數(shù)據(jù)庫完成的，比如快速傅立葉變換（FFT）。如果可以將要處理的數(shù)據(jù)放在一個或數(shù)個數(shù)據(jù)分組內(nèi)，由某個特定的計(jì)算單元完成計(jì)算并返回結(jié)果，則對于使用運(yùn)算能力的設(shè)備來說，處理時延則可以縮減至運(yùn)算加網(wǎng)絡(luò)往返時延。為減少時延的抖動，最好能將一次需要處理的數(shù)據(jù)放在一個分組內(nèi)傳送。在分組內(nèi)還應(yīng)該指出需要進(jìn)行的處理類型并提供必要的同被處理數(shù)據(jù)結(jié)構(gòu)相關(guān)的信息。

3 一種基于無線接入網(wǎng)的云計(jì)算平臺實(shí)現(xiàn)

在無線接入網(wǎng)的演化過程中，如圖2所示，3G網(wǎng)絡(luò)的基站部分的硬件可以分為射頻拉遠(yuǎn)模塊 （remote radio unit，RRU）和基帶處理模塊（base band unit，BBU）在一定程度上緩解了布網(wǎng)時設(shè)備可用空間的問題，但基帶處理模塊依舊是由專用硬件完成。只是基帶信號的傳輸通過光纖得到了延伸。本文針對的應(yīng)用場景就是將基帶信號處理交給由多核處理器構(gòu)成的可以保證時延的分布式、網(wǎng)絡(luò)化的計(jì)算平臺實(shí)現(xiàn)，也就是時延敏感的云計(jì)算平臺。新的應(yīng)用框架如圖3所示，BBU只是邏輯上的計(jì)算節(jié)點(diǎn)，物理實(shí)體則由云計(jì)算平臺構(gòu)成。

3.2 功能實(shí)現(xiàn)

（1）作為服務(wù)的計(jì)算

計(jì)算是最基本的功能需求。因?yàn)獒槍唧w的應(yīng)用，在本文所述的實(shí)現(xiàn)當(dāng)中，直接對基帶處理進(jìn)行優(yōu)化作為最根本的運(yùn)算能力，具體的優(yōu)化方法在§3.3中給出。對于其他類型的運(yùn)算，可以通過類似的方法進(jìn)行優(yōu)化并作為服務(wù)提供。服務(wù)請求則通過數(shù)據(jù)包來完成，為減少時延采用UDP的分組進(jìn)行發(fā)送。為了未來注冊新的服務(wù)方便起見，增加了一個16位的類型字段。

（2）計(jì)算節(jié)點(diǎn)的發(fā)現(xiàn)

對于云計(jì)算來說，提供服務(wù)的計(jì)算機(jī)的位置對用戶來說是透明的，任務(wù)也是透明分配的?，F(xiàn)有的云計(jì)算結(jié)構(gòu)中一般是通過虛擬機(jī)提供可以動態(tài)調(diào)整但又在某較長時間內(nèi)由相對穩(wěn)定節(jié)點(diǎn)提供的服務(wù)[10]。在本時延敏感的云計(jì)算系統(tǒng)中，因?yàn)樽鳛榻y(tǒng)一的計(jì)算服務(wù)，系統(tǒng)的負(fù)載可以同時分布在任何一個節(jié)點(diǎn)。可以采用分布式散列表（DHT）等發(fā)現(xiàn)機(jī)制。在網(wǎng)絡(luò)規(guī)模不太大的情況下，比如一個運(yùn)營商在一個城市范圍內(nèi)的基帶信號處理的私有，可以通過多個注冊服務(wù)器以動態(tài)表更新的方式發(fā)布給每一個服務(wù)需求者，并動態(tài)調(diào)整優(yōu)先級以平衡負(fù)載。

（3）負(fù)載平衡

負(fù)載均衡主要通過任務(wù)的散列（Hash）比較均衡地分布負(fù)載，將提供服務(wù)主機(jī)的索引分級管理。按照發(fā)送請求的序列號作散列可以保證比較均勻地向不同服務(wù)主機(jī)發(fā)送負(fù)載，必要時還可以根據(jù)索引值加權(quán)來調(diào)整服務(wù)主機(jī)的優(yōu)先權(quán)。

（4）錯誤恢復(fù)

數(shù)據(jù)在規(guī)定的時延未獲得返回處理結(jié)果時即需要錯誤恢復(fù)，需要重新發(fā)起請求。每一個發(fā)起的請求由序列號和時間戳（由硬件生成，自硬件啟動后的tick數(shù)）標(biāo)識。鏈接在一個100個隊(duì)列構(gòu)成的環(huán)上，相鄰兩個隊(duì)列表示的時間間隔是10 μs。正常結(jié)束的標(biāo)識將從隊(duì)列中移除。超過時間閾值仍未返回的將被重新發(fā)送到其他服務(wù)主機(jī)。主機(jī)的可用性可以通過周期性的信息往返（keep alive）由注冊服務(wù)器監(jiān)控并動態(tài)更新。

3.3 針對多核處理器架構(gòu)的優(yōu)化

（1）并行化

在多核處理器平臺上提高代碼的并行性，對于發(fā)揮多核處理器的性能至關(guān)重要。阿姆達(dá)爾定律（Amdahl’s Law）[11]給出了并行系統(tǒng)性能的提升的計(jì)算公式:

其中S表示系統(tǒng)性能的提升倍數(shù)。Fp表示可以并行化的工作所占比例，Sp表示并行性能提高的倍數(shù)。在多核處理器核數(shù)確定的情況下，Sp相應(yīng)也是確定的。對于程序的并行化，應(yīng)提高Fp使S能得到最大程度的提升。

對于數(shù)據(jù)塊的密集運(yùn)算，比如矩陣運(yùn)算的并行化中采用的主要方法是將循環(huán)運(yùn)算壓縮到較小的范圍并分配到不同的核上。如圖4所示將大矩陣的乘法按照目標(biāo)矩陣值進(jìn)行并行化。如 Pd0,0、Pd1,0、Pd0,1、Pd1,1的計(jì)算可以分到 4 個不同的核上并行完成，同時還進(jìn)行了相應(yīng)的優(yōu)化，可以利用中間結(jié)果減少重復(fù)計(jì)算。根據(jù)矩陣規(guī)模在實(shí)際當(dāng)中可以取得數(shù)十倍的加速比。

（2）處理器架構(gòu)相關(guān)的Cache優(yōu)化

對于局部性有所擴(kuò)張的運(yùn)算，由于多核處理器每個核的高速緩存比較小，故采用了一種動態(tài)核分組的方法提高高速緩存的命中率，以提高系統(tǒng)的整體性能、減少時延。在Tilera的架構(gòu)中，每一個核的L2 Cache可以作為其他核的L3 Cache[12]。而所有核間通信都需要通過Mesh網(wǎng)絡(luò)，每一跳需要1個時鐘周期，而每個核上的交換節(jié)點(diǎn)都是一個先進(jìn)先出隊(duì)列（FIFO）[13,14]，在高數(shù)據(jù)吞吐量時，核間的位置關(guān)系可能影響性能。核間通信的位置關(guān)系如圖5所示，數(shù)據(jù)分布在灰色核中的數(shù)據(jù)進(jìn)行核間通信的時延同黑色核中核間通信的時延是不同的。通過綁定進(jìn)程和核（core affinity），可以改善這種情況下系統(tǒng)的性能。

以64核處理器中選取36核為例，基本上的分組方法包括36組（也就是不分組）、9組（每組4核）、6組（每組6核）、4組（每組 9核）、2組（每組 18核）、1組（36核），如圖 6所示。

從圖7的結(jié)果可以看出，核的分組影響Cache的行為，進(jìn)而影響整個系統(tǒng)的性能。適當(dāng)調(diào)整核的分組可以簡單但是顯著提高系統(tǒng)性能。

（3）其他優(yōu)化方法

其他優(yōu)化方法包括采用圖形化的優(yōu)化工具進(jìn)行代碼級的優(yōu)化，發(fā)現(xiàn)被密集訪問數(shù)據(jù)和頻繁執(zhí)行的指令并進(jìn)行優(yōu)化，減少其他系統(tǒng)操作的時間開銷。

（4）平臺測試結(jié)果

針對基帶處理的應(yīng)用，通過優(yōu)化，可以在銅纜千兆以太網(wǎng)上[15，16]獲得如圖3～7所示的性能指標(biāo)。時延同處理器負(fù)載關(guān)系如圖8所示，在CPU負(fù)載小于50%的情況下，可以比較穩(wěn)定地控制在0.2 ms的時延范圍內(nèi)。完全可以滿足現(xiàn)有系統(tǒng)亞毫秒級的時延需求并能保證錯誤恢復(fù)時間。

4 結(jié)束語

云計(jì)算技術(shù)試圖將計(jì)算能力作為公用事業(yè)（public utility）提供給用戶。分布在不同地址位置的計(jì)算實(shí)體提供可伸縮、低廉、可靠的計(jì)算能力。本文展示了一種可以達(dá)到亞秒級時延保證的針對局部數(shù)據(jù)密集、運(yùn)算密集型應(yīng)用云計(jì)算平臺。它采用MIPS指令集的多核處理器，運(yùn)用并行化技術(shù)進(jìn)行運(yùn)算優(yōu)化以減少執(zhí)行時間、提高執(zhí)行效率。并設(shè)計(jì)實(shí)現(xiàn)了支撐云計(jì)算的服務(wù)注冊、任務(wù)分配、負(fù)載平衡、恢復(fù)機(jī)制。這個平臺的優(yōu)點(diǎn)是成本低、功耗低、能效比高、易擴(kuò)展。在針對實(shí)際數(shù)據(jù)的測試中性能穩(wěn)定，具備取代現(xiàn)有專用硬件在未來移動通信網(wǎng)中廣泛部署的潛力。

本文所描述的云計(jì)算平臺可以從多個角度進(jìn)一步完善，首先是現(xiàn)有的各方面機(jī)制的改進(jìn)和完善；進(jìn)一步吸收運(yùn)算并行優(yōu)化技術(shù)（這是非常活躍的研究領(lǐng)域）的新進(jìn)展、動態(tài)平衡負(fù)載、時延保證、服務(wù)注冊機(jī)制的進(jìn)一步完善。還包括對現(xiàn)有操作系統(tǒng)ZOL（zero overhead linux）在較高負(fù)載的情況下表現(xiàn)不理想進(jìn)行進(jìn)一步的分析和改進(jìn)。

1 www.picmag.org

2 Gathering clouds of Xaas，http://www.ibm.com/developer

3 en.wikipedia.org/wiki/Cloud_Computing

4 Borkar S,Dubey P,Kahn K,et al.Platform 2015:Intel processor and platform evolution for the next decade.Intel White Paper,2005

5 www.tilera.com

6 www.caviumnetworks.com

7 www.netlogicmicro.com

8 3GPP,TR25.913.Requirements for evolved UTRA （E-UTRA）and evolved UTRAN （E-UTRAN）

9 http://labs.chinamobile.com/cmri/

10 www.xensource.com

11 AmdahlG M.Validity ofthe single-processorapproach to achieving large scale computing capabilities.In：AFIPS Conference,Atlantic City,NJ,Apr 1967.AFIPS Press,Reston,Va,1967

12 Michael T.The raw processor speci_cation.http://cag.csail.mit.edu/raw/documents/RawSpec99.pdf

13 Albert G S.Raw fabric hardware implementation and characterization.In:Master's Thesis,Department of Electrical Engineering and Computer Science,MIT,June 2006

14 Bell S,Edwards B,Amann J,et al.On-chip interconnection architecture of the tile processor.In:ISSCC 2008

15 Li Wen,Li Yi,Wang Xiaoming.Logic of collision elimination for reducing propagation delays on ethernet and its application simulation.In:8th ZCEMI,Xi'an,China,2007

16 Mainkar V,Trivedi K S.Approximate analysis ofpriority scheduling systems using stochastic reward nets.In:Proc of 13th Int Conf Distributed Computing Systems,Pittsburgh,PA,May 1993