(中國信息通信研究院云計算與大數(shù)據(jù)研究所，北京 100191)

0 引言

數(shù)據(jù)中心能夠有效地將各類IT設備、供配電系統(tǒng)、制冷系統(tǒng)及其他輔助性系統(tǒng)設備組織起來，對外提供規(guī)范化的、組織化的IT應用服務，是支撐云計算、物聯(lián)網(wǎng)、5G等新興信息技術(shù)發(fā)展和推動傳統(tǒng)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型的重要底座。在數(shù)據(jù)中心各類硬件設施中，服務器居于核心地位，服務器是處理各類業(yè)務負載的主要載體，服務器通過CPU、內(nèi)存及IO部件開展計算服務，并通過調(diào)度網(wǎng)卡及存儲設備實現(xiàn)上層業(yè)務處理需求。

近年來，數(shù)據(jù)中心數(shù)據(jù)處理量呈現(xiàn)爆發(fā)式增長態(tài)勢。與此同時，移動端設備的快速發(fā)展使得數(shù)據(jù)中心業(yè)務接入呈現(xiàn)出多點化特征，大量泛在的數(shù)據(jù)處理請求對數(shù)據(jù)中心服務器的運算速度、讀寫速度、IO性能、Web性能、能效、可用性、可靠性及可拓展性提出了更高的要求。隨著各行業(yè)用戶對數(shù)據(jù)中心應用度的提升，數(shù)據(jù)中心應用場景趨于多樣化，數(shù)據(jù)中心需要根據(jù)不同應用場景為用戶提供差異化服務。傳統(tǒng)的服務器采用統(tǒng)一的物理資源配置，其物理資源供給與業(yè)務負載的資源需求存在一定的不匹配性，硬件資源浪費情況嚴重。此外，傳統(tǒng)服務器在一些特殊環(huán)境中，如工作環(huán)境較為惡劣的邊緣環(huán)境中難以部署，這些因素使得傳統(tǒng)服務器越來越難以滿足數(shù)據(jù)中心運營需求。定制化服務器能夠根據(jù)應用場景及負載請求特征進行部署及配置，在提升數(shù)據(jù)中心服務質(zhì)量方面具有更加廣闊的應用前景。

1 定制化服務器興起的原因

定制化服務器的發(fā)展與數(shù)據(jù)中心市場需求變化有著密不可分的關(guān)系，數(shù)據(jù)中心市場需求變化主要體現(xiàn)在能效、服務品質(zhì)及應用環(huán)境等方面，這類外部需求變化對數(shù)據(jù)中心服務器能效、性能及環(huán)境適應性也產(chǎn)生了新的需求(見圖1)。

在能源消耗方面，數(shù)據(jù)中心能耗問題日益凸顯，各級政府紛紛出臺較為嚴格的數(shù)據(jù)中心能耗限制性政策。服務器作為數(shù)據(jù)中心的主要負載處理設備，其能耗占比相對較高。尤其是在大型、超大型數(shù)據(jù)中心中，服務器數(shù)量高達十萬臺甚至百萬臺，服務器節(jié)能設計對整個數(shù)據(jù)中心的能效優(yōu)化自然不言而喻。傳統(tǒng)服務器為了適應多種業(yè)務處理需求，更加關(guān)注性能的均衡設計和服務的可拓展性，在成本和節(jié)能設計方面存在諸多不足，難以適應新形勢下數(shù)據(jù)中心日益增長的節(jié)能需求。定制化服務器則能夠通過組件共享、接口整合及硬件按需配置等方式更好地實現(xiàn)節(jié)能需求。除此之外，定制化服務器還能夠從密度、重量及制冷等方面進行設計優(yōu)化，降低服務器制造成本和運行成本[1]。

圖1 數(shù)據(jù)中心新需求對服務器的影響

在功能性能方面，早期數(shù)據(jù)中心主要是由企業(yè)自建并處理自身業(yè)務，數(shù)據(jù)處理量相對較少、應用場景單一，標準化的通用服務器足以勝任。隨著云計算、物聯(lián)網(wǎng)、AI、AR/VR等新型互聯(lián)網(wǎng)應用的快速涌現(xiàn)，數(shù)據(jù)中心需要處理的負載呈現(xiàn)出多樣化特征，不同業(yè)務負載對服務器硬件資源需求有所不同。傳統(tǒng)服務器軟硬件資源配置相對固定，無法根據(jù)業(yè)務負載對資源的需求進行靈活配置，這使得傳統(tǒng)服務器供給與業(yè)務資源需求的不匹配性逐漸顯現(xiàn)，物理資源富余會造成不必要的電能損耗，而資源供給不足則會產(chǎn)生資源瓶頸，降低數(shù)據(jù)中心業(yè)務處理質(zhì)量，造成SLA違例。定制化服務器能夠根據(jù)業(yè)務需要配置相應的軟硬件資源，在處理特定業(yè)務負載時具有更優(yōu)良的性能表現(xiàn)。

在應用環(huán)境方面，邊緣數(shù)據(jù)中心成為構(gòu)建各行業(yè)泛在網(wǎng)絡的重要一環(huán)，能夠在靠近數(shù)據(jù)源端向用戶提供更及時的計算及存儲服務，避免了近端設備與云端算力設施數(shù)據(jù)交互產(chǎn)生的時延，邊緣數(shù)據(jù)中心服務場景時延通常是毫秒級的，這極大提升了數(shù)據(jù)處理的時效性[2]。邊緣數(shù)據(jù)中心通常建設在無線基站、樓頂、倉庫、車間等較為惡劣的環(huán)境中，受空間限制，供電及制冷保障也多有不足，這使其對服務器的環(huán)境適應性要求相對較高。傳統(tǒng)服務器主要針對標準機房環(huán)境設計，難以適應惡劣的邊緣環(huán)境，定制化服務器能夠通過服務器外觀、材質(zhì)及結(jié)構(gòu)的設計使服務器硬件規(guī)格滿足部署要求，并能夠進一步提升服務器耐高溫、耐腐蝕及抗潮濕性能，滿足邊緣應用場景。

2 數(shù)據(jù)中心定制化服務器設計策略

定制化服務器是為了滿足用戶在特定業(yè)務或環(huán)境方面的要求，經(jīng)過針對性設計、部件選型及系統(tǒng)優(yōu)化后生產(chǎn)的服務器[3]。定制化服務器主要在服務器能效、性能及環(huán)境適應性方面做出改進，服務器的定制化設計可從以下方面展開。

2.1 共享組件

數(shù)據(jù)中心業(yè)務規(guī)模增長和復雜度提高使得內(nèi)部服務器規(guī)?？焖贁U張，服務器占用的空間在不斷提升。同時，服務器自身處理業(yè)務負載以及為維護服務器正常運行而產(chǎn)生的風扇、電源等基礎組件能耗也在日益增長?？紤]到資源利用及節(jié)能需求，服務器在定制化過程中通?？梢圆捎霉蚕斫M件的方式提升空間資源的利用率，從而降低能耗，如將多個服務器節(jié)點置于一個機箱框架下、多個服務器共享風扇及電源組件等。以市面上一款充分利用共享組件設計的服務器為例，它通過共享組件能夠在4U空間內(nèi)集成8臺1U服務器或4臺2U服務器，并實現(xiàn)電源及風扇的共享使用，較傳統(tǒng)機架服務器部署密度提升1倍，能耗降低10%，同時建造成本也下降了20%。

2.2 整合接口

為了進一步提升服務器內(nèi)部線路及空間資源的利用率，服務器定制化過程中可以將一些常用的接口，如對USB、VGA等進行集成整合，形成統(tǒng)一的標準化接口[4]。

2.3 按需配置部件

不同數(shù)據(jù)中心面向的用戶群體不同，這導致其承擔的業(yè)務負載有所差異?；ヂ?lián)網(wǎng)數(shù)據(jù)中心單一業(yè)務規(guī)模較大，數(shù)據(jù)中心服務器可以按照單一應用來深度定制，例如電子商務公司可以針對用戶交互業(yè)務深度定制Web服務器。運營商數(shù)據(jù)中心面臨的業(yè)務則較為分散，運營商數(shù)據(jù)中心需要同時處理人工智能、Web、視頻等多種類型的應用服務，在這種情況下，數(shù)據(jù)中心需要面向不同應用部署相應的定制化服務器。

在服務器定制化過程中，數(shù)據(jù)中心可以根據(jù)業(yè)務對資源的需求及服務級別協(xié)議的要求對服務器CPU、內(nèi)存、IO、網(wǎng)卡及硬盤等部件進行針對性的配置，適度減少利用率較低的硬件資源，增加業(yè)務負載需求量較大的資源，既需防止資源的過度配置，同時也要避免某些資源配置不足造成資源瓶頸。

2.4 按需定制軟硬件

在外部政策及企業(yè)內(nèi)部控制制度制約下，數(shù)據(jù)中心會產(chǎn)生某些特定的運維管理需求，這類需求實際上形成了對服務器原有功能的拓展，部分拓展功能的實現(xiàn)需要定制化的軟件及硬件支持。例如，不少數(shù)據(jù)中心用戶希望實現(xiàn)對服務器的遠程管理，以此進一步降低數(shù)據(jù)中心運營管理成本、提升運營效率。在惡劣天氣、疫情等不良的外部環(huán)境下，服務器遠程管理功能能夠降低運維人員外出工作的安全風險。為了滿足這種特定的功能需求，定制化服務器可以進一步開放智能平臺管理接口(Intelligent Platform Management Interface，IPMI)，部署相應的遠程管理工具，同時根據(jù)軟件功能需求對底層硬件進行定制，如基板管理控制器(Baseboard Management Controller，BMC)的定制等。

3 常見的定制化服務器類型及其配置

數(shù)據(jù)中心服務器可以按照機房環(huán)境進行定制，也可以按照應用負載的差異性進行定制。按照機房環(huán)境定制主要考慮到服務器的尺寸，以及服務器對環(huán)境溫度、濕度等要素的適應性。按照應用負載的差異性進行定制則主要考慮到服務器硬件的資源供給與業(yè)務負載資源需求是否匹配。根據(jù)業(yè)務負載對資源需求的差異可以將業(yè)務負載分為IO密集型、計算密集型和存儲密集型業(yè)務等不同類型，依此開展服務器的差異化定制。本文根據(jù)業(yè)務負載特點研究了Web服務器、AI服務器、分布式存儲服務器和冷數(shù)據(jù)存儲服務器4類典型定制化服務器。

3.1 Web服務器

Web服務器可以滿足大量用戶的交互式訪問需求，在電子商務、門戶網(wǎng)站以及搜索引擎等企業(yè)業(yè)務模式中多有應用。Web服務器可以分為兩種類型，一種是代理模式，在該模式中，Web服務器負責接收用戶請求并將請求轉(zhuǎn)發(fā)給應用程序服務器。Web代理緩存能夠有效緩解Web服務瓶頸，減少用戶檢索延遲，在大型Web代理服務器中，磁盤IO性能是限制代理服務器服務能力增長的主要障礙[5]。另一種Web服務器自身安裝有相應的應用處理程序，能夠完成對用戶請求的處理。

Web服務器對磁盤IO及內(nèi)存要求相對較高，在Web服務器配置過程中可以采用具有更大磁盤IO能力的SSD硬盤或外掛磁盤陣列。

3.2 AI服務器

隨著AI應用場景的豐富以及深度學習算法的持續(xù)迭代，AI算力需求不斷提升，定制化AI服務器逐漸成為服務器市場發(fā)展的主流。與傳統(tǒng)以CPU芯片為核心的服務器不同，AI服務器必須輔以GPU等人工智能芯片，以完成大量數(shù)據(jù)的訓練和迭代。在人工智能訓練中，CPU芯片兼顧了計算和控制功能，在處理復雜計算任務時性能優(yōu)異，但是在面對大量的、彼此之間缺乏相關(guān)性的人工智能計算任務時表現(xiàn)較差，GPU芯片將更多資源用于計算，控制單位較少，在處理人工智能訓練任務時具有更好的表現(xiàn)[6]?，F(xiàn)代人工智能芯片多以“CPU+GPU”架構(gòu)為主，CPU負責總體協(xié)調(diào)與結(jié)果匯總，GPU完成并行計算。除了GPU芯片外，F(xiàn)PGA和ASIC芯片在AI服務器中也多有應用，F(xiàn)PGA芯片通過將門電路與存儲芯片集成實現(xiàn)了硬件固定，使用者可以在FPGA芯片上進行軟件編程，這使其能夠更好地處理特定任務。ASIC芯片通常是為特定用途或應用而設計，算法和功能完全固定，且固定以后無法更改，ASIC芯片在時延及功耗方面均具有優(yōu)勢，但其設計成本較高，需量產(chǎn)來降低成本[7]。

AI服務器的定制重點是對AI芯片的定制，數(shù)據(jù)中心運營方需要根據(jù)市場需求、負載特征、成本等要素選擇適合的AI芯片組合。AI應用對運算速度要求相對較高，AI服務器可以通過支持PCIe及NUMA節(jié)點配置提升CPU、GPU及NIC之間的通信帶寬，降低時延。除了芯片內(nèi)部通信外，AI服務器還可以通過支持GDS(GPU Direct to Storage)、GDR(GPU Direct to RDMA)技術(shù)實現(xiàn)節(jié)點之間的高帶寬、低時延通信，從而極大提升AI訓練效率。

3.3 分布式存儲服務器

分布式存儲服務器主要用于支持以文件、塊及對象等形式存儲的各類應用數(shù)據(jù)，數(shù)據(jù)可以跨多個獨立設備分發(fā)，存儲服務器可以共享存儲負載，系統(tǒng)可用性、訪問效率、拓展性都會得到極大地提升[8]。該類服務器通常采用虛擬化軟件實現(xiàn)對存儲資源的池化管理，進而實現(xiàn)對分布式存儲資源的高效利用。

分布式存儲服務器需要具備一定的存儲能力，可以配置一定數(shù)量的SATA企業(yè)級硬盤，為了防止單節(jié)點故障造成的數(shù)據(jù)損失，單節(jié)點硬盤數(shù)量不宜過大。在數(shù)據(jù)存儲類型上，分布式存儲服務器中通常會存放訪問頻率較高的熱數(shù)據(jù)，因此還需要按需配置讀寫速度更快的SSD盤及加速器件，提升訪問效率。為了提升數(shù)據(jù)傳輸效率，分布式存儲服務器還需要配置大帶寬網(wǎng)口。

3.4 冷數(shù)據(jù)存儲服務器

盡管全球數(shù)據(jù)總量較大，但是其中有大量數(shù)據(jù)使用頻率較低，被訪問次數(shù)較少，為了減少這些冷數(shù)據(jù)對數(shù)據(jù)中心算力資源的占用，通常情況下可以將這些數(shù)據(jù)存儲到遠端冷數(shù)據(jù)存儲服務器。

冷數(shù)據(jù)存儲服務器需要具備存儲海量非熱點數(shù)據(jù)的能力，因此通常需要配置大量硬盤，硬盤性能要求無需太高。冷數(shù)據(jù)被訪問頻率相對較低，對CPU性能要求不高，因此可以配置一些中低端CPU。在數(shù)據(jù)存儲類型上，冷數(shù)據(jù)存儲服務器中存儲的數(shù)據(jù)主要以文件數(shù)據(jù)為主，這些數(shù)據(jù)被訪問時對帶寬需求較大，因此需要配置帶寬較大的千兆或萬兆網(wǎng)口。

4 數(shù)據(jù)中心定制化服務器市場發(fā)展趨勢

4.1 互聯(lián)網(wǎng)企業(yè)成為推動定制化服務器發(fā)展的重要引擎

近年來，不少頭部互聯(lián)網(wǎng)公司選擇繞開服務器及芯片生產(chǎn)廠商，自行設計服務器及芯片，滿足自身的業(yè)務需求，提升業(yè)務處理效率。2011年，F(xiàn)acebook推出 “開放計算”(Open Compute Project，OCP)硬件開源項目，該項目旨在共享高效節(jié)能的數(shù)據(jù)中心硬件設計信息及技術(shù)參數(shù)，包括機柜、服務器、存儲及網(wǎng)絡等硬件設備的設計規(guī)范以及云端硬件的管理規(guī)范，服務器硬件規(guī)范的設計及共享是該項目的重點。目前，OCP組織已經(jīng)針對Web、數(shù)據(jù)庫、大數(shù)據(jù)、圖片視頻及搜索業(yè)務推出了5款不同類型的定制化服務器設計規(guī)范，這些定制化服務器的推出提升了數(shù)據(jù)中心在處理特定業(yè)務領域的性能[9]。

除了OCP項目外，我國開放數(shù)據(jù)中心委員會(ODCC)也在積極推動服務器定制化項目建設，先后發(fā)起成立了多個定制化服務器的開源項目。如中國移動等運營商為適應電信網(wǎng)絡向NFV場景轉(zhuǎn)型和布局邊緣計算新興領域，在ODCC發(fā)起成立了OTII項目，聯(lián)合產(chǎn)業(yè)力量探索統(tǒng)一規(guī)范的定制化邊緣服務器[10]，OTII服務器為適應狹小的邊緣環(huán)境，深度不到普通機柜深度的一半，同時還進行了耐高溫、耐腐蝕、抗潮濕等技術(shù)升級。為推動我國云數(shù)據(jù)中心硬件標準化，阿里巴巴發(fā)起COCI服務器項目，與通用服務器不同，COCI云服務器采用前出線架構(gòu)設計，架構(gòu)演進能力和服務器維護效率都將得到明顯提升。

定制化服務器可以分為單機定制化服務器和整機柜定制服務器，互聯(lián)網(wǎng)公司早期實踐大多以單機定制化為主，隨著定制化服務器部署規(guī)模的快速提升，服務器運輸、上架、布線等中間環(huán)節(jié)大大降低了服務器的交付效率，同時業(yè)務類型的增加使得定制化服務器運維管理變得復雜，單機定制化發(fā)展受到阻礙。整機柜服務器在空間密度、能效及部署效率上較傳統(tǒng)服務器能夠表現(xiàn)出更加優(yōu)良的特性[11]?；谡麢C柜服務器的諸多優(yōu)勢，國內(nèi)外頭部互聯(lián)網(wǎng)企業(yè)積極開展“整機柜定制化”的探索，例如阿里巴巴、騰訊、百度等互聯(lián)網(wǎng)企業(yè)依托ODCC共同研制了“天蝎”整機柜服務器，目前已升級到4.0版本，可兼容21英寸/19英寸服務器規(guī)格，支持12 V/48 V集中供電，能夠?qū)崿F(xiàn)定制化服務器的規(guī)?；渴鸷瓦\營。

4.2 服務器廠商爭相推出高效能服務器及相關(guān)部件

互聯(lián)網(wǎng)企業(yè)及行業(yè)組織在定制化服務器領域的諸多項目實踐給服務器廠商帶來了巨大的壓力，不少服務器廠商紛紛走向與互聯(lián)網(wǎng)企業(yè)聯(lián)合發(fā)展的道路，通過參與硬件定制化組織積極和互聯(lián)網(wǎng)企業(yè)進行溝通，了解互聯(lián)網(wǎng)企業(yè)對服務器的性能需求，積極應對服務器市場變局。早在Facebook發(fā)起OCP項目時，惠普公司就意識到了該項目對傳統(tǒng)服務器產(chǎn)業(yè)帶來的沖擊，為了應對這種市場沖擊，惠普公司先后推出了Moonshot(登月)計劃和Odyssey(奧德賽)計劃，登月計劃充分關(guān)注數(shù)據(jù)中心對低功耗服務器的需求，基于軟件定義服務器的設計理念，打造面向不同負載需求的低功耗服務器；奧德賽計劃則致力于將UNIX系統(tǒng)與x86運算架構(gòu)整合到統(tǒng)一平臺，以應對數(shù)據(jù)中心服務器對x86平臺的需求。

服務器定制化已經(jīng)成為行業(yè)發(fā)展的必然需求，越來越多的傳統(tǒng)服務器廠商開始進入到定制化服務器設計及生產(chǎn)的浪潮，利用自身的產(chǎn)品線及渠道優(yōu)勢打造滿足數(shù)據(jù)中心需求的定制化服務器。為滿足數(shù)據(jù)中心服務器的能效需求，服務器廠商在散熱、存儲等方面積極開展節(jié)能創(chuàng)新設計。例如，在散熱方面，IBM通過引入雙段式對轉(zhuǎn)風扇進行節(jié)能，AMAX公司開發(fā)的XP-22201BD型服務器采用先進的高流速空氣冷卻或液體冷卻技術(shù)為CPU、內(nèi)存及電壓調(diào)節(jié)穩(wěn)定器進行冷卻，進一步降低了制冷能耗；在存儲方面，2.5英寸HDD小硬盤在節(jié)能方面較3.5英寸硬盤節(jié)能效果更好，與此同時，SSD硬盤的節(jié)能效果也得到凸顯。

4.3 芯片廠商將逐步推出開放芯片架構(gòu)

芯片是服務器的核心部件，芯片的性能將會直接影響到服務器業(yè)務執(zhí)行的效率和可靠性，在定制化服務器大規(guī)模發(fā)展的進程中，芯片廠商也在積極開展戰(zhàn)略變革。英特爾公司正在加強與服務器廠商及數(shù)據(jù)中心運營方的合作，通過整合其原有標準處理器與專為客戶定制的處理器來滿足用戶的特定業(yè)務需求。IBM為了增強其在定制化芯片市場的競爭力，向外界開放了Power芯片架構(gòu)，第三方企業(yè)能夠根據(jù)自身需要在該芯片上進行改進，ARM則是將其核心芯片設計授權(quán)給高迪、Applied Micro和蘋果等第三方公司，由經(jīng)過授權(quán)的第三方公司實現(xiàn)芯片的定制化設計[12]。

5 結(jié)束語

數(shù)據(jù)中心變革引起的服務器能效、性能及環(huán)境適應性等方面的新需求推動了服務器的定制化發(fā)展，定制化服務器削弱了傳統(tǒng)服務器的通用性，強化了服務器在特定機房環(huán)境及應用負載下的專業(yè)性，這極大提升了其在特定環(huán)境及業(yè)務負載下的性能表現(xiàn)。服務器定制化可以通過共享組件、整合結(jié)構(gòu)、按需配置部件及按需定制軟硬件等方式來展開，常見的定制化服務器包括Web服務器、AI服務器、分布式存儲服務器及冷數(shù)據(jù)存儲服務器等，不同的定制化服務器需要結(jié)合負載特點配置相應的芯片、硬盤及網(wǎng)卡，提升服務器硬件資源供給與業(yè)務負載資源需求的匹配性。在定制化服務器發(fā)展過程中，互聯(lián)網(wǎng)企業(yè)已經(jīng)成為推動定制化服務器發(fā)展的重要引擎，頭部互聯(lián)網(wǎng)企業(yè)及行業(yè)組織通過合作共享方式設計開發(fā)適應特定環(huán)境及負載的定制化服務器，服務器廠商也在積極尋求與互聯(lián)網(wǎng)企業(yè)的合作，通過加強與數(shù)據(jù)中心運營方的溝通進一步創(chuàng)新推出高效能服務器及相關(guān)部件，芯片廠商通過定制與開放芯片架構(gòu)方式開發(fā)出符合用戶需求的定制化芯片，成為推動定制化服務器發(fā)展的重要力量。