互聯(lián)網(wǎng)時代是一個巨人涌現(xiàn)的時代,如果要對中國的互聯(lián)網(wǎng)企業(yè)做一個嚴(yán)謹(jǐn)?shù)呐袛?,那么百度絕對可以說已經(jīng)成長為一個巨人。百度的活力,既表現(xiàn)在其內(nèi)部活力彌久的創(chuàng)新能力,也在于其對外界強大的滲透能力。作為全球最大的中文搜索引擎,百度每天響應(yīng)來自138個國家和地區(qū)的數(shù)十億次請求,百度每日新增數(shù)據(jù)10TB,要處理超過100PB(1PB=1024TB)的數(shù)據(jù),從浩如煙海的信息中精確抓取約10億網(wǎng)頁,同時索引庫還擁有千億級在線索引能力,以幫助用戶完成搜索過程。過去10年,百度網(wǎng)頁搜索庫已從500萬猛增到了500億。
百度新首頁上線一年以來,已經(jīng)累積用戶1.2億,增長速度達(dá)到400%。那么,面對如此巨大的數(shù)據(jù)處理量,百度是如何通過綠色高效數(shù)據(jù)中心在大數(shù)據(jù)時代應(yīng)對節(jié)能環(huán)保的要求的呢?
M1云數(shù)據(jù)中心:PUE第一如何取得?
2013年4月,在云計算發(fā)展與政策論壇召開的第三次高端會議上,百度M1云數(shù)據(jù)中心以PUE(數(shù)據(jù)中心的能耗指標(biāo)) 2012年平均PUE達(dá)1.37,近12個月平均PUE為1.36,最佳PUE達(dá)到1.18,取得了國內(nèi)PUE第一的最佳成績(PUE越接近1越好,業(yè)界的平均PUE為2.5)。該評估由工業(yè)和信息化部電信研究院聯(lián)合國內(nèi)的主流電信運營商、互聯(lián)網(wǎng)服務(wù)提供商和設(shè)備制造商及有關(guān)科研院所共同發(fā)起,代表著國內(nèi)數(shù)據(jù)中心評估工作的最高水平。那么,M1云數(shù)據(jù)中心的PUE值國內(nèi)第一是如何取得的呢?
M1云數(shù)據(jù)中心位于朝陽區(qū)酒仙橋北路9號,原建筑為北京松下彩管廠區(qū)301號建筑,后由北京捷通公司改建而成。在向記者展示的幻燈片中,可以看到M1云數(shù)據(jù)中心的主體結(jié)構(gòu):M1數(shù)據(jù)中心總面積為6320平米,一層面積為5370平米,包括機(jī)房及動力、配電等輔助區(qū)域;二層面積為878平米,包括辦公用房;地下一層水泵房面積為72平米。
百度云首席架構(gòu)師林仕鼎說,百度云數(shù)據(jù)中心計算的主要技術(shù)領(lǐng)域涵蓋了數(shù)據(jù)中心體系結(jié)構(gòu)、存儲、計算 、超大規(guī)模系統(tǒng)等。
M1數(shù)據(jù)中心由廠房改造而成,在改造過程中,采用外墻保溫技術(shù),最大限度減少室內(nèi)外溫度傳導(dǎo)。在機(jī)房平面布局時,設(shè)置環(huán)形走廊,將機(jī)房區(qū)域設(shè)置在建筑環(huán)廊內(nèi)區(qū),最大程度減少冷量損失;外沿為走廊區(qū)域,充分利用自然條件,減少空調(diào)開啟時間,實現(xiàn)節(jié)能運行。
在軟件架構(gòu)優(yōu)化方面,百度M1數(shù)據(jù)中心,部署了百度自主開發(fā)的在線離線業(yè)務(wù)混布系統(tǒng),以及自主研發(fā)的服務(wù)器流量調(diào)度系統(tǒng),在大幅提高在線機(jī)器的利用率的同時,極大限度地降低業(yè)務(wù)為應(yīng)對突發(fā)事件而預(yù)留的冗余服務(wù)器資源,大大提高了能效。
在硬件方面,服務(wù)器的能耗是數(shù)據(jù)中心能耗的主要部分。M1數(shù)據(jù)中心采用了綠色節(jié)能部件定制、固態(tài)硬盤(SSD)應(yīng)用、電源效率優(yōu)化、主板改造、去除冗余、與IDC環(huán)境結(jié)合的風(fēng)扇優(yōu)化策略等多個手段,使單節(jié)點降低能耗25%,整個數(shù)據(jù)中心的計算及處理能力大幅提升。此外,數(shù)據(jù)中心還率先使用了ARM采用精簡指令集(RISC)的解決方案,使每臺服務(wù)器的CPU功耗降低到原來的十分之一。
在針對另外一塊主要的能耗——空調(diào)系統(tǒng)的改造中,M1數(shù)據(jù)中心采用高效的冷凍水空調(diào)系統(tǒng),并結(jié)合一系列先進(jìn)技術(shù)以提高制冷及空調(diào)系統(tǒng)能效。例如,采用水側(cè)Freecooling系統(tǒng)設(shè)計,充分利用室外自然冷源,盡量減少冷水機(jī)組運行負(fù)荷和時間,大大降低了數(shù)據(jù)中心能耗。另外,M1數(shù)據(jù)中心項目中引入先進(jìn)的氣流優(yōu)化設(shè)計手段,采用CFD (Computational Fluid Dynamics)輔助進(jìn)行機(jī)房氣流組織方案設(shè)計,優(yōu)化機(jī)房設(shè)備布局、細(xì)部規(guī)格尺寸、參數(shù)設(shè)置和維護(hù)維修策略等。在市電供電架構(gòu)方面,M1數(shù)據(jù)中心提出簡化供電系統(tǒng)結(jié)構(gòu)大膽構(gòu)想,在國內(nèi)首次大規(guī)模采用市電主供,冗余電源作備份的新型供電架構(gòu),UPS系統(tǒng)整體損耗降低近10%。
自行設(shè)計,打造綠色之路
目前,百度已經(jīng)在多個領(lǐng)域展開了基于公共數(shù)據(jù)的搜索服務(wù)。2013年2月,國家藥監(jiān)局三大數(shù)據(jù)庫向百度開放,包括具有18萬余種國產(chǎn)和進(jìn)口藥品信息的藥品數(shù)據(jù)庫,6000余種非處方藥(OTC)化學(xué)藥品說明書范本及中藥說明書范本的藥品說明書范本數(shù)據(jù)庫,以及經(jīng)過認(rèn)證的可向個人售藥的網(wǎng)站的數(shù)據(jù)庫信息。
2013年4月末,百度知道推出了知識搜索服務(wù),針對相關(guān)領(lǐng)域的關(guān)鍵詞檢索提供滿足用戶需求的特型展示,目前已上線的有口碑搜索、醫(yī)療搜索、答案聚合及數(shù)據(jù)圖譜等功能,并同時覆蓋到PC端與無線端。
在百度已相繼引入國家藥監(jiān)局、中國家電維修協(xié)會、中國航空協(xié)會、中國銀行業(yè)協(xié)會、北京市衛(wèi)生局等權(quán)威機(jī)構(gòu)的核心數(shù)據(jù)后,2013年5月,全國組織機(jī)構(gòu)代碼管理中心又和百度公司達(dá)成戰(zhàn)略合作,以便為社會提供安全、準(zhǔn)確的搜索結(jié)果。網(wǎng)友在百度搜索“組織機(jī)構(gòu)代碼查詢”可以進(jìn)入專業(yè)核查工具,只要輸入組織機(jī)構(gòu)名稱、代碼、登記證號中的任意一項,就可以了解機(jī)構(gòu)類型、地址、有效期、頒發(fā)單位等重要信息,迅速判斷這家組織機(jī)構(gòu)是否真實、可靠。
那么,這些海量的數(shù)據(jù),在云時代的背景下,百度如何通過有效的組織管理以及在設(shè)計理念上來實現(xiàn)幾十座數(shù)據(jù)中心的節(jié)能呢?在走訪中記者逐漸了解到,百度除了采用一系列節(jié)能的方法和技術(shù),比如優(yōu)化電源結(jié)構(gòu)、引入變頻技術(shù),優(yōu)化服務(wù)器的氣流式冷水機(jī)組及使用CFD軟件等方式來實現(xiàn)服務(wù)器技術(shù)的優(yōu)化外,更通過一系列定制化、高效的部件方面的自我的創(chuàng)新來建立中國最節(jié)能高效的云計算數(shù)據(jù)中心。
自建綠色高效數(shù)據(jù)中心
“數(shù)據(jù)中心是百度業(yè)務(wù)的載體,它支撐著海量數(shù)據(jù)存儲、云平臺和搜索社區(qū)等,所以百度更加關(guān)注建設(shè)云數(shù)據(jù)中心,用云的核心驅(qū)動力來支撐業(yè)務(wù)規(guī)模發(fā)展。”百度公司技術(shù)委員會理事長陳尚義介紹說,“百度的單體十萬臺服務(wù)器的數(shù)據(jù)中心,PUE每降低0.1,一年就可為百度節(jié)省上千萬的成本,所以,打造自我的綠色高效數(shù)據(jù)中心,在大數(shù)據(jù)時代將能很好應(yīng)對節(jié)能環(huán)保、低碳的要求?!?/p>
目前,面對海量的大數(shù)據(jù),百度正在通過自建數(shù)據(jù)中心,開發(fā)了自己的大數(shù)據(jù)存儲系統(tǒng),并使用了多項新技術(shù)。目前,計劃投資47.08億元的百度云計算(陽泉)中心已于2012年8月奠基,該項目預(yù)計2015年完工。建成后的百度云計算(陽泉)中心數(shù)據(jù)存儲量將超過4000PB,可存儲的信息量相當(dāng)于20多萬個中國國家圖書館的藏書總量。2013年4月15日,成都市高新區(qū)與百度云簽署協(xié)議,中國最大的云開發(fā)服務(wù)平臺——“成都百度云開發(fā)者技術(shù)中心”正式入駐成都高新區(qū)移動互聯(lián)網(wǎng)大廈。此外,南京、廣州、天津的百度云數(shù)據(jù)中心也都在建設(shè)之中。
陳尚義介紹說,百度數(shù)據(jù)中心從設(shè)計之初就開始體現(xiàn)綠色節(jié)能的理念。在解決設(shè)備散熱問題中,百度數(shù)據(jù)中心采用集中散熱、集中供電、高效部件等方法來降低能耗;在解決服務(wù)器能耗問題中,采用SSD解決服務(wù)器的瓶頸,降低服務(wù)器數(shù)量等方式來節(jié)約服務(wù)器耗電量。此外,一些數(shù)據(jù)中心采取白天以商業(yè)業(yè)務(wù)為主、數(shù)據(jù)處理為輔,夜晚側(cè)重數(shù)據(jù)處理為主的原則,來很好分配大數(shù)據(jù)量的工作時間,進(jìn)而實現(xiàn)了節(jié)能高效。
除了這些技術(shù),百度最讓人嘆服的還有數(shù)量眾多的“看家本領(lǐng)”,更顯示其“自制”的能力。
能力1:自制固態(tài)硬盤(SSD)。據(jù)估計,百度的數(shù)據(jù)中心存儲了數(shù)百PB的數(shù)據(jù),其日常的數(shù)據(jù)處理能力達(dá)到數(shù)十個PB。為了解決海量數(shù)據(jù)實時存儲的巨大挑戰(zhàn),百度自行開發(fā)了SSD產(chǎn)品,其研發(fā)的SSD的性能比SATA SSD要好六倍,而且其成本只是它的10%。在南京的云計算數(shù)據(jù)中心也進(jìn)行了大規(guī)模的行業(yè)內(nèi)的固態(tài)硬盤(SSD)部署。
能力2:自行設(shè)計10Gb TOR交換機(jī)。百度自2011年開始研究和開發(fā)TOR交換機(jī)的設(shè)計,并于2012年推出第一代10Gb的TOR交換機(jī)。通過使用自行設(shè)計的硬件和軟件,設(shè)計制造模塊,以及DAC(直接連接電纜),百度的10Gb TOR的成本只相當(dāng)于同樣的1GB TOR商業(yè)交換機(jī)。目前百度的10Gb TOR交換機(jī)能承載超過5000臺的服務(wù)器,部署在其云計算數(shù)據(jù)中心里。
能力3:定制機(jī)架服務(wù)器。百度正在與Facebook合作,促進(jìn)和優(yōu)化開源的機(jī)架服務(wù)器的探索,這也是中國自主設(shè)計機(jī)架服務(wù)器的開源項目。定制的機(jī)架式服務(wù)器解決了百度許多問題,如傳統(tǒng)的主機(jī)托管數(shù)據(jù)中心空間和功率密度的限制,電纜的混亂和部署的效率低下,有助于提高智能化管理和資產(chǎn)精度。在南京的云計算數(shù)據(jù)中心,百度大規(guī)模部署了ARM服務(wù)器。據(jù)百度說,基于ARM的服務(wù)器使數(shù)據(jù)中心的總擁有成本(TCO)降低了25%,提高存儲密度70%。百度已經(jīng)獲得開發(fā)基于ARM的服務(wù)器的10項專利。ARM服務(wù)器的應(yīng)用,使南京的云計算數(shù)據(jù)中心能夠降低服務(wù)器總體擁有成本的10%,業(yè)務(wù)高峰時運轉(zhuǎn)效率提高近10倍。
如今,百度已經(jīng)成為中國最具價值的品牌之一,英國《金融時報》將百度列為“中國十大世界級品牌”。目前百度已經(jīng)面向開發(fā)者全面開放了包括云存儲、大數(shù)據(jù)智能和云計算在內(nèi)的核心云能力,為開發(fā)者提供強大的技術(shù)運營支持與推廣變現(xiàn)保障。作為互聯(lián)網(wǎng)搜索的入口,百度承載著數(shù)億網(wǎng)民檢索需求,滿足海量計算的數(shù)據(jù)中心規(guī)模將日益龐大。百度從軟件架構(gòu)、IT設(shè)備、數(shù)據(jù)管理效率等多方面入手,致力于綠色I(xiàn)T建設(shè),將對產(chǎn)業(yè)鏈上下游的參與起到良好的示范和帶動作用。