清華大學蛋白質(zhì)研究技術(shù)中心(以下簡稱“清華蛋白質(zhì)技術(shù)中心”)需要利用高性能并行計算手段解決生命科學領(lǐng)域的前沿性問題。通過構(gòu)建生物計算平臺(以下簡稱“HPC平臺”),承載和支撐大規(guī)模生物學、醫(yī)學領(lǐng)域的研究計算任務,充分利用HPC平臺海量數(shù)據(jù)處理和并行計算能力,為生物大數(shù)據(jù)的高效處理和分析提供創(chuàng)新機制,滿足生命科學、生物學、醫(yī)學和其它交叉科學不斷提出的新要求和挑戰(zhàn)。
清華蛋白質(zhì)技術(shù)中心引入了戴爾PowerEdge FX2 FC430融合架構(gòu)方案,構(gòu)建了一個擁有250個物理計算節(jié)點,5000個計算核心、存儲總?cè)萘繛?.92PB、理論計算能力為208Tflops、融合了英特爾 Lustre技術(shù)的HPC平臺,戴爾為HPC平臺提供了端到端的配置安裝服務。
長期以來,解析剪接體三維結(jié)構(gòu)被認為是生物學里的熱門研究,因為其應用場景很多。例如:許多疾病源于基因的錯誤剪接或針對剪接體的調(diào)控錯誤,如果能夠識別這些錯誤,人類眾多不治之癥的治愈將成為可能。而中國科學家在世界上首次捕獲真核細胞剪接體復合物的3.6埃米(1埃米等于100億分之一米,已經(jīng)接近原子級尺度)高分辨率空間三維結(jié)構(gòu),其研究成果可為人類識別上述錯誤提供幫助,被尊稱為諾獎級成果。清華蛋白質(zhì)技術(shù)中心構(gòu)建的HPC平臺,則為上述世界頂級的生物學研究提供了計算層面的支持。
突破生物研究的計算瓶頸
研究生物蛋白質(zhì)結(jié)構(gòu)有三種主要方法:X射線晶體衍射、核磁共振以及單顆粒冷凍電子顯微鏡(以下簡稱“冷凍電鏡”)。清華大學研究團隊所采用的冷凍電鏡技術(shù)在過去兩年里取得了革命性的進展,具體來說就是照相機技術(shù)實現(xiàn)了飛躍,將采集數(shù)據(jù)的能力提升了10多倍,甚至上百倍,大幅提高了冷凍電鏡的解析能力,由此使得研究蛋白質(zhì)結(jié)構(gòu)的源數(shù)據(jù)呈幾何級數(shù)增加,這就要求清華蛋白質(zhì)技術(shù)中心必須全面提升后期的數(shù)據(jù)處理與計算能力。這是清華蛋白質(zhì)技術(shù)中心與戴爾合作,引入戴爾PowerEdge FX2 FC430構(gòu)建HPC平臺的戰(zhàn)略性原因之一。
推進生物研究發(fā)展 并利用HPC平臺提供計算服務
在論文的撰寫過程中,清華大學的研究團隊利用HPC平臺完成了許多重要數(shù)據(jù)的處理。其中最為重要的就是對裂殖酵母進行了對象分析,通過冷凍電鏡收集上百TB的數(shù)據(jù),通過HPC的計算,在近原子分辨率上看到了剪接體的細節(jié)。這些細節(jié)讓研究人員發(fā)現(xiàn),剪接體的外形輪廓十分不對稱,各個蛋白相互纏繞,形成了分子量和體積巨大的復合物。這是自1993年RNA(核糖核酸)剪接發(fā)現(xiàn)以來,科學家率先對剪接體近原子分辨率結(jié)構(gòu)進行解析,為人類進一步揭示與剪接體相關(guān)疾病的機理,提供了結(jié)構(gòu)基礎(chǔ)和理論。
利用HPC平臺,清華蛋白質(zhì)技術(shù)中心建立了一個面向生物研究的工程研究平臺,提升了蛋白質(zhì)結(jié)構(gòu)解析水平,幫助國際一流的生物研究團隊高精度地測定蛋白質(zhì)分子結(jié)構(gòu)、各類細胞的三維結(jié)構(gòu),并在此基礎(chǔ)上揭示蛋白質(zhì)及其復合體的功能,為規(guī)模化制備蛋白或抗體,提供科學計算層面的支持。
引入戴爾極限規(guī)?;A(chǔ)架構(gòu)
談到引入戴爾PowerEdge FX2融合架構(gòu)方案的原因時,清華蛋白質(zhì)技術(shù)中心生物計算平臺負責人楊濤博士介紹說:“此次我們引入的戴爾融合架構(gòu)具有戴爾最先進的ESI(ESI- Extreme Scale Infrastructure)特質(zhì),在ESI特質(zhì)的基礎(chǔ)上PowerEdge FX2集合了刀片和多節(jié)點機架式服務器的技術(shù)優(yōu)勢。
首先是計算密度大,在2U空間內(nèi)可以支持8個配置雙插槽英特爾至強處理器的計算節(jié)點;其次是靈活性好,不僅可以選擇FC430而且還可選用其他多種服務器節(jié)點;再次是擴展性好,支持可拆分的DAS存儲節(jié)點、多種網(wǎng)絡(luò)直通/交換模塊;最后是管理性好,提供高效的CMC機箱集中式管理方案?!?/p>
此次引入的計算節(jié)點服務器是戴爾PowerEdge FC430,F(xiàn)C430采用了英特爾·至強TM處理器,單U空間的計算性能密度達到業(yè)界領(lǐng)先的4.1TFLOPS。楊濤介紹說:“我們引入戴爾PowerEdge FX融合基礎(chǔ)架構(gòu)方案,可以說重新定義了清華蛋白質(zhì)技術(shù)中心生物計算平臺的靈活性。戴爾PowerEdge FX將經(jīng)過模塊化設(shè)計的不同規(guī)模的計算資源融合在一起,將服務器、存儲和10Gb網(wǎng)絡(luò)無縫地融合在2U機架式機箱內(nèi),同時提供共享的散熱、電源、網(wǎng)絡(luò)、管理和PCIe擴展插槽,幫助我們獲得了良好的成本效益?!?/p>
高速網(wǎng)絡(luò)確保HPC平臺的 I/O網(wǎng)絡(luò)性能
此次清華蛋白質(zhì)技術(shù)中心HPC平臺采用了Lustre分布式文件系統(tǒng),這種并行文件系統(tǒng)可以在單一命名空間內(nèi),快速增加節(jié)點數(shù)來擴展容量和性能,并支持在線擴展,支持多個客戶端并發(fā)讀寫,并可以幫助IT人員利用分布式鎖機制保障數(shù)據(jù)一致性。
在網(wǎng)絡(luò)方面,戴爾為HPC平臺核心計算網(wǎng)絡(luò)提供了具有高吞吐量低延遲特性的Force10 Z9500 40Gbps交換機,為管理和I/O網(wǎng)絡(luò)提供了包括S6000、N3048、PCT2848、Brocade 6505在內(nèi)的全套網(wǎng)絡(luò)方案;在存儲方面,戴爾提供了HPC平臺所需要的全部存儲設(shè)備,包括MDS元數(shù)據(jù)服務器R630+R730+MD3860F雙控光纖陣列,OSS對象存儲服務器R820+MD3860F雙控光纖陣列+MD3060E高密磁盤擴展柜。
完整的企業(yè)管理功能,幫助IT人員簡化管理
可有效地簡化IT管理,是清華蛋白質(zhì)技術(shù)中心選擇戴爾HPC平臺方案的另外一個重要原因。 戴爾PowerEdge FX2融合基礎(chǔ)架構(gòu)體系,提供了傳統(tǒng)機架式服務器單獨管理方式和與刀片服務器類似的綜合管理方式,前者可以幫助IT人員解決局部性問題,后者可以幫助IT人員解決全局性問題。
楊濤介紹說:“借助帶生命周期控制器的集成戴爾遠程訪問控制器(iDRAC)和戴爾機箱管理控制器(CMC)的免代理程序,我們可以實現(xiàn)快速的系統(tǒng)部署、更新、監(jiān)視和維護,大大簡化了IT人員的管理工作,提升了管理效率。”
具體來說,CMC可以幫助IT人員在單一界面內(nèi)監(jiān)視20個FX系統(tǒng),以一對多的態(tài)勢完成BIOS和固件程序更新,并維護基于FX機箱插槽的服務器配置文件。
當安裝新的FC430服務器時,IT人員可以通過配置文件下發(fā)的方式,讓系統(tǒng)自動完成更新BIOS和固件程序的工作。所有這些管理,均具有自動化的特點,比傳統(tǒng)管理方法更節(jié)省時間更省成本,尤其是通過自動執(zhí)行配置文件,避免了重復輸入配置參數(shù)的繁瑣,也減少了由于人工輸入錯誤而導致的系統(tǒng)故障??傊鳡柗桨竿暾钠髽I(yè)管理功能,幫助IT人員簡化管理,讓“面向未來就緒”的理念穩(wěn)健落地。
完美呈現(xiàn)蛋白質(zhì)的三維結(jié)構(gòu)
10GB以上的計算量,科研人員一般交給HPC平臺處理,3-5GB的小計算任務和HPC平臺計算后的數(shù)據(jù)成像工作,則由戴爾的圖形工作站完成。清華蛋白質(zhì)技術(shù)中心采用了戴爾Precision T7910工作站,配置了NVIDIA· Quadro· K620專業(yè)級圖形顯卡和SSD高速硬盤。
借助NVIDIA Quadro? K620所具備的 128位顯存帶寬、384個流處理單元、2GB DDR顯存的超強圖形處理能力,清華大學的科研人員可在2-3秒內(nèi)呈現(xiàn)2K清晰度的蛋白質(zhì)平面圖,在15-20秒內(nèi)呈現(xiàn)出4K清晰度的三維結(jié)構(gòu)圖。