邢帆

華大基因研究院（以下簡(jiǎn)稱“華大基因”）成立于1999年9月9日，是人類基因組計(jì)劃中國(guó)任務(wù)的唯一承擔(dān)單位。目前，華大基因已建立了大規(guī)模測(cè)序、生物信息、克隆、健康、農(nóng)業(yè)基因組等技術(shù)平臺(tái)，其測(cè)序能力及基因組分析能力世界第一，測(cè)序儀全年產(chǎn)出數(shù)據(jù)量與全美國(guó)四大測(cè)序中心產(chǎn)出數(shù)據(jù)量總和大致相當(dāng)。華大基因數(shù)據(jù)量之大，超出常人想象，而且增長(zhǎng)非?？?。面對(duì)海量數(shù)據(jù)的需求，華大基因原有的存儲(chǔ)遇到瓶頸，需要尋找一個(gè)高性能、易擴(kuò)展、部署簡(jiǎn)單、方便運(yùn)維的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，這些技術(shù)上的突破幫助華大基因延續(xù)其一直以來(lái)的戰(zhàn)略宗旨。

速度就是效果

截止2012年，華大基因共擁有4大平臺(tái)，包括新一代測(cè)序平臺(tái)、云計(jì)算平臺(tái)、蛋白質(zhì)譜平臺(tái)及國(guó)家基因庫(kù)。在新一代測(cè)序平臺(tái)中包括羅氏旗下的454生命科學(xué)推出最新升級(jí)版Roche 454 GS FLX+測(cè)序儀、Illumina公司推出的HiSeq 2000測(cè)序儀、基于半導(dǎo)體芯片的新一代測(cè)序技術(shù)Ion Torrent等多種不同的測(cè)序技術(shù)平臺(tái)。以Illumina Hiseq 2000測(cè)序儀為例，相對(duì)于傳統(tǒng)測(cè)序的96道毛細(xì)管測(cè)序，高通量測(cè)序一次實(shí)驗(yàn)可以讀取40萬(wàn)到400萬(wàn)條序列。讀取長(zhǎng)度根據(jù)平臺(tái)不同從25bp到450bp不等，不同的測(cè)序平臺(tái)在一次實(shí)驗(yàn)中，可以讀取1G到14G不等的堿基數(shù)，這樣龐大的測(cè)序能力是傳統(tǒng)測(cè)序儀所不能比擬的。華大深圳數(shù)據(jù)中心138臺(tái)高通量測(cè)序儀單次運(yùn)行就能產(chǎn)生350GB數(shù)據(jù)，一天的數(shù)據(jù)產(chǎn)出量大概是10TB。為應(yīng)對(duì)巨大的數(shù)據(jù)產(chǎn)出量，從2009年開始華大基因?qū)MC Isilon橫向擴(kuò)展存儲(chǔ)系統(tǒng)分別進(jìn)行了功能測(cè)試和性能測(cè)試。如今，已經(jīng)部署了超過(guò)7.4PB（7400TB）的Isilon設(shè)備，包括：17個(gè)節(jié)點(diǎn)IQ 36000x集群一套、10個(gè)節(jié)點(diǎn)IQ 72000x集群一套、13個(gè)點(diǎn)節(jié)IQ 36000x集群一套、10個(gè)節(jié)點(diǎn)IQ36000x集群一套。

華大基因研究院生物信息學(xué)研究主管表示，“我們每天有數(shù)千個(gè)應(yīng)用程序在訪問(wèn)EMC Isilon存儲(chǔ)，其在高并發(fā)訪問(wèn)條件下的性能令人印象深刻?！鄙茖W(xué)和基因研究都要產(chǎn)生大量的數(shù)據(jù)，并且這些數(shù)據(jù)還需要永 遠(yuǎn)的保存起來(lái)。而從技術(shù)上來(lái)說(shuō)，Isilon橫向擴(kuò)展NAS存儲(chǔ)解決方案提供高效的單個(gè)文件系統(tǒng)/單個(gè)卷，可擴(kuò)展至20PB。通過(guò)將存儲(chǔ)整合成一個(gè)單一，可擴(kuò)展卷，讓任何人都可以來(lái)管理，Isilon存儲(chǔ)增加了數(shù)據(jù)管理的簡(jiǎn)易性，減少了人員培訓(xùn)的時(shí)間，簡(jiǎn)化了大數(shù)據(jù)生命周期管理。對(duì)于像華大基因這樣的研究機(jī)構(gòu)，數(shù)據(jù)是核心資產(chǎn)。如何保證輸入（原始）數(shù)據(jù)的萬(wàn)無(wú)一失，如何確保存儲(chǔ)系統(tǒng)可靠穩(wěn)定，以及如何保證數(shù)據(jù)生命周期內(nèi)的安全，是很多高性能用戶最為關(guān)注的。Isilon N+M架構(gòu)讓用戶根據(jù)應(yīng)用和數(shù)據(jù)生命周期價(jià)值的不同，選擇存儲(chǔ)安全配置策略，靈活滿足不同業(yè)務(wù)、不同應(yīng)用和不同數(shù)據(jù)對(duì)安全性的要求。Isilon的FlexProtect技術(shù)保證了數(shù)據(jù)的高可用和業(yè)務(wù)連續(xù)性。

2012年4月，華大基因又推出了基于Hadoop架構(gòu)的云計(jì)算平臺(tái)，并在11月發(fā)布最新版的生物信息學(xué)軟件，包括最新版SOAP系列軟件、遺傳變異檢測(cè)軟件、宏基因組測(cè)序數(shù)據(jù)分析軟件Metacluster 4.0及兩個(gè)基于云計(jì)算的軟件Hecate2和Gaea2。這也是華大基因選擇和持續(xù)采用Isilon集群存儲(chǔ)的重要考慮之一。Isilon和Hadoop做了緊密技術(shù)整合，使存儲(chǔ)能很好地支持Hadoop架構(gòu)的云計(jì)算服務(wù)。如果使用傳統(tǒng)存儲(chǔ)，Hadoop仍有一些固有問(wèn)題需要解決。例如，Apache^TMHadoop^TM的NameNode存在單點(diǎn)故障問(wèn)題。NameNode用于管理HDFS中存儲(chǔ)的元數(shù)據(jù)文件，它是HDFS文件系統(tǒng)的核心部分，存放著文件系統(tǒng)中所有文件的目錄樹。客戶端應(yīng)用程序通過(guò)NameNode來(lái)定位、添加、修改、拷貝、移動(dòng)和刪除文件。如果NameNode發(fā)生故障，文件系統(tǒng)就會(huì)離線。

精益求精

目前，華大基因每年的業(yè)務(wù)量成倍增長(zhǎng)：2010年4PB，2011年8PB，2012年10PB。華大基因計(jì)算中心主管介紹，這些針對(duì)數(shù)據(jù)的典型應(yīng)用包含了結(jié)構(gòu)化和非結(jié)構(gòu)化的計(jì)算模式，同時(shí)對(duì)一個(gè)任務(wù)的數(shù)據(jù)量的規(guī)模非常大，對(duì)計(jì)算內(nèi)存和存儲(chǔ)帶寬的需求也非常高。目前華大基因一天在計(jì)算集群上數(shù)據(jù)的吞吐量大概為320T，這相當(dāng)于Google的十分之一。華大基因現(xiàn)在有接近2000個(gè)計(jì)算節(jié)點(diǎn)，總的計(jì)算核心大概2萬(wàn)個(gè)。處理如此規(guī)模的數(shù)據(jù)量，對(duì)IT提出了巨大的挑戰(zhàn)。而Isilon在性能、擴(kuò)展性、簡(jiǎn)單易用、數(shù)據(jù)安全性方面的表現(xiàn)讓華大找到了精益求精的出路。

在性能方面，將500TB容量、13個(gè)節(jié)點(diǎn)分為一組，可以達(dá)到2GB/秒的存取速度。在擴(kuò)展性方面，Isilon設(shè)備的安裝部署十分快捷簡(jiǎn)單，每套系統(tǒng)只需要大約半天時(shí)間即可上線提供使用。容量擴(kuò)展的同時(shí)，整個(gè)計(jì)算平臺(tái)的性能也得以提升。華大基因計(jì)算中心系統(tǒng)管理人員說(shuō)：“Isilon系統(tǒng)非?？煽浚惭b部署十分方便，運(yùn)維工作也很簡(jiǎn)單輕松。”其中，華大基因最初購(gòu)買的10個(gè)節(jié)點(diǎn)集群擴(kuò)容成17個(gè)節(jié)點(diǎn)，就是由華大基因自己完成的。

在簡(jiǎn)單易用方面，除了安裝部署簡(jiǎn)便以外，運(yùn)維管理也非常簡(jiǎn)單。華大基因7.4PB的設(shè)備，只需要3名工程師就能管理。平時(shí)只要看看控制面板有沒(méi)有告警之類的信息就可以了。如果有告警，系統(tǒng)同時(shí)也會(huì)發(fā)郵件通知管理員。Isilon一個(gè)文件系統(tǒng)可以支持15PB容量，華大基因所有存儲(chǔ)容量都可以放在一個(gè)文件系統(tǒng)中，由系統(tǒng)自動(dòng)按需分配使用。

在安全性方面，Isilon支持最高達(dá)N+4的數(shù)據(jù)保護(hù)，也就是說(shuō)，當(dāng)4個(gè)節(jié)點(diǎn)故障時(shí)，數(shù)據(jù)不丟失。Isilon還支持分級(jí)保護(hù)，在一個(gè)文件系統(tǒng)中，可以將最重要的數(shù)據(jù)配置成N+4保護(hù)，將一般重要的數(shù)據(jù)配置成N+2保護(hù)。

總結(jié)起來(lái)，Isilon的獨(dú)特之處在于，它是一種橫向擴(kuò)展的NAS。容量擴(kuò)展時(shí)，性能線性提升。華大基因研究院每天有數(shù)千個(gè)應(yīng)用程序訪問(wèn)Isilon存儲(chǔ)，Isilon存儲(chǔ)解決方案通過(guò)高速并行存取的方式滿足需求。華大基因采用50多個(gè)節(jié)點(diǎn)高密度部署，提供共計(jì)超過(guò)7.4PB的NAS邏輯存儲(chǔ)容量。存儲(chǔ)節(jié)點(diǎn)之間通過(guò)低時(shí)延的Infiniband交換機(jī)連接，支持高并發(fā)訪問(wèn)，可實(shí)現(xiàn)自動(dòng)負(fù)載均衡。存儲(chǔ)集群分別使用100多個(gè)千兆以上級(jí)別網(wǎng)絡(luò)模塊，與總計(jì)超過(guò)750個(gè)計(jì)算服務(wù)器節(jié)點(diǎn)互聯(lián)，能夠提供累計(jì)高達(dá)200 Gbps的IO吞吐帶寬。所有節(jié)點(diǎn)通過(guò)單一系統(tǒng)管理，運(yùn)維方便，客戶可根據(jù)未來(lái)業(yè)務(wù)發(fā)展的需要隨時(shí)增加節(jié)點(diǎn)。