系統(tǒng)管理員嘉年華
——LISA 2010之一海量數(shù)據(jù)管理時代來臨

世界上并不只有研究人員和技術(shù)人員的會議，系統(tǒng)管理員們同樣有自己的會議，LISA（Large Installation System Administration）會議就是系統(tǒng)管理員們一年一次的嘉年華。LISA會議是由USENIX舉辦的會議，專門討論系統(tǒng)管理的技術(shù)與工具，讓全世界的管理員們有機(jī)會交流彼此的經(jīng)驗(yàn)，分享最新的工具和管理思想。

第24屆LISA會議于2010年11月在美國的圣何塞市召開。協(xié)辦方組織是LOPSA（the League of Professional System Administrators）和SNIA(Storage Network Industry Association)。LOSPA是USENIX下屬的一個獨(dú)立組織，主要面向系統(tǒng)管理員。

2010年LISA會議的一個重要主題是海量數(shù)據(jù)的管理，一方面由于會議的主題是針對大規(guī)模系統(tǒng)，另一方面也是由于互聯(lián)網(wǎng)內(nèi)容的不斷變化（視頻數(shù)據(jù)的增加）。本文將介紹LISA會議上關(guān)于海量數(shù)據(jù)管理的幾篇報告。

大型強(qiáng)子對撞機(jī)的計算處理挑戰(zhàn)

擁有據(jù)說能毀滅地球的大型強(qiáng)子對撞機(jī)（LHC）的CERN（歐洲粒子物理研究中心）的IT部分負(fù)責(zé)人Tony Cass解說了這臺大型物理實(shí)驗(yàn)設(shè)備背后的計算處理設(shè)施。

為了捕捉實(shí)驗(yàn)中每個質(zhì)子或中子的活動，系統(tǒng)需要拍攝數(shù)百萬張的電子照片，并將它們存儲下來。目前的數(shù)據(jù)量大約是每秒100MB到1GB,每年大約需要存儲25PB（25，000TB）的數(shù)據(jù)。CERN采用雙層的數(shù)據(jù)處理機(jī)制，在CERN中心只保存短期的數(shù)據(jù)，通過遍布世界的網(wǎng)格系統(tǒng)存儲長期數(shù)據(jù)。

在軟件上CERN采用了Oracle公司的RAC系統(tǒng)來保證系統(tǒng)的擴(kuò)展性，并開發(fā)了CVMFS（CERNVM-FS，一種緩存文件系統(tǒng)）作為底層的文件系統(tǒng)支持。

這個系統(tǒng)除了擴(kuò)展性，最重要的問題是可靠性，由于組成網(wǎng)格系統(tǒng)的每一臺機(jī)器并非都是高性能的穩(wěn)定服務(wù)器，基本上每個小時都會在網(wǎng)格中出現(xiàn)某臺機(jī)器的存儲故障，CERN通過冗余分配存儲任務(wù)來保證系統(tǒng)的穩(wěn)定性。

維塔數(shù)碼的存儲性能管理

維塔數(shù)碼是新西蘭著名的電影特效公司，由于3D技術(shù)的引入，它必須面對管理數(shù)據(jù)的海量增長。維塔公司最主要的工作就是少數(shù)藝術(shù)工作人員制作模型，然后將模型的渲染任務(wù)發(fā)布到后端強(qiáng)大的并發(fā)系統(tǒng)上。

維塔公司在文件系統(tǒng)上遇到了很多具體的問題。維塔公司并沒有采用真正的并發(fā)文件系統(tǒng)，因?yàn)樗麄冋J(rèn)為并發(fā)文件系統(tǒng)采用了過多的數(shù)據(jù)存儲文件的元數(shù)據(jù)件系統(tǒng)的管理，同時并發(fā)文件系統(tǒng)需要將文件劃分成若干塊存儲到不同的存儲系統(tǒng)中，而維塔公司處理的數(shù)據(jù)包含大量的小文件和少量的大文件，把小文件再進(jìn)行劃分是一件沒有效率的事情，因此維塔公司采用文件鏈接方式重新組織位于不同目錄的文件，實(shí)現(xiàn)了一個偽并發(fā)文件系統(tǒng)LinkFarm。

為了提高文件系統(tǒng)的性能，維塔還實(shí)現(xiàn)了一種硬盤空間的隱藏技術(shù)，因?yàn)楫?dāng)硬盤可用空間很少時，文件系統(tǒng)大部分的時間都用在搜索空閑塊上，通過隱藏小的可用空間，可以通過一小部分硬盤空間的損失來換取文件系統(tǒng)性能的大提升。

以太網(wǎng)統(tǒng)治存儲大勢已定

盡管光纖存儲系統(tǒng)比現(xiàn)有網(wǎng)絡(luò)存儲系統(tǒng)(iSCSI)更安全、更快，但基于以太網(wǎng)的存儲最終將代替或占據(jù)存儲系統(tǒng)的主流。iSCSI協(xié)議的方便、便宜和廣泛支持將讓其獲得更大的發(fā)展，而10Gb以太網(wǎng)的發(fā)展將給iSCSI協(xié)議超越光纖存儲系統(tǒng)的機(jī)遇。而各大主流存儲廠商提出的光纖存儲系統(tǒng)和以太網(wǎng)的融合技術(shù)尚不成熟。而最高層的網(wǎng)絡(luò)文件系統(tǒng)(NFS，network File System)也在繼續(xù)著自己的發(fā)展，NFS的第四版是相當(dāng)成熟的文件系統(tǒng)，而并發(fā)NFS(pNFS)也是現(xiàn)在存儲廠商主流支持的協(xié)議。盡管未來網(wǎng)絡(luò)存儲鹿死誰手依然難以預(yù)計，但以太網(wǎng)統(tǒng)治存儲的大勢已不會改變。