張 超

（大慶油田信息技術(shù)公司北京分公司，北京 100043）

信息時(shí)代之下，隨著網(wǎng)絡(luò)技術(shù)的不斷成熟，如何通過(guò)網(wǎng)絡(luò)來(lái)形成一個(gè)相對(duì)較大的資源池，并且進(jìn)一步實(shí)現(xiàn)對(duì)于相關(guān)資源的優(yōu)化利用，成為當(dāng)前該環(huán)境下共同的關(guān)注重點(diǎn)。而對(duì)于存儲(chǔ)領(lǐng)域而言，同樣存在類(lèi)似的發(fā)展趨勢(shì)，集群存儲(chǔ)技術(shù)已經(jīng)成為當(dāng)前發(fā)展的重要方向，并且從需求的角度看，其存在也必然會(huì)在未來(lái)煥發(fā)出獨(dú)特的生命力。

1 集群存儲(chǔ)技術(shù)淺析

集群存儲(chǔ)技術(shù)，從概念的角度看，就是由物理上分散的多個(gè)通用存儲(chǔ)設(shè)備通過(guò)網(wǎng)絡(luò)共同組成的，用于存儲(chǔ)的集群體系。整個(gè)集群存儲(chǔ)體系通過(guò)網(wǎng)絡(luò)保持聯(lián)系，并且由相應(yīng)的管理系統(tǒng)展開(kāi)控制，實(shí)現(xiàn)對(duì)于整個(gè)集群環(huán)境中整體存儲(chǔ)能力的提升與優(yōu)化。

在實(shí)際的工作系統(tǒng)發(fā)展過(guò)程中，集群是作為本地存儲(chǔ)系統(tǒng)能力限制以及利用率不足同時(shí)出現(xiàn)的一種有效解決方案。在其應(yīng)用環(huán)境中，主要價(jià)值體現(xiàn)在負(fù)載均衡、分布式操作以及良好的擴(kuò)展彈性三個(gè)主要方面。其中負(fù)載均衡，即集群存儲(chǔ)通過(guò)相應(yīng)的系統(tǒng)控制，來(lái)實(shí)現(xiàn)在整個(gè)體系環(huán)境中的負(fù)載均衡，通過(guò)相應(yīng)的算法和策略，將來(lái)源于用戶(hù)的訪問(wèn)以一種更為合理的方式分散到不同的存儲(chǔ)節(jié)點(diǎn)上，同時(shí)通過(guò)開(kāi)放式的架構(gòu)和后端網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的格局優(yōu)化。而這一切，都需要分布式操作系統(tǒng)的有效支持，其負(fù)責(zé)面向整個(gè)集群存儲(chǔ)體系實(shí)現(xiàn)管理，并且考慮到需要面向分散的用戶(hù)群體提供具有針對(duì)性的服務(wù)，該種操作系統(tǒng)同樣選用分布式作為主要實(shí)現(xiàn)方式，多個(gè)節(jié)點(diǎn)之間并行工作，雖然在算法和同步方面會(huì)帶來(lái)額外開(kāi)銷(xiāo)，但是性能方面卻可以得到進(jìn)一步的提升。最后，在開(kāi)放性特征方面，主要是考慮到當(dāng)前工作環(huán)境本身都呈現(xiàn)出的越來(lái)越強(qiáng)的彈性特征，因此會(huì)要求集群存儲(chǔ)體系能夠支持面向存儲(chǔ)節(jié)點(diǎn)、前端網(wǎng)絡(luò)以及后端網(wǎng)絡(luò)實(shí)現(xiàn)多個(gè)層面的開(kāi)放支持。同時(shí)這種開(kāi)放特征，對(duì)于系統(tǒng)本身的成長(zhǎng)而言同樣具有積極價(jià)值

依據(jù)工作原則以及系統(tǒng)結(jié)構(gòu)的不同，集群存儲(chǔ)系統(tǒng)可以分為對(duì)稱(chēng)式集群存儲(chǔ)體系和非對(duì)稱(chēng)式集群存儲(chǔ)體系兩種。在對(duì)稱(chēng)結(jié)構(gòu)環(huán)境中，所有的存儲(chǔ)節(jié)點(diǎn)都存儲(chǔ)有磁盤(pán)結(jié)構(gòu)的全部信息，因此每一個(gè)節(jié)點(diǎn)都可以獨(dú)立提供元數(shù)據(jù)的相關(guān)訪問(wèn)服務(wù)，而元數(shù)據(jù)的管理和同步則通過(guò)網(wǎng)絡(luò)和分布式控制體系加以實(shí)現(xiàn)。該領(lǐng)域中的典范包括IBM的GPFS（General Parallel File System）以及Red Hat的GFS（Google File System）。而非對(duì)稱(chēng)式集群存儲(chǔ)體系則是由一個(gè)或一組專(zhuān)用元數(shù)據(jù)服務(wù)器展開(kāi)對(duì)于文件系統(tǒng)和磁盤(pán)結(jié)構(gòu)的維護(hù)和管理，所有的服務(wù)提供只能由這樣一組服務(wù)器提供。在該領(lǐng)域環(huán)境中，典范產(chǎn)品包括Panasas的PanFS以及Lustre的Cluster FS（Cluster File System）等。

2 GFS工作體系的深入分析

在對(duì)稱(chēng)結(jié)構(gòu)的集群存儲(chǔ)系統(tǒng)中，GPFS由Tiger Shark發(fā)展而來(lái)，一直以來(lái)以其高性能和良好的彈性著稱(chēng)于世，并且在可用性方面也有不俗表現(xiàn)。但是GFS作為開(kāi)源的典范，同樣受到一貫的關(guān)注，其能夠?qū)nix語(yǔ)義和POSIX標(biāo)準(zhǔn)實(shí)現(xiàn)良好支持，能夠通過(guò)日志實(shí)現(xiàn)客戶(hù)節(jié)點(diǎn)失效的快速恢復(fù)，支持采用設(shè)備端的數(shù)據(jù)塊級(jí)的分布式鎖機(jī)制來(lái)對(duì)文件讀寫(xiě)進(jìn)行同步。

圖1為其框架示意圖。

圖1 GFS體系結(jié)構(gòu)示意圖

進(jìn)一步從軟件實(shí)現(xiàn)的角度看，GFS體系中的全局文件系統(tǒng)采用C/S方式加以實(shí)現(xiàn)，客戶(hù)端需要承擔(dān)操作系統(tǒng)與VFS層的接口實(shí)現(xiàn)，并且提供標(biāo)準(zhǔn)文件系統(tǒng)操作支持。其客戶(hù)端的邏輯結(jié)構(gòu)參見(jiàn)圖2。

圖2 GFS客戶(hù)端邏輯結(jié)構(gòu)示意圖

在客戶(hù)端，GFS的文件請(qǐng)求均由服務(wù)器來(lái)實(shí)現(xiàn)。當(dāng)出現(xiàn)大量頻繁的數(shù)據(jù)請(qǐng)求的時(shí)候，為了避免數(shù)據(jù)環(huán)境中過(guò)大的系統(tǒng)資源開(kāi)銷(xiāo)，文件讀寫(xiě)系統(tǒng)會(huì)提供一個(gè)旁路緩沖標(biāo)志，在該標(biāo)志的指引下，數(shù)據(jù)可以不需要緩沖直接送達(dá)服務(wù)器。對(duì)應(yīng)的服務(wù)器端的邏輯結(jié)構(gòu)參見(jiàn)圖3。

圖3 GFS系統(tǒng)服務(wù)器端邏輯結(jié)構(gòu)示意圖

在服務(wù)器端，GFS服務(wù)器中的服務(wù)線程接收用戶(hù)的文件請(qǐng)求，而后請(qǐng)求觸發(fā)硬件終端，并且由系統(tǒng)喚醒等待的線程來(lái)處理這個(gè)請(qǐng)求，并且將對(duì)應(yīng)的輸出結(jié)果進(jìn)行發(fā)送。

3 結(jié)論

在分布式集群存儲(chǔ)技術(shù)環(huán)境中，多種產(chǎn)品競(jìng)相發(fā)展，不同的技術(shù)均具有不同的應(yīng)用特征，并且在實(shí)踐的過(guò)程中呈現(xiàn)出對(duì)應(yīng)的適用性。針對(duì)此種狀態(tài)，實(shí)際中必須針對(duì)實(shí)際情況展開(kāi)全面而深入的分析，并且切實(shí)了解不同的集群存儲(chǔ)特征，才能實(shí)現(xiàn)有效選擇。

[1]Schmuck F, Haskin R. GPFS:A Shared-disk File System for Large Computing Clusters.Proc.of Conference on File and Storage Technologies, 2002-01-28.

[2]Preslan K W, Barry A, Brassow J. Scalability and Failure Recovery in a Linux Cluster File System.USENIX Association, 2000.