汪生珠，韓曉山，王曉麗

（1.中國(guó)石油長(zhǎng)慶油田分公司勘探開(kāi)發(fā)研究院，西安 710018；2.低滲透油氣田勘探開(kāi)發(fā)國(guó)家工程實(shí)驗(yàn)室，西安 710018）

集群NAS存儲(chǔ)技術(shù)及其產(chǎn)品選型要點(diǎn)

汪生珠1,2，韓曉山1,2，王曉麗1,2

（1.中國(guó)石油長(zhǎng)慶油田分公司勘探開(kāi)發(fā)研究院，西安 710018；2.低滲透油氣田勘探開(kāi)發(fā)國(guó)家工程實(shí)驗(yàn)室，西安 710018）

當(dāng)前，信息數(shù)據(jù)呈爆炸式增長(zhǎng)，存儲(chǔ)需求急劇膨脹，集群NAS磁盤(pán)存儲(chǔ)技術(shù)及其產(chǎn)品應(yīng)運(yùn)而生。本文根據(jù)存儲(chǔ)設(shè)備項(xiàng)目選型的實(shí)際經(jīng)歷，較為系統(tǒng)地闡述傳統(tǒng)NAS網(wǎng)絡(luò)存儲(chǔ)技術(shù)的優(yōu)點(diǎn)及局限性，總結(jié)分析目前集群NAS存儲(chǔ)的典型系統(tǒng)架構(gòu)及其技術(shù)特點(diǎn)，提出衡量和評(píng)價(jià)高效集群NAS存儲(chǔ)的具體指標(biāo)或標(biāo)準(zhǔn)。

NAS存儲(chǔ)；集群；橫向擴(kuò)展；架構(gòu)；選型要點(diǎn)

0 引 言

當(dāng)前，信息數(shù)據(jù)呈爆炸式增長(zhǎng)，存儲(chǔ)需求急劇膨脹，文件大小和數(shù)據(jù)規(guī)模從TB級(jí)、PB級(jí)邁向EB級(jí)、ZB級(jí)。研究顯示，2020年數(shù)字宇宙將達(dá)到35.2 ZB(1 ZB=100萬(wàn) PB=10億 TB)，比2009年的0.8 ZB猛增44倍。衛(wèi)星測(cè)繪、氣象科學(xué)、能源勘探、航空航天、科研教育、基因測(cè)序、醫(yī)學(xué)影像、公共事業(yè)、媒體娛樂(lè)和社會(huì)化Web等大量數(shù)據(jù)密集型應(yīng)用導(dǎo)致數(shù)據(jù)“井噴”，不斷對(duì)存儲(chǔ)方法提出新的嚴(yán)峻挑戰(zhàn)。

據(jù)IDC的統(tǒng)計(jì)，在快速增長(zhǎng)的信息數(shù)據(jù)中，基于文件類(lèi)型的非結(jié)構(gòu)化數(shù)據(jù)的增速極快，全球存儲(chǔ)市場(chǎng)的總出貨量中將有80%的容量被文件級(jí)數(shù)據(jù)所覆蓋。由于非結(jié)構(gòu)化內(nèi)容的存儲(chǔ)規(guī)模和復(fù)雜程度不斷提高，使得傳統(tǒng)存儲(chǔ)系統(tǒng)捉襟見(jiàn)肘。另外，非結(jié)構(gòu)化數(shù)據(jù)具有傳統(tǒng)存儲(chǔ)系統(tǒng)在設(shè)計(jì)時(shí)并未考慮的獨(dú)特特征，包括大型文件和數(shù)據(jù)量、高吞吐量要求、讀取密集型訪(fǎng)問(wèn)方式以及大量并行文件訪(fǎng)問(wèn)。

為此，集群存儲(chǔ)、并行存儲(chǔ)技術(shù)應(yīng)允而生，其性能可隨著存儲(chǔ)容量的增加而線(xiàn)性增加，是解決海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的理想方案。目前，國(guó)內(nèi)外各大專(zhuān)業(yè)存儲(chǔ)廠(chǎng)商紛紛推出了自己的集群NAS存儲(chǔ)產(chǎn)品。面對(duì)眾多的集群NAS存儲(chǔ)產(chǎn)品，如何正確選擇是廣大用戶(hù)面臨的主要問(wèn)題。

1 NAS存儲(chǔ)技術(shù)特點(diǎn)分析

NAS（Network-Attached Storage，網(wǎng)絡(luò)接入存儲(chǔ)）采用TCP/IP網(wǎng)絡(luò)技術(shù)，通過(guò)網(wǎng)絡(luò)交換機(jī)連接存儲(chǔ)系統(tǒng)和服務(wù)器主機(jī)，建立專(zhuān)用于數(shù)據(jù)存儲(chǔ)的存儲(chǔ)私網(wǎng)。隨著IP網(wǎng)絡(luò)技術(shù)的發(fā)展，NAS存儲(chǔ)技術(shù)發(fā)生了質(zhì)的飛躍。隨著萬(wàn)兆以太網(wǎng)及InfiniBand網(wǎng)絡(luò)的出現(xiàn)和投入商用，存儲(chǔ)網(wǎng)絡(luò)帶寬大大提高了NAS存儲(chǔ)的性能。另外，由于NAS存儲(chǔ)采用TCP/IP網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)交換，TCP/IP是IT業(yè)界的標(biāo)準(zhǔn)協(xié)議，不同廠(chǎng)商的產(chǎn)品（服務(wù)器、交換機(jī)、NAS存儲(chǔ)）只要滿(mǎn)足協(xié)議標(biāo)準(zhǔn)就能實(shí)現(xiàn)互連互通，無(wú)兼容性要求。

然而，傳統(tǒng)的NAS存儲(chǔ)系統(tǒng)由于受到其物理組成（如控制器性能、總線(xiàn)性能、磁盤(pán)驅(qū)動(dòng)器的數(shù)量、所連接服務(wù)器的數(shù)量、內(nèi)存大小以及NAS頭的性能等）的限制，以及功能上的局限（如支持文件系統(tǒng)的容量、元數(shù)據(jù)和數(shù)據(jù)處理通路的耦合、快照或復(fù)制的數(shù)量等），造成存儲(chǔ)系統(tǒng)瓶頸。為解決這種單個(gè)NAS系統(tǒng)的性能局限性和整個(gè)數(shù)據(jù)帶寬瓶頸，一是采用硬件更加強(qiáng)大的單個(gè)存儲(chǔ)系統(tǒng)，即所謂不斷向上擴(kuò)展(Scale-up，也稱(chēng)縱向擴(kuò)展)的模式。然而，由于業(yè)務(wù)和數(shù)據(jù)的大量增加，盡管單臺(tái)NAS的最高容量已達(dá)到PB級(jí)，仍難以滿(mǎn)足要求，這種不斷向上擴(kuò)展的模式幾乎已走到盡頭。二是面對(duì)越來(lái)越多的數(shù)據(jù)，企業(yè)用戶(hù)只好不斷購(gòu)買(mǎi)越來(lái)越多的NAS存儲(chǔ)，這樣一來(lái)，NAS存儲(chǔ)就和以前的DAS和SAN一樣，形成了新的“信息孤島”——多文件系統(tǒng)，多命名空間，多個(gè)掛載點(diǎn)。這給企業(yè)應(yīng)用和系統(tǒng)管理帶來(lái)了諸多不便。

于是，橫向擴(kuò)展（Scale-out）的NAS存儲(chǔ)技術(shù),即集群NAS應(yīng)運(yùn)而生。采用若干個(gè)普通性能的存儲(chǔ)系統(tǒng)來(lái)組成“存儲(chǔ)的集群”，可提供按比例增加的存儲(chǔ)資源的性能、容量、可靠性及可用性，突破了單機(jī)設(shè)備的種種限制，并且具有容量和性能線(xiàn)性擴(kuò)展的優(yōu)勢(shì)。這就如CPU技術(shù)，從不斷地提高頻率轉(zhuǎn)變?yōu)樵黾觾?nèi)核。

2 集群NAS存儲(chǔ)系統(tǒng)架構(gòu)

從整體架構(gòu)看，集群NAS由存儲(chǔ)子系統(tǒng)、NAS集群（機(jī)頭）及其互聯(lián)網(wǎng)絡(luò)組成。存儲(chǔ)子系統(tǒng)可以采用存儲(chǔ)區(qū)域網(wǎng)絡(luò)SAN、直接連接存儲(chǔ)DAS或者面向?qū)ο蟠鎯?chǔ)設(shè)備（Object-based Storage Device，OSD）的存儲(chǔ)架構(gòu)。根據(jù)所采用的后端存儲(chǔ)子系統(tǒng)的不同，可以把集群NAS分為3種技術(shù)架構(gòu)，即SAN共享存儲(chǔ)架構(gòu)、集群文件系統(tǒng)架構(gòu)和pNFS架構(gòu)。

2.1 SAN共享存儲(chǔ)架構(gòu)

這種架構(gòu)后端存儲(chǔ)采用SAN，所有NAS集群節(jié)點(diǎn)通過(guò)光纖連接到SAN，共享所有的存儲(chǔ)設(shè)備，通常采用SAN并行文件系統(tǒng)管理并輸出POSIX接口到NAS集群。SAN并行文件系統(tǒng)通常需要元數(shù)據(jù)控制服務(wù)器，可以是專(zhuān)用的元數(shù)據(jù)服務(wù)器，也可以采用完全分布的方式分布到SAN客戶(hù)端上。NAS集群上安裝SAN并行文件系統(tǒng)客戶(hù)端即可實(shí)現(xiàn)對(duì)SAN共享存儲(chǔ)的并發(fā)訪(fǎng)問(wèn)，然后運(yùn)行NFS/CIFS服務(wù)為客戶(hù)端提供服務(wù)。這里前端網(wǎng)絡(luò)采用以太網(wǎng)，后端存儲(chǔ)連接則采用SAN網(wǎng)絡(luò)，如圖1所示。

圖1 基于SAN共享存儲(chǔ)的集群NAS架構(gòu)

由于采用了高性能的SAN存儲(chǔ)網(wǎng)絡(luò)，這種集群NAS架構(gòu)可提供穩(wěn)定的高帶寬和IOPS性能，且可通過(guò)增加存儲(chǔ)盤(pán)陣實(shí)現(xiàn)存儲(chǔ)容量的擴(kuò)展；可通過(guò)增加NAS集群節(jié)點(diǎn)實(shí)現(xiàn)性能的擴(kuò)展?？蛻?hù)端可直接連接具體的NAS集群節(jié)點(diǎn)，并采用集群管理軟件來(lái)實(shí)現(xiàn)高可用性；也可采用DNS或LVS實(shí)現(xiàn)負(fù)載均衡和高可用性，客戶(hù)端使用虛擬IP進(jìn)行連接。采用這種架構(gòu)的集群NAS典型案例是IBM SONAS。

2.2 集群文件系統(tǒng)架構(gòu)

這種架構(gòu)也稱(chēng)全對(duì)稱(chēng)分布式架構(gòu)，后端存儲(chǔ)采用DAS，每個(gè)存儲(chǔ)服務(wù)器直連各自的存儲(chǔ)系統(tǒng)，通常為一組SAS或SATA磁盤(pán)，然后由集群文件系統(tǒng)統(tǒng)一管理物理分布的存儲(chǔ)空間，形成一個(gè)單一命名空間的文件系統(tǒng)。NAS集群通常與元數(shù)據(jù)服務(wù)集群或存儲(chǔ)節(jié)點(diǎn)集群運(yùn)行在相同的物理節(jié)點(diǎn)上，減少物理節(jié)點(diǎn)部署的規(guī)模。與SAN架構(gòu)不同，集群文件系統(tǒng)可能會(huì)與NAS服務(wù)共享TCP/IP網(wǎng)絡(luò)，相互之間產(chǎn)生性能影響，導(dǎo)致I/O性能的抖動(dòng)。但諸如EMC ISILON等集群文件系統(tǒng)存儲(chǔ)節(jié)點(diǎn)之間采用InfiniBand網(wǎng)絡(luò)互聯(lián)，可消除這種影響，保持性能的穩(wěn)定性，如圖2所示。

圖2 基于集群文件系統(tǒng)的集群NAS架構(gòu)

在這種架構(gòu)下，集群NAS的擴(kuò)展通過(guò)增加存儲(chǔ)節(jié)點(diǎn)來(lái)實(shí)現(xiàn)，往往同時(shí)擴(kuò)展存儲(chǔ)空間和性能，很多系統(tǒng)可達(dá)到接近線(xiàn)性地?cái)U(kuò)展?？蛻?hù)端訪(fǎng)問(wèn)集群NAS的方式與第一種架構(gòu)方式相同，負(fù)載均衡和可用性也可采用類(lèi)似的方式。由于服務(wù)器和存儲(chǔ)介質(zhì)都可采用通用標(biāo)準(zhǔn)的廉價(jià)設(shè)備，在成本上有很大優(yōu)勢(shì)，規(guī)模巨大。用這種架構(gòu)的集群NAS典型案例包括EMC ISILON、華為OceanStor 9000等。

2.3 pNFS架構(gòu)

這種架構(gòu)即并行NAS，即pNFS/NFSv 4.1，RFC 5661標(biāo)準(zhǔn)已于2010年1月獲得批準(zhǔn)通過(guò)。它的后端存儲(chǔ)采用面向?qū)ο蟠鎯?chǔ)設(shè)備（OSD），支持FC、NFS、OSD多種數(shù)據(jù)訪(fǎng)問(wèn)協(xié)議，客戶(hù)端讀寫(xiě)數(shù)據(jù)時(shí)直接與OSD設(shè)備相互進(jìn)行，而不像上述兩種架構(gòu)需要通過(guò)NAS集群來(lái)進(jìn)行數(shù)據(jù)中轉(zhuǎn)。這里的NAS集群僅作為元數(shù)據(jù)服務(wù)，I/O數(shù)據(jù)則由OSD處理，實(shí)現(xiàn)了元數(shù)據(jù)與數(shù)據(jù)的分離。這種架構(gòu)更像原生的并行文件系統(tǒng)，不僅系統(tǒng)架構(gòu)上更加簡(jiǎn)單，而且性能上得到了極大提升，擴(kuò)展性非常好，如圖3所示。

圖3 pNFS集群NAS架構(gòu)

這種架構(gòu)與上述兩種有著本質(zhì)的區(qū)別，pNFS采用元數(shù)據(jù)集群解決了傳統(tǒng)NAS的單點(diǎn)故障和性能瓶頸問(wèn)題，元數(shù)據(jù)與數(shù)據(jù)的分離則解決了性能和擴(kuò)展性問(wèn)題。然而，畢竟pNFS標(biāo)準(zhǔn)獲得批準(zhǔn)時(shí)間不長(zhǎng)，目前還沒(méi)有成熟的商業(yè)產(chǎn)品實(shí)現(xiàn)，OSD存儲(chǔ)設(shè)備發(fā)展多年也沒(méi)有得到市場(chǎng)廣泛認(rèn)可和普及，當(dāng)然很多研究機(jī)構(gòu)或存儲(chǔ)公司都在研發(fā)pNFS產(chǎn)品，如BlueArc等。

3 衡量和評(píng)價(jià)集群NAS存儲(chǔ)的技術(shù)指標(biāo)

存儲(chǔ)系統(tǒng)用戶(hù)企業(yè)的IT技術(shù)人員和技術(shù)主管們?nèi)绾魏饬?、評(píng)價(jià)和建立一個(gè)高效的集群NAS存儲(chǔ)系統(tǒng)，概括地講，可從是否具備大存儲(chǔ)容量、高性能、高可用性、高安全性、高可擴(kuò)展性、高可管理性等方面來(lái)考察。具體可用表1所列指標(biāo)來(lái)評(píng)價(jià)。

表1 衡量和評(píng)價(jià)高效存儲(chǔ)系統(tǒng)的技術(shù)指標(biāo)

續(xù)表

4 結(jié) 語(yǔ)

本文分析快速增長(zhǎng)的信息數(shù)據(jù)，尤其針對(duì)基于文件類(lèi)型的非結(jié)構(gòu)化數(shù)據(jù)的極快增速，總結(jié)分析目前集群NAS存儲(chǔ)的幾種系統(tǒng)架構(gòu)及其技術(shù)特點(diǎn)，提出衡量和評(píng)價(jià)高效集群NAS存儲(chǔ)的具體標(biāo)準(zhǔn)。需求無(wú)止境，技術(shù)發(fā)展無(wú)止境，這推動(dòng)著網(wǎng)絡(luò)存儲(chǔ)技術(shù)的持續(xù)發(fā)展和升級(jí)。作為存儲(chǔ)技術(shù)及其產(chǎn)品的相關(guān)者，不但要了解其過(guò)去和現(xiàn)在，更應(yīng)持續(xù)關(guān)注和跟蹤其未來(lái)。

第一，分布式—虛擬化存儲(chǔ)。利用虛擬化技術(shù)，將分散的存儲(chǔ)資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備，其高可擴(kuò)展性、低成本、無(wú)接入限制等優(yōu)點(diǎn)顯而易見(jiàn)。目前的“云存儲(chǔ)”正是分布式—虛擬化存儲(chǔ)技術(shù)的進(jìn)一步拓展和延伸。

第二，軟件定義存儲(chǔ)。軟件定義存儲(chǔ)可以理解成是對(duì)現(xiàn)有操作系統(tǒng)和管理軟件的一個(gè)結(jié)合，能夠完整的實(shí)現(xiàn)我們對(duì)存儲(chǔ)系統(tǒng)的部署、管理、監(jiān)控、調(diào)整等多個(gè)要求，可以給我們的存儲(chǔ)系統(tǒng)帶來(lái)靈活、自由和高可用等特點(diǎn)?，F(xiàn)在軟件定義的存儲(chǔ)的理解各不相同，但是拋棄硬件設(shè)備的限制，采用開(kāi)放的存儲(chǔ)架構(gòu)，提供存儲(chǔ)的性能、可管理性，這將是存儲(chǔ)領(lǐng)域發(fā)展的大趨勢(shì)。

第三，存儲(chǔ)到了40 G時(shí)代。在云時(shí)代，存儲(chǔ)系統(tǒng)的高速、高效是重要指標(biāo)，相對(duì)于10 Gbps的高端以太網(wǎng)存儲(chǔ)，InfiniBand起步就是40 Gbps，且延遲縮短至1/10甚至1/20。

第四，操作系統(tǒng)內(nèi)嵌pNFS協(xié)議成為標(biāo)準(zhǔn)。集群NAS的核心是底層的并行文件系統(tǒng)或集群文件系統(tǒng)，隨著pNFS協(xié)議的日臻完善和普及，在不久的將來(lái)，各種NAS存儲(chǔ)系統(tǒng)或許不再需要配置各自的專(zhuān)有核心文件系統(tǒng)。

第五，國(guó)產(chǎn)網(wǎng)絡(luò)存儲(chǔ)產(chǎn)品應(yīng)用勢(shì)頭強(qiáng)勁。經(jīng)過(guò)多年的應(yīng)用摸索和技術(shù)積累，國(guó)內(nèi)存儲(chǔ)廠(chǎng)商快速發(fā)展，紛紛推出自己的集群NAS產(chǎn)品，如華為、海康威視、浪潮以及曙光等。而且伴隨國(guó)家信息安全形勢(shì)的迫切要求和系統(tǒng)建設(shè)任務(wù)的浪潮，國(guó)內(nèi)品牌的服務(wù)器、數(shù)據(jù)庫(kù)和存儲(chǔ)設(shè)備廠(chǎng)商表現(xiàn)出了高度熱情，積極投身產(chǎn)品研發(fā)，技術(shù)創(chuàng)新與質(zhì)量迅速提升。

［1］劉愛(ài)貴.橫向擴(kuò)展（Scale-Out）存儲(chǔ)［EB/OL］.(2011-03-25)［2015-04-21］.http://blog.csdn.net/liuaigui/article/details/6278774.

［2］存儲(chǔ)在線(xiàn).集群NAS的發(fā)展及應(yīng)用［EB/OL］.(2012-11-05)［2015-04-21］.http://www.dostor.com/article/2012-11-05/1548532.shtml.

［3］百度百科.集群存儲(chǔ)［EB/OL］.(2013-12-09)［2015-04-21］.http://baike.baidu.com/link?url=GQxo7yJjqAx7MmIcjrwoWqk8KuCenhwTUI Qs1f7uy_TOARAA9cq04qSsZPaZN7ZC_jKSh6VjUOmtClLN7mzmVa.

［4］劉愛(ài)貴.集群NAS技術(shù)架構(gòu)［EB/OL］.(2011-05-15)［2015-04-21］.http://blog.csdn.net/liuaigui/article/details/6422700.

10.3969/j.issn.1673 - 0194.2015.16.125

TP333

A

1673-0194(2015)16-0175-03

2015-06-11