魯瑛

摘 要：存儲(chǔ)虛擬化是指抽象化或虛擬化存儲(chǔ)設(shè)備或存儲(chǔ)子系統(tǒng)，建立一個(gè)統(tǒng)一的存儲(chǔ)資源池，對(duì)存儲(chǔ)子系統(tǒng)的容量和性能，及存儲(chǔ)服務(wù)進(jìn)行靈活的管理，以提供更精確地控制?；谠O(shè)備側(cè)進(jìn)行存儲(chǔ)虛擬化，能夠隱藏各種異構(gòu)存儲(chǔ)的復(fù)雜性，提高存儲(chǔ)利用率，降低管理和基礎(chǔ)架構(gòu)成本，并聚合存儲(chǔ)設(shè)備的功能。

關(guān)鍵詞：存儲(chǔ) 虛擬化 云計(jì)算 云存儲(chǔ)

研究背景

長(zhǎng)江海事局信息中心在建設(shè)信息系統(tǒng)的過(guò)程中，逐年分批采購(gòu)了多種品牌、不同檔次的服務(wù)器及存儲(chǔ)設(shè)備，因此當(dāng)前各應(yīng)用系統(tǒng)部署在不同的存儲(chǔ)設(shè)備上，導(dǎo)致信息資源局限于單個(gè)的存儲(chǔ)設(shè)備中，系統(tǒng)之間無(wú)法進(jìn)行有效的數(shù)據(jù)整合和共享。隨著企業(yè)的信息化建設(shè)的不斷深入， 企業(yè)存儲(chǔ)環(huán)境的復(fù)雜度也在日益加劇，給IT信息系統(tǒng)建設(shè)帶來(lái)日益嚴(yán)重的影響，具體表現(xiàn)在：①存儲(chǔ)孤島：異構(gòu)的存儲(chǔ)彼此采用不同的技術(shù)架構(gòu)，不同品牌陣列之間數(shù)據(jù)無(wú)法自由復(fù)制和遷移；②管理復(fù)雜：異構(gòu)的存儲(chǔ)各自使用不同的管理工具，無(wú)法使用簡(jiǎn)單界面統(tǒng)一管理；③低利用率：異構(gòu)存儲(chǔ)各自存在的零散空間無(wú)法整合，無(wú)法充分利用存儲(chǔ)有效空間；④數(shù)據(jù)復(fù)制： 異構(gòu)存儲(chǔ)間難以進(jìn)行數(shù)據(jù)復(fù)制，給系統(tǒng)割接、升級(jí)、遷移造成重大困擾；⑤數(shù)據(jù)分層：以往受到技術(shù)限制，難以實(shí)現(xiàn)存儲(chǔ)分層，導(dǎo)致高價(jià)值存儲(chǔ)長(zhǎng)期被低價(jià)值數(shù)據(jù)占用；⑥設(shè)備利舊：網(wǎng)管系統(tǒng)統(tǒng)一存儲(chǔ)后，退網(wǎng)下來(lái)的低端存儲(chǔ)由于容量、性能的問(wèn)題難以用于部署新的系統(tǒng)，無(wú)法得到合理的使用；⑦容災(zāi)壁壘：異構(gòu)存儲(chǔ)難以實(shí)現(xiàn)異地容災(zāi)，選用同構(gòu)存儲(chǔ)常常導(dǎo)致過(guò)高的商務(wù)代價(jià)；⑧能耗問(wèn)題： 異構(gòu)存儲(chǔ)的低利用率及難以實(shí)現(xiàn)存儲(chǔ)分層，導(dǎo)致耗電 散熱、空間的過(guò)度使用；

探索基于設(shè)備側(cè)來(lái)實(shí)現(xiàn)存儲(chǔ)虛擬化，能夠?qū)⒍喾N不同廠商的存儲(chǔ)設(shè)備集成在一起，統(tǒng)一進(jìn)行管理、分配，形成一個(gè)單一的、大型的存儲(chǔ)池，能夠通過(guò)一個(gè)單一的界面和管理模式來(lái)進(jìn)行管理，并實(shí)現(xiàn)異構(gòu)存儲(chǔ)間的數(shù)據(jù)復(fù)制及分層存儲(chǔ)，進(jìn)而打破容災(zāi)壁壘，實(shí)現(xiàn)設(shè)備利舊，提高存儲(chǔ)利用率，降低能源及空間消耗以實(shí)現(xiàn)綠色環(huán)保，節(jié)能減排的目的，從而解決目前面臨的諸多難題，提供更靈活、更高效的存儲(chǔ)系統(tǒng)解決方案。

研究目標(biāo)

目標(biāo)是研究適合長(zhǎng)江海事局信息中心的存儲(chǔ)虛擬化技術(shù)。研究基于設(shè)備側(cè)的存儲(chǔ)虛擬化，評(píng)估被虛擬化存儲(chǔ)在虛擬化前后性能的變化，并進(jìn)而研究由虛擬化技術(shù)衍生的分層存儲(chǔ)技術(shù)、以及在異構(gòu)存儲(chǔ)之間進(jìn)行基于底層的容災(zāi)技術(shù)等，不僅能夠解決長(zhǎng)江海事局信息中心現(xiàn)有存儲(chǔ)環(huán)境存在的諸多問(wèn)題，也為尋找向云存儲(chǔ)演進(jìn)的最佳路線做出了有益的嘗試。

研究成果

此次存儲(chǔ)虛擬化的研究成果分為三個(gè)方面：

1、發(fā)現(xiàn)最適合數(shù)據(jù)中心發(fā)展需要的存儲(chǔ)虛擬化的技術(shù)手段

存儲(chǔ)的虛擬化可以在三個(gè)不同的層面上實(shí)現(xiàn)，包括基于專用卷管理軟件在主機(jī)服務(wù)器上實(shí)現(xiàn)，或者利用陣列控制器的固件在磁盤陣列上實(shí)現(xiàn)，再或者是利用專用的虛擬化引擎在存儲(chǔ)網(wǎng)絡(luò)上實(shí)現(xiàn)。本文通過(guò)基于設(shè)備側(cè)的存儲(chǔ)虛擬化創(chuàng)新研究，找到了最適合數(shù)據(jù)中心現(xiàn)狀及發(fā)展方向的虛擬化方式，從而實(shí)現(xiàn)數(shù)據(jù)中心存儲(chǔ)虛擬化的技術(shù)手段。

2、實(shí)現(xiàn)數(shù)據(jù)中心現(xiàn)有分散存儲(chǔ)架構(gòu)向虛擬存儲(chǔ)平臺(tái)及統(tǒng)一管理模式轉(zhuǎn)型

通過(guò)在服務(wù)器端虛擬化項(xiàng)目的部署和桌面虛擬化的試用評(píng)估過(guò)程中的研究，我們實(shí)現(xiàn)了將目前分隔在數(shù)據(jù)中心兩個(gè)機(jī)房的三臺(tái)異構(gòu)存儲(chǔ)整合成一個(gè)統(tǒng)一的虛擬存儲(chǔ)池，屏蔽了存儲(chǔ)型號(hào)、功能軟件及物理距離的差異，把它們作為一個(gè)單一資源，從單一邏輯視圖中進(jìn)行統(tǒng)一管理，解決了現(xiàn)網(wǎng)諸多難題。

3、制定由現(xiàn)有傳統(tǒng)存儲(chǔ)環(huán)境向云存儲(chǔ)演進(jìn)的規(guī)劃

通過(guò)研究基于設(shè)備側(cè)的存儲(chǔ)虛擬化技術(shù)，能夠幫助我們充分評(píng)估虛擬化前后存儲(chǔ)環(huán)境性能、功能、管理模式等多方面的變化，更加充分的了解虛擬化存儲(chǔ)環(huán)境對(duì)業(yè)務(wù)系統(tǒng)的支撐能力，從而有利于我們制定一套規(guī)則，即如何根據(jù)數(shù)據(jù)中心的業(yè)務(wù)模型及各種服務(wù)的參數(shù)來(lái)定制將來(lái)所需要的虛擬化存儲(chǔ)平臺(tái)，從而逐步實(shí)現(xiàn)向云存儲(chǔ)架構(gòu)演進(jìn)的行動(dòng)規(guī)劃。

存儲(chǔ)虛擬化試驗(yàn)

1、基于設(shè)備側(cè)實(shí)施存儲(chǔ)虛擬化的原理

基于設(shè)備側(cè)實(shí)施存儲(chǔ)虛擬化的原理如圖1所示，外部存儲(chǔ)可以通過(guò)以下三種方式與高端存儲(chǔ)進(jìn)行連接，光纖直連方式、光纖交換機(jī)方式、通道延展器（距離較遠(yuǎn)）。H3C將存儲(chǔ)虛擬化功能固化在磁盤存儲(chǔ)系統(tǒng)的控制器上。這樣，USPV的自帶磁盤可以直接被虛擬化引擎所管理。USPV同時(shí)可以把連接在同一個(gè)SAN上的其他存儲(chǔ)系統(tǒng)映射成內(nèi)置盤，然后對(duì)其進(jìn)行虛擬化管理，虛擬化以后的設(shè)備對(duì)主機(jī)透明。由于虛擬化引擎集成在磁盤陣列內(nèi)部，所以可以比較容易的繼承磁盤陣列一些固有的高級(jí)功能，如快照、克隆、復(fù)制、分區(qū)等等。

2、測(cè)試設(shè)備及測(cè)試拓?fù)鋱D

此次測(cè)試在長(zhǎng)江海事局信息中心進(jìn)行，實(shí)際測(cè)試時(shí)間大約4周，測(cè)試所用主要存儲(chǔ)設(shè)備及拓?fù)淙鐖D2 所示。數(shù)據(jù)中心近40個(gè)在線業(yè)務(wù)系統(tǒng)的IT設(shè)備主要分布在海事局的兩個(gè)獨(dú)立機(jī)房中，本次測(cè)試使用海事局機(jī)房1臺(tái)H3C存儲(chǔ)系統(tǒng)、1臺(tái)H3C陣列（2個(gè)控制器）和容災(zāi)機(jī)房1臺(tái)IBM存儲(chǔ)構(gòu)建SAN架構(gòu)測(cè)試環(huán)境，主機(jī)采用1臺(tái)SUN Solaris系列服務(wù)器（Solaris操作系統(tǒng)10版本，配置二塊HBA卡）。

3、測(cè)試用例

根據(jù)業(yè)務(wù)系統(tǒng)評(píng)估對(duì)存儲(chǔ)虛擬化技術(shù)的相關(guān)要求和規(guī)范，此次測(cè)試主要對(duì)如下關(guān)鍵技術(shù)指標(biāo)進(jìn)行了驗(yàn)證：異構(gòu)環(huán)境支持；跨異構(gòu)存儲(chǔ)快照功能；異構(gòu)存儲(chǔ)容災(zāi)測(cè)試；分級(jí)存儲(chǔ)；在線數(shù)據(jù)遷移；在線存儲(chǔ)分配和回收；集中存儲(chǔ)管理；遷入（由非虛擬化環(huán)境遷入到虛擬化環(huán)境）；遷出（由虛擬化環(huán)境遷出到非虛擬化環(huán)境）；高可用測(cè)試；性能測(cè)試；管理測(cè)試。

特別的，由于擔(dān)心虛擬化前后存儲(chǔ)性能的差異，我們對(duì)被虛擬化的兩臺(tái)存儲(chǔ)在虛擬化前后的性能在各種應(yīng)用模型下進(jìn)行了測(cè)試。圖3和圖4分別是H3C和IBM在虛擬化前后的性能對(duì)比。

測(cè)試結(jié)果表明，不管是低端的H3C，還是高端的IBM，在絕大多數(shù)應(yīng)用模型下（不同的讀寫比例，不同的IO塊大?。?，目標(biāo)存儲(chǔ)在實(shí)施虛擬化以后性能都會(huì)得到一定的提高，這是由于H3C USPV是專門針對(duì)存儲(chǔ)虛擬化應(yīng)用而設(shè)計(jì)，其自身強(qiáng)大的數(shù)據(jù)處理能力和虛擬化能力，能對(duì)通過(guò)其上的數(shù)據(jù)進(jìn)行優(yōu)化處理的緣故。

4、虛擬化試驗(yàn)結(jié)果

根據(jù)評(píng)估結(jié)果分析，基于設(shè)備側(cè)的存儲(chǔ)虛擬化，能夠解決數(shù)據(jù)中心現(xiàn)有存儲(chǔ)環(huán)境存在的諸多問(wèn)題，能夠簡(jiǎn)化管理復(fù)雜度、降低成本，還可以同時(shí)解決容量的快速膨脹和集中帶來(lái)的設(shè)備的異構(gòu)性、互操作性、性能下降、災(zāi)難防備等一系列問(wèn)題。具體試驗(yàn)結(jié)果可以總結(jié)為：①虛擬化后的異構(gòu)存儲(chǔ)個(gè)指標(biāo)不低于虛擬化前的性能，在某些情況下還略有提高。②整合的存儲(chǔ)資源，實(shí)現(xiàn)了數(shù)據(jù)分層，設(shè)備利舊，降低能耗。整合后的存儲(chǔ)資源便于管理，使用方便。 ③USPV的虛擬化能夠很好的整合異構(gòu)存儲(chǔ)，并且由于不更改異構(gòu)存儲(chǔ)的原有卷配置，容易實(shí)現(xiàn)回退。④統(tǒng)一資源管理（HDP）測(cè)試能夠?qū)崿F(xiàn)存儲(chǔ)空間的預(yù)分配和自動(dòng)分配功能，并且能夠?qū)崿F(xiàn)卷容量的在線修改調(diào)整。⑤存儲(chǔ)虛擬化后本地跨異構(gòu)存儲(chǔ)的數(shù)據(jù)復(fù)制（TrueCopy）實(shí)現(xiàn)了被虛擬化外部磁盤與其它H3C USP V內(nèi)部磁盤可以完成數(shù)據(jù)復(fù)制。⑥存儲(chǔ)虛擬化后本地跨異構(gòu)存儲(chǔ)的數(shù)據(jù)復(fù)制（ShadowImage）實(shí)現(xiàn)了USP V內(nèi)部磁盤和被虛擬化外部磁盤可以完成數(shù)據(jù)復(fù)制。⑦整合后的存儲(chǔ)資源可以實(shí)現(xiàn)簡(jiǎn)單界面統(tǒng)一管理，因此更加便于管理，使用方便。

創(chuàng)新性與推廣應(yīng)用價(jià)值

1、創(chuàng)新性

通過(guò)基于設(shè)備側(cè)的存儲(chǔ)虛擬化，實(shí)現(xiàn)集中并共享傳統(tǒng)分散的存儲(chǔ)資源，可以使存儲(chǔ)利用率提高20%～40%，降低機(jī)房空間、電源和空調(diào)費(fèi)用，減少數(shù)據(jù)遷移費(fèi)用，減少軟硬件的維保費(fèi)用，減少存儲(chǔ)維護(hù)人員并降低培訓(xùn)費(fèi)用，減少存儲(chǔ)初期購(gòu)置成本，避免長(zhǎng)期不使用的數(shù)據(jù)對(duì)高價(jià)值存儲(chǔ)空間的占用，并優(yōu)化系統(tǒng)性能，降低宕機(jī)風(fēng)險(xiǎn)，從而具有極高的經(jīng)濟(jì)效益。同時(shí)可以解決當(dāng)前分散、異構(gòu)存儲(chǔ)平臺(tái)下的諸多問(wèn)題，突破異構(gòu)存儲(chǔ)管理、使用中的諸多瓶頸，釋放分散異構(gòu)存儲(chǔ)的空間和性能，促進(jìn)了存儲(chǔ)整體架構(gòu)上的變革，使以往孤立、單獨(dú)建設(shè)的存儲(chǔ)向統(tǒng)一的虛擬存儲(chǔ)平臺(tái)過(guò)度，并為逐步的向云存儲(chǔ)演進(jìn)做好了充分的準(zhǔn)備。

2、推廣應(yīng)用價(jià)值

基于設(shè)備側(cè)實(shí)現(xiàn)存儲(chǔ)虛擬化的主要價(jià)值在于提高存儲(chǔ)利用效率，簡(jiǎn)化管理，解決現(xiàn)網(wǎng)的諸多難題，具備經(jīng)濟(jì)上和技術(shù)上的雙重價(jià)值。主要適合如下場(chǎng)景：①存在多個(gè)異構(gòu)存儲(chǔ)的環(huán)境；②實(shí)現(xiàn)數(shù)據(jù)的分層存儲(chǔ)；③ 存儲(chǔ)統(tǒng)一管理；④異構(gòu)存儲(chǔ)容災(zāi)整合；⑤存在多個(gè)需要利舊的陣列。

（作者單位：武漢海事局通信信息中心）

摘 要：存儲(chǔ)虛擬化是指抽象化或虛擬化存儲(chǔ)設(shè)備或存儲(chǔ)子系統(tǒng)，建立一個(gè)統(tǒng)一的存儲(chǔ)資源池，對(duì)存儲(chǔ)子系統(tǒng)的容量和性能，及存儲(chǔ)服務(wù)進(jìn)行靈活的管理，以提供更精確地控制?；谠O(shè)備側(cè)進(jìn)行存儲(chǔ)虛擬化，能夠隱藏各種異構(gòu)存儲(chǔ)的復(fù)雜性，提高存儲(chǔ)利用率，降低管理和基礎(chǔ)架構(gòu)成本，并聚合存儲(chǔ)設(shè)備的功能。

關(guān)鍵詞：存儲(chǔ) 虛擬化 云計(jì)算 云存儲(chǔ)

研究背景

長(zhǎng)江海事局信息中心在建設(shè)信息系統(tǒng)的過(guò)程中，逐年分批采購(gòu)了多種品牌、不同檔次的服務(wù)器及存儲(chǔ)設(shè)備，因此當(dāng)前各應(yīng)用系統(tǒng)部署在不同的存儲(chǔ)設(shè)備上，導(dǎo)致信息資源局限于單個(gè)的存儲(chǔ)設(shè)備中，系統(tǒng)之間無(wú)法進(jìn)行有效的數(shù)據(jù)整合和共享。隨著企業(yè)的信息化建設(shè)的不斷深入， 企業(yè)存儲(chǔ)環(huán)境的復(fù)雜度也在日益加劇，給IT信息系統(tǒng)建設(shè)帶來(lái)日益嚴(yán)重的影響，具體表現(xiàn)在：①存儲(chǔ)孤島：異構(gòu)的存儲(chǔ)彼此采用不同的技術(shù)架構(gòu)，不同品牌陣列之間數(shù)據(jù)無(wú)法自由復(fù)制和遷移；②管理復(fù)雜：異構(gòu)的存儲(chǔ)各自使用不同的管理工具，無(wú)法使用簡(jiǎn)單界面統(tǒng)一管理；③低利用率：異構(gòu)存儲(chǔ)各自存在的零散空間無(wú)法整合，無(wú)法充分利用存儲(chǔ)有效空間；④數(shù)據(jù)復(fù)制： 異構(gòu)存儲(chǔ)間難以進(jìn)行數(shù)據(jù)復(fù)制，給系統(tǒng)割接、升級(jí)、遷移造成重大困擾；⑤數(shù)據(jù)分層：以往受到技術(shù)限制，難以實(shí)現(xiàn)存儲(chǔ)分層，導(dǎo)致高價(jià)值存儲(chǔ)長(zhǎng)期被低價(jià)值數(shù)據(jù)占用；⑥設(shè)備利舊：網(wǎng)管系統(tǒng)統(tǒng)一存儲(chǔ)后，退網(wǎng)下來(lái)的低端存儲(chǔ)由于容量、性能的問(wèn)題難以用于部署新的系統(tǒng)，無(wú)法得到合理的使用；⑦容災(zāi)壁壘：異構(gòu)存儲(chǔ)難以實(shí)現(xiàn)異地容災(zāi)，選用同構(gòu)存儲(chǔ)常常導(dǎo)致過(guò)高的商務(wù)代價(jià)；⑧能耗問(wèn)題： 異構(gòu)存儲(chǔ)的低利用率及難以實(shí)現(xiàn)存儲(chǔ)分層，導(dǎo)致耗電 散熱、空間的過(guò)度使用；

探索基于設(shè)備側(cè)來(lái)實(shí)現(xiàn)存儲(chǔ)虛擬化，能夠?qū)⒍喾N不同廠商的存儲(chǔ)設(shè)備集成在一起，統(tǒng)一進(jìn)行管理、分配，形成一個(gè)單一的、大型的存儲(chǔ)池，能夠通過(guò)一個(gè)單一的界面和管理模式來(lái)進(jìn)行管理，并實(shí)現(xiàn)異構(gòu)存儲(chǔ)間的數(shù)據(jù)復(fù)制及分層存儲(chǔ)，進(jìn)而打破容災(zāi)壁壘，實(shí)現(xiàn)設(shè)備利舊，提高存儲(chǔ)利用率，降低能源及空間消耗以實(shí)現(xiàn)綠色環(huán)保，節(jié)能減排的目的，從而解決目前面臨的諸多難題，提供更靈活、更高效的存儲(chǔ)系統(tǒng)解決方案。

研究目標(biāo)

目標(biāo)是研究適合長(zhǎng)江海事局信息中心的存儲(chǔ)虛擬化技術(shù)。研究基于設(shè)備側(cè)的存儲(chǔ)虛擬化，評(píng)估被虛擬化存儲(chǔ)在虛擬化前后性能的變化，并進(jìn)而研究由虛擬化技術(shù)衍生的分層存儲(chǔ)技術(shù)、以及在異構(gòu)存儲(chǔ)之間進(jìn)行基于底層的容災(zāi)技術(shù)等，不僅能夠解決長(zhǎng)江海事局信息中心現(xiàn)有存儲(chǔ)環(huán)境存在的諸多問(wèn)題，也為尋找向云存儲(chǔ)演進(jìn)的最佳路線做出了有益的嘗試。

研究成果

此次存儲(chǔ)虛擬化的研究成果分為三個(gè)方面：

1、發(fā)現(xiàn)最適合數(shù)據(jù)中心發(fā)展需要的存儲(chǔ)虛擬化的技術(shù)手段

存儲(chǔ)的虛擬化可以在三個(gè)不同的層面上實(shí)現(xiàn)，包括基于專用卷管理軟件在主機(jī)服務(wù)器上實(shí)現(xiàn)，或者利用陣列控制器的固件在磁盤陣列上實(shí)現(xiàn)，再或者是利用專用的虛擬化引擎在存儲(chǔ)網(wǎng)絡(luò)上實(shí)現(xiàn)。本文通過(guò)基于設(shè)備側(cè)的存儲(chǔ)虛擬化創(chuàng)新研究，找到了最適合數(shù)據(jù)中心現(xiàn)狀及發(fā)展方向的虛擬化方式，從而實(shí)現(xiàn)數(shù)據(jù)中心存儲(chǔ)虛擬化的技術(shù)手段。

2、實(shí)現(xiàn)數(shù)據(jù)中心現(xiàn)有分散存儲(chǔ)架構(gòu)向虛擬存儲(chǔ)平臺(tái)及統(tǒng)一管理模式轉(zhuǎn)型

通過(guò)在服務(wù)器端虛擬化項(xiàng)目的部署和桌面虛擬化的試用評(píng)估過(guò)程中的研究，我們實(shí)現(xiàn)了將目前分隔在數(shù)據(jù)中心兩個(gè)機(jī)房的三臺(tái)異構(gòu)存儲(chǔ)整合成一個(gè)統(tǒng)一的虛擬存儲(chǔ)池，屏蔽了存儲(chǔ)型號(hào)、功能軟件及物理距離的差異，把它們作為一個(gè)單一資源，從單一邏輯視圖中進(jìn)行統(tǒng)一管理，解決了現(xiàn)網(wǎng)諸多難題。

3、制定由現(xiàn)有傳統(tǒng)存儲(chǔ)環(huán)境向云存儲(chǔ)演進(jìn)的規(guī)劃

通過(guò)研究基于設(shè)備側(cè)的存儲(chǔ)虛擬化技術(shù)，能夠幫助我們充分評(píng)估虛擬化前后存儲(chǔ)環(huán)境性能、功能、管理模式等多方面的變化，更加充分的了解虛擬化存儲(chǔ)環(huán)境對(duì)業(yè)務(wù)系統(tǒng)的支撐能力，從而有利于我們制定一套規(guī)則，即如何根據(jù)數(shù)據(jù)中心的業(yè)務(wù)模型及各種服務(wù)的參數(shù)來(lái)定制將來(lái)所需要的虛擬化存儲(chǔ)平臺(tái)，從而逐步實(shí)現(xiàn)向云存儲(chǔ)架構(gòu)演進(jìn)的行動(dòng)規(guī)劃。

存儲(chǔ)虛擬化試驗(yàn)

1、基于設(shè)備側(cè)實(shí)施存儲(chǔ)虛擬化的原理

基于設(shè)備側(cè)實(shí)施存儲(chǔ)虛擬化的原理如圖1所示，外部存儲(chǔ)可以通過(guò)以下三種方式與高端存儲(chǔ)進(jìn)行連接，光纖直連方式、光纖交換機(jī)方式、通道延展器（距離較遠(yuǎn)）。H3C將存儲(chǔ)虛擬化功能固化在磁盤存儲(chǔ)系統(tǒng)的控制器上。這樣，USPV的自帶磁盤可以直接被虛擬化引擎所管理。USPV同時(shí)可以把連接在同一個(gè)SAN上的其他存儲(chǔ)系統(tǒng)映射成內(nèi)置盤，然后對(duì)其進(jìn)行虛擬化管理，虛擬化以后的設(shè)備對(duì)主機(jī)透明。由于虛擬化引擎集成在磁盤陣列內(nèi)部，所以可以比較容易的繼承磁盤陣列一些固有的高級(jí)功能，如快照、克隆、復(fù)制、分區(qū)等等。

2、測(cè)試設(shè)備及測(cè)試拓?fù)鋱D

此次測(cè)試在長(zhǎng)江海事局信息中心進(jìn)行，實(shí)際測(cè)試時(shí)間大約4周，測(cè)試所用主要存儲(chǔ)設(shè)備及拓?fù)淙鐖D2 所示。數(shù)據(jù)中心近40個(gè)在線業(yè)務(wù)系統(tǒng)的IT設(shè)備主要分布在海事局的兩個(gè)獨(dú)立機(jī)房中，本次測(cè)試使用海事局機(jī)房1臺(tái)H3C存儲(chǔ)系統(tǒng)、1臺(tái)H3C陣列（2個(gè)控制器）和容災(zāi)機(jī)房1臺(tái)IBM存儲(chǔ)構(gòu)建SAN架構(gòu)測(cè)試環(huán)境，主機(jī)采用1臺(tái)SUN Solaris系列服務(wù)器（Solaris操作系統(tǒng)10版本，配置二塊HBA卡）。

3、測(cè)試用例

根據(jù)業(yè)務(wù)系統(tǒng)評(píng)估對(duì)存儲(chǔ)虛擬化技術(shù)的相關(guān)要求和規(guī)范，此次測(cè)試主要對(duì)如下關(guān)鍵技術(shù)指標(biāo)進(jìn)行了驗(yàn)證：異構(gòu)環(huán)境支持；跨異構(gòu)存儲(chǔ)快照功能；異構(gòu)存儲(chǔ)容災(zāi)測(cè)試；分級(jí)存儲(chǔ)；在線數(shù)據(jù)遷移；在線存儲(chǔ)分配和回收；集中存儲(chǔ)管理；遷入（由非虛擬化環(huán)境遷入到虛擬化環(huán)境）；遷出（由虛擬化環(huán)境遷出到非虛擬化環(huán)境）；高可用測(cè)試；性能測(cè)試；管理測(cè)試。

特別的，由于擔(dān)心虛擬化前后存儲(chǔ)性能的差異，我們對(duì)被虛擬化的兩臺(tái)存儲(chǔ)在虛擬化前后的性能在各種應(yīng)用模型下進(jìn)行了測(cè)試。圖3和圖4分別是H3C和IBM在虛擬化前后的性能對(duì)比。

測(cè)試結(jié)果表明，不管是低端的H3C，還是高端的IBM，在絕大多數(shù)應(yīng)用模型下（不同的讀寫比例，不同的IO塊大小），目標(biāo)存儲(chǔ)在實(shí)施虛擬化以后性能都會(huì)得到一定的提高，這是由于H3C USPV是專門針對(duì)存儲(chǔ)虛擬化應(yīng)用而設(shè)計(jì)，其自身強(qiáng)大的數(shù)據(jù)處理能力和虛擬化能力，能對(duì)通過(guò)其上的數(shù)據(jù)進(jìn)行優(yōu)化處理的緣故。

4、虛擬化試驗(yàn)結(jié)果

根據(jù)評(píng)估結(jié)果分析，基于設(shè)備側(cè)的存儲(chǔ)虛擬化，能夠解決數(shù)據(jù)中心現(xiàn)有存儲(chǔ)環(huán)境存在的諸多問(wèn)題，能夠簡(jiǎn)化管理復(fù)雜度、降低成本，還可以同時(shí)解決容量的快速膨脹和集中帶來(lái)的設(shè)備的異構(gòu)性、互操作性、性能下降、災(zāi)難防備等一系列問(wèn)題。具體試驗(yàn)結(jié)果可以總結(jié)為：①虛擬化后的異構(gòu)存儲(chǔ)個(gè)指標(biāo)不低于虛擬化前的性能，在某些情況下還略有提高。②整合的存儲(chǔ)資源，實(shí)現(xiàn)了數(shù)據(jù)分層，設(shè)備利舊，降低能耗。整合后的存儲(chǔ)資源便于管理，使用方便。 ③USPV的虛擬化能夠很好的整合異構(gòu)存儲(chǔ)，并且由于不更改異構(gòu)存儲(chǔ)的原有卷配置，容易實(shí)現(xiàn)回退。④統(tǒng)一資源管理（HDP）測(cè)試能夠?qū)崿F(xiàn)存儲(chǔ)空間的預(yù)分配和自動(dòng)分配功能，并且能夠?qū)崿F(xiàn)卷容量的在線修改調(diào)整。⑤存儲(chǔ)虛擬化后本地跨異構(gòu)存儲(chǔ)的數(shù)據(jù)復(fù)制（TrueCopy）實(shí)現(xiàn)了被虛擬化外部磁盤與其它H3C USP V內(nèi)部磁盤可以完成數(shù)據(jù)復(fù)制。⑥存儲(chǔ)虛擬化后本地跨異構(gòu)存儲(chǔ)的數(shù)據(jù)復(fù)制（ShadowImage）實(shí)現(xiàn)了USP V內(nèi)部磁盤和被虛擬化外部磁盤可以完成數(shù)據(jù)復(fù)制。⑦整合后的存儲(chǔ)資源可以實(shí)現(xiàn)簡(jiǎn)單界面統(tǒng)一管理，因此更加便于管理，使用方便。

創(chuàng)新性與推廣應(yīng)用價(jià)值

1、創(chuàng)新性

通過(guò)基于設(shè)備側(cè)的存儲(chǔ)虛擬化，實(shí)現(xiàn)集中并共享傳統(tǒng)分散的存儲(chǔ)資源，可以使存儲(chǔ)利用率提高20%～40%，降低機(jī)房空間、電源和空調(diào)費(fèi)用，減少數(shù)據(jù)遷移費(fèi)用，減少軟硬件的維保費(fèi)用，減少存儲(chǔ)維護(hù)人員并降低培訓(xùn)費(fèi)用，減少存儲(chǔ)初期購(gòu)置成本，避免長(zhǎng)期不使用的數(shù)據(jù)對(duì)高價(jià)值存儲(chǔ)空間的占用，并優(yōu)化系統(tǒng)性能，降低宕機(jī)風(fēng)險(xiǎn)，從而具有極高的經(jīng)濟(jì)效益。同時(shí)可以解決當(dāng)前分散、異構(gòu)存儲(chǔ)平臺(tái)下的諸多問(wèn)題，突破異構(gòu)存儲(chǔ)管理、使用中的諸多瓶頸，釋放分散異構(gòu)存儲(chǔ)的空間和性能，促進(jìn)了存儲(chǔ)整體架構(gòu)上的變革，使以往孤立、單獨(dú)建設(shè)的存儲(chǔ)向統(tǒng)一的虛擬存儲(chǔ)平臺(tái)過(guò)度，并為逐步的向云存儲(chǔ)演進(jìn)做好了充分的準(zhǔn)備。

2、推廣應(yīng)用價(jià)值

基于設(shè)備側(cè)實(shí)現(xiàn)存儲(chǔ)虛擬化的主要價(jià)值在于提高存儲(chǔ)利用效率，簡(jiǎn)化管理，解決現(xiàn)網(wǎng)的諸多難題，具備經(jīng)濟(jì)上和技術(shù)上的雙重價(jià)值。主要適合如下場(chǎng)景：①存在多個(gè)異構(gòu)存儲(chǔ)的環(huán)境；②實(shí)現(xiàn)數(shù)據(jù)的分層存儲(chǔ)；③ 存儲(chǔ)統(tǒng)一管理；④異構(gòu)存儲(chǔ)容災(zāi)整合；⑤存在多個(gè)需要利舊的陣列。

（作者單位：武漢海事局通信信息中心）

摘 要：存儲(chǔ)虛擬化是指抽象化或虛擬化存儲(chǔ)設(shè)備或存儲(chǔ)子系統(tǒng)，建立一個(gè)統(tǒng)一的存儲(chǔ)資源池，對(duì)存儲(chǔ)子系統(tǒng)的容量和性能，及存儲(chǔ)服務(wù)進(jìn)行靈活的管理，以提供更精確地控制?；谠O(shè)備側(cè)進(jìn)行存儲(chǔ)虛擬化，能夠隱藏各種異構(gòu)存儲(chǔ)的復(fù)雜性，提高存儲(chǔ)利用率，降低管理和基礎(chǔ)架構(gòu)成本，并聚合存儲(chǔ)設(shè)備的功能。

關(guān)鍵詞：存儲(chǔ) 虛擬化 云計(jì)算 云存儲(chǔ)

研究背景

長(zhǎng)江海事局信息中心在建設(shè)信息系統(tǒng)的過(guò)程中，逐年分批采購(gòu)了多種品牌、不同檔次的服務(wù)器及存儲(chǔ)設(shè)備，因此當(dāng)前各應(yīng)用系統(tǒng)部署在不同的存儲(chǔ)設(shè)備上，導(dǎo)致信息資源局限于單個(gè)的存儲(chǔ)設(shè)備中，系統(tǒng)之間無(wú)法進(jìn)行有效的數(shù)據(jù)整合和共享。隨著企業(yè)的信息化建設(shè)的不斷深入， 企業(yè)存儲(chǔ)環(huán)境的復(fù)雜度也在日益加劇，給IT信息系統(tǒng)建設(shè)帶來(lái)日益嚴(yán)重的影響，具體表現(xiàn)在：①存儲(chǔ)孤島：異構(gòu)的存儲(chǔ)彼此采用不同的技術(shù)架構(gòu)，不同品牌陣列之間數(shù)據(jù)無(wú)法自由復(fù)制和遷移；②管理復(fù)雜：異構(gòu)的存儲(chǔ)各自使用不同的管理工具，無(wú)法使用簡(jiǎn)單界面統(tǒng)一管理；③低利用率：異構(gòu)存儲(chǔ)各自存在的零散空間無(wú)法整合，無(wú)法充分利用存儲(chǔ)有效空間；④數(shù)據(jù)復(fù)制： 異構(gòu)存儲(chǔ)間難以進(jìn)行數(shù)據(jù)復(fù)制，給系統(tǒng)割接、升級(jí)、遷移造成重大困擾；⑤數(shù)據(jù)分層：以往受到技術(shù)限制，難以實(shí)現(xiàn)存儲(chǔ)分層，導(dǎo)致高價(jià)值存儲(chǔ)長(zhǎng)期被低價(jià)值數(shù)據(jù)占用；⑥設(shè)備利舊：網(wǎng)管系統(tǒng)統(tǒng)一存儲(chǔ)后，退網(wǎng)下來(lái)的低端存儲(chǔ)由于容量、性能的問(wèn)題難以用于部署新的系統(tǒng)，無(wú)法得到合理的使用；⑦容災(zāi)壁壘：異構(gòu)存儲(chǔ)難以實(shí)現(xiàn)異地容災(zāi)，選用同構(gòu)存儲(chǔ)常常導(dǎo)致過(guò)高的商務(wù)代價(jià)；⑧能耗問(wèn)題： 異構(gòu)存儲(chǔ)的低利用率及難以實(shí)現(xiàn)存儲(chǔ)分層，導(dǎo)致耗電 散熱、空間的過(guò)度使用；

探索基于設(shè)備側(cè)來(lái)實(shí)現(xiàn)存儲(chǔ)虛擬化，能夠?qū)⒍喾N不同廠商的存儲(chǔ)設(shè)備集成在一起，統(tǒng)一進(jìn)行管理、分配，形成一個(gè)單一的、大型的存儲(chǔ)池，能夠通過(guò)一個(gè)單一的界面和管理模式來(lái)進(jìn)行管理，并實(shí)現(xiàn)異構(gòu)存儲(chǔ)間的數(shù)據(jù)復(fù)制及分層存儲(chǔ)，進(jìn)而打破容災(zāi)壁壘，實(shí)現(xiàn)設(shè)備利舊，提高存儲(chǔ)利用率，降低能源及空間消耗以實(shí)現(xiàn)綠色環(huán)保，節(jié)能減排的目的，從而解決目前面臨的諸多難題，提供更靈活、更高效的存儲(chǔ)系統(tǒng)解決方案。

研究目標(biāo)

目標(biāo)是研究適合長(zhǎng)江海事局信息中心的存儲(chǔ)虛擬化技術(shù)。研究基于設(shè)備側(cè)的存儲(chǔ)虛擬化，評(píng)估被虛擬化存儲(chǔ)在虛擬化前后性能的變化，并進(jìn)而研究由虛擬化技術(shù)衍生的分層存儲(chǔ)技術(shù)、以及在異構(gòu)存儲(chǔ)之間進(jìn)行基于底層的容災(zāi)技術(shù)等，不僅能夠解決長(zhǎng)江海事局信息中心現(xiàn)有存儲(chǔ)環(huán)境存在的諸多問(wèn)題，也為尋找向云存儲(chǔ)演進(jìn)的最佳路線做出了有益的嘗試。

研究成果

此次存儲(chǔ)虛擬化的研究成果分為三個(gè)方面：

1、發(fā)現(xiàn)最適合數(shù)據(jù)中心發(fā)展需要的存儲(chǔ)虛擬化的技術(shù)手段

存儲(chǔ)的虛擬化可以在三個(gè)不同的層面上實(shí)現(xiàn)，包括基于專用卷管理軟件在主機(jī)服務(wù)器上實(shí)現(xiàn)，或者利用陣列控制器的固件在磁盤陣列上實(shí)現(xiàn)，再或者是利用專用的虛擬化引擎在存儲(chǔ)網(wǎng)絡(luò)上實(shí)現(xiàn)。本文通過(guò)基于設(shè)備側(cè)的存儲(chǔ)虛擬化創(chuàng)新研究，找到了最適合數(shù)據(jù)中心現(xiàn)狀及發(fā)展方向的虛擬化方式，從而實(shí)現(xiàn)數(shù)據(jù)中心存儲(chǔ)虛擬化的技術(shù)手段。

2、實(shí)現(xiàn)數(shù)據(jù)中心現(xiàn)有分散存儲(chǔ)架構(gòu)向虛擬存儲(chǔ)平臺(tái)及統(tǒng)一管理模式轉(zhuǎn)型

通過(guò)在服務(wù)器端虛擬化項(xiàng)目的部署和桌面虛擬化的試用評(píng)估過(guò)程中的研究，我們實(shí)現(xiàn)了將目前分隔在數(shù)據(jù)中心兩個(gè)機(jī)房的三臺(tái)異構(gòu)存儲(chǔ)整合成一個(gè)統(tǒng)一的虛擬存儲(chǔ)池，屏蔽了存儲(chǔ)型號(hào)、功能軟件及物理距離的差異，把它們作為一個(gè)單一資源，從單一邏輯視圖中進(jìn)行統(tǒng)一管理，解決了現(xiàn)網(wǎng)諸多難題。

3、制定由現(xiàn)有傳統(tǒng)存儲(chǔ)環(huán)境向云存儲(chǔ)演進(jìn)的規(guī)劃

通過(guò)研究基于設(shè)備側(cè)的存儲(chǔ)虛擬化技術(shù)，能夠幫助我們充分評(píng)估虛擬化前后存儲(chǔ)環(huán)境性能、功能、管理模式等多方面的變化，更加充分的了解虛擬化存儲(chǔ)環(huán)境對(duì)業(yè)務(wù)系統(tǒng)的支撐能力，從而有利于我們制定一套規(guī)則，即如何根據(jù)數(shù)據(jù)中心的業(yè)務(wù)模型及各種服務(wù)的參數(shù)來(lái)定制將來(lái)所需要的虛擬化存儲(chǔ)平臺(tái)，從而逐步實(shí)現(xiàn)向云存儲(chǔ)架構(gòu)演進(jìn)的行動(dòng)規(guī)劃。

存儲(chǔ)虛擬化試驗(yàn)

1、基于設(shè)備側(cè)實(shí)施存儲(chǔ)虛擬化的原理

基于設(shè)備側(cè)實(shí)施存儲(chǔ)虛擬化的原理如圖1所示，外部存儲(chǔ)可以通過(guò)以下三種方式與高端存儲(chǔ)進(jìn)行連接，光纖直連方式、光纖交換機(jī)方式、通道延展器（距離較遠(yuǎn)）。H3C將存儲(chǔ)虛擬化功能固化在磁盤存儲(chǔ)系統(tǒng)的控制器上。這樣，USPV的自帶磁盤可以直接被虛擬化引擎所管理。USPV同時(shí)可以把連接在同一個(gè)SAN上的其他存儲(chǔ)系統(tǒng)映射成內(nèi)置盤，然后對(duì)其進(jìn)行虛擬化管理，虛擬化以后的設(shè)備對(duì)主機(jī)透明。由于虛擬化引擎集成在磁盤陣列內(nèi)部，所以可以比較容易的繼承磁盤陣列一些固有的高級(jí)功能，如快照、克隆、復(fù)制、分區(qū)等等。

2、測(cè)試設(shè)備及測(cè)試拓?fù)鋱D

此次測(cè)試在長(zhǎng)江海事局信息中心進(jìn)行，實(shí)際測(cè)試時(shí)間大約4周，測(cè)試所用主要存儲(chǔ)設(shè)備及拓?fù)淙鐖D2 所示。數(shù)據(jù)中心近40個(gè)在線業(yè)務(wù)系統(tǒng)的IT設(shè)備主要分布在海事局的兩個(gè)獨(dú)立機(jī)房中，本次測(cè)試使用海事局機(jī)房1臺(tái)H3C存儲(chǔ)系統(tǒng)、1臺(tái)H3C陣列（2個(gè)控制器）和容災(zāi)機(jī)房1臺(tái)IBM存儲(chǔ)構(gòu)建SAN架構(gòu)測(cè)試環(huán)境，主機(jī)采用1臺(tái)SUN Solaris系列服務(wù)器（Solaris操作系統(tǒng)10版本，配置二塊HBA卡）。

3、測(cè)試用例

根據(jù)業(yè)務(wù)系統(tǒng)評(píng)估對(duì)存儲(chǔ)虛擬化技術(shù)的相關(guān)要求和規(guī)范，此次測(cè)試主要對(duì)如下關(guān)鍵技術(shù)指標(biāo)進(jìn)行了驗(yàn)證：異構(gòu)環(huán)境支持；跨異構(gòu)存儲(chǔ)快照功能；異構(gòu)存儲(chǔ)容災(zāi)測(cè)試；分級(jí)存儲(chǔ)；在線數(shù)據(jù)遷移；在線存儲(chǔ)分配和回收；集中存儲(chǔ)管理；遷入（由非虛擬化環(huán)境遷入到虛擬化環(huán)境）；遷出（由虛擬化環(huán)境遷出到非虛擬化環(huán)境）；高可用測(cè)試；性能測(cè)試；管理測(cè)試。

特別的，由于擔(dān)心虛擬化前后存儲(chǔ)性能的差異，我們對(duì)被虛擬化的兩臺(tái)存儲(chǔ)在虛擬化前后的性能在各種應(yīng)用模型下進(jìn)行了測(cè)試。圖3和圖4分別是H3C和IBM在虛擬化前后的性能對(duì)比。

測(cè)試結(jié)果表明，不管是低端的H3C，還是高端的IBM，在絕大多數(shù)應(yīng)用模型下（不同的讀寫比例，不同的IO塊大小），目標(biāo)存儲(chǔ)在實(shí)施虛擬化以后性能都會(huì)得到一定的提高，這是由于H3C USPV是專門針對(duì)存儲(chǔ)虛擬化應(yīng)用而設(shè)計(jì)，其自身強(qiáng)大的數(shù)據(jù)處理能力和虛擬化能力，能對(duì)通過(guò)其上的數(shù)據(jù)進(jìn)行優(yōu)化處理的緣故。

4、虛擬化試驗(yàn)結(jié)果

根據(jù)評(píng)估結(jié)果分析，基于設(shè)備側(cè)的存儲(chǔ)虛擬化，能夠解決數(shù)據(jù)中心現(xiàn)有存儲(chǔ)環(huán)境存在的諸多問(wèn)題，能夠簡(jiǎn)化管理復(fù)雜度、降低成本，還可以同時(shí)解決容量的快速膨脹和集中帶來(lái)的設(shè)備的異構(gòu)性、互操作性、性能下降、災(zāi)難防備等一系列問(wèn)題。具體試驗(yàn)結(jié)果可以總結(jié)為：①虛擬化后的異構(gòu)存儲(chǔ)個(gè)指標(biāo)不低于虛擬化前的性能，在某些情況下還略有提高。②整合的存儲(chǔ)資源，實(shí)現(xiàn)了數(shù)據(jù)分層，設(shè)備利舊，降低能耗。整合后的存儲(chǔ)資源便于管理，使用方便。 ③USPV的虛擬化能夠很好的整合異構(gòu)存儲(chǔ)，并且由于不更改異構(gòu)存儲(chǔ)的原有卷配置，容易實(shí)現(xiàn)回退。④統(tǒng)一資源管理（HDP）測(cè)試能夠?qū)崿F(xiàn)存儲(chǔ)空間的預(yù)分配和自動(dòng)分配功能，并且能夠?qū)崿F(xiàn)卷容量的在線修改調(diào)整。⑤存儲(chǔ)虛擬化后本地跨異構(gòu)存儲(chǔ)的數(shù)據(jù)復(fù)制（TrueCopy）實(shí)現(xiàn)了被虛擬化外部磁盤與其它H3C USP V內(nèi)部磁盤可以完成數(shù)據(jù)復(fù)制。⑥存儲(chǔ)虛擬化后本地跨異構(gòu)存儲(chǔ)的數(shù)據(jù)復(fù)制（ShadowImage）實(shí)現(xiàn)了USP V內(nèi)部磁盤和被虛擬化外部磁盤可以完成數(shù)據(jù)復(fù)制。⑦整合后的存儲(chǔ)資源可以實(shí)現(xiàn)簡(jiǎn)單界面統(tǒng)一管理，因此更加便于管理，使用方便。

創(chuàng)新性與推廣應(yīng)用價(jià)值

1、創(chuàng)新性

通過(guò)基于設(shè)備側(cè)的存儲(chǔ)虛擬化，實(shí)現(xiàn)集中并共享傳統(tǒng)分散的存儲(chǔ)資源，可以使存儲(chǔ)利用率提高20%～40%，降低機(jī)房空間、電源和空調(diào)費(fèi)用，減少數(shù)據(jù)遷移費(fèi)用，減少軟硬件的維保費(fèi)用，減少存儲(chǔ)維護(hù)人員并降低培訓(xùn)費(fèi)用，減少存儲(chǔ)初期購(gòu)置成本，避免長(zhǎng)期不使用的數(shù)據(jù)對(duì)高價(jià)值存儲(chǔ)空間的占用，并優(yōu)化系統(tǒng)性能，降低宕機(jī)風(fēng)險(xiǎn)，從而具有極高的經(jīng)濟(jì)效益。同時(shí)可以解決當(dāng)前分散、異構(gòu)存儲(chǔ)平臺(tái)下的諸多問(wèn)題，突破異構(gòu)存儲(chǔ)管理、使用中的諸多瓶頸，釋放分散異構(gòu)存儲(chǔ)的空間和性能，促進(jìn)了存儲(chǔ)整體架構(gòu)上的變革，使以往孤立、單獨(dú)建設(shè)的存儲(chǔ)向統(tǒng)一的虛擬存儲(chǔ)平臺(tái)過(guò)度，并為逐步的向云存儲(chǔ)演進(jìn)做好了充分的準(zhǔn)備。

2、推廣應(yīng)用價(jià)值

基于設(shè)備側(cè)實(shí)現(xiàn)存儲(chǔ)虛擬化的主要價(jià)值在于提高存儲(chǔ)利用效率，簡(jiǎn)化管理，解決現(xiàn)網(wǎng)的諸多難題，具備經(jīng)濟(jì)上和技術(shù)上的雙重價(jià)值。主要適合如下場(chǎng)景：①存在多個(gè)異構(gòu)存儲(chǔ)的環(huán)境；②實(shí)現(xiàn)數(shù)據(jù)的分層存儲(chǔ)；③ 存儲(chǔ)統(tǒng)一管理；④異構(gòu)存儲(chǔ)容災(zāi)整合；⑤存在多個(gè)需要利舊的陣列。

（作者單位：武漢海事局通信信息中心）