白巧花

摘要：在新的業(yè)務變化發(fā)展和信息化建設轉型時期，傳統(tǒng)的集中式建設模式在資源共享、靈活調配等方面的不足逐步凸顯，無法實現(xiàn)對資源的快速、持續(xù)供給，不能較好地適應未來業(yè)務的發(fā)展需要?；诖?，結合當前主流的IT技術發(fā)展趨勢、實際的建設要求和存儲建設應實現(xiàn)的關鍵目標等，探索集中存儲高可用改造的實現(xiàn)和應用，為企業(yè)業(yè)務網(wǎng)集中存儲高可用改造提供參考。

關鍵詞：存儲高可用；架構改造；雙活

一、數(shù)據(jù)中心業(yè)務網(wǎng)存儲現(xiàn)狀分析

隨著近年來應用系統(tǒng)的不斷發(fā)展，集中式存儲系統(tǒng)較好地滿足了系統(tǒng)上線所需的空間資源，并針對少數(shù)業(yè)務連續(xù)性等級較高的應用系統(tǒng)實施了不同數(shù)據(jù)中心之間的數(shù)據(jù)實時復制，還通過磁帶備份等多種手段，有效增強了系統(tǒng)和數(shù)據(jù)的安全性。但業(yè)務網(wǎng)存儲系統(tǒng)也存在以下一些問題：

（一）數(shù)量多，均為單點，處在更新周期

業(yè)務網(wǎng)存儲系統(tǒng)以日立、華為品牌的高端磁盤陣列為核心設備，以及各品牌光纖交換機、NAS設備、磁帶庫、PC服務器等硬件設備和數(shù)據(jù)同異步復制管理、備份管理等軟件設備，涉及十余個品牌的中高端軟硬件設備，設備數(shù)量和種類多、相關廠商多；同時，各系統(tǒng)數(shù)據(jù)直接存放于磁盤陣列中，雖然都是高端存儲，但均為單點運行，存在單點故障隱患；最后，少數(shù)老舊集中存儲的磁盤陣列和光纖交換機等配套設備已使用多年，已經(jīng)或即將EOS，正處在更新周期。

（二）無統(tǒng)一規(guī)劃，沒有根據(jù)業(yè)務重要性及需求劃分

此前數(shù)據(jù)中心存儲系統(tǒng)沒有統(tǒng)一的規(guī)劃，沒有一套根據(jù)應用分類分級和特點制定的存儲資源池建設標準。受系統(tǒng)上線時間要求、存儲容量及可擴容容量等多重因素限制，重要系統(tǒng)和非重要系統(tǒng)的數(shù)據(jù)“集中”存放于一臺或幾臺存儲中，沒有根據(jù)系統(tǒng)重要程度和性能需求進行區(qū)分。同時，新購存儲設備均采用公開招標，采購周期常，采購設備多樣，提高了管理和運維的復雜度。

（三）容量不足與空間利用率低并存

每年都有要新上線的系統(tǒng)，所需要的存儲空間較大，剩余存儲資源有限而只能通過不斷擴容解決容量不足的問題。與此同時，因無法準確預計未來空間的實際需要，當前存儲空間多采用靜態(tài)分配，而存儲空間一旦被分配后即無法收回，同時為滿足數(shù)據(jù)安全、可靠性（采用RAID技術）以及未來擴展的要求，很多系統(tǒng)都預分配大量容量，卻長期處于閑置狀態(tài)，實際利用率低（很多情況不足30%）[1]。

（四）軟硬件緊耦合

當前應用系統(tǒng)仍主要采用集中式架構，存儲層與數(shù)據(jù)庫層、中間件層及應用層等架構耦合度高，存儲軟件依賴于相應的存儲硬件，選擇范圍集中在少數(shù)幾個存儲廠商，不論是硬件層面的存儲擴容還是軟件層面的高可用改造、數(shù)據(jù)復制等均只能通過購買該原廠商的產(chǎn)品或服務來實施。

二、規(guī)劃目標和原則

（一）技術方向

傳統(tǒng)的集中式系統(tǒng)建設模式下，計算、存儲等資源根據(jù)不同應用各自建設，在有效支撐業(yè)務開展的同時也形成了資源專有化配置的特點。在新的業(yè)務變化發(fā)展和信息化建設轉型的時期，傳統(tǒng)的集中式建設模式在資源共享、靈活調配等方面的不足逐步凸顯，無法實現(xiàn)對資源的快速、持續(xù)供給，不能較好地適應未來業(yè)務的發(fā)展需要。實施架構轉型，存儲層面要結合自身業(yè)務特點和不同應用場景，結合現(xiàn)有的技術資源，做好技術架構研究，做好轉型規(guī)劃。通過架構改造與實施，實現(xiàn)系統(tǒng)快速交付、動態(tài)調整、彈性部署，提高IT資源共享效率，降低總體成本，保證業(yè)務連續(xù)性。

（二）規(guī)劃目標

通過對存儲系統(tǒng)的現(xiàn)狀進行詳細分析，結合當前主流的IT技術發(fā)展趨勢和實際的建設要求，存儲建設應實現(xiàn)的關鍵目標包括：

1.資源池規(guī)劃和建設

根據(jù)業(yè)務分類分級及特點，進行資源池的統(tǒng)一規(guī)劃，對存儲的實現(xiàn)方式，例如集中式、分布式等進行統(tǒng)籌考慮和規(guī)劃；統(tǒng)一資源池的標準，抽象資源池的服務能力。

2.統(tǒng)一規(guī)劃、分布部署

存儲架構及資源池建設按照“兩地三中心”進行整體規(guī)劃，單數(shù)據(jù)中心高可用、雙數(shù)據(jù)中心存儲部署以及未來的“兩地三中心”進行分步部署。

3.架構的延續(xù)性和擴展性

單數(shù)據(jù)中心內的高可用架構能擴展為雙數(shù)據(jù)中心內的存儲架構，進而從雙數(shù)據(jù)中心的存儲架構能擴展為“兩地三中心”或多中心架構。

4.完善的容災能力

存儲架構不僅具備解決物理故障的能力，包括設備級故障，還可以解決站點級故障。單數(shù)據(jù)中心高可用建設完成后，存儲架構具備設備級物理故障容災能力；雙數(shù)據(jù)中心存儲體系建設完成后，存儲架構具備站點級物理故障容災能力

5.架構先進性

結合數(shù)據(jù)中心基礎設施云建設，面向IaaS云平臺的存儲標準化設計，從傳統(tǒng)的“SACLE-UP”縱向擴展方式轉向“SCALE-OUT”橫向擴展，有能力通過資源池和架構擴展方式保持其先進性。

（三）實施原則

1.對系統(tǒng)影響小，平滑遷移

參考此前存儲規(guī)劃及各應用系統(tǒng)實際，結合系統(tǒng)業(yè)務連續(xù)性和重要程度以及現(xiàn)有設備的實際情況，統(tǒng)籌開展存儲系統(tǒng)規(guī)劃。通過詳細規(guī)劃設計，穩(wěn)步地實施和測試，使得應用系統(tǒng)安全穩(wěn)定地運行在此存儲平臺上。需要遷移的應用系統(tǒng)，應對應用系統(tǒng)的影響降至最低，同時需確保應用系統(tǒng)遷移前后數(shù)據(jù)的一致性、用戶訪問的一致性，應在遷移過程中保證其文件存儲位置、路徑、內容等不變，實現(xiàn)平滑遷移。

2.實現(xiàn)軟硬件松耦合

通過存儲虛擬化的方式將邏輯卷與硬件“解耦”，打破孤島之間的疆界，讓存儲資源能夠共享，數(shù)據(jù)能在各個存儲的硬件組件間自由流動。軟硬件逐漸“解耦”的過程，就是將同類硬件的不同細節(jié)部分隱藏起來，并與上層隔離開。這樣，上層就不必因為下層硬件的不同而修改，增加了可移植性和靈活性[2]。同時，管理方式應當簡單明了，根據(jù)標準化的運維流程，采用統(tǒng)一的IT自動化的運維工具，減輕運維人員的壓力，避免人為操作過程當中的失誤。

3. 根據(jù)業(yè)務重要性及需求實現(xiàn)分級分類

根據(jù)應用分類分級和特點制定的存儲資源池建設標準，根據(jù)系統(tǒng)的業(yè)務連續(xù)性等級進行分級分類。先規(guī)劃資源池和抽象資源池的能力，標準化資源申請流程，提高效率，降低管理和運維的復雜度。

4.擴展性好，適合未來發(fā)展需求

在“解耦”的基礎之上，才能進一步做資源的池化。因為池化就意味著資源不受硬件的限制，能被自由地分配、使用和調度。在數(shù)據(jù)中心內，能夠跨越異構的磁盤陣列，形成一個大的存儲資源池，統(tǒng)一管理和分配來自不同存儲廠商的存儲資源。具有較好的可擴展性，適應未來業(yè)務發(fā)展需求。

三、實施路線

（一）總體路線圖

綜合上述規(guī)劃目標和實施原則，結合存儲設施現(xiàn)狀，業(yè)務網(wǎng)存儲系統(tǒng)的建設可大體分為三個階段：

1.第一階段

根據(jù)規(guī)劃，第一階段的建設內容如下：

（1）根據(jù)系統(tǒng)的業(yè)務連續(xù)性等級進行分級分類，完成“中心內高可用、中心間容災”的存儲高可用架構改造；

（2）結合數(shù)據(jù)中心基礎設施云項目，通過存儲虛擬化網(wǎng)關構建一套更加靈活，可用性更高的存儲架構，支撐現(xiàn)有系統(tǒng)遷移和未來系統(tǒng)建設發(fā)展要求；

（3）結合基礎設施云項目的進展，研究制定存儲資源池標準，符合IaaS云平臺對存儲資源池的要求；

（4）逐步完善與IaaS云平臺標準化接口管理層的對接，完成單數(shù)據(jù)中心內存儲資源池服務能力的抽象。

2.第二階段

（1）根據(jù)各應用系統(tǒng)的實際，研究從單數(shù)據(jù)中心存儲高可用擴展為雙數(shù)據(jù)中心存儲體系；

（2）結合數(shù)據(jù)中心云基礎設施項目，完善IaaS云平臺的存儲資源池和豐富標準化接口，探索雙中心數(shù)據(jù)歸檔和備份機制建設；

（3）完善資源池服務能力的抽象，增加雙數(shù)據(jù)中心存儲資源的服務化。

3.第三階段

（1）探索存儲架構從雙數(shù)據(jù)中心雙活擴展為“兩地三中心”或多中心，實現(xiàn)數(shù)據(jù)級容災；

（2）進一步完善IaaS云平臺的存儲資源池和豐富標準化接口，增加具備異地容災的資源池；探索“兩地三中心”或多中心數(shù)據(jù)歸檔和備份機制建設；

（3）完善資源池服務能力的抽象，增加容災的服務化。

（二）實施效果

1.實施存儲高可用改造，能夠解決現(xiàn)有存儲系統(tǒng)中單點故障隱患，使業(yè)務連續(xù)性等級為三級和四級的應用系統(tǒng)達到或超過相應的時間要求，整個應用系統(tǒng)的可靠性顯著提升。

2.實施存儲高可用改造，能夠有效對接基礎設施云平臺的建設需求，初步探索實現(xiàn)了存儲資源的“池化”和“解耦”，有效提升了存儲設備的兼容性，提高了資源擴展能力?；诖鎯μ摂M化的動態(tài)存儲分配，能夠不斷整合存儲資源以及釋放閑置空間，而不需要預先分配專用的物理存儲，結合系統(tǒng)實際運行情況以及資源使用情況動態(tài)調整分配的虛擬存儲空間，減少預配置資源的浪費[1]。

3.實施存儲高可用改造，能進一步完善容災建設。在災備中心可通過數(shù)據(jù)復制的方式完善同城容災建設，實施相對簡單，容災能力較之前有大幅提升。

（三）實施風險

分別以日立、華為設備形成的存儲高可用方案，其實施對上層應用無影響，因分別以在用設備為基礎改造，也不存在多路徑軟件、OS軟件和相關硬件的兼容性問題，無需再進行兼容性測試和驗證等，實施復雜度較小，實施風險也較小。如在現(xiàn)有日立和華為存儲之間做異構高可用，通常有新購網(wǎng)關和存儲兩種方式。因現(xiàn)有存儲數(shù)量多且均為高端存儲，如采用網(wǎng)關的方式，由于網(wǎng)關的處理性能和可靠性較高端存儲有差距，可能會造成“小馬拉大車”；如采用高端存儲的方式，則容易固化于某存儲品牌，且存儲廠商也不建議兼容其他品牌存儲長期運行。此外，異構高端存儲的高可用，從規(guī)劃角度也不清晰，無大規(guī)模應用案例，實施復雜風險較高，還可能由軟件微碼升級等導致兼容性問題，不利于系統(tǒng)長期穩(wěn)定運行。

四、技術細節(jié)及實施難點

（一）雙活原理

1.基于存儲設備的雙活

基于存儲設備的高可用，不同于存儲間的數(shù)據(jù)同步復制技術，存儲“雙活”要求兩臺存儲設備同時對同一個業(yè)務提供讀寫訪問的內容，當其中任何一個存儲設備故障時，業(yè)務的讀寫訪問不受影響。這種技術，要求兩臺存儲設備之間能夠實時地進行數(shù)據(jù)通訊，能夠采用分布式鎖機制避免寫邏輯錯誤，能夠通過第三方仲裁避免腦分裂。同時，能夠利用存儲設備對自身狀態(tài)的檢測進行故障隔離與恢復，使數(shù)據(jù)訪問總是處于良好運行狀態(tài)。

2.基于存儲網(wǎng)關的雙活

通過存儲虛擬化網(wǎng)關提供的分布式聯(lián)合能力，擴展了同步距離內兩個位置間的訪問能力。存儲虛擬化網(wǎng)關通過緩存一致性技術支持跨遠距離共享、訪問單個數(shù)據(jù)拷貝。實現(xiàn)主備主機同時訪問同一套卷的愿望[3]。

（二）數(shù)據(jù)遷移

存儲虛擬化改造對于應用服務器主機而言，相當于更換硬盤，因此必然涉及文件系統(tǒng)的變動。有些OS可以實現(xiàn)變更文件系統(tǒng)的同時不影響頂層的數(shù)據(jù)，例如基于LVM的AIX、HP-UX和Linux，而對于未使用LVM建立文件系統(tǒng)的Linux以及低版本的Windows server，就需要停止業(yè)務進行文件級遷移。對于Vmware虛擬化平臺，則可以通過Storage vmotion技術，利用一個臨時卷實現(xiàn)熱遷移。因此，需要根據(jù)應用系統(tǒng)的具體情況來設計具體的改造流程。

進行數(shù)據(jù)遷移時，不建議采用直接將原物理卷映射給存儲網(wǎng)關，封裝成虛擬卷后再映射給服務器主機的操作方式。一方面，映射過程中一旦發(fā)生誤操作將導致數(shù)據(jù)損壞，很不安全，另一方面，原先的LUN配置是為主機直連存儲而設計的劃分方案，不一定適用于存儲網(wǎng)關架構。因此，建議在保持原物理卷不變的基礎上，利用剩余空間和擴充的存儲資源組織虛擬卷，然后對業(yè)務系統(tǒng)進行逐個遷移。

（三）對數(shù)據(jù)備份方案和容災的影響

存儲虛擬化對于備份方案來講主要是滿足規(guī)劃時考慮存儲虛擬化平臺數(shù)據(jù)吞吐帶寬的規(guī)劃，虛擬化平臺通常采用集群橫向擴展方式，每增加一對虛擬化控制器，也就是橫向增加了處理能力、數(shù)據(jù)緩存和被管理存儲空間能力。對于容災而言有兩種改變：一種是采用虛擬化存儲平臺實現(xiàn)容災方案，這就需要刪除原有的存儲復制關系，并通過虛擬化存儲平臺重建容災架構，存在一定的工作量，優(yōu)點是后期管理和切換方便；還有一種是保留原有容災架構，虛擬化存儲平臺采用影像模式，關閉寫緩存，修改工作量較小，但后期切換時步驟相對復雜。

（四）仲裁機制

在兩個存儲虛擬化網(wǎng)關群集相互失去聯(lián)系后，生效中的一致性組分離規(guī)則將定義哪個群集繼續(xù)操作以及哪個暫停I/O，但僅使用分離規(guī)則來控制哪個站點是優(yōu)勝者時，優(yōu)勝者仍可能會在出現(xiàn)故障站點，可能需要手動干預才能恢復仍正常運行的站點I/O。高端存儲和存儲虛擬化網(wǎng)關仲裁會動態(tài)地自動處理此類事件，建議在第三個數(shù)據(jù)中心設置仲裁[4]。

五、結語

本文通過對數(shù)據(jù)中心業(yè)務網(wǎng)存儲系統(tǒng)的現(xiàn)狀分析，結合當前主流的IT技術發(fā)展趨勢、現(xiàn)有的技術資源、自身業(yè)務特點、實際的建設要求和存儲建設應實現(xiàn)的關鍵目標等，探索集中存儲高可用改造的實現(xiàn)和應用。通過架構改造與實施，有效提升了存儲設備的兼容性，提高了資源擴展能力，保證了業(yè)務連續(xù)性，容災能力較之前有大幅提升，為企業(yè)業(yè)務網(wǎng)集中存儲高可用改造提供參考。

參考文獻

[1]董軍.數(shù)據(jù)中心網(wǎng)絡存儲管理發(fā)展趨勢探析[J].中國金融電腦，2014（8）：63-65.

[2]韓吉義.數(shù)據(jù)資源存儲高可用建設研究與實踐[J]，內蒙古林業(yè)調查設計，2021，44（3）：75-78.

[3]馬強.鐵路客票系統(tǒng)異地災備中心方案設計[D].北京：中國鐵道科學研究院，2015.

[4]mob604756f19185.Exadata里裝了些什么？[EB/OL].[2021-04-24].https：//blog.51cto.com/u_15127572/2728859.

作者單位：北京信息職業(yè)技術學院