涂暢+王海濱+鄭寶銘+師威

摘 要：文章立足開行實(shí)際，以跨數(shù)據(jù)中心的多活部署和資源云化管理為架構(gòu)目標(biāo)，面向云計(jì)算和大數(shù)據(jù)的新型技術(shù)要求，研究提供更加高效、敏捷、靈活、可靠的數(shù)據(jù)存儲(chǔ)資源平臺(tái)，探索跨數(shù)據(jù)中心的數(shù)據(jù)綜合管控、利用及保護(hù)。本課題結(jié)合開行稻香湖數(shù)據(jù)中心的規(guī)劃和詳細(xì)設(shè)計(jì)，以及正在開展的搬遷建設(shè)工作，完成了存儲(chǔ)虛擬化和文件系統(tǒng)高可用平臺(tái)的技術(shù)研究，提出了新型數(shù)據(jù)中心的混合模式存儲(chǔ)架構(gòu)及演進(jìn)路線，并搭建基礎(chǔ)環(huán)境進(jìn)行推廣驗(yàn)證，為后期架構(gòu)轉(zhuǎn)型和技術(shù)升級(jí)積累經(jīng)驗(yàn)，為搬遷工作提供技術(shù)支持和參考，相關(guān)成果將應(yīng)用于新數(shù)據(jù)中心建設(shè)。

關(guān)鍵詞：多中心；存儲(chǔ)虛擬化；文件系統(tǒng)高可用；混合存儲(chǔ)架構(gòu)

中圖分類號(hào)：TP333 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2018）03-0189-03

Abstract： This topic is based on the reality of the Bank， with multi-live deployment of cross-data center and the management of resources cloudization as the framework goals， in order to meet the new technical need of cloud computing and big data， this research intends to provide a more efficient， agile， flexible and reliable platform for data storage resources， and explores the integrated management， utilization and protection of cross-data centers. In combination with the planning and detailed design from the Data Center of China Development Bank， as well as the ongoing relocation and construction work， the technological research of storage virtualization and file system high availability platform has been completed. The hybrid storage architecture and evolution route of the new data center are put forward， and the basic environment is built to popularize and verify it， which can provide technical support and reference for the later stage of architecture transformation and technology upgrading. The results will be applied to the construction of new data centers.

Keywords： multi-center； storage virtualization； availability of file system high； hybrid storage architecture

1 概述

對(duì)于數(shù)據(jù)的高速處理和深度利用，研究建設(shè)基于多活中心模式的存儲(chǔ)虛擬化和文件系統(tǒng)高可用平臺(tái)，是開行創(chuàng)新IT基礎(chǔ)架構(gòu)和數(shù)據(jù)處理模式，建立架構(gòu)開放彈性、業(yè)務(wù)IT深度融合、安全可控的信息科技體系的必要手段，將為新常態(tài)下開行踐行開發(fā)性金融戰(zhàn)略提供更加有力的支撐。

1.1 面臨需求與挑戰(zhàn)

當(dāng)前國內(nèi)銀行業(yè)IT數(shù)據(jù)存儲(chǔ)不斷向RPO和RTO趨向零的雙活方向發(fā)展，通過不同粒度資源池滿足應(yīng)用需求，同時(shí)按照技術(shù)標(biāo)準(zhǔn)化、流程標(biāo)準(zhǔn)化和管理標(biāo)準(zhǔn)化三個(gè)維度推進(jìn)服務(wù)管理體系建設(shè)。

1.2 存儲(chǔ)虛擬化及文件系統(tǒng)高可用應(yīng)用

國開行2015年初啟動(dòng)了稻香湖數(shù)據(jù)中心規(guī)劃設(shè)計(jì)，并以此為發(fā)展契機(jī)，于2017年初啟動(dòng)了多中心存儲(chǔ)虛擬化和文件系統(tǒng)高可用平臺(tái)建設(shè)研究項(xiàng)目。

對(duì)于多活中心非核心系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)可以采用存儲(chǔ)虛擬化技術(shù)結(jié)合應(yīng)用層多活技術(shù)實(shí)現(xiàn)數(shù)據(jù)多活，對(duì)于多活中心非結(jié)構(gòu)化數(shù)據(jù)可以采用分布式文件系統(tǒng)高可用平臺(tái)技術(shù)實(shí)現(xiàn)數(shù)據(jù)多活。

2 多活中心存儲(chǔ)虛擬化平臺(tái)方案

2.1 概述

存儲(chǔ)虛擬化建設(shè)能夠取得較大效益，可以實(shí)現(xiàn)多個(gè)獨(dú)立存儲(chǔ)系統(tǒng)的整合、存儲(chǔ)空間及性能的整體利用率提升，賦予所管理存儲(chǔ)資源豐富的數(shù)據(jù)優(yōu)化、高可用和業(yè)務(wù)連續(xù)性能力等。

2.2 分類與選型

存儲(chǔ)虛擬化分類具有三種類型：一是基于主機(jī)的存儲(chǔ)虛擬化；二是基于存儲(chǔ)網(wǎng)絡(luò)的虛擬化；三是基于磁盤陣列的虛擬化。對(duì)適用場景和優(yōu)缺點(diǎn)的分析如下：（1）三種虛擬化模式優(yōu)缺點(diǎn)比較。（表1）（2）主要技術(shù)選型說明。基于上述比較，存儲(chǔ)網(wǎng)絡(luò)的虛擬化適用范圍最廣，可作為一般情況下的首選?；谝陨咸攸c(diǎn)及借鑒同業(yè)應(yīng)用經(jīng)驗(yàn)，開行選用存儲(chǔ)網(wǎng)絡(luò)虛擬化技術(shù)。

2.3 關(guān)鍵場景應(yīng)用

（1）多活中心全場景部署模式。方案模式及效果：滿足非核心系統(tǒng)由數(shù)據(jù)級(jí)災(zāi)備向應(yīng)用級(jí)災(zāi)備發(fā)展需求，構(gòu)建五種場景：本地存儲(chǔ)雙活；本地雙活、同城異步復(fù)制；同城雙活；同城異步復(fù)制；同城雙活、異地異步復(fù)制。

（2）資源高效管理。方案模式及效果：納入存儲(chǔ)虛擬化網(wǎng)關(guān)強(qiáng)化統(tǒng)一管理；引入新技術(shù)：資源池管理統(tǒng)一分配資源，云管理平臺(tái)，提供自服務(wù)功能、運(yùn)營服務(wù)目錄功能，提高資源管理效率。endprint

（3）利舊設(shè)備分級(jí)存儲(chǔ)。方案模式及效果：利舊設(shè)備分級(jí)組合；不同級(jí)別設(shè)備組合通過擴(kuò)大網(wǎng)關(guān)內(nèi)存，提高性能；增加應(yīng)用靈活性。

（4）數(shù)據(jù)安全性保障。方案模式及效果：多份數(shù)據(jù)保存，保證數(shù)據(jù)安全；快照應(yīng)用，提供各種環(huán)境使用。

（5）高效空間利用。方案模式及效果：使用自動(dòng)精簡配置，提高存儲(chǔ)利用率；應(yīng)用實(shí)時(shí)壓縮，壓縮后數(shù)據(jù)量減少，帶寬的占用降低30%左右。

（6）長距離數(shù)據(jù)同步。稻香湖與懷柔長距離影響，需要確認(rèn)延遲是否對(duì)系統(tǒng)建設(shè)帶來影響；要分析不同存儲(chǔ)數(shù)據(jù)塊大小對(duì)于數(shù)據(jù)雙活讀寫性能的影響程度。

方案模式及效果：一是大數(shù)據(jù)塊時(shí)對(duì)測試值分析，單并發(fā)時(shí)遠(yuǎn)程響應(yīng)時(shí)間比本地多1.8ms；當(dāng)并發(fā)數(shù)提高到24個(gè)時(shí)，本地和遠(yuǎn)程的響應(yīng)時(shí)間相差很小；小數(shù)據(jù)塊長距離寫測試分析，并發(fā)量小時(shí)性能較好，讀寫延遲滿足數(shù)據(jù)庫雙活要求，存儲(chǔ)塊大小與數(shù)據(jù)庫默認(rèn)塊大?。?KB）一致時(shí)，數(shù)據(jù)讀寫性能更好；二是測試裸光纖長距離延遲，根據(jù)生產(chǎn)和同城實(shí)時(shí)數(shù)據(jù)傳輸測試驗(yàn)證數(shù)據(jù)，遠(yuǎn)程寫操作響應(yīng)時(shí)間平均為2.16ms，能滿足數(shù)據(jù)庫雙活5ms的延遲要求。

2.4 平臺(tái)技術(shù)驗(yàn)證

一是同城雙活的虛擬化驗(yàn)證；二是異地異步復(fù)制技術(shù)驗(yàn)證；三是開發(fā)測試OPENSTACK資源池使用驗(yàn)證；四是管理分布式存儲(chǔ)軟件驗(yàn)證。

3 多活數(shù)據(jù)中心文件系統(tǒng)高可用平臺(tái)方案

開行實(shí)施高可用平臺(tái)建設(shè)是為建設(shè)多活數(shù)據(jù)中心的基礎(chǔ)架構(gòu)，為未來向云數(shù)據(jù)中心發(fā)展奠定基礎(chǔ)。

3.1 概述

文件系統(tǒng)高可用主要技術(shù)特點(diǎn)：一是物理部署分布式；二是處理過程分布式；三是數(shù)據(jù)存儲(chǔ)分布式；四是訪問接入分布式。

3.2 調(diào)研與選擇

在廣泛產(chǎn)品調(diào)研的基礎(chǔ)上，開行研究采用商用高可用文件系統(tǒng)產(chǎn)品。

各文件系統(tǒng)的優(yōu)缺點(diǎn)及適用范圍總結(jié)如下（表2）：

對(duì)比分析，并行集群文件系統(tǒng)GPFS（General Parallel File System）各方面特征符合開行要求。

3.3 關(guān)鍵場景應(yīng)用

（1）數(shù)據(jù)雙活。方案模式及效果：一是雙中心同步：搭建GPFS集群，數(shù)據(jù)以雙副本同步形式，分別存儲(chǔ)到生產(chǎn)中心和輔生產(chǎn)中心；二是雙中心數(shù)據(jù)雙活：數(shù)據(jù)在兩中心實(shí)時(shí)同步，同時(shí)讀寫，數(shù)據(jù)層面實(shí)現(xiàn)雙活；三是同等服務(wù)能力：雙活應(yīng)用本地訪問后臺(tái)數(shù)據(jù)，應(yīng)用服務(wù)器可同等提供對(duì)用戶的服務(wù)能力。

（2）長距離同步。方案模式及效果：一短距二層可靠：長安街、北豐20公里大二層雙中心模式下，雙中心的雙活秒級(jí)切換；二是三層同步不穩(wěn)定：阜外、懷柔的跨中心距離120km，經(jīng)測試三層網(wǎng)絡(luò)傳輸?shù)耐焦ぷ鞑环€(wěn)定。

（3）數(shù)據(jù)安全和保護(hù)。方案模式及效果：一是三副本：雙數(shù)據(jù)中心的GPFS集群，在集群中，數(shù)據(jù)以三副本的形式存儲(chǔ)；二是三份數(shù)據(jù)都可使用；三是與應(yīng)用系統(tǒng)協(xié)同確保數(shù)據(jù)安全。

（4）優(yōu)化數(shù)據(jù)生命周期。方案模式及效果：一是透明遷移熱點(diǎn)：利用分層存儲(chǔ)功能，掛載不同性能的存儲(chǔ)，配置自動(dòng)遷移數(shù)據(jù)；二是數(shù)據(jù)自動(dòng)分布：自動(dòng)調(diào)整數(shù)據(jù)的分布，優(yōu)化數(shù)據(jù)生命周期管理。

（5）統(tǒng)一大數(shù)據(jù)存儲(chǔ)平臺(tái)。方案模式及效果：一是利用FPO搭建大數(shù)據(jù)存儲(chǔ)平臺(tái)；二是構(gòu)建通用分布式平臺(tái)。

3.4 平臺(tái)技術(shù)實(shí)踐

GPFS在多中心的實(shí)踐中，選定三種架構(gòu)：一是Linux+GPFS，F(xiàn)PO+SAMBA服務(wù)；二是Power平臺(tái)GPFS集群連接高端存儲(chǔ)；三是X86平臺(tái)GPFS集群連接低端存儲(chǔ)。開行結(jié)合行內(nèi)ECM平臺(tái)建設(shè)進(jìn)行了雙中心模式下短距離GPFS集群功能測試、GPFS單中心集群測試、雙中心模式下長距離GPFS集群功能測試。

4 應(yīng)用效果

應(yīng)用效果一是存儲(chǔ)設(shè)備利舊，涉及裸容量750PB，可以有效降低存儲(chǔ)使用成本約1000萬元；二是簡化運(yùn)維流程，提升了資源配置效率，推進(jìn)多層次運(yùn)維體系建設(shè)；三是新架構(gòu)和服務(wù)交付能力提升，滿足應(yīng)用系統(tǒng)容災(zāi)恢復(fù)、多活和大數(shù)據(jù)等應(yīng)用擴(kuò)展性和高可用性的要求；四是業(yè)務(wù)連續(xù)性級(jí)別提升，存儲(chǔ)數(shù)據(jù)零丟失。

參考文獻(xiàn)：

[1]施澤全.基于虛擬化的高校數(shù)據(jù)中心異構(gòu)存儲(chǔ)策略研究及實(shí)踐[J].中國新通信，2015（23）.

[2]馮偉斌，張?jiān)朴?，王志?支持不同存儲(chǔ)方式的OpenStack云平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J].電信科學(xué)，2016（4）.endprint