蔣明 方圓 蔡夢(mèng)臣

摘 要：電力系統(tǒng)現(xiàn)在主要采用SAN網(wǎng)絡(luò)存儲(chǔ)平臺(tái)，雖具有較高的可靠性，但是隨著業(yè)務(wù)數(shù)據(jù)的爆發(fā)式增長(zhǎng)，目前一些早期服役設(shè)備，已經(jīng)難以滿(mǎn)足現(xiàn)有業(yè)務(wù)系統(tǒng)發(fā)展需求，需要逐步進(jìn)行更新、優(yōu)化，以持續(xù)保證存儲(chǔ)系統(tǒng)的可靠性和可用性。研究通過(guò)對(duì)現(xiàn)有的存儲(chǔ)系統(tǒng)的優(yōu)化提升，提高存儲(chǔ)系統(tǒng)的響應(yīng)速度和執(zhí)行效率；利用分布式存儲(chǔ)方式為系統(tǒng)提供良好的彈性擴(kuò)展能力，滿(mǎn)足公司日益增長(zhǎng)的存儲(chǔ)需求。

關(guān)鍵詞：存儲(chǔ)系統(tǒng)；SAN網(wǎng)絡(luò)存儲(chǔ)平臺(tái)；分布式存儲(chǔ)

中圖分類(lèi)號(hào)：TM73 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-2064（2018）14-0189-02

電力系統(tǒng)現(xiàn)在主要采用SAN 網(wǎng)絡(luò)存儲(chǔ)平臺(tái)，平臺(tái)核心交換機(jī)為雙機(jī)冗余，設(shè)備之間的連接為雙通道連接方式。存儲(chǔ)設(shè)備為雙引擎，具備冗余電源、冗余通道，具備較高的可靠性。但隨著業(yè)務(wù)數(shù)據(jù)的爆發(fā)式增長(zhǎng)，目前一些早期服役設(shè)備，已經(jīng)難以滿(mǎn)足現(xiàn)有業(yè)務(wù)系統(tǒng)發(fā)展需求，需要逐步進(jìn)行更新、優(yōu)化，以持續(xù)保證存儲(chǔ)系統(tǒng)的可靠性和可用性。具體表現(xiàn)在以下三點(diǎn)：一是設(shè)備超期服役；二是SAN系統(tǒng)性能存在瓶頸；三是現(xiàn)有的存儲(chǔ)系統(tǒng)容量不足。

為解決現(xiàn)有系統(tǒng)的局限，研究利用先進(jìn)、成熟的技術(shù)，提升存儲(chǔ)系統(tǒng)的響應(yīng)速度及執(zhí)行效率，同時(shí)提升系統(tǒng)彈性擴(kuò)展能力，最終使整個(gè)存儲(chǔ)系統(tǒng)具有高性能、高安全、高可靠性、高彈性、易管理等特點(diǎn)，滿(mǎn)足公司日益增長(zhǎng)的存儲(chǔ)需求。

1 存儲(chǔ)系統(tǒng)提升總體目標(biāo)和遵循原則

1.1 總體目標(biāo)

為滿(mǎn)足日益增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求，提升存儲(chǔ)系統(tǒng)擴(kuò)展能力，本方案著重于實(shí)現(xiàn)以下目標(biāo)：

（1）完成存儲(chǔ)系統(tǒng)的升級(jí)改造，提升部分存儲(chǔ)的性能；（2）完成SAN網(wǎng)絡(luò)的優(yōu)化升級(jí)，優(yōu)化SAN網(wǎng)絡(luò)性能；（3）完成新存儲(chǔ)系統(tǒng)規(guī)劃設(shè)計(jì)，以滿(mǎn)足未來(lái)業(yè)務(wù)發(fā)展需求。

1.2 遵循原則

本存儲(chǔ)系統(tǒng)提升方案遵循以下幾點(diǎn)原則：

（1）高性能。應(yīng)用業(yè)務(wù)系統(tǒng)，如ERP、辦公自動(dòng)化、數(shù)據(jù)庫(kù)應(yīng)用等常常要大量地對(duì)存儲(chǔ)系統(tǒng)進(jìn)行寫(xiě)入、讀取操作，因此，對(duì)存儲(chǔ)系統(tǒng)的性能將提出更高、更苛刻的要求。（2）高安全。電力信息數(shù)據(jù)安全性要求非常高，一旦數(shù)據(jù)發(fā)生問(wèn)題，會(huì)導(dǎo)致業(yè)務(wù)連續(xù)性受到影響，甚至影響正常運(yùn)行，因此，存儲(chǔ)系統(tǒng)建設(shè)需要以安全可靠問(wèn)基礎(chǔ)。（3）高可靠。根據(jù)要求信息需要在24×7h的條件下保持在線(xiàn)狀態(tài)，系統(tǒng)故障會(huì)引起應(yīng)用服務(wù)中斷，將給用戶(hù)造成損失。（4）高彈性。存儲(chǔ)系統(tǒng)要建設(shè)成標(biāo)準(zhǔn)、集中、易擴(kuò)展的系統(tǒng)，能夠在容量、性能需求不斷增加的情況下，橫向或縱向進(jìn)行存儲(chǔ)空間的平滑擴(kuò)展。（5）易管理。對(duì)存儲(chǔ)系統(tǒng)進(jìn)行管理，簡(jiǎn)化工作，降低TCO，是保證存儲(chǔ)系統(tǒng)穩(wěn)定運(yùn)行的重要因素。

2 存儲(chǔ)系統(tǒng)優(yōu)化方法

2.1 建設(shè)分層存儲(chǔ)系統(tǒng)

分析業(yè)務(wù)系統(tǒng)存儲(chǔ)需求，整合現(xiàn)有存儲(chǔ)資源，制定存儲(chǔ)系統(tǒng)更新?lián)Q代實(shí)施計(jì)劃，逐步對(duì)超期服役存儲(chǔ)進(jìn)行退役處理；并引入分層存儲(chǔ)技術(shù)對(duì)現(xiàn)有架構(gòu)進(jìn)行優(yōu)化，提升整個(gè)SAN存儲(chǔ)系統(tǒng)可用性和性?xún)r(jià)比。具體建設(shè)過(guò)程分為兩個(gè)階段，第一階段完成業(yè)務(wù)系統(tǒng)存儲(chǔ)需求調(diào)研，論證分層存儲(chǔ)建設(shè)方式，編制存儲(chǔ)系統(tǒng)優(yōu)化建設(shè)方案；第二階段完成存儲(chǔ)系統(tǒng)測(cè)試驗(yàn)證工作，通過(guò)測(cè)試后上線(xiàn)部署，并逐步完成數(shù)據(jù)遷移和監(jiān)控分析完善工作。

2.2 應(yīng)用存儲(chǔ)系統(tǒng)融合技術(shù)

研究存儲(chǔ)融合技術(shù)，用于對(duì)性能差設(shè)備、退役設(shè)備進(jìn)行整合，提升設(shè)備利用率，節(jié)約數(shù)據(jù)中心建設(shè)成本；最終形成相關(guān)融合產(chǎn)品，在系統(tǒng)內(nèi)進(jìn)行推廣。具體應(yīng)用過(guò)程分為兩個(gè)階段，第一階段完成存儲(chǔ)融合技術(shù)方向確立，制定工作計(jì)劃，并進(jìn)行相關(guān)技術(shù)儲(chǔ)備工作，第二階段完成存儲(chǔ)融合技術(shù)的研發(fā)工作、并在內(nèi)部進(jìn)行相關(guān)測(cè)試、試點(diǎn)部署工作。

2.3 自研分布式存儲(chǔ)及管理系統(tǒng)

進(jìn)行分布式存儲(chǔ)系統(tǒng)自研工作，并結(jié)合存儲(chǔ)發(fā)展趨勢(shì)，進(jìn)行分布式存儲(chǔ)綜合管控平臺(tái)研發(fā)工作，在公司層面利用分布式平臺(tái)進(jìn)行綜合管理，形成電力特色分布式存儲(chǔ)管理系統(tǒng)，為數(shù)據(jù)中心發(fā)展提供支撐。具體研究及應(yīng)用過(guò)程共分為三個(gè)階段，第一階段：進(jìn)行相關(guān)技術(shù)調(diào)研和分析，并儲(chǔ)備相關(guān)項(xiàng)目技術(shù)資源；第二階段：完成對(duì)分布式存儲(chǔ)技術(shù)進(jìn)行研究分析，對(duì)國(guó)內(nèi)主要廠(chǎng)商相關(guān)產(chǎn)品進(jìn)行調(diào)研，形成分布式存儲(chǔ)體系調(diào)研報(bào)告，完成分布式存儲(chǔ)管理系統(tǒng)自研工作計(jì)劃和實(shí)施方案；第三階段：完成系統(tǒng)自研、測(cè)試、上線(xiàn)工作。

3 存儲(chǔ)系統(tǒng)優(yōu)化方案

根據(jù)上述提升方法，本建設(shè)方案認(rèn)為提升后存儲(chǔ)系統(tǒng)含高端存儲(chǔ)系統(tǒng)1套、大容量存儲(chǔ)系統(tǒng)1套、分布式存儲(chǔ)系統(tǒng)2套、全閃存陣列存儲(chǔ)3套、容災(zāi)存儲(chǔ)系統(tǒng)1套。根據(jù)業(yè)務(wù)需求緊急程度并結(jié)合存儲(chǔ)技術(shù)發(fā)展趨勢(shì)，存儲(chǔ)系統(tǒng)建設(shè)分三個(gè)階段完成。第一階段完成高端存儲(chǔ)系統(tǒng)、大容量存儲(chǔ)系統(tǒng)和2套全閃存陣列存儲(chǔ)部署，完成部分災(zāi)備存儲(chǔ)系統(tǒng)部署，完成相應(yīng)的SAN存儲(chǔ)網(wǎng)絡(luò)和IP存儲(chǔ)網(wǎng)絡(luò)建設(shè)；第二階段完成第三套全閃存陣列存儲(chǔ)系統(tǒng)部署，完善災(zāi)備存儲(chǔ)系統(tǒng)部署，完成分布式測(cè)試存儲(chǔ)部署，完成相應(yīng)存儲(chǔ)網(wǎng)絡(luò)建設(shè)工作；第三階段完成分布式高性能存儲(chǔ)系統(tǒng)部署，完成對(duì)應(yīng)IB存儲(chǔ)網(wǎng)絡(luò)建設(shè)?？傮w部署圖如圖1所示。

3.1 第一階段

機(jī)房部署2臺(tái)高端SAN存儲(chǔ)用于承載公司核心業(yè)務(wù)數(shù)據(jù)，2臺(tái)存儲(chǔ)采用雙活模式部署確保存儲(chǔ)高可用，同時(shí)為了保障數(shù)據(jù)安全將數(shù)據(jù)備份到災(zāi)備存儲(chǔ)中。高端存儲(chǔ)采用不低于16GB FC主機(jī)接口，配合不低于16GB傳輸接口的SAN交換機(jī)組建高性能存儲(chǔ)網(wǎng)絡(luò)。具體部署如圖2所示。

高端存儲(chǔ)通過(guò)SAN網(wǎng)絡(luò)將原有的老舊存儲(chǔ)通過(guò)存儲(chǔ)異構(gòu)方式進(jìn)行利舊，可利用這些老舊存儲(chǔ)為性能要求不高的非核心業(yè)務(wù)提供服務(wù)。

海量存儲(chǔ)系統(tǒng)部署3個(gè)節(jié)點(diǎn)，采用分布式架構(gòu)確保大數(shù)據(jù)量讀寫(xiě)的性能和穩(wěn)定性。此存儲(chǔ)系統(tǒng)主要用于各類(lèi)非結(jié)構(gòu)化及半結(jié)構(gòu)化數(shù)據(jù)的儲(chǔ)存，并可為公司后期大數(shù)據(jù)業(yè)務(wù)提供存儲(chǔ)服務(wù)，為相關(guān)大數(shù)據(jù)分析提供充足可靠的存儲(chǔ)環(huán)境。

一階段部署2套全閃存陣列，存儲(chǔ)磁盤(pán)采用高性能SSD企業(yè)盤(pán)，整套系統(tǒng)總IOPS不低于50萬(wàn)，并具備極低的延遲，可為公司部分核心業(yè)務(wù)提供性能加速。

3.2 第二階段

第二階段在第一階段的基礎(chǔ)上增加一臺(tái)全閃存陣列，完善全閃存陣列存儲(chǔ)系統(tǒng)，將部分對(duì)IOPS和延遲要求高的業(yè)務(wù)遷移到全閃存陣列，進(jìn)一步提升存儲(chǔ)系統(tǒng)整體的服務(wù)器水平。

部署一套分布式存儲(chǔ)用于各類(lèi)測(cè)試業(yè)務(wù)，分布式存儲(chǔ)采用5個(gè)節(jié)點(diǎn)的X86架構(gòu)服務(wù)器，存儲(chǔ)網(wǎng)絡(luò)采用萬(wàn)兆以太網(wǎng)，業(yè)務(wù)網(wǎng)絡(luò)根據(jù)情況采用千兆或萬(wàn)兆以太網(wǎng)。通過(guò)分布式文件系統(tǒng)將業(yè)務(wù)數(shù)據(jù)分散存放到各存儲(chǔ)節(jié)點(diǎn)，結(jié)合多副本技術(shù)確保數(shù)據(jù)安全。此分布式存儲(chǔ)系統(tǒng)除了承載測(cè)試業(yè)務(wù)數(shù)據(jù)外，還可以為一些業(yè)務(wù)負(fù)載不高的虛擬化業(yè)務(wù)提供數(shù)據(jù)存儲(chǔ)。根據(jù)需要在災(zāi)備存儲(chǔ)區(qū)部署IP存儲(chǔ)，為分布式存儲(chǔ)中的部分業(yè)務(wù)提供數(shù)據(jù)災(zāi)備服務(wù)。

3.3 第三階段

隨著公司業(yè)務(wù)系統(tǒng)的不斷增長(zhǎng)，更多業(yè)務(wù)對(duì)存儲(chǔ)系統(tǒng)提出更高要求，第三階段部署一套基于PCI-E SSD的高性能分布式存儲(chǔ)系統(tǒng)，根據(jù)業(yè)務(wù)對(duì)性能要求情況，可以采用部分PCI-E SSD加速或全部基于PCI-E SSD構(gòu)建。高性能分布式存儲(chǔ)網(wǎng)絡(luò)采用不低于56GB的IB交換機(jī)，確保整套存儲(chǔ)系統(tǒng)在延遲、帶寬、IOPS等方面均能滿(mǎn)足關(guān)鍵業(yè)務(wù)的需求。

4 結(jié)語(yǔ)

綜上所述，研究通過(guò)對(duì)現(xiàn)有的存儲(chǔ)系統(tǒng)的優(yōu)化提升，提高存儲(chǔ)系統(tǒng)的響應(yīng)速度和執(zhí)行效率；利用分布式存儲(chǔ)方式為系統(tǒng)提供良好的彈性擴(kuò)展能力，使系統(tǒng)具有高性能、高安全、高可靠性、高彈性、易管理等特點(diǎn)，為公司提供優(yōu)良的數(shù)據(jù)存儲(chǔ)服務(wù)，滿(mǎn)足快速增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求。

參考文獻(xiàn)

[1]Beaver D， Kumar S， Li H C， et al. Finding a needle in Haystack： facebook's photo storage[C]// Usenix Symposium on OperatingSystems Design and Implementation， OSDI 2010， October 4-6， 2010， Vancouver， Bc， Canada， Proceedings，2010：47-60.

[2]余慶.分布式文件系統(tǒng)FastDFS架構(gòu)剖析及配置優(yōu)化演示文檔[OL].[2012-4-8].[2016-7-12].

[3]Geekwolf.FastDFS分布式存儲(chǔ)實(shí)戰(zhàn)文檔[OL].[2016-7-12].

[4]劉愛(ài)貴.海量小文件問(wèn)題綜述[OL].[2016-7-13].

[5]張友東.TFS開(kāi)源用戶(hù)常見(jiàn)問(wèn)題（FAQ）[OL].[2016-7-14].

[6] ChuYu.Intro Taocode[OL].[2011-9-29].[2016-7-13].