蔣明 方圓 蔡夢臣

摘 要：電力系統(tǒng)現(xiàn)在主要采用SAN網(wǎng)絡(luò)存儲平臺，雖具有較高的可靠性，但是隨著業(yè)務(wù)數(shù)據(jù)的爆發(fā)式增長，目前一些早期服役設(shè)備，已經(jīng)難以滿足現(xiàn)有業(yè)務(wù)系統(tǒng)發(fā)展需求，需要逐步進行更新、優(yōu)化，以持續(xù)保證存儲系統(tǒng)的可靠性和可用性。研究通過對現(xiàn)有的存儲系統(tǒng)的優(yōu)化提升，提高存儲系統(tǒng)的響應(yīng)速度和執(zhí)行效率；利用分布式存儲方式為系統(tǒng)提供良好的彈性擴展能力，滿足公司日益增長的存儲需求。

關(guān)鍵詞：存儲系統(tǒng)；SAN網(wǎng)絡(luò)存儲平臺；分布式存儲

中圖分類號：TM73 文獻標(biāo)識碼：A 文章編號：1671-2064（2018）14-0189-02

電力系統(tǒng)現(xiàn)在主要采用SAN 網(wǎng)絡(luò)存儲平臺，平臺核心交換機為雙機冗余，設(shè)備之間的連接為雙通道連接方式。存儲設(shè)備為雙引擎，具備冗余電源、冗余通道，具備較高的可靠性。但隨著業(yè)務(wù)數(shù)據(jù)的爆發(fā)式增長，目前一些早期服役設(shè)備，已經(jīng)難以滿足現(xiàn)有業(yè)務(wù)系統(tǒng)發(fā)展需求，需要逐步進行更新、優(yōu)化，以持續(xù)保證存儲系統(tǒng)的可靠性和可用性。具體表現(xiàn)在以下三點：一是設(shè)備超期服役；二是SAN系統(tǒng)性能存在瓶頸；三是現(xiàn)有的存儲系統(tǒng)容量不足。

為解決現(xiàn)有系統(tǒng)的局限，研究利用先進、成熟的技術(shù)，提升存儲系統(tǒng)的響應(yīng)速度及執(zhí)行效率，同時提升系統(tǒng)彈性擴展能力，最終使整個存儲系統(tǒng)具有高性能、高安全、高可靠性、高彈性、易管理等特點，滿足公司日益增長的存儲需求。

1 存儲系統(tǒng)提升總體目標(biāo)和遵循原則

1.1 總體目標(biāo)

為滿足日益增長的數(shù)據(jù)存儲需求，提升存儲系統(tǒng)擴展能力，本方案著重于實現(xiàn)以下目標(biāo)：

（1）完成存儲系統(tǒng)的升級改造，提升部分存儲的性能；（2）完成SAN網(wǎng)絡(luò)的優(yōu)化升級，優(yōu)化SAN網(wǎng)絡(luò)性能；（3）完成新存儲系統(tǒng)規(guī)劃設(shè)計，以滿足未來業(yè)務(wù)發(fā)展需求。

1.2 遵循原則

本存儲系統(tǒng)提升方案遵循以下幾點原則：

（1）高性能。應(yīng)用業(yè)務(wù)系統(tǒng)，如ERP、辦公自動化、數(shù)據(jù)庫應(yīng)用等常常要大量地對存儲系統(tǒng)進行寫入、讀取操作，因此，對存儲系統(tǒng)的性能將提出更高、更苛刻的要求。（2）高安全。電力信息數(shù)據(jù)安全性要求非常高，一旦數(shù)據(jù)發(fā)生問題，會導(dǎo)致業(yè)務(wù)連續(xù)性受到影響，甚至影響正常運行，因此，存儲系統(tǒng)建設(shè)需要以安全可靠問基礎(chǔ)。（3）高可靠。根據(jù)要求信息需要在24×7h的條件下保持在線狀態(tài)，系統(tǒng)故障會引起應(yīng)用服務(wù)中斷，將給用戶造成損失。（4）高彈性。存儲系統(tǒng)要建設(shè)成標(biāo)準(zhǔn)、集中、易擴展的系統(tǒng)，能夠在容量、性能需求不斷增加的情況下，橫向或縱向進行存儲空間的平滑擴展。（5）易管理。對存儲系統(tǒng)進行管理，簡化工作，降低TCO，是保證存儲系統(tǒng)穩(wěn)定運行的重要因素。

2 存儲系統(tǒng)優(yōu)化方法

2.1 建設(shè)分層存儲系統(tǒng)

分析業(yè)務(wù)系統(tǒng)存儲需求，整合現(xiàn)有存儲資源，制定存儲系統(tǒng)更新?lián)Q代實施計劃，逐步對超期服役存儲進行退役處理；并引入分層存儲技術(shù)對現(xiàn)有架構(gòu)進行優(yōu)化，提升整個SAN存儲系統(tǒng)可用性和性價比。具體建設(shè)過程分為兩個階段，第一階段完成業(yè)務(wù)系統(tǒng)存儲需求調(diào)研，論證分層存儲建設(shè)方式，編制存儲系統(tǒng)優(yōu)化建設(shè)方案；第二階段完成存儲系統(tǒng)測試驗證工作，通過測試后上線部署，并逐步完成數(shù)據(jù)遷移和監(jiān)控分析完善工作。

2.2 應(yīng)用存儲系統(tǒng)融合技術(shù)

研究存儲融合技術(shù)，用于對性能差設(shè)備、退役設(shè)備進行整合，提升設(shè)備利用率，節(jié)約數(shù)據(jù)中心建設(shè)成本；最終形成相關(guān)融合產(chǎn)品，在系統(tǒng)內(nèi)進行推廣。具體應(yīng)用過程分為兩個階段，第一階段完成存儲融合技術(shù)方向確立，制定工作計劃，并進行相關(guān)技術(shù)儲備工作，第二階段完成存儲融合技術(shù)的研發(fā)工作、并在內(nèi)部進行相關(guān)測試、試點部署工作。

2.3 自研分布式存儲及管理系統(tǒng)

進行分布式存儲系統(tǒng)自研工作，并結(jié)合存儲發(fā)展趨勢，進行分布式存儲綜合管控平臺研發(fā)工作，在公司層面利用分布式平臺進行綜合管理，形成電力特色分布式存儲管理系統(tǒng)，為數(shù)據(jù)中心發(fā)展提供支撐。具體研究及應(yīng)用過程共分為三個階段，第一階段：進行相關(guān)技術(shù)調(diào)研和分析，并儲備相關(guān)項目技術(shù)資源；第二階段：完成對分布式存儲技術(shù)進行研究分析，對國內(nèi)主要廠商相關(guān)產(chǎn)品進行調(diào)研，形成分布式存儲體系調(diào)研報告，完成分布式存儲管理系統(tǒng)自研工作計劃和實施方案；第三階段：完成系統(tǒng)自研、測試、上線工作。

3 存儲系統(tǒng)優(yōu)化方案

根據(jù)上述提升方法，本建設(shè)方案認(rèn)為提升后存儲系統(tǒng)含高端存儲系統(tǒng)1套、大容量存儲系統(tǒng)1套、分布式存儲系統(tǒng)2套、全閃存陣列存儲3套、容災(zāi)存儲系統(tǒng)1套。根據(jù)業(yè)務(wù)需求緊急程度并結(jié)合存儲技術(shù)發(fā)展趨勢，存儲系統(tǒng)建設(shè)分三個階段完成。第一階段完成高端存儲系統(tǒng)、大容量存儲系統(tǒng)和2套全閃存陣列存儲部署，完成部分災(zāi)備存儲系統(tǒng)部署，完成相應(yīng)的SAN存儲網(wǎng)絡(luò)和IP存儲網(wǎng)絡(luò)建設(shè)；第二階段完成第三套全閃存陣列存儲系統(tǒng)部署，完善災(zāi)備存儲系統(tǒng)部署，完成分布式測試存儲部署，完成相應(yīng)存儲網(wǎng)絡(luò)建設(shè)工作；第三階段完成分布式高性能存儲系統(tǒng)部署，完成對應(yīng)IB存儲網(wǎng)絡(luò)建設(shè)?？傮w部署圖如圖1所示。

3.1 第一階段

機房部署2臺高端SAN存儲用于承載公司核心業(yè)務(wù)數(shù)據(jù)，2臺存儲采用雙活模式部署確保存儲高可用，同時為了保障數(shù)據(jù)安全將數(shù)據(jù)備份到災(zāi)備存儲中。高端存儲采用不低于16GB FC主機接口，配合不低于16GB傳輸接口的SAN交換機組建高性能存儲網(wǎng)絡(luò)。具體部署如圖2所示。

高端存儲通過SAN網(wǎng)絡(luò)將原有的老舊存儲通過存儲異構(gòu)方式進行利舊，可利用這些老舊存儲為性能要求不高的非核心業(yè)務(wù)提供服務(wù)。

海量存儲系統(tǒng)部署3個節(jié)點，采用分布式架構(gòu)確保大數(shù)據(jù)量讀寫的性能和穩(wěn)定性。此存儲系統(tǒng)主要用于各類非結(jié)構(gòu)化及半結(jié)構(gòu)化數(shù)據(jù)的儲存，并可為公司后期大數(shù)據(jù)業(yè)務(wù)提供存儲服務(wù)，為相關(guān)大數(shù)據(jù)分析提供充足可靠的存儲環(huán)境。

一階段部署2套全閃存陣列，存儲磁盤采用高性能SSD企業(yè)盤，整套系統(tǒng)總IOPS不低于50萬，并具備極低的延遲，可為公司部分核心業(yè)務(wù)提供性能加速。

3.2 第二階段

第二階段在第一階段的基礎(chǔ)上增加一臺全閃存陣列，完善全閃存陣列存儲系統(tǒng)，將部分對IOPS和延遲要求高的業(yè)務(wù)遷移到全閃存陣列，進一步提升存儲系統(tǒng)整體的服務(wù)器水平。

部署一套分布式存儲用于各類測試業(yè)務(wù)，分布式存儲采用5個節(jié)點的X86架構(gòu)服務(wù)器，存儲網(wǎng)絡(luò)采用萬兆以太網(wǎng)，業(yè)務(wù)網(wǎng)絡(luò)根據(jù)情況采用千兆或萬兆以太網(wǎng)。通過分布式文件系統(tǒng)將業(yè)務(wù)數(shù)據(jù)分散存放到各存儲節(jié)點，結(jié)合多副本技術(shù)確保數(shù)據(jù)安全。此分布式存儲系統(tǒng)除了承載測試業(yè)務(wù)數(shù)據(jù)外，還可以為一些業(yè)務(wù)負(fù)載不高的虛擬化業(yè)務(wù)提供數(shù)據(jù)存儲。根據(jù)需要在災(zāi)備存儲區(qū)部署IP存儲，為分布式存儲中的部分業(yè)務(wù)提供數(shù)據(jù)災(zāi)備服務(wù)。

3.3 第三階段

隨著公司業(yè)務(wù)系統(tǒng)的不斷增長，更多業(yè)務(wù)對存儲系統(tǒng)提出更高要求，第三階段部署一套基于PCI-E SSD的高性能分布式存儲系統(tǒng)，根據(jù)業(yè)務(wù)對性能要求情況，可以采用部分PCI-E SSD加速或全部基于PCI-E SSD構(gòu)建。高性能分布式存儲網(wǎng)絡(luò)采用不低于56GB的IB交換機，確保整套存儲系統(tǒng)在延遲、帶寬、IOPS等方面均能滿足關(guān)鍵業(yè)務(wù)的需求。

4 結(jié)語

綜上所述，研究通過對現(xiàn)有的存儲系統(tǒng)的優(yōu)化提升，提高存儲系統(tǒng)的響應(yīng)速度和執(zhí)行效率；利用分布式存儲方式為系統(tǒng)提供良好的彈性擴展能力，使系統(tǒng)具有高性能、高安全、高可靠性、高彈性、易管理等特點，為公司提供優(yōu)良的數(shù)據(jù)存儲服務(wù)，滿足快速增長的數(shù)據(jù)存儲需求。

參考文獻

[1]Beaver D， Kumar S， Li H C， et al. Finding a needle in Haystack： facebook's photo storage[C]// Usenix Symposium on OperatingSystems Design and Implementation， OSDI 2010， October 4-6， 2010， Vancouver， Bc， Canada， Proceedings，2010：47-60.

[2]余慶.分布式文件系統(tǒng)FastDFS架構(gòu)剖析及配置優(yōu)化演示文檔[OL].[2012-4-8].[2016-7-12].

[3]Geekwolf.FastDFS分布式存儲實戰(zhàn)文檔[OL].[2016-7-12].

[4]劉愛貴.海量小文件問題綜述[OL].[2016-7-13].

[5]張友東.TFS開源用戶常見問題（FAQ）[OL].[2016-7-14].

[6] ChuYu.Intro Taocode[OL].[2011-9-29].[2016-7-13].