顧忠順，厲愛麗

（1.西藏自治區(qū)氣象信息網(wǎng)絡(luò)中心，西藏拉薩，850000；2.西藏高原大氣環(huán)境科學(xué)研究所，西藏拉薩，850000）

0 引言

云計算是近年來興起的互聯(lián)網(wǎng)現(xiàn)代化技術(shù)之一[1]。云計算為氣象科研提供了一種新的資源使用和計算模式，可以為互聯(lián)網(wǎng)用戶提供動態(tài)、可拓展的計算資源、儲存能力的大規(guī)模分布式計算集合[2]。云計算技術(shù)支持下，各類作業(yè)儲存在資源池，應(yīng)用系統(tǒng)可針對業(yè)務(wù)需求獲取計算能力、儲存及技術(shù)軟件服務(wù)，云計算平臺也結(jié)合需要動態(tài)部署、配置或取消。云計算的資源更加虛擬化，其儲存效率突出，具有較高的可擴(kuò)展性，便于氣象科研工作使用。

1 云計算在氣象部門工作中應(yīng)用的優(yōu)勢

云計算技術(shù)可提高IT資源利用率，簡化繁瑣管理步驟，加快IT響應(yīng)[3]。目前云計算技術(shù)正處于不斷成熟發(fā)展?fàn)顟B(tài)，眾多數(shù)據(jù)中心轉(zhuǎn)型都應(yīng)用云計算技術(shù)。云計算、主機(jī)虛擬化可實(shí)現(xiàn)計算、數(shù)據(jù)高度集中，其對數(shù)據(jù)儲存、使用、管理提出更嚴(yán)格要求。因此，需設(shè)計與之匹配的云計算儲存系統(tǒng)。

結(jié)合西藏氣象部門業(yè)務(wù)需求，利用云計算技術(shù)構(gòu)建私有云計算環(huán)境，為用戶提供更多計算、儲存資源，提供集中托管，滿足用戶對IT技術(shù)資源需求[4]。云計算系統(tǒng)其按需配置資源，系統(tǒng)彈性、可用服務(wù)突出，可實(shí)現(xiàn)資源快速布置、動態(tài)配置，并結(jié)合業(yè)務(wù)需求可靈活升級、擴(kuò)充。西藏氣象私有云環(huán)境下的存儲架構(gòu)設(shè)計對所需要的各項(xiàng)業(yè)務(wù)區(qū)域化儲存分析，了解儲存中的各項(xiàng)關(guān)鍵參數(shù)，比對各項(xiàng)數(shù)據(jù)參數(shù)指標(biāo)，確定氣象私有云環(huán)境下儲存設(shè)計方案，對架構(gòu)、性能評估，發(fā)現(xiàn)使用的云儲存架構(gòu)滿足需求，可支撐西藏氣象科研工作有序開展。

2 云環(huán)境中儲存設(shè)計的關(guān)鍵

新時期云計算技術(shù)不斷成熟，越來越多的企業(yè)單位虛擬化架構(gòu)承載比例上升[5]。西藏氣象部門信息化建設(shè)以云計算技術(shù)構(gòu)建氣象私有云，為西藏氣象業(yè)務(wù)科研部門提供計算、儲存、網(wǎng)絡(luò)接入等多項(xiàng)服務(wù)，私有云以20多臺服務(wù)器、4套磁盤陣列、2套NAS儲存等支持，目前已提供超200臺虛擬服務(wù)器，實(shí)現(xiàn)準(zhǔn)確的天氣預(yù)報，對預(yù)報信息集中處理，提供各類自動站中心站、西藏氣象一體化業(yè)務(wù)平臺等超過30個應(yīng)用系統(tǒng)[6]，使資源利用率提高近51%，且其業(yè)務(wù)部署的單位為天，故障恢復(fù)時間在分鐘級別對CPU的利用率也比以前高，高出6倍以上的利用效率。

2.1 業(yè)務(wù)需求

IT架構(gòu)為上層業(yè)務(wù)落實(shí)作鋪墊，傳統(tǒng)云平臺建設(shè)知識以儲存架構(gòu)滿足多類型的產(chǎn)生的數(shù)據(jù)訪問模式及數(shù)據(jù)特征，該虛擬架構(gòu)可以適應(yīng)規(guī)模小，訪問壓力低的場合，可起到降低儲存平臺設(shè)計難度作用。而面對數(shù)據(jù)類型差異較大、業(yè)務(wù)系統(tǒng)讀寫模式復(fù)雜的情況，就需為不同業(yè)務(wù)匹配合理的數(shù)據(jù)類型、訪問特點(diǎn)，優(yōu)化儲存平臺性能及成本。

2.2 儲存設(shè)計關(guān)鍵

云計算的儲存設(shè)計需考慮儲存協(xié)議、針對不同業(yè)務(wù)數(shù)據(jù)類型優(yōu)化性能、考慮如何在多業(yè)務(wù)運(yùn)行下對數(shù)據(jù)容量做好統(tǒng)籌規(guī)劃。同時，儲存設(shè)計還要考慮到不同儲存環(huán)境下，平臺的資源池化，如何更好的針對各類儲存確保平臺的高可用保護(hù)。

3 云環(huán)境下的儲存協(xié)議確定

3.1 光纖通道儲存

光纖通道儲存的性能及可靠性最為突出，其成本相對較高，目前主流帶寬為5Gbps[7]、16Gpbs[8]。采用光纖通道儲存，可用帶寬更高，延時低，且系統(tǒng)的性能有所保障。獨(dú)立的光纖通道其網(wǎng)絡(luò)安全性突出，設(shè)有Zoning、LUN masking[9]訪問控制。光纖通道儲存支持從儲存啟動系統(tǒng)，可實(shí)現(xiàn)本地服務(wù)器無需硬盤支持即可運(yùn)行，但其建設(shè)成本高，對于氣象數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)文件大、數(shù)量多的特點(diǎn)，難以滿足需求。

3.2 NAS儲存

NAS儲存和其他儲存的協(xié)議類型不同，以光纖通道為例，其采用數(shù)據(jù)塊協(xié)議，寫入到后端儲存設(shè)備的數(shù)據(jù)單位為塊，主機(jī)的磁盤的文件維護(hù)，主機(jī)視角中，儲存設(shè)備基本等同于本地磁盤。NAS的儲存設(shè)備端可維護(hù)磁盤文件，協(xié)議為共享協(xié)議，服務(wù)器和儲存設(shè)備只是簡單通訊。

常規(guī)NAS性能不如光纖通道，無法支持虛擬主機(jī)平臺全部儲存特性，故西藏氣象云計算環(huán)境不適合采用NAS部署操作系統(tǒng)。一些現(xiàn)代化的分布式NAS，其自身可以發(fā)揮后端磁盤帶寬，確保大容量、非結(jié)構(gòu)化的數(shù)據(jù)可以實(shí)現(xiàn)高并發(fā)的讀寫。針對氣象數(shù)據(jù)的特點(diǎn)，西藏氣象數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)資料，如衛(wèi)星數(shù)據(jù)、實(shí)景圖片及實(shí)景視頻資料等，可以利用一部分的NAS，對其目錄共享，有效提高虛擬機(jī)文件儲存性能，節(jié)省成本。

4 儲存平臺性能設(shè)計

4.1 影響儲存性能的幾個原因

云計算對儲存平臺性能的影響集中在儲存控制器、磁盤類型、虛擬化主機(jī)環(huán)境以及儲存產(chǎn)品集成度上。儲存平臺需考慮儲存產(chǎn)品的軟硬件配置是否合理，如控制器處理計算能力、儲存緩存多少、磁盤接口類型，IO通道帶寬、數(shù)量及主機(jī)多路徑管理等。加速盤也是一種新興儲存介質(zhì)，其I/O性能遠(yuǎn)遠(yuǎn)超出傳統(tǒng)硬盤，可靈活應(yīng)該用到虛擬環(huán)境中，提高系統(tǒng)整體性能。對于儲存陣列以及服務(wù)器自身的虛擬化基層而言，可采用開放性的儲存產(chǎn)品軟件接口協(xié)議，以合理的儲存產(chǎn)品，和對應(yīng)I/O配合，卸載到儲存端，以此控制虛擬化層服務(wù)整體壓力，設(shè)置合理的虛擬環(huán)境。例如氣象私有云采取VAAI協(xié)議，利用存儲雙活技術(shù)，將虛擬機(jī)、儲存設(shè)備和主流系統(tǒng)對接，用戶無需顧慮后期儲存能力、類型，存儲資源可動態(tài)擴(kuò)展。

4.2 儲存IO能力

后磁盤的使用會導(dǎo)致I/O遇到一定阻礙，可以在磁盤系統(tǒng)的規(guī)劃方面，注重配置好IOPS，充分分析緩存性能優(yōu)化的多種問題，規(guī)劃過程中基本不考慮緩存對儲存的影響。結(jié)合業(yè)務(wù)需要、特點(diǎn)，或者配合對以往的業(yè)務(wù)IO數(shù)據(jù)分析，可以得到業(yè)務(wù)系統(tǒng)大致讀寫比例，和IOPS的統(tǒng)計預(yù)設(shè)目標(biāo)分析，可以得到實(shí)現(xiàn)所需性能的磁盤數(shù)量。

4.3 虛擬化層對性能造成的影響

伴隨新時期信息技術(shù)飛速發(fā)展，服務(wù)器向虛擬化發(fā)展已經(jīng)成為趨勢，虛擬化的產(chǎn)品也研發(fā)出和儲存產(chǎn)品兼容的軟件接口協(xié)議，目前一些較為先進(jìn)的儲存產(chǎn)品可和軟件對接，將大量儲存的I/O卸載到客戶端，降低服務(wù)虛擬化層承受的有壓力，實(shí)現(xiàn)對虛擬環(huán)境的優(yōu)化。虛擬環(huán)境中的儲存硬件及虛擬中間軟件的管理程序通訊并不簡單，為簡化通信過程提高通信效率，研發(fā)出VAAI接口，應(yīng)用此接口可以為對應(yīng)的管理程序、儲存設(shè)備規(guī)定好不同的職責(zé)，最大化發(fā)揮其各自效能，讓通信程序可以充分完成虛擬化相關(guān)工作，將儲存工作留給儲存陣列完成。

通過設(shè)置的VAAI，廠家可以對儲存硬件及應(yīng)用程序、vSphere進(jìn)行集成，使VAAI的一些儲存層工作可以在儲存陣列上運(yùn)行，此時運(yùn)行為離線狀態(tài)，可以比主機(jī)端完成此類操作更加高效。主機(jī)端則簡單的負(fù)責(zé)相關(guān)工作轉(zhuǎn)移給儲存陣列完成，主機(jī)只是負(fù)責(zé)監(jiān)控，并非占用主機(jī)資源完成操作。

5 結(jié)果分析

采取西藏氣象私有云環(huán)境內(nèi)部的A、B區(qū)儲存一日的數(shù)據(jù)作為基礎(chǔ)分析，以儲存性能專業(yè)的分析工具支持分析，具體結(jié)果如下。

5.1 儲存訪問特性

面對不同的業(yè)務(wù)，其所需要的儲存方式也各有不同，具體的差異主要是不同的業(yè)務(wù)其I/O讀寫比例及大小各不相同，對儲存效果優(yōu)化，需要考慮到訪問特性進(jìn)一步完善。對西藏氣象私有云的儲存數(shù)據(jù)分析，其中A區(qū)和B區(qū)的讀寫比例分別為53%：49%、61%；41%，A區(qū)的I/O大小4K，B區(qū)一設(shè)備裝置量128K。對于后端磁盤而言，使用磁盤必然會制約寫入的儲存訪問，故需要對儲存進(jìn)行規(guī)劃分析，注重利用磁盤本身的并發(fā)性特征，將寫入的數(shù)據(jù)充分打散，分布到多個物理磁盤內(nèi)，大大提高數(shù)據(jù)落盤的響應(yīng)效果?？紤]到后端磁盤對儲存的影響，故在原本設(shè)計儲存基礎(chǔ)上，融入Pool服務(wù)，將數(shù)據(jù)在Pool的各個硬盤中充分打散，以此獲取更為理想的儲存性能。對大的I/O業(yè)務(wù)量場景分析，發(fā)現(xiàn)西藏氣象私有云通過虛擬機(jī)和業(yè)務(wù)數(shù)據(jù)分離設(shè)置方式，可提高整體架構(gòu)性能，將虛擬機(jī)當(dāng)中不同的系統(tǒng)文件都儲存到光纖通道內(nèi)，以此構(gòu)建業(yè)務(wù)目錄和NAS的聯(lián)系，進(jìn)一步提高文件的讀寫效果，也充分控制云平臺的虛擬機(jī)性能。

5.2 儲存負(fù)載性能

對幾臺儲存展現(xiàn)分析，從儲存承擔(dān)IOPS方面分析，發(fā)現(xiàn)幾個儲存負(fù)載并不平均，A的儲存IOPS壓力較小，而B的這方面壓力相對較大。但是目前系統(tǒng)的儲存性能仍然滿足要求。絕大多數(shù)IO的響應(yīng)時間基本可以控制在5秒以內(nèi)，其運(yùn)行響應(yīng)速度滿足使用需求。伴隨虛擬機(jī)數(shù)量不斷增加，就需要注重解決儲存IOPS的壓力不平均問題，避免部分儲存受到過多的壓力，導(dǎo)致響應(yīng)時間較長，影響系統(tǒng)整體使用效果，而另一部分的儲存性能處于閑置狀態(tài)，未充分利用。

6 結(jié)束語

伴隨氣象私有云平臺儲存設(shè)計及應(yīng)用，文章從的性能影響因素、IO能力計算及虛擬化層的方向分析，評估儲存實(shí)際運(yùn)行狀態(tài)，在平臺訪問、IO負(fù)載方面展開分析，發(fā)現(xiàn)目前西藏氣象私有云平臺構(gòu)建的架構(gòu)相對合理，不同類型儲存經(jīng)過配置優(yōu)化之后可以互相補(bǔ)充不足，滿足不同類型氣象科研及業(yè)務(wù)的需要，經(jīng)過實(shí)際運(yùn)行分析發(fā)現(xiàn)各項(xiàng)指標(biāo)良好。未來發(fā)展中，將融入跟蹤技術(shù)，結(jié)合存儲虛擬化技術(shù)，調(diào)整高速雙活存儲和海量大數(shù)據(jù)存儲之間的關(guān)系，加強(qiáng)信息系統(tǒng)安全建設(shè)，優(yōu)化西藏氣象私有云存儲架構(gòu)，提升管理職能，進(jìn)一步滿足業(yè)務(wù)系統(tǒng)發(fā)展需求，將更多元化的儲存及管理平臺深入研究，將更智能化的技術(shù)融入到西藏氣象科研及業(yè)務(wù)工作中。