葉雅泉

?

GPFS在省級通信系統(tǒng)中的應用

葉雅泉

新疆氣象信息中心，新疆 烏魯木齊 830002

GPFS并行文件用于氣象通信系統(tǒng)后，可極大地提高群集系統(tǒng)傳輸效率和速度，滿足地面氣象觀測中海量數據運算系統(tǒng)的大吞吐量、存儲容量和較高的可靠性要求。基于此，主要介紹了GPFS優(yōu)勢和在國家中心和省級中心放入部署情況，并認為應用GPFS并行文件系統(tǒng)后極大地提高了數據處理效率。

GPFS并行文件；部署；應用

1 GPFS文件系統(tǒng)的優(yōu)勢

GPFS文件系統(tǒng)結合Linux群集使用時，可明顯表現出其優(yōu)勢：

（1）系統(tǒng)性能得到提高。GPFS允許在同一nodeset內的多進程或應用使用標準文件系統(tǒng)調用，并同時訪問同一個文件?？蓪odeset內讀寫操作分布在多個磁盤上，這樣就極大地增加了文件系統(tǒng)的帶寬，而且通過整個系統(tǒng)的負載均衡可以避免某個磁盤出現過大的讀寫。

（2）數據一致性。GPFS能利用一套復雜的信令管理機制提供數據一致性，并允許任意節(jié)點通過各自獨立的路徑到達同一個文件，即使節(jié)點出現異常無法正常工作，GPFS也可找到其他路徑到達文件。[1]

（3）數據安全性。GPFS屬于日志文件系統(tǒng)，可為不同節(jié)點建立各自獨立的日志，日志中記錄了metadate的分布，如果出現了節(jié)點故障問題，日志可幫助其快速地恢復數據，確保數據的安全性。GPFS fail-over功能通過規(guī)劃后能將數據分布到不同failure group內，實現其較高的可用性，并降低單點故障的影響。GPFS還可在多個failure group內對每個數據實例作備份。這樣，即使在創(chuàng)建文件系統(tǒng)時，沒有要求復制，GPFS也會自動在不同failure group內復制恢復日志。

（4）系統(tǒng)可擴展性。通過GPFS可以對系統(tǒng)資源作動態(tài)調整，在文件系統(tǒng)掛載情況下添加或刪除硬盤。有系統(tǒng)處于相對空閑時，用戶可重新對已配置的硬盤進行文件系統(tǒng)均衡分配，從而提高系統(tǒng)吞吐量，添加新節(jié)點不需要重新啟動GPFS服務。

（5）管理簡單。GPFS可以自動在同一個nodeset內各個節(jié)點之間同步配置文件和文件系統(tǒng)信息，對GPFS的管理可以在任一個節(jié)點上進行。

2 GPFS 文件系統(tǒng)部署情況

2.1 國家中心部署情況

國家中心核心區(qū)和Internet區(qū)各配置一套版本為3.3的GPFS。在核心區(qū)提供應用支撐與共享服務器組、監(jiān)控與內網FTP服務器組、數據處理服務器組和存儲管理服務器組對高性能磁盤陣列和大容量磁盤陣列的并行文件訪問。Internet區(qū)GPFS集群提供Internet共享服務器組對Internet區(qū)磁盤陣列的并行文件訪問。GPFS分成兩個集群，其中所有的IBM SystemP 刀片組成一個高性能計算集群，共21個節(jié)點；其他節(jié)點（包括P520/550主機和聯想PC Server）組成一個數據訪問集群，共15個節(jié)點。在高性能計算集群中，NSD Server訪問GPFS文件系統(tǒng)時，數據流在自身的光纖卡上；NSD Client訪問GPFS文件系統(tǒng)時，數據流在IB網上。在數據訪問集群中，除登錄節(jié)點（mgmtsw）之外，所有節(jié)點訪問GPFS文件系統(tǒng)時，數據流在自身的光纖卡上。在數據訪問集群中，登錄節(jié)點訪問GPFS文件系統(tǒng)時，數據流在以太網絡上。兩個集群的控制數據流在以太網絡上。所有的文件系統(tǒng)都在高性能計算集群上創(chuàng)建，數據訪問集群通過GPFS的互信方式，遠程掛載高性能計算集群所有的文件系統(tǒng)，且數據訪問集群所有的文件系統(tǒng)都不是自動掛載文件系統(tǒng)。[2]

國家中心核心區(qū)GPFS集群共包含應用支撐與共享服務器8臺服務器，監(jiān)控和FTP服務器組4臺服務器，數據處理服務器組21個刀片服務器和2個管理服務器，存儲管理服務器組2臺服務器，通過SAN網絡連接到磁盤陣列。

2.2 省級中心部署情況

省中心核心區(qū)GPFS集群共包含應用支撐與共享服務器4臺服務器，監(jiān)控和FTP服務器組4臺服務器，數據處理服務器組2服務器，存儲管理服務器組2臺服務器，通過以太網相連，作為GPFS通訊網絡，通過SAN網絡連接到磁盤陣列，所有服務器都連到SAN存儲網絡，可共享存儲劃分出的磁盤。

3 GPFS在省級通信系統(tǒng)中的應用

采用df-k命令可看到磁盤列表中每個節(jié)點都有一個相同的文件系統(tǒng)/gpfs，23個I/O節(jié)點直接與磁盤陣列相連，所有數據讀寫通過I/O節(jié)點并行完成，提高了數據的帶寬及交互能力。對比NFS及GPFS文件系統(tǒng)環(huán)境下的通信運行狀況，即在相同的節(jié)點下，運行相同的流程和數據，使用不同的并行文件系統(tǒng)得到的結果。使用NFS文件系統(tǒng)時，CPU運算效率較低，大多數時間都是CPU在等待數據I/O，但采用GPFS系統(tǒng)后，CPU運算效率提高，I/O占用CPU時間較少?？梢妼PFS并行文件用于通信系統(tǒng)后，可極大的提高群集系統(tǒng)傳輸效率和速度，用于對I/O操作頻繁的常規(guī)地面觀測數據資料處理時，明顯提升了I/O效率，而且穩(wěn)定性增加，滿足了地面氣象觀測中海量數據運算系統(tǒng)的大吞吐量、存儲容量和較高的可靠性要求。

[1]田銳，田晏嘉.基于集中式I/O技術的兩階段I/O算法優(yōu)化[J].內蒙古科技與經濟，2009（20）：12.

[2]歐陽慎.GPFS在鄭州鐵路局信息系統(tǒng)中的應用[C]//鄭州鐵路局“十百千”人才培育助推工程論文集，2011.

The Application of GPFS in Provincial Communication System

Ye Yaquan

Xinjiang Meteorological Information Center，Xinjiang Urumchi 830002

GPFS parallel file for meteorological communication system,can greatly improve the cluster system transmission efficiency and speed,to meet the requirements of surface meteorological observation in massive data computing system throughput and storage capacity and higher reliability.This paper mainly introduces the advantages of GPFS and the deployment of the National Center and the provincial center,it is considered that the data processing efficiency is greatly improved after the application of GPFS parallel file system.

GPFS parallel file; deployment; application

P414.4

A

1009-6434(2016)6-0113-02

葉雅泉（1991—）男，漢族，安徽省合肥市人，本科學歷，助理工程師，新疆氣象信息中心，從事通信網絡保障工作。