祖國(guó)峰

?

一種并行存儲(chǔ)設(shè)備的配置方法

祖國(guó)峰*

（河南油田分公司勘探開(kāi)發(fā)研究院，河南南陽(yáng)，473132）

在油氣田勘探開(kāi)發(fā)過(guò)程中，地震資料處理階段需要大量的計(jì)算資源和存儲(chǔ)資源。其中計(jì)算資源以Linux系統(tǒng)的集群式應(yīng)用為主，存儲(chǔ)資源則主要基于冗余磁盤(pán)陣列（RAID）搭建。每套集群由眾多節(jié)點(diǎn)構(gòu)成，由于節(jié)點(diǎn)的合力作用，Linux集群的運(yùn)算能力非常強(qiáng)大，但是強(qiáng)大的計(jì)算能力依賴(lài)數(shù)據(jù)在存儲(chǔ)系統(tǒng)中的快速傳輸。本文將介紹一種基于Panasas的并行存儲(chǔ)系統(tǒng)配置過(guò)程，希望本文能夠?yàn)榇鎯?chǔ)資源的后期維護(hù)提供參考。

存儲(chǔ)；集群；Panasas

引言

隨著 Linux 集群在石油物探資料處理行業(yè)的大規(guī)模應(yīng)用，存儲(chǔ)成為了限制Linux 集群繼續(xù)快速發(fā)展的瓶頸。Panasas并行存儲(chǔ)解決方案采用其獨(dú)有的基于面向?qū)ο蟮腜anFS并行文件系統(tǒng)，最大化客戶(hù)的應(yīng)用和工作流性能，同時(shí)減少客戶(hù)存儲(chǔ)基礎(chǔ)設(shè)施上的成本開(kāi)支。單一全局命名空間可顯著簡(jiǎn)化存儲(chǔ)管理，提高IT生產(chǎn)力和工作性能。石油和天然氣用戶(hù)可采用統(tǒng)一的存儲(chǔ)解決方案來(lái)滿足地震數(shù)據(jù)處理、油氣藏模擬、解釋?xiě)?yīng)用存儲(chǔ)方案的需求。

Panasas Active Scale文件系統(tǒng)與智能靈巧的Panasas指揮刀片（Director Blades）和存儲(chǔ)刀片(Storage Blades)相結(jié)合，取代了整體式的NAS設(shè)計(jì)。Panasas文件系統(tǒng)（PanFS）是一種基于集群的設(shè)計(jì)，它把所有的硬件部件虛擬化成一個(gè)高度可擴(kuò)展，且易于管理的存儲(chǔ)網(wǎng)絡(luò)。Panasas的指揮刀片和存儲(chǔ)刀片協(xié)調(diào)工作，提供了一個(gè)平衡的和可擴(kuò)展的設(shè)計(jì)來(lái)配合PanFS文件系統(tǒng)。

1 Panasas基本原理及設(shè)備構(gòu)成

Panasas存儲(chǔ)解決方案的核心是實(shí)現(xiàn)了控制路徑（元數(shù)據(jù)metadata）和數(shù)據(jù)路徑（讀、寫(xiě)）的分離，允許應(yīng)用服務(wù)器（計(jì)算節(jié)點(diǎn)）直接和并行地訪問(wèn)存儲(chǔ)設(shè)備，從而提供了高帶寬的存儲(chǔ)給應(yīng)用系統(tǒng)的計(jì)算集群。同時(shí)，它還將存儲(chǔ)系統(tǒng)的元數(shù)據(jù)分散，允許并發(fā)的文件訪問(wèn)而沒(méi)有中央瓶頸。Panasas高性能并行存儲(chǔ)設(shè)備的構(gòu)成包括：

指揮刀片（DirectorBlade）：負(fù)責(zé)管理文件系統(tǒng)的“元數(shù)據(jù)”（metadata），維護(hù)虛擬的“對(duì)象映射圖”（object maps），此圖描述了哪個(gè)存儲(chǔ)刀片存儲(chǔ)了哪些對(duì)象。多個(gè)指揮刀片自動(dòng)地構(gòu)成集群，表現(xiàn)為一個(gè)統(tǒng)一的資源，提供了高性能和高可靠性。

存儲(chǔ)刀片（StorageBlade）：存儲(chǔ)應(yīng)用系統(tǒng)和最終用戶(hù)的數(shù)據(jù)，負(fù)責(zé)將數(shù)據(jù)對(duì)象寫(xiě)到物理磁盤(pán)上，從物理磁盤(pán)上讀取數(shù)據(jù)對(duì)象。所有的存儲(chǔ)刀片都被精細(xì)地協(xié)調(diào)工作，從而優(yōu)化網(wǎng)絡(luò)到物理磁盤(pán)的數(shù)據(jù)流。每一個(gè)存儲(chǔ)刀片都是一個(gè)智能靈巧的“分布式控制器”。

存儲(chǔ)機(jī)箱：每個(gè)機(jī)箱可容納11個(gè)刀片，提供冗余的電源、網(wǎng)絡(luò)連接，以及電池后備保護(hù)。

DirectFLOW客戶(hù)端：安裝于Linux服務(wù)器，用于實(shí)現(xiàn)客戶(hù)端與存儲(chǔ)刀片之間的高速并行讀寫(xiě)訪問(wèn)。

2 并行存儲(chǔ)安裝配置

2.1 硬件安裝

本項(xiàng)目選用Panasas PAS11存儲(chǔ)設(shè)備共 6個(gè)機(jī)箱：

每個(gè)PAS11機(jī)箱配置2個(gè)萬(wàn)兆交換機(jī)模塊，通過(guò)1條萬(wàn)兆以太網(wǎng)連接到局級(jí)網(wǎng)

PAS11的總體容量為360TB，有效容量可達(dá)80%以上。

2.2 初始配置

在筆記本上安裝仿真終端程序(SecureCRT)，筆記本通過(guò)9針串口線連接到到第一個(gè)Panasas刀箱的指揮刀片串口，使用仿真終端程序，筆記本串口參數(shù)設(shè)置，登錄刀片，輸入缺省用戶(hù)名和密碼。

圖1 串口連接示意圖

初始化網(wǎng)絡(luò)配置，配置指揮刀片的IP地址，網(wǎng)關(guān)，子網(wǎng)掩碼，確認(rèn)后保存配置：

pancli -- Initial network setup

You may now configure the IP address, netmask, and default router

address of this system.

Would you like to setup the network now? (recommended)[yes]

System IP Address: 192.1.2.150

Netmask: [255.255.255.0]

Default Router (type "none" to leave blank): [192.1.2.1] 192.1.2.254

Validating entries. Please wait...

Settings chosen:

System IP Address: 192.1.2.150

Netmask: 255.255.255.0

Default Router: 192.1.2.254

Save settings? [yes]

進(jìn)行系統(tǒng)配置：

[pancli] install

Are you ready to configure the system? [yes]

Please read the Terms & Conditions:

PANASAS'S END USER LICENSE AGREEMENT TERMS

Do you agree to accept and abide by the Terms & Conditions? [yes]

Panasas Customer ID: pan11_henan_2

Administrator Password:

Confirm Password:

Enable PanActive Link? [yes]

SMTP Server: [none]

Administrator Email Address: [none]

Secure Web Proxy Server Name or IP: [none]

System DNS Name (e.g. panfs.company.com):

…

Primary DNS Server IP Address: [none]

NIS Domain Name: [none]

NIS Server Name: [none]

Enable NIS Hostname Resolution? [no]

NTP Server: [none]

Timezone:

Timezone:

1. North America Eastern…

9. Other (more choices)

enter 1-9: 9

Timezone:

1 GMT+13:00 Nuku'alofa Pacific/Tongatapu

…

Settings were accepted.

It will take a few moments for configuration to take effect...

Use the "sysmap blades" command to monitor progress of the system bringup.

配置完畢后，在工作站上使用telnet命令登錄指揮刀片，通過(guò)sysmap blades命令查看刀片的狀態(tài)信息。

2.3 創(chuàng)建卷

安裝完畢后通過(guò)WEB界面，添加Add shelf。

2.3.1 創(chuàng)建BladeSet

“重建”預(yù)留空間（即備件的數(shù)量）的數(shù)量決定了系統(tǒng)可以承受的連續(xù)失敗的存儲(chǔ)刀片個(gè)數(shù)同時(shí)還提供數(shù)據(jù)冗余。預(yù)留空間實(shí)際上是分布在所有storageblades刀片組，而不是被限制在單個(gè)storageblades。這是被稱(chēng)為“分布式保留”。

通過(guò)命令bladeset list可以查看set配置信息。

2.3.2 創(chuàng)建卷

在管理界面選擇Storage菜單，在Controls中選擇Create Volume創(chuàng)建卷。把整個(gè)存儲(chǔ)系統(tǒng)劃分四個(gè)卷。

設(shè)置卷的限額：軟指標(biāo)，觸發(fā)通知，已達(dá)到極限但不限制寫(xiě)入量。硬指標(biāo)，不能超過(guò)。限制寫(xiě)入超過(guò)這個(gè)容量體積。限額可以隨時(shí)修改或禁用

容量管理：創(chuàng)建基于項(xiàng)目，用戶(hù)或用戶(hù)組的容量限制。

備份策略：使用多量，同時(shí)進(jìn)行多個(gè)備份流，降低整體備份時(shí)間。

指揮刀片：定義管理這個(gè)卷的首席指揮刀片

2.3.3 客戶(hù)端安裝

第一步：安裝Panasas Directflow客戶(hù)端軟件

[root@cs131~]#rpm -ivh

panfs-2.6.18-194.el5xen-3.5.1.e-558792.140.rhel_5_x86_64.rpm

Preparing... ########################################### [100%]

1:panfs-2.6.18-194.el5xen ########################################### [100%]

PanFS installed but not configured.

To configure, run: /usr/local/sbin/config_panfs

…

第二步：檢查客戶(hù)端安裝情況：

[root@ cs131 ~]# rpm -qa |grep panfs

panfs-2.6.18-194.el5xen-3.5.1.e-558792.140

第三步：配置客戶(hù)端：

[root@cs131 ~]# mount.panfs panfs://10.75.97.100/pan10 /pan10

[root@cs131 ~]# mount.panfs panfs://10.75.97.100/pan10 /pan10(注：10.75.97.100為Panasas的系統(tǒng)IP)

第四步：檢查Panfs是否已經(jīng)被mount上

root@cs131 ~]# df -h

Filesystem Size Used Avail Use% Mounted on

…

/dev/sda6 148G 62G 80G 44% /soft

/dev/sda5 46G 27G 17G 62% /home

panfs://10.75.97.100/pan10 19T 240K 19T 1% /pan10

至此，panasas的安裝就已經(jīng)全部完成。

3 結(jié)束語(yǔ)

本文介紹了一種基于Panasas的并行存儲(chǔ)系統(tǒng)的配置過(guò)程，為存儲(chǔ)資源的后期維護(hù)提供了參考。對(duì)石油和天然氣用戶(hù)來(lái)說(shuō)，可采用統(tǒng)一的存儲(chǔ)解決方案實(shí)現(xiàn)地震數(shù)據(jù)處理、油氣藏模擬、解釋?xiě)?yīng)用存儲(chǔ)方案的需求。

[1] 王紅艷. 2008年全國(guó)高性能計(jì)算機(jī)學(xué)術(shù)年會(huì), 2009.

[2] 呂鵬程. 一個(gè)分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)器設(shè)計(jì)與實(shí)現(xiàn)[D]. 電子科技大學(xué), 2015.

[3] 戰(zhàn)科宇.分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)器高可用設(shè)計(jì)與實(shí)現(xiàn)[D]. 上海交通大學(xué), 2012.

[4] 高秀華.地震勘探數(shù)據(jù)處理高性能計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)設(shè)計(jì)與應(yīng)用[J]. 2005, 12(3): 100-102.

[5] 張軍權(quán), 姚舜才. 基于CPLD的并行數(shù)字量存儲(chǔ)器設(shè)計(jì)[J]. 中國(guó)科技信息, 2015, 8.

A Configuration Method for Parallel Storage Devices

ZU Guofeng*

(Research Institute of exploration and development of Henan Oilfield Branch, Henan Nanyang, 473132, China)

in the process of exploration and development of oil and gas fields, the seismic data processing stage needs a large number of computing resources and storage resources. The computing resources are mainly based on the cluster application of Linux system, and the storage resources are built mainly based on the redundant disk array (RAID). Each cluster is made up of many nodes. Because of the resultant force of nodes, the computing power of Linux cluster is very strong, but the powerful computing power depends on the fast transmission of data in storage system. This article will introduce a Panasas based parallel storage system configuration process, and hope this article can provide reference for the later maintenance of storage resources.

storage; cluster; Panasas

10.19551/j.cnki.issn1672-9129.2017.08.054

TN764

A

1672-9129(2017)08-0119-03

祖國(guó)峰. 一種并行存儲(chǔ)設(shè)備的配置方法[J]. 數(shù)碼設(shè)計(jì), 2017, 6(8): 119-120.

ZU Guofeng. A Configuration Method for Parallel Storage Devices[J]. Peak Data Science, 2017, 6(8): 119-120.

2017-03-21；

2017-04-13。

祖國(guó)峰（1982-），男，工程師，從事物探專(zhuān)業(yè)。E-mail:846226786@qq.com