許皓皓，楊 豪

（寧波市氣象網(wǎng)絡(luò)與裝備保障中心，浙江寧波315012）

0 引言

數(shù)據(jù)庫(kù)作為數(shù)據(jù)存儲(chǔ)、分析、管理和應(yīng)用的有效途徑和載體，在氣象業(yè)務(wù)中被廣泛應(yīng)用[1-3]。氣象數(shù)據(jù)庫(kù)一旦發(fā)生故障，對(duì)氣象部門業(yè)務(wù)的正常開展、對(duì)預(yù)防和減輕氣象災(zāi)害帶來(lái)的損失都會(huì)造成嚴(yán)重后果。各地氣象部門針對(duì)數(shù)據(jù)庫(kù)備份難題開展了廣泛研究，彭麗娜等[4]通過(guò)研究SQL Server數(shù)據(jù)庫(kù)備份策略保證數(shù)據(jù)庫(kù)持續(xù)穩(wěn)定運(yùn)行；郭曉佳等[5]針對(duì)Oracle數(shù)據(jù)庫(kù)開展了運(yùn)行維護(hù)管理研究；王照宇等[6]研究出一種Oracle數(shù)據(jù)庫(kù)應(yīng)用級(jí)容災(zāi)方案，實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)備份。當(dāng)前異構(gòu)數(shù)據(jù)庫(kù)平臺(tái)共存已經(jīng)成為氣象業(yè)務(wù)新常態(tài)，但是現(xiàn)有研究大多只針對(duì)單一數(shù)據(jù)庫(kù)平臺(tái)開展，如果能針對(duì)異構(gòu)數(shù)據(jù)庫(kù)平臺(tái)提供一體化備份解決方案，勢(shì)必會(huì)降低備份復(fù)雜度，提高運(yùn)維效率，為氣象業(yè)務(wù)提供更加穩(wěn)定的容災(zāi)保障。

1 備份需求和方案

1.1 數(shù)據(jù)庫(kù)現(xiàn)狀

以寧波市氣象局為例，氣象業(yè)務(wù)環(huán)境主要包括SQL Server和Oracle兩種數(shù)據(jù)庫(kù)平臺(tái)，其中SQL Server采用單服務(wù)器方式部署，Oracle數(shù)據(jù)庫(kù)采用2臺(tái)服務(wù)器搭建RAC集群方式部署，數(shù)據(jù)由探測(cè)設(shè)備和業(yè)務(wù)系統(tǒng)源源不斷產(chǎn)生。數(shù)據(jù)表主要分為探測(cè)和預(yù)報(bào)2大類，其中探測(cè)類數(shù)據(jù)約20種，主要存儲(chǔ)在SQL Server數(shù)據(jù)庫(kù)；預(yù)報(bào)數(shù)據(jù)約40種，主要存儲(chǔ)在Oracle數(shù)據(jù)庫(kù)。預(yù)報(bào)類數(shù)據(jù)更新頻率低、更新時(shí)間規(guī)律、數(shù)據(jù)量較小；探測(cè)類數(shù)據(jù)更新頻率和時(shí)效性更高，部分探測(cè)產(chǎn)品存量數(shù)據(jù)和更新數(shù)據(jù)量較大；天氣預(yù)警等重要天氣數(shù)據(jù)對(duì)時(shí)效性要求極高。

1.2 備份方案選擇

氣象數(shù)據(jù)庫(kù)備份要求在統(tǒng)一框架下對(duì)異構(gòu)數(shù)據(jù)庫(kù)備份作業(yè)進(jìn)行集中管理，支持不同的備份方式和靈活的備份策略。通過(guò)對(duì)幾款主流的企業(yè)級(jí)備份工具進(jìn)行研究，NetBackup作為Symantec公司提供的企業(yè)級(jí)備份管理軟件，支持Unix、Linux、Windows、OS/2以及Macintosh等主流操作系統(tǒng)，是目前使用最廣泛的備份軟件之一。NetBackup采用全圖形的管理方式，同時(shí)提供命令行接口，提供了性能優(yōu)化、監(jiān)控報(bào)警和動(dòng)態(tài)備份速度調(diào)整等管理功能，為用戶的集中式數(shù)據(jù)庫(kù)備份管理提供了靈活和有效的手段。和 IBM TSM、CommVault、EMC NetWorker等企業(yè)級(jí)備份軟件相比，NetBackup在技術(shù)架構(gòu)先進(jìn)性和應(yīng)用案例方面都有一定優(yōu)勢(shì)。

NetBackup Enterprise采用3層體系架構(gòu)：Master Server（主服務(wù)器）、Media Servers（介質(zhì)服務(wù)器）和Clients（客戶端）。典型的NetBackup備份管理系統(tǒng)是由一個(gè)Master Server、一個(gè)或多個(gè)Media Servers以及多個(gè)Clients組成，Master Server和Media Servers可以是同一臺(tái)服務(wù)器。NetBackup三層體系結(jié)構(gòu)組件定義如圖1所示。

圖1 NetBackup三層架構(gòu)

（1）NetBackup Master Server：是第一層架構(gòu)組件，也是最核心組件，Master Server是管理一切數(shù)據(jù)庫(kù)備份作業(yè)的“大腦”。它所管理的工作包括任務(wù)調(diào)度、客戶端備份、介質(zhì)管理和設(shè)備管理等。Master Server可以掛接一個(gè)或多個(gè)備份設(shè)備，來(lái)直接對(duì)客戶端進(jìn)行備份。

（2）NetBackup Media Server：是第二層架構(gòu)組件，備份設(shè)備掛接在Media Server上，當(dāng)需要備份的數(shù)據(jù)屬于不同分組（如不同部門、子系統(tǒng)、應(yīng)用等）或數(shù)據(jù)量比較大的時(shí)候，需要使用多個(gè)Media Server來(lái)做分組備份管理和分擔(dān)備份任務(wù)，一個(gè)Media Server因故障停止數(shù)據(jù)保護(hù)工作的時(shí)候，可以由Master Server把這個(gè)Media Server的數(shù)據(jù)保護(hù)工作轉(zhuǎn)移到另外的Media Servers上。本研究Media Server和Master Server共用一臺(tái)服務(wù)器。

（3）NetBackup Client：是第三層所有的需要通過(guò)網(wǎng)絡(luò)把數(shù)據(jù)傳到Master Server或Media Servers上來(lái)做數(shù)據(jù)備份的計(jì)算機(jī)，都是備份的客戶端。在客戶端上要安裝NetBackup客戶端軟件，這些備份客戶端在網(wǎng)絡(luò)中也充當(dāng)應(yīng)用服務(wù)器的腳色。

2 備份方法

2.1 SQL Server數(shù)據(jù)庫(kù)備份

SQL Server備份主要采用腳本調(diào)用和文件備份2種方式。腳本調(diào)用方式通過(guò)NetBackup備份服務(wù)器直接調(diào)用各個(gè)SQL Server客戶端備份腳本進(jìn)行備份作業(yè)，對(duì)于一些數(shù)據(jù)量較大的數(shù)據(jù)庫(kù)，采用了全備和增量備份結(jié)合的方式進(jìn)行。腳本調(diào)用方式操作過(guò)程如下：①配置SQL Server agent代理，選擇Set SQL Server connection properties選項(xiàng)，設(shè)備數(shù)據(jù)庫(kù)Host和賬號(hào)密碼。② 生成備份SQL Server數(shù)據(jù)庫(kù)腳本，將備份腳本存放在服務(wù)器相關(guān)目錄下，供NetBackup備份服務(wù)器調(diào)用。③新建備份策略，選擇備份類型為MS-SQL-Server，創(chuàng)建備份時(shí)間等調(diào)度策略信息，選擇之前創(chuàng)建的備份腳本。④手動(dòng)測(cè)試備份作業(yè)確認(rèn)無(wú)異常，完成全部備份作業(yè)配置。

NetBackup文件備份方式是指先通過(guò)SQL Server自帶的管理工具完成備份，再將備份文件拷貝至NetBackup備份服務(wù)器。備份過(guò)程如下：①通過(guò)SQL Server自帶的Management Studio中管理菜單下的維護(hù)計(jì)劃向?qū)нM(jìn)行備份作業(yè)配置。②設(shè)置備份作業(yè)調(diào)度計(jì)劃，設(shè)定定期刪除過(guò)期備份，防止磁盤空間不足。③NetBackup備份服務(wù)器定時(shí)將SQL Server備份出來(lái)的備份文件拷貝至備份服務(wù)器上，實(shí)現(xiàn)異機(jī)備份。

2.2 Oracle數(shù)據(jù)庫(kù)備份

由于本地生產(chǎn)環(huán)境Oracle數(shù)據(jù)庫(kù)未開啟歸檔，無(wú)法進(jìn)行RMAN備份，因此采用EXP導(dǎo)出備份方式進(jìn)行備份。Oracle數(shù)據(jù)庫(kù)采用2種模式備份：NetBackup文件備份方式和OracleEXP遠(yuǎn)程導(dǎo)出方式。NetBackup文件備份方式先通過(guò)數(shù)據(jù)庫(kù)EXP命令在本地導(dǎo)出備份文件，然后通過(guò)NetBackup備份軟件將備份集復(fù)制到備份服務(wù)器。OracleEXP本地備份腳本如下：

[oracle@qxdb-2~]$more/u02/oraclebackup/expdp.sh

#!/bin/sh

source/home/oracle/.bash_profile

export ORACLE_SID=ORCL

cd$ORACLE_HOME/bin

./expdp expdp/expdp directory=dmp full=y dumpfile=exp_oracle_full_%U.dmp logfile=expdp_oracle_full.log filesize=10G parallel=8 compression=all reuse_dumpfiles=y

Oracle EXP遠(yuǎn)程導(dǎo)出方式通過(guò)NeBackup備份服務(wù)器發(fā)起遠(yuǎn)程EXP導(dǎo)出備份，并把備份文件直接存放在備份服務(wù)器磁盤，并定期刪除過(guò)期備份文件。相關(guān)腳本如下：

@echo off

#set oracle_sid=netstorm

D:appAdministratorproduct11.2.0client_1BINexp.exe exp/exp@NETSTORM full=y file=T:172_21_146_205_bakdmpfileora_full_exp_%date:~0,4%-%date:~5,2%-%date:~8,2%-%time:~0,2%%time:~3,2%%time:~6,2%.dmp log=T:172_21_146_205_bakdmpfileora_full_exp_%date:~0,4%-%date:~5,2%-%date:~8,2%-%time:~0,2%%time:~3,2%%time:~6,2%.log

D:appAdministratorproduct11.2.0client_1BINexp.exe expdp/expdp@ORCL full=y file=T:10_138_162_137_bakdmpfileora_full_exp_% date:~0,4% -%date:~5,2%-%date:~8,2%-%time:~0,2%%time:~3,2%%time:~6,2%.dmplog=T:10_138_162_137_bakdmpfileora_full_exp_%date:~0,4%-%date:~5,2%-%date:~8,2%-%time:~0,2%%time:~3,2%%time:~6,2%.log

forfiles/p"T:172_21_146_205_bakdmpfile"/d-8/c"cmd/c echo deleting@file...&&del/f@path"

forfiles/p"T:10_138_162_137_bakdmpfile"/d-8/c"cmd/c echo deleting@file...&&del/f@path"

2.3 腳本和文件備份方式對(duì)比分析

NetBackup支持腳本備份和文件備份2種備份方式，腳本備份方式通過(guò)NetBackup腳本模式進(jìn)行備份，無(wú)需在數(shù)據(jù)庫(kù)客戶端進(jìn)行操作，但是受服務(wù)器環(huán)境，網(wǎng)絡(luò)穩(wěn)定性影響較大；文件備份利用SQL Server及Oracle數(shù)據(jù)庫(kù)自帶API接口完成備份，穩(wěn)定性更高，但是也存在空間占用大等缺點(diǎn)。2種備份方式優(yōu)缺點(diǎn)詳細(xì)對(duì)比見表1。

表1 腳本備份和文件備份優(yōu)缺點(diǎn)對(duì)比

3 備份管理

3.1 日常維護(hù)和備份優(yōu)化

NetBackup數(shù)據(jù)庫(kù)備份作業(yè)配置完畢后，還需開展日常運(yùn)維工作，及時(shí)發(fā)現(xiàn)各類備份異常并及時(shí)解決，才能保證數(shù)據(jù)庫(kù)系統(tǒng)備份的可用性。常規(guī)備份運(yùn)維包括3項(xiàng)內(nèi)容：①檢查備份作業(yè)運(yùn)行狀況，在NetBackup軟件主界面Activity Monitor菜單下檢查作業(yè)運(yùn)行狀態(tài)，正常運(yùn)行狀態(tài)是藍(lán)色，如有告警則為黃色，紅色代表備份作業(yè)報(bào)錯(cuò)；②檢查數(shù)據(jù)庫(kù)備份服務(wù)器磁盤剩余空間情況，防止因存儲(chǔ)空間不足造成的備份異常；③檢查部分?jǐn)?shù)據(jù)庫(kù)服務(wù)器和備份服務(wù)器日志，排查故障和告警信息。

NetBackup軟件在備份、數(shù)據(jù)傳輸?shù)确矫嬉呀?jīng)自動(dòng)進(jìn)行了優(yōu)化改進(jìn)，日常運(yùn)維中只需要對(duì)備份策略進(jìn)行優(yōu)化即可提高備份效率和穩(wěn)定性。通過(guò)研究和測(cè)試總結(jié)出以下2條備份策略優(yōu)化方法：①如果備份數(shù)據(jù)量較大，可以把備份服務(wù)器介質(zhì)池改成Deduplication Pool模式，該模式具有重復(fù)數(shù)據(jù)壓縮功能，對(duì)于重復(fù)的數(shù)據(jù)塊，會(huì)進(jìn)行壓縮重寫，最終能減少備份空間的使用量；②根據(jù)業(yè)務(wù)對(duì)數(shù)據(jù)庫(kù)備份的需求，可以對(duì)數(shù)據(jù)量較大的數(shù)據(jù)庫(kù)采用完全備份和增量備份相結(jié)合的模式進(jìn)行備份，減少備份空間使用率。

3.2 故障排查

基于NetBackup的備份模式總體運(yùn)行穩(wěn)定，但偶爾也會(huì)出現(xiàn)備份失敗情況，日常運(yùn)維過(guò)程中多發(fā)3種常見故障，排查方法如下：

（1）磁盤空間不足：因備份服務(wù)器或數(shù)據(jù)庫(kù)服務(wù)器存儲(chǔ)空間不足造成備份失敗，釋放存儲(chǔ)空間后重新運(yùn)行備份作業(yè)即可恢復(fù)，需要加強(qiáng)磁盤使用率監(jiān)控，同時(shí)合理設(shè)置備份文件保留期限，避免存儲(chǔ)空間浪費(fèi)。

（2）NetBackup備份服務(wù)異常：分為服務(wù)端服務(wù)異常和客戶端服務(wù)異常2種情況，故障時(shí)重新啟動(dòng)相關(guān)服務(wù)即可恢復(fù)，可以編寫服務(wù)自動(dòng)重啟腳本通過(guò)作業(yè)調(diào)度系統(tǒng)定期自動(dòng)運(yùn)行以避免該故障。

（3）網(wǎng)絡(luò)故障：NetBackup備份客戶端需要開通13724和1556端口，如果出現(xiàn)備份報(bào)錯(cuò)情況，可以先檢查服務(wù)端和客戶端的上述端口連通性；此外一般性網(wǎng)絡(luò)故障也會(huì)導(dǎo)致備份報(bào)錯(cuò)。

4 結(jié)束語(yǔ)

氣象業(yè)務(wù)數(shù)據(jù)庫(kù)的穩(wěn)定運(yùn)行和數(shù)據(jù)安全對(duì)氣象業(yè)務(wù)的正常開展，預(yù)防和減輕氣象災(zāi)害帶來(lái)的損失，保障人民生命財(cái)產(chǎn)安全而言至關(guān)重要，做好氣象業(yè)務(wù)數(shù)據(jù)庫(kù)的備份和容災(zāi)工作刻不容緩。本研究基于NetBackup企業(yè)級(jí)備份管理軟件，對(duì)SQL Server、Oracle等氣象探測(cè)和預(yù)報(bào)數(shù)據(jù)庫(kù)進(jìn)行集中備份和管理，改變了以往分散備份的方式，提高了備份效率和穩(wěn)定性，也減輕了運(yùn)維壓力，實(shí)踐證明該模式可以滿足氣象業(yè)務(wù)數(shù)據(jù)庫(kù)備份容災(zāi)需求。

[1]韓笑,王力,王吉濱,等.一種地市級(jí)氣象數(shù)據(jù)庫(kù)的設(shè)計(jì)與應(yīng)用[J].氣象科技,2015,43(6):1053-1059.

[2]竇以文,盧俐,劉旭林,等.氣象數(shù)據(jù)存貯管理系統(tǒng)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2011,20(7):116-120.

[3]許皓皓,何彩芬.氣象災(zāi)害數(shù)據(jù)庫(kù)管理與分析系統(tǒng)開發(fā)與實(shí)現(xiàn)[J].電子技術(shù)與軟件工程,2017(17):156-158.

[4]彭麗娜,陳慧,馬久剛,等.淺談包頭市氣象局SQL Server數(shù)據(jù)庫(kù)的備份策略[J].內(nèi)蒙古氣象,2011(4):62-64.

[5]郭曉佳,江彩英,謝丹.基于Oracle數(shù)據(jù)庫(kù)的氣象業(yè)務(wù)系統(tǒng)運(yùn)維管理研究[J].軟件導(dǎo)刊,2017,16(9):145-147.

[6]王照宇,范文鋒.氣象增值業(yè)務(wù)平臺(tái)應(yīng)用級(jí)容災(zāi)方案研究[J].山東氣象,2012,32(2):50-53.