楊詩緣，張 偉

(中國民用航空東北地區(qū)空中交通管理局吉林分局，長春 130022)

0 引言

隨著中國民航運(yùn)輸業(yè)快速穩(wěn)定發(fā)展，航班飛行量與日俱增，航班壓力與航班飛行的安全性和高效性之間的沖突日益提升。天氣對飛行安全有著十分重要的影響，民航史上70%的航班事故都是天氣原因造成的。為了提升預(yù)報(bào)員和觀測員的業(yè)務(wù)水平，民航局空管局引進(jìn)了民航氣象信息網(wǎng)系統(tǒng)，將其作為提供氣象信息服務(wù)的重要軟件。氣象信息網(wǎng)系統(tǒng)可以為用戶提供豐富的氣象信息，其使用成熟的虛擬化軟件和云系統(tǒng)軟件搭建云平臺，并在云平臺上部署業(yè)務(wù)[1]。該系統(tǒng)采用云計(jì)算平臺作為氣象信息服務(wù)系統(tǒng)的基礎(chǔ)支撐平臺，可實(shí)現(xiàn)自動觀測系統(tǒng)、雷達(dá)系統(tǒng)、衛(wèi)星云圖系統(tǒng)的信息共享與交換、流程整合與協(xié)作、資源管理與配置[2，3]。氣象信息網(wǎng)系統(tǒng)可以綜合、直觀、及時(shí)地獲取氣象數(shù)據(jù)，從而提高氣象信息服務(wù)水平。

1 理論支持

1.1 數(shù)據(jù)庫

數(shù)據(jù)庫是按照數(shù)據(jù)結(jié)構(gòu)組織，存儲和管理存入數(shù)據(jù)的一個(gè)“巨大的倉庫”。在其空間內(nèi)，可以放置成千上萬，甚至以億為單位計(jì)算的數(shù)據(jù)內(nèi)容。但是在數(shù)據(jù)庫中數(shù)據(jù)并不是自由地、隨便地存放，而是按照一定規(guī)則，否則會為查詢帶來很多不便。數(shù)據(jù)庫可以與多個(gè)用戶共享數(shù)據(jù)，并通過一定方式儲存在計(jì)算機(jī)中，用戶可以對存儲的數(shù)據(jù)進(jìn)行添加、檢索、更新和刪除等操作。數(shù)據(jù)庫管理系統(tǒng)是數(shù)據(jù)庫系統(tǒng)的重要組成部分，負(fù)責(zé)管理數(shù)據(jù)庫，包括對數(shù)據(jù)庫進(jìn)行創(chuàng)建、檢索、新增、修改和刪除等操作，還可以對數(shù)據(jù)庫進(jìn)行用戶管理、權(quán)限管理等。

1.2 表空間

表空間是組成數(shù)據(jù)庫的最小單位，包含許多數(shù)據(jù)庫實(shí)體，如表、索引、視圖、回退段、聚簇和臨時(shí)段等。一個(gè)數(shù)據(jù)庫可以擁有1個(gè)或幾個(gè)表空間，1個(gè)表空間映射著1個(gè)或幾個(gè)數(shù)據(jù)庫文件。永久表空間：存儲數(shù)據(jù)庫中需要永久化存儲的對象，如二維表、視圖、存儲過程和索引。臨時(shí)表空間：存儲數(shù)據(jù)庫的中間執(zhí)行過程，如保存order by數(shù)據(jù)庫排序、分組時(shí)產(chǎn)生的臨時(shí)數(shù)據(jù)。操作完成后存儲的內(nèi)容會被自動釋放。臨時(shí)表空間是通用的，所有用戶均使用TEMP作為臨時(shí)表空間。UNDO表空間：保存數(shù)據(jù)修改前的副本，存儲事務(wù)所修改的舊址，即被修改之前的數(shù)據(jù)。對數(shù)據(jù)進(jìn)行修改的同時(shí)會對修改之前的信息進(jìn)行保存，便于對數(shù)據(jù)執(zhí)行回滾、恢復(fù)和撤銷等操作。

2 故障排查過程及解決方案

長春龍嘉機(jī)場氣象信息網(wǎng)系統(tǒng)共有6臺服務(wù)器，分別為：情報(bào)網(wǎng)通信機(jī)、情報(bào)網(wǎng)服務(wù)器(主)、情報(bào)網(wǎng)服務(wù)器(備)、內(nèi)網(wǎng)通信機(jī)、外網(wǎng)通信機(jī)和外網(wǎng)服務(wù)器。還有5臺顯示器，分別為：預(yù)報(bào)終端、觀測終端、進(jìn)近終端、塔臺終端和飛服終端。氣象信息網(wǎng)從數(shù)據(jù)庫中提取自觀數(shù)據(jù)、報(bào)文數(shù)據(jù)，從雷達(dá)服務(wù)器中提取雷達(dá)數(shù)據(jù)，從衛(wèi)星服務(wù)器中提取衛(wèi)星云圖(圖1)。

圖1 氣象信息網(wǎng)拓?fù)鋱D

2.1 氣象信息網(wǎng)網(wǎng)站無法訪問

氣象設(shè)備機(jī)務(wù)員在巡檢設(shè)備時(shí)，發(fā)現(xiàn)氣象信息網(wǎng)數(shù)據(jù)無更新，刷新后發(fā)現(xiàn)無法登錄網(wǎng)站。在網(wǎng)站發(fā)生故障的第一時(shí)間，值班機(jī)務(wù)員首先在預(yù)報(bào)終端輸入命令行：ping192.6.202.104，查看能否連接服務(wù)器，結(jié)果發(fā)現(xiàn)無法連接104服務(wù)器。以同樣的方式連接其他服務(wù)器，發(fā)現(xiàn)能ping通101、102和103服務(wù)器。于是初步判斷是104服務(wù)器存在故障，隨后查看104服務(wù)器，服務(wù)器顯示處于運(yùn)行狀態(tài)，重新插拔網(wǎng)口后，發(fā)現(xiàn)依然無法ping通104服務(wù)器，KVM機(jī)的分屏上也找不到104服務(wù)器。最終強(qiáng)制重啟104服務(wù)器后，104服務(wù)器ping通，判斷故障原因應(yīng)該是104服務(wù)器宕機(jī)。然后在廠家的遠(yuǎn)程指導(dǎo)下用xshell軟件連接104服務(wù)器，輸入 命令行：df-h，發(fā)現(xiàn)磁盤空間剩余不足，進(jìn)入/data/his/目錄刪除歷史留底數(shù)據(jù)，系統(tǒng)恢復(fù)正常運(yùn)行。

2.2 氣象信息網(wǎng)無最新數(shù)據(jù)

當(dāng)日值班機(jī)務(wù)員接到進(jìn)近管制室打來的電話，反映氣象信息網(wǎng)無最新數(shù)據(jù)。得知該情況后，機(jī)務(wù)員立刻檢查設(shè)備，在信息網(wǎng)終端電腦上訪問192.6.202.104：8080/amss/信息服務(wù)網(wǎng)站，在自動觀測模塊下查詢本場ZYCC的數(shù)據(jù)，結(jié)果發(fā)現(xiàn)查詢要耗時(shí)幾十秒甚至幾分鐘。機(jī)務(wù)員推測可能是oracle數(shù)據(jù)太多所導(dǎo)致，于是通過sqldeveloper連接106服務(wù)器數(shù)據(jù)庫，手動刪除awos_rpt和awos_ele的大部分?jǐn)?shù)據(jù)，結(jié)果發(fā)現(xiàn)問題仍然存在。接著，機(jī)務(wù)員判斷可能是CPU占用過多導(dǎo)致，于是輸入Top命令查看內(nèi)存和CPU信息，發(fā)現(xiàn)CPU占用并不多，而且內(nèi)存使用也正常。隨后，將104服務(wù)器切換到grid用戶，使用命令：crsctl stop/start cluster-all重啟數(shù)據(jù)庫，然后重啟tomcat，問題依然沒有得到解決。最后機(jī)務(wù)員向廠家工程師說明情況，工程師建議查看oracle日志，結(jié)果發(fā)現(xiàn)日志文件切換頻繁，判斷可能是日志文件過小導(dǎo)致，于是修改日志文件大小為1024 M，部分命令如下：

//查看日志文件大小及狀態(tài)

select group#，thread#，status，bytes/1024/1024MBtyes from v$log；

//新增日志文件，大小為1024 M

ALTER DARABASE ADD LOGFILE THREAD 1 GROUP 5(‘+DATADG’，‘+DATADG’)SIZE 1024M；

//手動切換日志文件

Alter system switch logfile；

//刪除status為inactive的日志文件

ALTER DATABASE DROP LOGFILE GROUP 1；

將原有的4份50 M的日志文件全部刪除，并新增了4份1024 M的日志文件后，發(fā)現(xiàn)問題并沒有得到解決；隨后在廠家工程師的指導(dǎo)下查看了數(shù)據(jù)庫的表結(jié)構(gòu)，發(fā)現(xiàn)沒有建立主鍵和索引，將awos_rpt表建好主鍵和幾個(gè)字段的索引后(主要是itime字段建好索引)，問題得到解決。長春機(jī)場數(shù)據(jù)庫重建后沒有將數(shù)據(jù)庫表建立完整，缺少主鍵和索引，由于awos自動觀測數(shù)據(jù)最多，所以受影響最大；在解決問題的過程中發(fā)現(xiàn)awos數(shù)據(jù)不僅查詢緩慢而且數(shù)據(jù)庫中沒有最新的awos數(shù)據(jù)，排查發(fā)現(xiàn)入庫目錄下堆積了許多文件，查看tomcat日志發(fā)現(xiàn)mydb的入庫進(jìn)程運(yùn)行正常，只是入庫速度比較慢，判斷為awos_rpt表沒有建立主鍵導(dǎo)致入庫緩慢，查看tomcat日志有類似“order by itime”的sql語句輸出，因此給awos_rpt表建立itime字段的索引，經(jīng)驗(yàn)證查詢速度得到極大提升。

2.3 http：//192.6.202.104：8080/amss沒有數(shù)據(jù)

設(shè)備機(jī)務(wù)員接到觀測員反映，氣象信息網(wǎng)雷達(dá)圖沒有上傳，于是機(jī)務(wù)員首先用筆記本連接服務(wù)器，查看入庫目錄和留底目錄，發(fā)現(xiàn)留底目錄數(shù)據(jù)正常，但是網(wǎng)頁沒有顯示圖片，連上SQL developer查看果然沒有最新數(shù)據(jù)，初步判斷是入庫錯誤，查看日志，提示ORA-01691錯誤，說明表空間被占滿(圖2)。

圖2 錯誤代碼為ORA-01691

于是使用以下語句：

SELECT Total.name "Tablespace Name"，filepath，

Free_space，(total_space-Free_space)Used_space，total_space

FROM

(selecttablespace_name，sum(bytes/1024/1024)Free_Space

fromsys.dba_free_space

group bytablespace_name

)Free，

(select b.name，sum(bytes/1024/1024)TOTAL_SPACE，a.NAME as filepath

fromsys.v_$datafile a，sys.v_$tablespace B

wherea.ts# = b.ts#

group byb.name，a.NAME

)Total

WHERE Free.Tablespace_name = Total.name；

因?yàn)閿?shù)據(jù)庫的asm管理方式和普通數(shù)據(jù)庫不同，無法找到表文件的路徑所以清理表空間的步驟可能不相同，需要暫時(shí)先增加1個(gè)表文件，執(zhí)行語句如下：

Alter tablespace USERS add datafile ′+DATADG/zyccdb/datafile/users_add4′ size 1024M autoextend on next 128M；

最后問題得到解決，雷達(dá)圖上傳恢復(fù)正常。

3 結(jié)束語

通過文章所述案例可以看出，氣象信息網(wǎng)系統(tǒng)故障原因一般有4個(gè)方面：一是104服務(wù)器宕機(jī)，造成網(wǎng)絡(luò)無法連接；二是由于磁盤空間不足導(dǎo)致數(shù)據(jù)無法更新；三是數(shù)據(jù)庫表建立不完整，缺少主鍵和索引，導(dǎo)致數(shù)據(jù)查詢緩慢；四是由于退出網(wǎng)頁方式錯誤，導(dǎo)致表空間溢滿，使數(shù)據(jù)無法更新。由此可見，在日常設(shè)備維護(hù)維修工作中，機(jī)務(wù)員不僅要學(xué)會如何處理故障問題，還要教會用戶如何正確使用設(shè)備軟件，避免因人為誤操作而導(dǎo)致設(shè)備出現(xiàn)故障的情況發(fā)生。