薛建軍，周 杰，杜景林

（南京信息工程大學(xué) 電子與信息工程學(xué)院，江蘇 南京210044）

0 引 言

氣象數(shù)據(jù)是氣象信息系統(tǒng) （氣象信息共享平臺）核心和基本組成部分，也是氣象信息系統(tǒng)提供服務(wù)的主要內(nèi)容［1］。國家氣象事業(yè)發(fā)展規(guī)劃 （2000－2015）指出要求擴建實時氣象資料數(shù)據(jù)庫，建設(shè)地市級以上的適應(yīng)短期氣候預(yù)測的歷史資料業(yè)務(wù)數(shù)據(jù)庫和氣象服務(wù)數(shù)據(jù)庫系統(tǒng)。目前，各相關(guān)單位也廣泛開展了實時氣象資料數(shù)據(jù)庫系統(tǒng)的建設(shè)工作。

按時效不同，可把氣象信息化資料分為實時資料和非實時資料。實時氣象資料指的是通過觀測或加工所得到的在較短時間內(nèi)進行傳輸并使用的資料。這類資料的處理要求迅速、及時，主要通過計算機程序控制，把從傳輸系統(tǒng)接收的資料進行識別、分析、加工處理、質(zhì)量控制、存儲備份等［2－3］。傳統(tǒng)的實時氣象資料處理系統(tǒng)大多針對單類資料專一處理，不能同時綜合處理多種實時資料。系統(tǒng)獲得單類 （單個）資料之后進行操作，任務(wù)完后才能使程序響應(yīng)其他資料處理和用戶操作，不同的資料處理軟件一般使用各自獨立的數(shù)據(jù)庫系統(tǒng)。因此，不同類別的資料處理需要安裝配置各自對應(yīng)的處理軟硬件系統(tǒng)，部署成本比較高，占用較多的網(wǎng)絡(luò)和數(shù)據(jù)庫資源，設(shè)備利用不充分，處理效率低下，不能很好滿足氣象數(shù)據(jù)實時采集與處理要求。此外，多種不同大小和類型處理系統(tǒng)的相對獨立存在不便于數(shù)據(jù)的集中控制和管理，不易為業(yè)務(wù)平臺和氣象數(shù)據(jù)的研究提供統(tǒng)一的數(shù)據(jù)支持和服務(wù)。為改善這種情況，本文設(shè)計并實現(xiàn)了改進型的實時氣象資料處理系統(tǒng)。該系統(tǒng)采用文中提出的實時與非確定時的資料處理策略，利用多線程技術(shù)設(shè)計開發(fā)了實時氣象資料綜合處理業(yè)務(wù)軟件，采用基于Oracle11g和SLES11專有數(shù)據(jù)庫服務(wù)器進行數(shù)據(jù)存儲和管理。系統(tǒng)實現(xiàn)了多種實時氣象資料綜合、高效加工處理以及海量氣象數(shù)據(jù)高性能存儲和管理，為構(gòu)建良好的實時數(shù)據(jù)庫系統(tǒng)提供了一種有效的解決方案。

1 實時氣象資料處理研究

1.1 實時與非確定時策略

實時氣象資料的處理策略在本系統(tǒng)中至關(guān)重要，它會影響整個系統(tǒng)的數(shù)據(jù)處理的性能。根據(jù)實時氣象資料生成的屬性將其分為確定時實時資料和非確定時實時資料。確定時實時資料指的是生成、發(fā)布時間一般比較固定的資料，而非確定時實時資料的生成、發(fā)布時間就相對隨機，這兩類資料本文采用不同的處理策略。

確定時間生成發(fā)布資料獲取時間范圍確定。例如自動站報文每隔6分鐘生成一次，城鎮(zhèn)天氣報文 （168小時）在每日確定的3個時刻各發(fā)布一次。處理這類資料是在規(guī)定延遲時間內(nèi)定時啟動程序調(diào)用相應(yīng)線程進行實時處理。

非確定時間生成發(fā)布資料的獲取的時間比較隨機。一般取決于地域、季節(jié)、氣候等外界因素，資料生成無固定時刻，例如預(yù)警信息。在處理這類資料時，系統(tǒng)按照預(yù)先設(shè)置間隔時間掃描文件。掃描時若有新的待處理資料則主程序給相應(yīng)的處理程序分配一個線程進行處理。這類資料的處理是在一個相對隨機的時間進行，因此稱非確定時處理。

采取這樣的策略：首先，提高系統(tǒng)的可用性，可以通過設(shè)置系統(tǒng)中定時模塊滿足在資料發(fā)布業(yè)務(wù)時效性規(guī)程改變情況下不影響系統(tǒng)的使用；其次，優(yōu)化了系統(tǒng)資源分配，省略了定時發(fā)布資料在不必要時間段內(nèi)的文件掃描，對于非確定時發(fā)布資料可以根據(jù)地域、季節(jié)、氣候等特點設(shè)定某些資料的掃描頻率。處理策略流程如圖1所示。

1.2 多線程優(yōu)化處理

應(yīng)用程序啟動時操作系統(tǒng)為程序分配內(nèi)存及其他資源，內(nèi)存和資源的物理分離叫做進程，是程序在計算機上的一次執(zhí)行活動。進程可以包含多個線程，線程可以利用進程擁有的資源。線程要比進程小，幾乎不擁有系統(tǒng)資源，線程調(diào)度也比進程調(diào)度的開銷小。采用線程調(diào)度可以提高系統(tǒng)內(nèi)多個程序間并發(fā)執(zhí)行的效率，從而顯著提高系統(tǒng)資源的利用率和吞吐量。由于線程所需要的內(nèi)存和程序開銷較小，同時多線程程序具有較高的執(zhí)行效率，所以在應(yīng)用程序的編寫過程中經(jīng)常采用多線程技術(shù)來解決相應(yīng)問題［4－5］。

圖1 處理策略流程

線程機制使系統(tǒng)具有多任務(wù)功能，用戶可同時運行多個程序，每個程序中又可以同時運行多個線程［6］，這樣多個線程在同一進程中并發(fā)執(zhí)行。在多線程程序中，當一個線程必須等待時，例如CPU在等待外部設(shè)備或網(wǎng)絡(luò)響應(yīng)時，CPU可執(zhí)行其它操作，這樣就大大縮短了程序執(zhí)行的時間。為了提高氣象資料處理效率可以采用多線程技術(shù)，即在同一個程序中同時執(zhí)行多個任務(wù)，將整個任務(wù)分成幾個線程，然后讓操作系統(tǒng)同時執(zhí)行，從而提高程序的執(zhí)行效率［7－9］。實際應(yīng)用表明，以線程為單位并行處理氣象資料可以顯著增加系統(tǒng)的吞吐量，明顯縮短處理時間，有效提高CPU等計算機系統(tǒng)關(guān)鍵部件的有效使用率。多線程并行效率模型如圖2［10］所示。

圖2 多線程并行效率模型

2 系統(tǒng)設(shè)計

2.1 系統(tǒng)業(yè)務(wù)流程

實時資料處理系統(tǒng)與氣象通信系統(tǒng)、氣象業(yè)務(wù)平臺緊密耦合。實時氣象資料一般通過氣象部門專用網(wǎng)實時獲取，氣象數(shù)據(jù)要為氣象業(yè)務(wù)平臺提供支持。資料處理業(yè)務(wù)軟件運行在處理平臺上，通過氣象部門內(nèi)網(wǎng)從資料服務(wù)器獲得實時資料源文件，分析處理完成之后存儲到專有數(shù)據(jù)庫中，為氣象部門提供專業(yè)的服務(wù)、產(chǎn)品數(shù)據(jù)支持和信息共享。系統(tǒng)業(yè)務(wù)統(tǒng)流程如圖3所示。

圖3 系統(tǒng)業(yè)務(wù)流程

主要流程：①資料獲取，從資料服務(wù)器上獲得資料（包括上級部門下發(fā)和本單位采集的資料）；②資料處理，客戶端業(yè)務(wù)軟件進行文件級排錯，將正確的源文件根據(jù)不同資料類別分別采用實時和非確定的處理策越；③數(shù)據(jù)存儲，經(jīng)過業(yè)務(wù)軟件分析處理、質(zhì)量控制的數(shù)據(jù)存儲到服務(wù)器端專有數(shù)據(jù)庫；④數(shù)據(jù)應(yīng)用，系統(tǒng)產(chǎn)生的氣象數(shù)據(jù)分別為各業(yè)務(wù)平臺和各類用戶提供多樣的數(shù)據(jù)支持和服務(wù)。

2.2 系統(tǒng)總體設(shè)計

系統(tǒng)采用客戶／服務(wù)器 （C／S）結(jié)構(gòu)，將任務(wù)合理分配到客戶端和服務(wù)器端，可降低系統(tǒng)的通訊開銷，可充分利用兩端硬件環(huán)境的優(yōu)勢。系統(tǒng)面向相對固定的用戶群，對信息安全的控制能力強［11］。氣象資料處理業(yè)務(wù)軟件安裝在客戶端運行，氣象數(shù)據(jù)的存儲和管理在服務(wù)器端完成，整個系統(tǒng)部署在氣象部門專有網(wǎng)絡(luò)環(huán)境中，局域網(wǎng)之間通過專門服務(wù)器提供連接和數(shù)據(jù)交換。資料服務(wù)器、處理平臺、數(shù)據(jù)庫服務(wù)器、業(yè)務(wù)平臺都安裝在氣象部門內(nèi)網(wǎng)中。實時氣象資料數(shù)據(jù)不僅為氣象部門各類業(yè)務(wù)平臺提供數(shù)據(jù)支持外，也可以為氣象部專門從事歷史數(shù)據(jù)管理、數(shù)據(jù)挖掘分析等業(yè)務(wù)的門內(nèi)網(wǎng)用戶提供各類業(yè)務(wù)數(shù)據(jù)支持，同時外網(wǎng)的不同權(quán)限的用戶還可以通過Internet瀏覽、檢索、下載獲取數(shù)據(jù)信息，享受相應(yīng)的數(shù)據(jù)服務(wù)。系統(tǒng)網(wǎng)絡(luò)拓撲如圖4所示。

2.3 業(yè)務(wù)軟件設(shè)計

軟件采取實時與非確定處理的處理策略和多線程編程技術(shù)。能夠并行處理自動站報文、測報月報表、預(yù)警信息、臺風(fēng)報文、城鎮(zhèn)預(yù)報、城市短期預(yù)報等常見實時報文資料，能夠處理特殊定制需求的雷達、云圖等資料。例如將雷達基數(shù)據(jù)處理成能與人影業(yè)務(wù)中GIS平臺無縫對接的柵格數(shù)據(jù)。軟件主要由系統(tǒng)設(shè)置、定時設(shè)置、資料處理三大模塊組成。功能結(jié)構(gòu)如圖5所示。

3 系統(tǒng)實現(xiàn)

3.1 業(yè)務(wù)軟件實現(xiàn)

3.1.1 資料處理線程設(shè)計

客戶端業(yè)務(wù)軟件定時實時處理測報月報表 （A報、B報）、SP和DG、城鎮(zhèn)預(yù)報、短時天氣預(yù)報這幾類測報和預(yù)報產(chǎn)品，非確定時間實時處理預(yù)警信號、臺風(fēng)、自動站實時報文這幾類測報產(chǎn)品和多普勒雷達基數(shù)據(jù)。一般情況下，創(chuàng)建少數(shù)幾個關(guān)鍵線程，用它來解決某個特定的問題［12］。所以系統(tǒng)創(chuàng)建10個數(shù)據(jù)處理子線程進行操作，當程序啟動時讀取INI文件，完成數(shù)據(jù)庫設(shè)置，定時設(shè)置，資料路徑設(shè)置等初始化工作，創(chuàng)建相應(yīng)資料處理子程序線程。多線程處理流程如圖6所示。

具體步驟為：①應(yīng)用程序啟動后，讀取INI初始化，如需更改設(shè)置，可在程序運行過程中進行設(shè)置，改變的信息寫入INI；②初始化完畢后，系統(tǒng)創(chuàng)建資料處理線程；③線程進入while循環(huán)，確定時處理進入休眠—等待狀態(tài)，非確定時處理線程掃描INI路徑下文件進入間隔掃描—休眠狀態(tài)；④定時喚醒實時處理線程，掃描INI路徑下文件；⑤有新文件，分別進入各自處理函數(shù)、分析解析文件、處理入庫，更新日志，修改已處理文件名；⑥如無新文件，進入歷史文件操作函數(shù)，處理符合條件的歷史文件；⑦程序重復(fù)上述工作；⑧終止線程，程序結(jié)束。

圖4 系統(tǒng)網(wǎng)絡(luò)拓撲

3.1.2 NET下多線程編程

從本質(zhì)上和結(jié)構(gòu)來說，.NET是一個多線程的環(huán)境。CRL內(nèi)置支持多線程應(yīng)用，任何.NET框架下的語言，包括Visual C＃在內(nèi)，實現(xiàn)多線程時不再需要使用Win32API，可直接使用系統(tǒng)類提供的對象和方。在VS2005中實現(xiàn)多線程非常方便，System.Threading命名空間為開發(fā)人員提供了多線程編程的類和接口，可直接用它提供的內(nèi)容建立多線程應(yīng)用程序。

System.Threading.Thread類可用來創(chuàng)建并控制線程，其定義了多種方法，其中用 Thread.Start（）、Thread.Stop （）、Thread.Resume （）、Thread.Abort （）、Thread.Suspend（）、Thread.Join（）等方法操縱線程，還可通過Thread.Sleep （）、Thread.IsAlive （）、Thread.IsBackground（）等方法設(shè)置線程狀態(tài)。

System.Threading.Thread.Priority枚舉了線程的優(yōu)先級別，它可以控制線程是否可到CPU時間。高優(yōu)先級線程通常比低優(yōu)先級線程優(yōu)先得到CPU時間，若不止一個高優(yōu)先級線程，則操作系統(tǒng)將在這些線程間循環(huán)分配CPU時間。C＃中線程優(yōu)先級從高到低分為Highest、Above、Normal、Normal、BelowNormal、Lowest 5級［13］。

3.2 數(shù)據(jù)庫服務(wù)器

目前，實時氣象資料呈現(xiàn)幾何級倍率增長，數(shù)據(jù)在海量存儲備份、查詢檢索效率、多粒度挖掘分析等方面提出更要高的要求。因此要對傳統(tǒng)實時氣象資料數(shù)據(jù)庫系統(tǒng)在存儲容量、吞吐率、穩(wěn)定性、安全性、兼容性等關(guān)鍵技術(shù)指標進行優(yōu)化。Oracle支持海量數(shù)據(jù)存儲和管理，其最新發(fā)布的Oracle 11g能夠存儲十億數(shù)量級的數(shù)據(jù)，可支撐大型的應(yīng)用系統(tǒng)，采用了400多項新技術(shù)，在更改管理、故障診斷、性能管理、Data Guard管理、存儲管理和數(shù)據(jù)倉庫等方面有一些重要的創(chuàng)新［14］。Novell其旗下的Linux企業(yè)級解決方案產(chǎn)品，提供從桌面到數(shù)據(jù)中心的企業(yè)級應(yīng)用計算環(huán)境安全可靠的基礎(chǔ)，在數(shù)據(jù)中心、工作組、桌面、安全和身份、以及資源管理等提供構(gòu)建企業(yè)級解決方案所有重要的技術(shù)支持和開放標準［15］。SLES系列產(chǎn)品已列入中央國家機關(guān)政府集中采購目錄，在國內(nèi)氣象部門和得到廣泛應(yīng)用。最新發(fā)布的SLES11完善了早期版本的很多功能，新增對Mono擴展的支持對聚類產(chǎn)品High Availability Extension的支持，它能提供更強的虛擬化能力、高可用性集群和更加靈活的維護和支持選項。

使用Oracle大型數(shù)據(jù)庫，可以滿足海量氣象數(shù)據(jù)的存儲需求，Oracle的出色性能，極大地提升了系統(tǒng)的數(shù)據(jù)吞吐量。使用Linux作為服務(wù)器的操作系統(tǒng)，提高了整個系統(tǒng)的穩(wěn)定性［16］。此外，業(yè)務(wù)軟件綜合處理的多種產(chǎn)品海量數(shù)據(jù)統(tǒng)一存儲在同構(gòu)的專一的數(shù)據(jù)系統(tǒng)中也便于管理和控制。因此采用Oracle11g和SLES11搭建系統(tǒng)專用數(shù)據(jù)庫服務(wù)器符合高性能存儲和管理技術(shù)指標和氣象部門業(yè)務(wù)需求規(guī)范。

4 系統(tǒng)運行

使用VS2005集成開發(fā)工具，采用C＃語言編程開發(fā)業(yè)務(wù)軟件。軟件試運行環(huán)境為Windows XP Professional SP3，.NET Framework 2.0，CPU 為Inter （R）Core （TM）2 Duo CPU E7400，內(nèi)存3.5G。數(shù)據(jù)庫服務(wù)器在IBM X3800 8866－1RC上安裝SLES11企業(yè)版和Oracle11g構(gòu)建。系統(tǒng)采用C／S架構(gòu)部署在100M局域網(wǎng)內(nèi)。實際運行表明系統(tǒng)的各項性能良好，滿足實時氣象資料綜合處理的性能要求和海量數(shù)據(jù)高性能存儲管理的性能指標?？蛻舳藰I(yè)務(wù)軟件主要功能界面如圖7所示，從左向右依次為資料處理界面、系統(tǒng)設(shè)置界面、定時設(shè)置界面。

圖7 業(yè)務(wù)軟件主要功能界面

5 結(jié)束語

本系統(tǒng)已投入到某市氣象局實際業(yè)務(wù)應(yīng)用中，有效的改進了傳統(tǒng)的處理系統(tǒng)，實現(xiàn)了資料的高效率、集成化分析處理，實現(xiàn)了海量實時數(shù)據(jù)高性能存儲和管理，為業(yè)務(wù)應(yīng)用、氣象數(shù)據(jù)挖掘等提供良好的數(shù)據(jù)支持，為構(gòu)建良好實時數(shù)據(jù)庫系統(tǒng)提供了一個行之有效的方案。同時，系統(tǒng)的設(shè)計思想對其他行業(yè)海量實時數(shù)據(jù)的處理也具有參考意義。針對雷達和云圖數(shù)據(jù)產(chǎn)品過多的問題，軟件的后續(xù)版本也將進一步升級，實現(xiàn)更多基數(shù)據(jù)的定制處理。

［1］ZHAO Fang.Building of meteorological database system ［C］.Information Technology in Meteorological Field Development and Application，2006：191－194（in Chinese）.［趙芳.氣象數(shù)據(jù)庫系統(tǒng)的建設(shè) ［C］.2006年中國氣象學(xué)會信息技術(shù)在氣象領(lǐng)域的開發(fā)應(yīng)用研討會，2006：191－194.］

［2］GAO Feng.The real－time meteorological database subsystem［C］.Information Technology in Meteorological Field Development and Application，2006：196－200（in Chinese）.［高峰.實時氣象資料數(shù)據(jù)庫分系統(tǒng) ［C］.2006年中國氣象學(xué)會信息技術(shù)在氣象領(lǐng)域的開發(fā)應(yīng)用研討會，2006：196－200.］

［3］LIU Xu，ZU Xuemei.Analysis on the importance of meteorological information data ［J］.Forest Investigation Design，2010，37 （3）：29－30（in Chinese）.［劉旭，祖雪梅.對氣象信息化資料重要性的探析 ［J］.林業(yè)勘查設(shè)計，2010，37（3）：29－30.］

［4］GAO Shuliang，MA Yufa，YANG Dongkai.Implementation for network communication based on multithread and message［J］.Computer Engineering and Design，2008，29 （2）：323－325（in Chinese）.［高書亮，馬玉發(fā)，楊東凱.基于多線程和消息的局域網(wǎng)通信程序?qū)崿F(xiàn) ［J］.計算機工程與設(shè)計，2008，29 （2）：323－325.］

［5］MIAO Xianglin，WANG Guanhai，SUN Chao，et al.Research and exploitation in multiply threads technology on system of supervising protective information of transformer substation［J］.Computer Engineering and Design，2005，26 （3）：831－835（in Chinese）.［繆相林，王觀海，孫超，等.多線程技術(shù)在變電站保護信息監(jiān)測系統(tǒng)中的應(yīng)用 ［J］.計算機工程與設(shè)計，2005，26 （3）：831－835.］

［6］ZHANG Lineng，ZHANG Bin.Talk about the multi－thread programming on.Net platform ［J］.China Water Transport（Theory Edition），2006，4 （3）：104－105（in Chinese）.［張能立，張彬.談?wù)勗?Net下的多線程編程 ［J］.中國水運（理論版），2006，4 （3）：104－105.］

［7］PU Chunfen.The practical application of C＃background processing and multi－threading technology ［J］.Journal of Kunming University，2010，32 （3）：82－85（in Chinese）.［卜春芬.C＃后臺處理與多線程技術(shù)的應(yīng)用 ［J］.昆明學(xué)院學(xué)報，2010，32 （3）：82－85.］

［8］LIU Shuang，SHI Guoyou，ZHANG Yuanqiang.Design and implementation of communication software based on TCP／IP protocol and multi－threading technology ［J］.Computer Engi－neering and Design，2010，31 （7）1417－1420 （in Chinese）.［劉爽，史國友，張遠強.基于TCP／IP協(xié)議和多線程的通信軟件的設(shè)計與實現(xiàn) ［J］.計算機工程與設(shè)計，2010，31 （7）：1417－1420.］

［9］YANG Kaijie，LIU Qiuju，XU Tingrong.On mutil－thread concurrent control technology for thread pool ［J］.Computer Applications and Software，2010，27 （1）：168－170 （in Chinese）.［楊開杰，劉秋菊，徐汀榮.線程池的多線程并發(fā)控制技術(shù)研究 ［J］.計算機應(yīng)用與軟件，2010，27 （1）：168－170.］

［10］Josepb Albabari，Ben Albabari.C＃ 4.0IN A NUTSHELL the definitive reference［M］.Sebastopol：O＇Reilly Media Inc，2010：873－878.

［11］ZHANG Junping，ZHU Xiaodong.C／S and B／S mixed style and the application ［C］.First International Workshop on Education Technology and Computer Science，2009：682－686.

［12］GUO Hui.Efficiency of multi－threading ［J］.Computer Applications，2008，28 （12）：141－143（in Chinese）. ［郭輝.多線程效率 ［J］.計算機應(yīng)用，2008，28 （12）：141－143.］

［13］Christian Nagel，Bill Evjen，Jay Glynn，et al.Profesional C＃2008 ［M］.LI Ming，transl.Beijing：Tsinghua University Press，2008：483－489 （in Chinese）.［Christian Nagel，Bill Evjen，Jay Glynn，等.C＃高級編程 ［M］.李銘，譯.北京：清華大學(xué)出版社，2008：483－489.］

［14］Sam R Alapati，Charles Kim.Oracle data base11g：new feature for DBAS and developers［M］.ZHONG Ming，WANG Jun，transl.Beijing：Posts ＆ Telecom Press，2009：1－5（in Chinese）.［Sam R Alapati，Charles Kim.Oracle數(shù)據(jù)庫管理藝術(shù)11g新特性 ［M］.鐘鳴，王君，譯.北京：人民郵電出版社，2009：1－5.］

［15］ZOU Zhen.Novell SUSE Linux enterprise officially listed in the central state organs government centralized procurement directory ［J］.China Government Procurement，2007，7：5－40（in Chinese）.［鄒震.Novell SUSE Linux Enterprise正式列入中央國家機關(guān)政府集中采購目錄 ［J］.中國政府采購，2007，7：5－40.］

［16］HUA Liansheng，DING Xiansheng，L Gang.Meteoro－logical data sharing system based on oracle ［J］.Computer Application，2010，32 （2）：162－164（in Chinese）［華連生，丁憲生，呂剛.基于Oracle的氣象數(shù)據(jù)共享系統(tǒng) ［J］.計算機應(yīng)用，2010，32 （2）：162－164.］