【摘 要】本文針對(duì)氣象預(yù)報(bào)當(dāng)前業(yè)務(wù)環(huán)境下,氣象數(shù)據(jù)信息量大的特點(diǎn),從氣象數(shù)據(jù)資源接收利用現(xiàn)狀及特點(diǎn)出發(fā),充分分析氣象預(yù)報(bào)業(yè)務(wù)需求,根據(jù)數(shù)據(jù)挖掘技術(shù)與數(shù)據(jù)庫(kù)技術(shù)各自對(duì)信息數(shù)據(jù)處理優(yōu)勢(shì),采取以數(shù)據(jù)挖掘技術(shù)為主,數(shù)據(jù)庫(kù)技術(shù)為輔助的方法手段,構(gòu)建基于數(shù)據(jù)挖掘技術(shù)的氣象數(shù)據(jù)信息動(dòng)態(tài)顯示平臺(tái)。在實(shí)現(xiàn)方法上充分考慮了互聯(lián)網(wǎng)技術(shù),云計(jì)算等計(jì)算機(jī)技術(shù)背景特點(diǎn),從平臺(tái)的硬、軟件需求分析構(gòu)建單站式氣象數(shù)據(jù)信息動(dòng)態(tài)顯示平臺(tái)的可行性。從系統(tǒng)設(shè)計(jì)看,符合目前氣象預(yù)報(bào)業(yè)務(wù)需求現(xiàn)狀,并且具有良好的應(yīng)用價(jià)值和推廣意義。
【關(guān)鍵詞】數(shù)據(jù)挖掘技術(shù);數(shù)據(jù)庫(kù)技術(shù);數(shù)值預(yù)報(bào)產(chǎn)品;數(shù)據(jù)倉(cāng)庫(kù);現(xiàn)代天氣預(yù)報(bào)技術(shù)
數(shù)據(jù)挖掘是用于開發(fā)信息資源的一種新的數(shù)據(jù)處理技術(shù),它可以發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則,找出數(shù)據(jù)背后隱藏的知識(shí),并根據(jù)現(xiàn)有數(shù)據(jù)預(yù)測(cè)未來的發(fā)展趨勢(shì),從而可以解決“數(shù)據(jù)爆炸但知識(shí)貧乏”的現(xiàn)象。現(xiàn)代天氣預(yù)報(bào)技術(shù)在計(jì)算機(jī)技術(shù)、信息技術(shù)高速發(fā)展以后,使得天氣預(yù)報(bào)的主要方法由天氣圖傳統(tǒng)作業(yè)方式向以數(shù)值預(yù)報(bào)產(chǎn)品為基礎(chǔ)、人機(jī)交互信息加工處理系統(tǒng)為平臺(tái)的預(yù)報(bào)制作方式過渡。數(shù)值預(yù)報(bào)產(chǎn)品是由概率統(tǒng)計(jì)預(yù)報(bào)、數(shù)值預(yù)報(bào)等技術(shù)計(jì)算氣象觀測(cè)實(shí)況基礎(chǔ)數(shù)據(jù)得出的結(jié)果。概率統(tǒng)計(jì)預(yù)報(bào)、數(shù)值預(yù)報(bào)等預(yù)報(bào)技術(shù)在現(xiàn)代天氣預(yù)報(bào)中現(xiàn)在已經(jīng)占居了很重要的作用。而這些情況都使得科學(xué)、準(zhǔn)確的原始?xì)庀笥^測(cè)數(shù)據(jù)越來越重要,大量長(zhǎng)期的客觀、準(zhǔn)確的氣象數(shù)據(jù)的積累對(duì)氣象預(yù)報(bào)模式的建立和天氣預(yù)報(bào)對(duì)未來天氣狀況準(zhǔn)確預(yù)報(bào)的結(jié)果起到重要作用。因此,從氣象臺(tái)站日常觀探測(cè)獲得的數(shù)據(jù)出發(fā),如氣溫、壓強(qiáng)、風(fēng)速、風(fēng)向、濕度、能見度等,在長(zhǎng)年累月積累的數(shù)據(jù)基礎(chǔ)上我們基于數(shù)據(jù)挖掘技術(shù)建立臺(tái)站氣象數(shù)據(jù)庫(kù),構(gòu)建網(wǎng)絡(luò)化數(shù)據(jù)信息動(dòng)態(tài)顯示平臺(tái),供科學(xué)研究和服務(wù)于公眾、國(guó)防很有必要。
1.氣象信息利用現(xiàn)狀和特點(diǎn)
1.1 現(xiàn)狀
數(shù)據(jù)及信息數(shù)量大,種類繁雜,為了有效及時(shí)傳輸氣象信息,國(guó)內(nèi)外國(guó)家氣象部門都是利用現(xiàn)代計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)、通信技術(shù),充分利用衛(wèi)星、公共通信網(wǎng)、專網(wǎng),有線和無線等傳輸方式,組建各級(jí)氣象通信網(wǎng),提供給各級(jí)有接收權(quán)限的氣象部門人員使用。同時(shí)國(guó)家氣候基準(zhǔn)站和軍、民機(jī)場(chǎng)在一定規(guī)定下將觀測(cè)到的正點(diǎn)氣象數(shù)據(jù)上傳達(dá)到數(shù)據(jù)共享。而這種方式卻不利于各氣象臺(tái)站氣象人員對(duì)歷史和當(dāng)前資料的統(tǒng)計(jì)分析和查詢調(diào)用?,F(xiàn)代生產(chǎn)、生活,農(nóng)業(yè)、工商業(yè)、國(guó)防等許多方面都日益依賴氣象預(yù)報(bào),天氣從來沒有象現(xiàn)在這樣影響相關(guān)活動(dòng)。而對(duì)于大量長(zhǎng)期積累的氣象數(shù)據(jù),各氣象臺(tái)站都有著共同的特點(diǎn)“數(shù)據(jù)豐富,信息貧乏”,多年積累的氣象數(shù)據(jù),充分挖掘使用的較少。因此,很有必要建立數(shù)據(jù)庫(kù),充分利用先進(jìn)的數(shù)據(jù)挖掘技術(shù)構(gòu)建氣象數(shù)據(jù)信息動(dòng)態(tài)顯示平臺(tái),在網(wǎng)絡(luò)平臺(tái)支持下,服務(wù)于客戶端用戶。
1.2 特點(diǎn)
氣象信息作為一種資源,充滿著矛盾。和平時(shí)期,人們都期望了解更多的公開、可靠、準(zhǔn)確的氣象信息處理好生活工作等方方面面。而在戰(zhàn)爭(zhēng)時(shí)期,各國(guó)權(quán)力機(jī)構(gòu)、軍隊(duì)等又都期盼已方能獲得包括敵人一方的全部氣象信息情報(bào),卻隱藏或封鎖已方相關(guān)內(nèi)容,達(dá)到最后的目的。這就使得氣象數(shù)據(jù)信息動(dòng)態(tài)顯示平臺(tái)具有多樣性、通用性的特點(diǎn)。
氣象數(shù)據(jù)信息動(dòng)態(tài)顯示平臺(tái)根據(jù)終端用戶的不同,可以建立單站式,或部門式、組織式,如應(yīng)用于海洋業(yè)務(wù)的、應(yīng)用于國(guó)防軍隊(duì)的、應(yīng)用于工農(nóng)業(yè)生產(chǎn)的。至少應(yīng)建立分層多樣化架構(gòu)模式,便于信息最大化被使用。由于天氣預(yù)報(bào)本身特點(diǎn),一般情況下由地面衛(wèi)星接收站或氣象專網(wǎng)接收相關(guān)數(shù)據(jù)信息后供各級(jí)氣象部門應(yīng)用。接收的氣象數(shù)據(jù)較為單一,且數(shù)據(jù)網(wǎng)格尺寸也較大且不均勻,其帶來的不足是對(duì)于數(shù)值預(yù)報(bào)技術(shù)、人工智能技術(shù)、氣象預(yù)報(bào)專家系統(tǒng)等現(xiàn)代天氣預(yù)報(bào)技術(shù)的預(yù)報(bào)結(jié)果訂正,智能維護(hù)等數(shù)據(jù)集成度低,且作為最底層數(shù)據(jù)應(yīng)用鏈部分,構(gòu)建適合自己區(qū)域的數(shù)據(jù)應(yīng)用較為困難。在現(xiàn)有模式方程下對(duì)一些局地雷暴、超強(qiáng)風(fēng)暴、強(qiáng)降水等預(yù)報(bào)則束手無策,這就要求必須要有長(zhǎng)期的數(shù)據(jù)積累,也只有海量的數(shù)據(jù)才能提高上述現(xiàn)代天氣預(yù)報(bào)技術(shù)作出的氣象預(yù)報(bào)結(jié)果準(zhǔn)確度,特別是針對(duì)單站預(yù)報(bào)和軍隊(duì)作戰(zhàn)目標(biāo)區(qū)、任務(wù)地域的氣象預(yù)報(bào),只有在長(zhǎng)期的數(shù)據(jù)資料和不斷續(xù)補(bǔ)數(shù)據(jù)的情況下,不斷加強(qiáng)這些預(yù)報(bào)地域氣象預(yù)報(bào)模式的修正,才能在戰(zhàn)時(shí)或任務(wù)期做出準(zhǔn)確的氣象預(yù)報(bào),為部門或軍隊(duì)出動(dòng)提供強(qiáng)有力的保障和領(lǐng)導(dǎo)決策支持及輔助作用。而構(gòu)建大型數(shù)據(jù)庫(kù)系統(tǒng)或數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)正是彌補(bǔ)當(dāng)前氣象預(yù)報(bào)資料不足的最好方式,將幾十年甚至上百年的氣象原始數(shù)據(jù)整合起來,不間斷實(shí)時(shí)添加續(xù)補(bǔ)新的觀探測(cè)氣象數(shù)據(jù)建立大型氣象數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù),將是構(gòu)建更加合理的氣象預(yù)報(bào)方程、模式的最好選擇之一。
2.數(shù)據(jù)倉(cāng)庫(kù)
1996年Inmon在他的專著《Building the Data Warehouse》中對(duì)數(shù)據(jù)倉(cāng)庫(kù)做了如下定義,即“面向主題的、完整的、非易失的、不同時(shí)間的、用于支持決策的數(shù)據(jù)集合”。數(shù)據(jù)倉(cāng)庫(kù)不是一件產(chǎn)品,而只是一個(gè)環(huán)境,向用戶提供用于決策支持的當(dāng)前和歷史的數(shù)據(jù)集;數(shù)據(jù)倉(cāng)庫(kù)技術(shù)是以把操作型數(shù)據(jù)集成到統(tǒng)一的環(huán)境中以供決策型數(shù)據(jù)訪問為目的的各種技術(shù)和模塊的集合,高效的供用戶更快、更方便查詢所需要的信息,提供決策支持。這和傳統(tǒng)的基于OLTP的操作型數(shù)據(jù)庫(kù)有很大的區(qū)別,因?yàn)樗腔谠诰€分析(OLAP)的分析型系統(tǒng)的范疇。數(shù)據(jù)倉(cāng)庫(kù)通過對(duì)多個(gè)異構(gòu)的數(shù)據(jù)源有效集成,集成后依據(jù)主題進(jìn)行重新組合。
對(duì)于數(shù)據(jù)倉(cāng)庫(kù)概念的理解可以分成兩個(gè)層次。首先,數(shù)據(jù)倉(cāng)庫(kù)用于決策支持、面向分析型數(shù)據(jù)處理,它不同于傳統(tǒng)意義上企業(yè)所擁有的操作型數(shù)據(jù)庫(kù);其次,數(shù)據(jù)倉(cāng)庫(kù)是對(duì)多個(gè)異構(gòu)數(shù)據(jù)源的有效集成,集成后按照主題進(jìn)行重組,它包含了歷史數(shù)據(jù),而且存放在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一般不再修改。
由定義可以推知數(shù)據(jù)倉(cāng)庫(kù)相對(duì)傳統(tǒng)操作型數(shù)據(jù)庫(kù)具有以下的特征[1]:
(1)面向主題。傳統(tǒng)的數(shù)據(jù)庫(kù)只是單純的數(shù)據(jù)的集中,在處理不同事務(wù)時(shí)執(zhí)行不同的操作,各個(gè)業(yè)務(wù)系統(tǒng)之間各自分離;而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)則是按照一定的主題進(jìn)行組織,主題是特指用戶使用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行決策時(shí)所關(guān)心的重點(diǎn)方面,一個(gè)主題通常與多個(gè)操作型信息系統(tǒng)相關(guān)。
(2)集成性。由于數(shù)據(jù)的來源是多方面的,并且是異構(gòu)的,必須根據(jù)一定的規(guī)則將所有的數(shù)據(jù)進(jìn)行重新構(gòu)造,消除源數(shù)據(jù)中的不一致性,以保證數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是關(guān)于整個(gè)單位的一致的全局信息,即為數(shù)據(jù)之集成。
(3)相對(duì)穩(wěn)定性。操作型數(shù)據(jù)庫(kù)中的數(shù)據(jù)通常是實(shí)時(shí)更新的、變化的。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是積累的歷史數(shù)據(jù),所涉及的操作多為查詢,通常只需定期的加載、刷新,修改和刪除操作很少。
(4)非易失性。數(shù)據(jù)倉(cāng)庫(kù)屬于物理介質(zhì)的,篩選式的存放數(shù)據(jù),不會(huì)對(duì)數(shù)據(jù)本身的性質(zhì)進(jìn)行改變,那么其數(shù)據(jù)結(jié)構(gòu)必定包含有時(shí)間效應(yīng),這樣才更好的體現(xiàn)歷史數(shù)據(jù)的趨勢(shì)預(yù)測(cè)性。
鑒于以上對(duì)比,可考慮建立大型數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)共用于查詢、存儲(chǔ)數(shù)據(jù)。實(shí)時(shí)更新、頻繁查詢數(shù)據(jù)先存放于數(shù)據(jù)庫(kù)內(nèi),間隔一定時(shí)間后自動(dòng)存入數(shù)據(jù)倉(cāng)庫(kù)內(nèi)用于長(zhǎng)時(shí)間保存數(shù)據(jù)。
3.數(shù)據(jù)挖掘技術(shù)用于氣象數(shù)據(jù)信息動(dòng)態(tài)顯示的思路及實(shí)現(xiàn)方法
從基層單站式氣象數(shù)據(jù)信息動(dòng)態(tài)顯示平臺(tái)的實(shí)現(xiàn)方法出發(fā)提出建設(shè)思路,以中國(guó)北京維天信公司生產(chǎn)的XYZ-06型地面自動(dòng)觀測(cè)設(shè)備為例討論氣象數(shù)據(jù)信息動(dòng)態(tài)顯示平臺(tái)構(gòu)造,對(duì)于其他幾種類型特點(diǎn)只要充分利用互聯(lián)網(wǎng)技術(shù),云計(jì)算等技術(shù),相信不難解決氣象數(shù)據(jù)使用及數(shù)據(jù)挖掘問題。
3.1 硬件需求
一是作為一個(gè)氣象臺(tái)站或機(jī)構(gòu)要有地面衛(wèi)星氣象數(shù)據(jù)接收站或氣象專網(wǎng)接收相關(guān)氣象數(shù)據(jù)以及自己觀測(cè)氣象數(shù)據(jù)所需要的設(shè)備設(shè)施,二是包括用于安全存儲(chǔ)數(shù)據(jù)的計(jì)算機(jī)物理設(shè)備。
3.2 軟件需求
能夠在與時(shí)俱進(jìn)的信息技術(shù)不斷發(fā)展條件下,支持不斷升級(jí)換代的數(shù)據(jù)補(bǔ)充支持軟件。確保數(shù)據(jù)在更新操作系統(tǒng)、更新數(shù)據(jù)處理軟件后,老的數(shù)據(jù)能夠移植或轉(zhuǎn)換到新的數(shù)據(jù)倉(cāng)庫(kù)內(nèi),與新接收數(shù)據(jù)格式一樣能被識(shí)別、讀取。具備存活期。數(shù)據(jù)存儲(chǔ)具備良好的備份和災(zāi)難恢復(fù)。
3.3 系統(tǒng)主要構(gòu)成
構(gòu)建氣象數(shù)據(jù)信息動(dòng)態(tài)顯示平臺(tái),最主要的是對(duì)自己的氣象觀測(cè)實(shí)況收集作以動(dòng)態(tài)顯示,其次是將國(guó)內(nèi)外基準(zhǔn)氣候站、機(jī)場(chǎng)等所收到的實(shí)況數(shù)據(jù)收集到數(shù)據(jù)倉(cāng)庫(kù)做以顯示和查詢調(diào)用。對(duì)于維天信公司生產(chǎn)的XYZ-06型地面自動(dòng)觀測(cè)設(shè)備數(shù)據(jù)來分析,可以看出其存儲(chǔ)數(shù)據(jù)為txt格式純文本。因此,要實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)可考慮用程序設(shè)計(jì)語言工具依照其數(shù)據(jù)存儲(chǔ)格式讀取后存儲(chǔ)入數(shù)據(jù)庫(kù),設(shè)置間隔時(shí)間再定期存儲(chǔ)入數(shù)據(jù)倉(cāng)庫(kù)中。為保證在使用氣象數(shù)據(jù)方面調(diào)用安全,可通過網(wǎng)絡(luò)程序設(shè)計(jì)語言開發(fā)出服-客模式程序,供終端用戶在其他工作計(jì)算機(jī)上隨時(shí)通過通用程序如IE等Web瀏覽器查詢調(diào)用,不必另外安裝其他程序。
氣象數(shù)據(jù)信息動(dòng)態(tài)顯示平臺(tái)系統(tǒng)應(yīng)包括以下模塊:
用于機(jī)場(chǎng)等使用的氣象六要素自動(dòng)刷新顯示模塊、用于直觀顯示的各要素歷史數(shù)據(jù)查詢模塊、用于云圖顯示的模塊、用于提供氣象預(yù)報(bào)的不同時(shí)刻分析統(tǒng)計(jì)模塊,其它氣象數(shù)值產(chǎn)品模塊、用于交互交流用的及時(shí)通訊模塊、選擇定時(shí)存儲(chǔ)模塊、氣象單位基礎(chǔ)數(shù)據(jù)模塊、安全登錄模塊等九大模塊。留有與無線、有線,局域網(wǎng)互聯(lián)的端口,以及軟件接口,易于擴(kuò)展業(yè)務(wù)。具體設(shè)計(jì)實(shí)現(xiàn)略。
4.總結(jié)
現(xiàn)代天氣預(yù)報(bào)技術(shù)在信息技術(shù)、計(jì)算技術(shù)和通信技術(shù)為基礎(chǔ)的引領(lǐng)帶動(dòng)下,預(yù)報(bào)技術(shù)不斷改進(jìn),精細(xì)化數(shù)值預(yù)報(bào)和集成預(yù)報(bào)成為天氣預(yù)報(bào)技術(shù)的未來重要發(fā)展方向,天氣預(yù)報(bào)將實(shí)現(xiàn)超級(jí)集合預(yù)報(bào)(多初值、多過程、多模式集合)。向精細(xì)化、無縫隙天氣監(jiān)測(cè)和預(yù)報(bào)發(fā)展,天氣預(yù)報(bào)將在依托以遙感、遙測(cè)為主要技術(shù)的新一代探測(cè)網(wǎng)發(fā)展,特別是災(zāi)害性天氣在未來將實(shí)現(xiàn)全天候無縫隙實(shí)時(shí)監(jiān)測(cè)。這種發(fā)展趨勢(shì)必將以海量的氣象數(shù)據(jù)存儲(chǔ)、更多的氣象觀測(cè)數(shù)據(jù)為基礎(chǔ)作代價(jià),相信以數(shù)據(jù)挖掘技術(shù)為手段的方式為研究將更好的構(gòu)建現(xiàn)代天氣預(yù)報(bào)模式,充分最大限度發(fā)揮出幾種新技術(shù)結(jié)合的優(yōu)勢(shì),使氣象數(shù)據(jù)信息動(dòng)態(tài)顯示平臺(tái)更好的服務(wù)于國(guó)民經(jīng)濟(jì)建設(shè)和國(guó)防建設(shè)中。
參考文獻(xiàn):
[1]王珊等,數(shù)據(jù)倉(cāng)庫(kù)技術(shù)與聯(lián)機(jī)分析處理[M].科學(xué)出版社,1998.
作者簡(jiǎn)介:陳廣軍(1976—),男,裝甲兵工程學(xué)院碩士研究生,主要從事氣象和數(shù)據(jù)挖掘研究工作。