劉竹濤 黃 南

（民航黑龍江空中交通管理分局，黑龍江 哈爾濱 150079）

數(shù)據(jù)倉庫在航空氣象上應(yīng)用探討

劉竹濤 黃 南

（民航黑龍江空中交通管理分局，黑龍江 哈爾濱 150079）

該文對(duì)數(shù)據(jù)倉庫的含義和特點(diǎn)做出了闡述，針對(duì)機(jī)場(chǎng)氣象臺(tái)的實(shí)際情況和航空預(yù)報(bào)的特點(diǎn)對(duì)民航氣象數(shù)據(jù)倉庫的設(shè)計(jì)提出了方案。

數(shù)據(jù)倉庫；航空氣象；聯(lián)機(jī)分析處理系統(tǒng)

1 引言

隨著民航氣象事業(yè)的不斷發(fā)展，針對(duì)機(jī)場(chǎng)的氣象資料也不斷地完善，也呈現(xiàn)出復(fù)雜化和多樣化的趨勢(shì)。機(jī)場(chǎng)氣象臺(tái)每天可獲得民航氣象數(shù)據(jù)庫的多種氣象圖形資料和報(bào)文，接收衛(wèi)星云圖數(shù)據(jù)，接收地方氣象臺(tái)提供的MICAPS原始數(shù)據(jù)、填圖資料以及省臺(tái)天氣雷達(dá)資料，本場(chǎng)探測(cè)設(shè)備還可提供自動(dòng)氣象觀測(cè)系統(tǒng)數(shù)據(jù)和多普勒天氣雷達(dá)數(shù)據(jù)等資料。建立數(shù)據(jù)倉庫可以有效地管理和高效地利用這些氣象資料，對(duì)這些分散的氣象資料進(jìn)行集成、加工和分析，為氣象預(yù)報(bào)的決策提供重要的幫助。

2 數(shù)據(jù)倉庫的含義[1]

對(duì)數(shù)據(jù)倉庫可以這樣理解，它是對(duì)多個(gè)異構(gòu)的數(shù)據(jù)源的有效集成，集成后再按照不同的主題進(jìn)行重組，不斷增添新的數(shù)據(jù)變成歷史數(shù)據(jù)，存放在倉庫中的數(shù)據(jù)不再修改，用來支持管理和決策。數(shù)據(jù)倉庫具有以下特點(diǎn)：首先，它是面向主題的，主題是指用戶進(jìn)行決策時(shí)所關(guān)心的重點(diǎn)方面，而數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織；其次，它里面的數(shù)據(jù)是集成的，數(shù)據(jù)倉庫中的數(shù)據(jù)是對(duì)原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理而得到的；第三，它里面的數(shù)據(jù)是相對(duì)穩(wěn)定的，數(shù)據(jù)倉庫中的數(shù)據(jù)主要供決策分析之用，如果某個(gè)數(shù)據(jù)進(jìn)入到數(shù)據(jù)倉庫后，將被長(zhǎng)期保留而不被刪除；第四，它可以反映歷史變化，數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了某一主題從過去的某一時(shí)刻到目前各個(gè)階段的信息，通過這些信息可以對(duì)該主題的發(fā)展歷程和未來趨勢(shì)做出分析和預(yù)測(cè)。

3 民航氣象數(shù)據(jù)倉庫系統(tǒng)的組成

建立一個(gè)氣象數(shù)據(jù)倉庫系統(tǒng)通常包含數(shù)據(jù)源、數(shù)據(jù)存儲(chǔ)與管理、OLAP服務(wù)器以及前端工具與應(yīng)用4個(gè)部分。數(shù)據(jù)倉庫環(huán)境最重要的3個(gè)環(huán)節(jié)包括抽?。╡xtract）、轉(zhuǎn)換（transform）及加載（load，把數(shù)據(jù)從源數(shù)據(jù)系統(tǒng)中加載到數(shù)據(jù)倉庫），即ETL過程。根據(jù)民航氣象業(yè)務(wù)的特點(diǎn)和需求我們建立獨(dú)立數(shù)據(jù)集市的數(shù)據(jù)倉庫體系結(jié)構(gòu)，數(shù)據(jù)集市是范圍受限的小型數(shù)據(jù)倉庫，常用于特定終端用戶群制定決策應(yīng)用。在這種情況下，每個(gè)獨(dú)立的數(shù)據(jù)集市內(nèi)容都來自于獨(dú)立的ETL處理過程。民航氣象數(shù)據(jù)倉庫體系結(jié)構(gòu)如圖1所示：

圖1 民航氣象數(shù)據(jù)倉庫體系結(jié)構(gòu)

3.1 數(shù)據(jù)源

數(shù)據(jù)源是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)，即系統(tǒng)的數(shù)據(jù)來源。民航氣象數(shù)據(jù)倉庫的數(shù)據(jù)源通常是本場(chǎng)所獲得的各種氣象資料和數(shù)據(jù)，主要包括本場(chǎng)的自動(dòng)氣象觀測(cè)系統(tǒng)數(shù)據(jù)、本場(chǎng)的多普勒天氣雷達(dá)數(shù)據(jù)、本場(chǎng)接收的衛(wèi)星云圖數(shù)據(jù)、本場(chǎng)接收的民航氣象數(shù)據(jù)庫數(shù)據(jù)和地方氣象臺(tái)向本場(chǎng)傳送的MICAPS資料原始數(shù)據(jù)等。

3.2 主題確定與分析

數(shù)據(jù)倉庫中所含的數(shù)據(jù)是按照若干特定的主題來組織的，主題是指在高層次上將業(yè)務(wù)數(shù)據(jù)進(jìn)行綜合、歸類和分析利用的一個(gè)抽象概念，每個(gè)主題基本對(duì)應(yīng)業(yè)務(wù)的一個(gè)分析領(lǐng)域，主題的確定與分析是數(shù)據(jù)倉庫建立的重要過程。

民航氣象數(shù)據(jù)倉庫的主題可以針對(duì)民航氣象的特點(diǎn)來確定，例如：根據(jù)對(duì)航班起降影響很大的因素（如能見度、風(fēng)切變、降雪等）來確定主題，根據(jù)對(duì)航路影響很大的因素（如雷暴、強(qiáng)對(duì)流云團(tuán)等）確定主題。在提出主題后還需要對(duì)數(shù)據(jù)進(jìn)行分析，以確定數(shù)據(jù)流對(duì)主題支持的力度和強(qiáng)度，并在此基礎(chǔ)上調(diào)整主題。

3.3 數(shù)據(jù)存儲(chǔ)與管理

數(shù)據(jù)的存儲(chǔ)與管理是整個(gè)數(shù)據(jù)倉庫系統(tǒng)的核心。數(shù)據(jù)存儲(chǔ)系統(tǒng)首先從本場(chǎng)的自動(dòng)觀測(cè)系統(tǒng)數(shù)據(jù)、本場(chǎng)多普勒天氣雷達(dá)數(shù)據(jù)、衛(wèi)星云圖數(shù)據(jù)、MICAPS原始數(shù)據(jù)中抽取數(shù)據(jù)，然后對(duì)抽取后的原始數(shù)據(jù)進(jìn)行整合集成，使同樣的數(shù)據(jù)在量綱、精度和意義等方面達(dá)到一致，使之從原始數(shù)據(jù)轉(zhuǎn)化成分析型數(shù)據(jù)，以便于分析。

集成后得到的數(shù)據(jù)要按照主題進(jìn)行重新組織，將一個(gè)數(shù)據(jù)倉庫劃分成若干個(gè)主題域，并在數(shù)據(jù)倉庫的數(shù)據(jù)庫中存儲(chǔ)起來，通過元數(shù)據(jù)對(duì)數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行管理。元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，它對(duì)數(shù)據(jù)倉庫所有數(shù)據(jù)的進(jìn)行全面描述，如數(shù)據(jù)來源、時(shí)空特征、質(zhì)量、精度、經(jīng)過哪些變換和存儲(chǔ)位置等，就像數(shù)據(jù)的目錄一樣。數(shù)據(jù)倉庫的元數(shù)據(jù)除包含數(shù)據(jù)的信息外，還包含許多系統(tǒng)結(jié)構(gòu)信息，如數(shù)據(jù)源和數(shù)據(jù)存儲(chǔ)服務(wù)器的IP地址、數(shù)據(jù)具體位置（目錄、文件名定義、數(shù)據(jù)格式或數(shù)據(jù)庫的庫名、表名、屬性列表等）。通過這些參數(shù)，用戶和應(yīng)用程序可以快速地了解數(shù)據(jù)倉庫中的海量數(shù)據(jù)情況，準(zhǔn)確地定位數(shù)據(jù)，并將數(shù)據(jù)正確地寫入、讀出和使用。目前，WMO已經(jīng)提出了WMO核心元數(shù)據(jù)標(biāo)準(zhǔn)[2]和氣候數(shù)據(jù)的元數(shù)據(jù)標(biāo)準(zhǔn)[3]。

3.4 聯(lián)機(jī)分析處理系統(tǒng)（OLAP）

數(shù)據(jù)的存儲(chǔ)和處理后，通過建立聯(lián)機(jī)分析處理系統(tǒng)將數(shù)據(jù)倉庫中所存儲(chǔ)的數(shù)據(jù)進(jìn)行分析，來揭示多種數(shù)據(jù)之間的必然聯(lián)系，從而找某種事物發(fā)展變化的客觀規(guī)律，并生成相應(yīng)的圖形或圖像來直觀地展示給用戶。由于高維空間的數(shù)據(jù)是無法直接顯示的，可以通過聯(lián)機(jī)分析處理系統(tǒng)的切片和切塊操作進(jìn)行降維處理。切片就是在多維數(shù)組中在其它維取固定值的情況下取一個(gè)二維子集，切塊就是在多維數(shù)組中其它維取固定值的情況下取一個(gè)三維子集；還可以根據(jù)用戶的需要進(jìn)行旋轉(zhuǎn)和鉆取操作，鉆取可以看成是交換多維數(shù)組中各維的順序，使朝向用戶的二維坐標(biāo)改變，鉆取是改變顯示粒度大小。

聯(lián)機(jī)分析處理系統(tǒng)可以對(duì)得到的數(shù)據(jù)進(jìn)行多維分析[4]。多維分析中的維包括空間維和要素，空間維一般是指要素存在的時(shí)空，包括經(jīng)緯度、高度、時(shí)間等，是自變量，而要素這里指的是各種氣象要素的物理量數(shù)據(jù)，是因變量。以雷暴主題為例，對(duì)航路內(nèi)多個(gè)觀測(cè)站點(diǎn)的實(shí)時(shí)和歷史的觀測(cè)數(shù)據(jù)以及衛(wèi)星云圖資料的實(shí)時(shí)和歷史數(shù)據(jù)等相關(guān)數(shù)據(jù)進(jìn)行聚集，獲得分析型數(shù)據(jù)，用戶（預(yù)報(bào)員）對(duì)分析型數(shù)據(jù)進(jìn)行多維分析，獲得隨經(jīng)緯度、高度及時(shí)間變化的天氣系統(tǒng)變化結(jié)果，來判斷在航路上是否有雷暴生成以及發(fā)展的過程，評(píng)估對(duì)航班的影響程度。

針對(duì)機(jī)場(chǎng)預(yù)報(bào)的特點(diǎn)，可以在多維分析的基礎(chǔ)上進(jìn)行多元分析。多元分析是將空間的位置固定，只隨時(shí)間變化的要素值作為維的多維分析。以能見度主題為例，自動(dòng)氣象觀測(cè)系統(tǒng)可測(cè)量出的氣象要素包括溫度、濕度、氣壓、風(fēng)向、風(fēng)速、能見度、降水量、云高等，將每個(gè)氣象要素看做分析中的一維，對(duì)本場(chǎng)的氣象要素進(jìn)行多元分析。將能見度視為因變量，其它氣象要素視為自變量，通過切片、切塊和旋轉(zhuǎn)操作可以向用戶展示能見度隨一種或幾種氣象要素變化而變化的圖形，從而揭示能見度與其它氣象要素之間的變化關(guān)系，分析哪些氣象要素與能見度的變化關(guān)系比較密切，哪些次之。

4 結(jié)束語

數(shù)據(jù)倉庫技術(shù)可以將離散的、毫無關(guān)聯(lián)的原始數(shù)據(jù)和歷史數(shù)據(jù)轉(zhuǎn)化成分析型數(shù)據(jù)，通過用戶所需求的主題域進(jìn)行重新劃分，用戶針對(duì)主題利用聯(lián)機(jī)分析處理系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行多維分析和多元分析，以便對(duì)影響航班飛行的重要?dú)庀笠蛩剡M(jìn)行準(zhǔn)確地預(yù)報(bào)。數(shù)據(jù)倉庫技術(shù)很多時(shí)候與數(shù)據(jù)挖掘技術(shù)相結(jié)合，通過各種數(shù)據(jù)挖掘算法（關(guān)聯(lián)規(guī)則、決策樹、聚類算法、貝葉斯網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)以及遺傳算法等）自動(dòng)尋找數(shù)據(jù)的發(fā)展趨勢(shì)、數(shù)據(jù)中隱含的模型以及數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，使預(yù)報(bào)員快速積累經(jīng)驗(yàn)，對(duì)航空氣象預(yù)報(bào)的決策提供有力的幫助。

[1]陳志泊主編．?dāng)?shù)據(jù)倉庫與數(shù)據(jù)挖掘[M]．北京：清華大學(xué)出版社，2009．

[2]Metadata Standard(incl ET-IDM Report)．ICT-ISS 2002/Doc．7(1)，http：//www．wmo．ch/web/

www/TEM/ICT-ISS2002/7(1)-metadata．doc，2002．

[3]WMO Core Metadata Implementation for Climate Data．ETIDM-IV/DOC．3-1(7)，http：//www．wmo．int/web/www/WDM/ ET-IDM-4/Doc-3-1(7)．doc，2004

[4]譚曉光．?dāng)?shù)據(jù)倉庫技術(shù)在天氣預(yù)報(bào)決策中的應(yīng)用[J]．應(yīng)用氣象學(xué)報(bào)，2006，17(3)：325-331．

TheApplication of Data Warehouse inAviation Meteorology

Liu Zhutao Huang Nan
(HeilongjiangAir Traffic Management Sub-bureau of CAAC,Harbin 150079,Heilongjiang)

This paper introduces the conceptions and characteristics of data warehouse,and proposes the design scheme of aviation meteorology data warehouse according to the airport meteorological station and the characteristics of aviation meteorology.

data warehouse;aviation meteorology;OLAP

TP311.13

：A

008-66609(2015)04-0066-02

劉竹濤，男，福建福州人，碩士，高級(jí)工程師，研究方向：模式識(shí)別與信號(hào)處理。