趙凱歌,王育紅,姬艷曼
(1.河南理工大學(xué) 測繪與國土信息工程學(xué)院,河南 焦作 454000)
面狀數(shù)據(jù)同化處理手段分析
趙凱歌1,王育紅1,姬艷曼1
(1.河南理工大學(xué) 測繪與國土信息工程學(xué)院,河南 焦作 454000)
針對目前土地利用數(shù)據(jù)之間存在的數(shù)據(jù)格式、坐標(biāo)系統(tǒng)、編碼規(guī)則、語義表達等方面的問題,根據(jù)第二次全國土地調(diào)查的要求,利用ArcGIS和FME作為工具,對不同時期的土地利用數(shù)據(jù)進行同化處理。使得這些數(shù)據(jù)能夠整合在同一個框架范圍內(nèi),為GIS的分析、統(tǒng)計和查詢工作提供基礎(chǔ)。
ArcGIS;FME;數(shù)據(jù)同化;坐標(biāo)變換;語義轉(zhuǎn)換
海量空間數(shù)據(jù)為實現(xiàn)更加豐富的應(yīng)用提供了可能,但同時也帶來了信息熵[1]的增高,使得數(shù)據(jù)使用和理解出現(xiàn)了很多的問題。為了應(yīng)用的需求,通常以調(diào)整數(shù)據(jù)的某些特性的方式來對來解決,如幾何糾正、屬性修改等。但這樣的方式并沒有使數(shù)據(jù)規(guī)范到統(tǒng)一的框架內(nèi),對數(shù)據(jù)在以后的共享、分析方面沒有實質(zhì)性的幫助。而數(shù)據(jù)同化作為使不同來源數(shù)據(jù)生成具有時間一致性、空間一致性和物理一致性的地表狀態(tài)數(shù)據(jù)集的手段[2,3],將其引入到空間數(shù)據(jù)整合的領(lǐng)域,可以為數(shù)據(jù)整合于統(tǒng)一框架提供很好的思路。
數(shù)據(jù)同化最早起源于海洋領(lǐng)域,后來發(fā)展到陸地數(shù)據(jù)同化,用于研究地表層和水文分析等。1995年之后發(fā)展成為一個獨立的領(lǐng)域,并在隨后的20 a內(nèi)得到快速發(fā)展。當(dāng)前數(shù)據(jù)同化主要是在陸地模型或者水文模型,采用不同的算法對地表觀測數(shù)據(jù)、遙感數(shù)據(jù)進行優(yōu)化、區(qū)分和推演,以對地表狀況作出更加科學(xué)的判斷[4]。在遙感領(lǐng)域,數(shù)據(jù)同化處理主要面臨4種問題,分別為確定性/靜態(tài)模型、隨機/靜態(tài)模型、確定性/動態(tài)模型、隨機/動態(tài)模型,涉及到估計、迭代、優(yōu)化插值、4DVAR、卡爾曼濾波、非線性濾波等數(shù)學(xué)模型[5]。主要思路是利用已有的觀察數(shù)據(jù)和噪聲數(shù)據(jù)對未知的向量進行估計,來處理遙感數(shù)據(jù)之間存在的傳感器差異、瞬時性模型問題、空間完整性問題等。其他領(lǐng)域內(nèi)數(shù)據(jù)由于多屬于數(shù)值型,使用數(shù)據(jù)同化的方法也基本與遙感數(shù)據(jù)相似。對于矢量數(shù)據(jù)這樣具有空間模型而非數(shù)值型的數(shù)據(jù)而言,同化問題則有所不同,同化處理的方式需要進行符合其數(shù)據(jù)特點的研究。
從空間數(shù)據(jù)的角度尤其是矢量數(shù)據(jù)的角度而言,同化是一種元素改變、合并、吸收其他元素的過程,也是2種元素之間消除矛盾、消除差異的過程[6]。安曉亞[7]等從數(shù)據(jù)更新的角度對矢量數(shù)據(jù)進行了分析,并以數(shù)據(jù)集A和數(shù)據(jù)集B為例,提出3種同化模式:①分別為以A為標(biāo)準(zhǔn),B向A轉(zhuǎn)換。②A和B同時向其他標(biāo)準(zhǔn)轉(zhuǎn)換。③在第2中模式的基礎(chǔ)上向C轉(zhuǎn)換,派生新的數(shù)據(jù)集。這3種模式為進行同化處理工作提供了更為確切的方向,如圖1所示。
圖1 矢量數(shù)據(jù)3種同化處理模式
從上述3種模式可以看出,矢量數(shù)據(jù)進行同化處理的核心是確定同化的標(biāo)準(zhǔn)和選擇同化的具體技術(shù)手段。確定標(biāo)準(zhǔn)就是數(shù)據(jù)目標(biāo)模式確立的過程,而技術(shù)選擇則是基于對現(xiàn)有模式和目標(biāo)模式之間差異分析的結(jié)果,遴選適合解決數(shù)據(jù)間差異的手段。本文以武漢市 1996~2010年間的土地利用圖斑作為研究目標(biāo),以全國第二次土地調(diào)查的技術(shù)規(guī)范為標(biāo)準(zhǔn)來展開同化處理。從驅(qū)動因素的角度來說,差異可以分為3種:①客觀變化造成的差異;②數(shù)據(jù)規(guī)范造成的差異;③數(shù)據(jù)采集、管理、傳播過程中的差異。據(jù)此,發(fā)現(xiàn)差異可以從上述3個角度來進行,而處理差異則只能從后2個角度來進行,客觀變化不屬于同化處理的范疇。
根據(jù)武漢市的具體情況,需進行處理的差異有以下幾種:①數(shù)據(jù)格式差異。武漢市土地調(diào)查數(shù)據(jù)采用MapGIS格式,部分數(shù)據(jù)采用Shape格式。②坐標(biāo)系統(tǒng)差異。武漢市一調(diào)、二調(diào)數(shù)據(jù)分別采用北京54和西安80坐標(biāo)系。 ③數(shù)據(jù)模式結(jié)構(gòu)差異。由于不同時期數(shù)據(jù)采用的標(biāo)準(zhǔn)不同,對地物概念的理解也不盡相同,導(dǎo)致不同時期數(shù)據(jù)在概括抽象層次、屬性字段數(shù)量、屬性字段名稱、屬性字段類型、屬性值表達意義上存在多種差異。④幾何差異。由于數(shù)據(jù)在采集,輸入、編輯等方面存在的各種誤差,導(dǎo)致圖形在幾何位置、幾何形狀、圖形概括等方面的差異。在數(shù)據(jù)差異分析的基礎(chǔ)上,本文對現(xiàn)有的技術(shù)手段進行篩選,提出了應(yīng)該使用方法,如表1所示。
表1 矢量數(shù)據(jù)同化處理的目標(biāo)模式和方法
3.1 數(shù)據(jù)格式轉(zhuǎn)換
圖形格式轉(zhuǎn)換有直接轉(zhuǎn)換、外部數(shù)據(jù)格式間接轉(zhuǎn)換、空間互操作轉(zhuǎn)換等模式。這些圍繞著圖形的屬性信息和幾何信息來進行[8],最大化地保留源數(shù)據(jù)的屬性信息和位置精度,使得目標(biāo)數(shù)據(jù)在保留數(shù)據(jù)真實性的同時,更好地發(fā)揮該數(shù)據(jù)格式的內(nèi)在優(yōu)勢。對于國產(chǎn)軟件MapGIS的格式轉(zhuǎn)換,從其自身的文件轉(zhuǎn)換模塊進行轉(zhuǎn)換已屢見不鮮,但轉(zhuǎn)換過程中出現(xiàn)屬性信息丟失等情況的解決方法卻相對復(fù)雜。本文介紹一種基于FME和ArcGIS互操作的解決方式。
FME作為知名空間數(shù)據(jù)轉(zhuǎn)換軟件,可以轉(zhuǎn)換數(shù)百種空間數(shù)據(jù)格式,但并不含MapGIS的格式。為了解決這一問題,MyFME對FME進行擴展,提供了更多可以轉(zhuǎn)換的格式。此外,F(xiàn)ME還提供一個與ArcGIS進行互操作的插件FME Extension for ArcGIS10。利用該插件實現(xiàn)MapGIS數(shù)據(jù)轉(zhuǎn)換為Shape格式數(shù)據(jù)的具體流程如下:①在FME開始菜單中FME Intergration Console中安裝該插件。②在ArcGIS中載入該插件,點擊目錄中的Add FME Connection添加數(shù)據(jù)。③拉拽至ArcGIS中直接打開,從ArcGIS中直接導(dǎo)出即可生成Shape文件。④在ArcGIS中使用Repair Geometry功能來消除幾何邏輯錯誤(如自相交、非閉合環(huán)等)。圖2中左側(cè)為ArcGIS中鏈接WP文件,右側(cè)為武漢市地類圖斑顯示效果。
3.2 坐標(biāo)系統(tǒng)轉(zhuǎn)換
坐標(biāo)系統(tǒng)轉(zhuǎn)換方法有數(shù)值變換、參數(shù)變換[9]、平移變換[10]等。其中數(shù)值變換是根據(jù)2個坐標(biāo)系統(tǒng)的若干個控制點坐標(biāo),利用最小二乘法,求解出2個坐標(biāo)系統(tǒng)之間的關(guān)系多項式,從而建立其轉(zhuǎn)換模型。參數(shù)變換也是利用坐標(biāo)系之間的平移尺寸(X,Y,Z)、旋轉(zhuǎn)角度(α,β,γ)、縮放系數(shù)(K)這7個參數(shù)作為坐標(biāo)轉(zhuǎn)換的依據(jù)。平移轉(zhuǎn)換是根據(jù)國家測繪局制作的新舊地圖高斯平面坐標(biāo)改正表,以圖幅左下角的改正值作為整幅地圖的改正量進行平移變換。在控制點或者參數(shù)比較充分的前提下,這3種方法的使用極為廣泛,但當(dāng)控制點坐標(biāo)無法獲取時,本文考慮通過ArcGIS中的仿射變換來對坐標(biāo)系統(tǒng)進行調(diào)整。
進行仿射變換的流程如下:①加載要進行變換的圖層和目標(biāo)圖層,在空間校正工具條上設(shè)置要進行變換的圖層。②點擊開始編輯,選擇校正方法為仿射變換,同時設(shè)置捕捉環(huán)境。③在源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集上選擇特征較為明顯的點,創(chuàng)建位移鏈接,該過程需建立3個或3個以上的鏈接,同時保證殘差盡量要小。④點擊校正,完成校正工作。如圖3所示,在ArcGIS中創(chuàng)建對應(yīng)鏈接。進行仿射變換,可以根據(jù)需要先仿射到相近的位置,便于尋找更多的控制點來進行更為精準(zhǔn)的匹配。
圖2 FME和ArcGIS互操作轉(zhuǎn)換數(shù)據(jù)格式
圖3 ArcGIS進行仿射變換的主要環(huán)節(jié)
3.3 數(shù)據(jù)結(jié)構(gòu)模式差異
數(shù)據(jù)結(jié)構(gòu)模式差異,包含了屬性字段數(shù)量、屬性字段名稱等諸多方面。在傳統(tǒng)意義上我們一般都會對源數(shù)據(jù)的屬性字段進行增加、刪除、名稱修改等操作,但這樣的操作不僅繁瑣,而且可能會對源數(shù)據(jù)造成破壞。因此,這樣的轉(zhuǎn)換在實際工程中缺乏可操作性。而在FME中的FME Universal Translator模塊,提供了這樣的語義轉(zhuǎn)換功能,該模塊采用拖拽(drag-and-drop)界面,可以快速構(gòu)造屬性結(jié)構(gòu)模型,同時結(jié)合模塊提供的數(shù)百個轉(zhuǎn)換函數(shù),可以完成很多復(fù)雜數(shù)學(xué)轉(zhuǎn)換和空間意義上的轉(zhuǎn)換[11],如數(shù)據(jù)分層、數(shù)據(jù)切割等。
此外,在不同時期的數(shù)據(jù)之間,在屬性值方面表達的意義可能完全不同,最為突出的就是采取的編碼分類體系不同,編碼值也不相同。例如在武漢市1996~2002年數(shù)據(jù)中旱地的編碼為“14”,2003~2008年數(shù)據(jù)中旱地的編碼為“114”,而在二調(diào)規(guī)范中旱地的編碼為“013”,如表2所示。面對這些情況就需要找出編碼的對應(yīng)關(guān)系,然后利用這些對應(yīng)關(guān)系來進行編碼轉(zhuǎn)換,實現(xiàn)對數(shù)據(jù)的編碼統(tǒng)一、意義一致。
表2 不同時期耕地編碼對應(yīng)關(guān)系
本文利用FME的語義轉(zhuǎn)換功能具體實現(xiàn)結(jié)構(gòu)轉(zhuǎn)換和編碼的步驟為:①在FME中新建一個讀模塊,把需要進行轉(zhuǎn)換的源數(shù)據(jù)加載進去。②設(shè)置一個空的寫模塊,該模塊也是目標(biāo)數(shù)據(jù)集,可以根據(jù)二調(diào)標(biāo)準(zhǔn)設(shè)置該模塊的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類型、目標(biāo)路徑等信息。③在讀模塊和寫模塊之間手動建立對應(yīng)關(guān)系,對應(yīng)字段進行連接。④編碼轉(zhuǎn)換需要借助FME中的AttributeValue Mapper函數(shù)來完成,在該函數(shù)中選擇需要轉(zhuǎn)換的編碼字段、原始值、轉(zhuǎn)換值等參數(shù)。⑤點擊執(zhí)行就可以得到目標(biāo)數(shù)據(jù)集。此外,還需保持這個映射關(guān)系,以便于重用該轉(zhuǎn)換并且對轉(zhuǎn)換進行修改,如圖4所示。
圖4 FME中語義映射和編碼轉(zhuǎn)換的實現(xiàn)
本文從數(shù)據(jù)的需求考慮,總結(jié)了現(xiàn)有方法和技術(shù)
手段將不同時期的土地利用數(shù)據(jù)同化于一個數(shù)據(jù)框架中來,提高了數(shù)據(jù)的可用性和規(guī)范性。雖然在這些方法上可能不是最優(yōu)的,但具有很高的實用價值,可以為今后數(shù)據(jù)處理提供一個思路。此外,由于數(shù)據(jù)的問題繁多,只能做到盡可能同化,而不可能實現(xiàn)理論上的完全同化。這些功能存在于不同的軟件之間,不具有很好的容錯性,使得用戶在使用的時候也略顯繁瑣,所以有效集成這些功能于同一個平臺將是未來討論的重點。
[1] 王紅.基礎(chǔ)地理信息地形數(shù)據(jù)庫信息量度量方法研究[D].阜新:遼寧工程技術(shù)大學(xué),2010
[2] 黃春林,李新.陸面數(shù)據(jù)同化系統(tǒng)的研究綜述[J].遙感技術(shù)與應(yīng)用,2004,19(5):624-630
[3] 李新, 黃春林. 數(shù)據(jù)同化——一種集成多源地理空間數(shù)據(jù)的新思路[J]. 科技導(dǎo)報, 2004, 12(132): 12-16
[4] 馬建文.數(shù)據(jù)同化算法研發(fā)與實驗[M].北京:科學(xué)出版社,2013
[5] Brun F, Wallach D, Makowski D, et al. Working with Dynamic Crop Models: Evaluation, Analysis, Parameterization, and Applications[M]. Elsevier, 2006
[6] 王躍山.數(shù)據(jù)同化——它的緣起、含義和主要方法[J].海洋預(yù)報,1999,16(1):11-20
[7] 安曉亞,孫群,肖強,等.面向地理空間數(shù)據(jù)更新的數(shù)據(jù)同化[J].測繪科學(xué)技術(shù)學(xué)報,2010, 27(2):153-156
[8] 郭金運,朱明法,徐泮林.地圖數(shù)據(jù)幾何糾正時仿射變換與相似變換的對比分析[J].測繪通報,2001(4):23-27
[9] 寧津生.我國大地水準(zhǔn)面精化現(xiàn)狀與對策[N].中國測繪報,2004-12-14
[10] 喬連軍,韓雪培.1954北京坐標(biāo)與1980西安坐標(biāo)轉(zhuǎn)換方法研究[J].測繪與空間地理信息,2006,29(1):36-43
[11] 方鵬,羅名海,劉濤.基于FME語義映射的數(shù)據(jù)轉(zhuǎn)換及應(yīng)用[J].地理空間信息,2009,7(6): 18-21
P273
B
1672-4623(2015)01-0090-03
10.3969/j.issn.1672-4623.2015.01.030
趙凱歌,碩士,主要研究方向為空間數(shù)據(jù)庫集成、數(shù)據(jù)模式匹配等。
2013-12-09。
項目來源:國家科技支撐計劃資助項目(2012BAJ23B04)。