趙君

(山東省國土測繪院，山東 濟南 250013)

0 引言

現(xiàn)階段，省級第一次全國地理國情普查已基本完成，其成果在各行各業(yè)得到廣泛應用[1-2]。按照國務院對地理省情監(jiān)測工作總體部署和測繪地理信息事業(yè)轉型發(fā)展需要，從2016年起地理國情信息獲取進入常態(tài)化監(jiān)測階段，在地理國情普查的基礎上，進行地理省情監(jiān)測業(yè)務化運行建設，形成常態(tài)化地理省情監(jiān)測機制，提供地理省情信息業(yè)務化、常態(tài)化服務[3-4]。

伴隨山東省地理國情監(jiān)測工作的深化，山東省已積累了大量地理省情監(jiān)測數(shù)據(jù)，這些數(shù)據(jù)具備多時態(tài)、多版本、多年份的特點[5]。管理、利用好這些龐大、復雜、多樣化的省情監(jiān)測數(shù)據(jù)，成為亟待解決的重點問題。為解決好地理省情監(jiān)測數(shù)據(jù)的管理問題，并綜合考慮山東省省級地理信息時空大數(shù)據(jù)中心的相關要求，該文研發(fā)了地理省情監(jiān)測變化統(tǒng)計分析系統(tǒng)。系統(tǒng)建設圍繞基礎性地理省情監(jiān)測數(shù)據(jù)，對多年份地理省情監(jiān)測成果進行變化統(tǒng)計分析，掌握山東省地表自然和人文地理要素年度變化情況，揭示要素變化規(guī)律和趨勢，以更好地為政府和社會提供地理省情信息服務。

1 總體設計

1.1 技術路線

以山東省地理國情(省情)普查成果和基礎性監(jiān)測成果為基礎，以縣級行政單元作為變化統(tǒng)計工作區(qū)域，綜合運用空間分析、時間序列分析、數(shù)值統(tǒng)計等統(tǒng)計分析模型和方法，對地理省情監(jiān)測要素的物理結構、空間關系及差異特性等內容進行變化統(tǒng)計分析。統(tǒng)計類型包括要素級變化統(tǒng)計和地類級變化統(tǒng)計，主要分析屬性變化、伸縮移位、新生、滅失、糾錯、打斷與未變化情況；統(tǒng)計內容包括植被覆蓋、居民地設施、鐵路與道路、水域、荒漠與裸露地表等地理要素的面積、長度和個數(shù)等指標[6-8]。

1.2 總體架構設計

地理省情監(jiān)測變化統(tǒng)計分析系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)采用商業(yè)化成熟的關系型數(shù)據(jù)庫，通過功能組件和服務接口等組件服務，實現(xiàn)數(shù)據(jù)存儲與訪問。整個數(shù)據(jù)庫管理系統(tǒng)由支撐層、數(shù)據(jù)層、接口層和應用層構成。系統(tǒng)總體技術架構如圖1所示。

圖1 系統(tǒng)技術架構圖

(1)支撐層：用于保障地理省情監(jiān)測變化統(tǒng)計分析系統(tǒng)的正常運行，由基礎軟件環(huán)境、硬件環(huán)境及網(wǎng)絡環(huán)境組成。

(2)數(shù)據(jù)層：是系統(tǒng)的數(shù)據(jù)資源，并提供數(shù)據(jù)的存儲和管理能力。數(shù)據(jù)內容包括普查與監(jiān)測時期的多年份地表覆蓋、地理省情要素、路網(wǎng)和水網(wǎng)數(shù)據(jù)、遙感影像數(shù)據(jù)、地形地貌數(shù)據(jù)、遙感影像解譯樣本、專題數(shù)據(jù)、統(tǒng)計分析成果數(shù)據(jù)以及系統(tǒng)管理數(shù)據(jù)。

(3)接口層：提供功能組件和服務接口，具有靈活性強、便于使用的特點。

(4)應用層：實現(xiàn)多年份數(shù)據(jù)時空化建庫，多時相數(shù)據(jù)入庫質檢、預處理、數(shù)據(jù)入庫、查詢、提取，及地理省情監(jiān)測數(shù)據(jù)變化信息統(tǒng)計等。

1.3 數(shù)據(jù)庫設計

山東省地理省情監(jiān)測變化統(tǒng)計分析系統(tǒng)建庫內容主要涉及普查成果數(shù)據(jù)、基礎性監(jiān)測成果、統(tǒng)計分析成果(圖2)。普查成果是山東省第一次地理國情普查工程中形成的成果，成果包含國情要素數(shù)據(jù)、地表覆蓋數(shù)據(jù)、解譯樣本數(shù)據(jù)、遙感影像數(shù)據(jù)以及地形地貌數(shù)據(jù)5大類主要數(shù)據(jù)[9-10]。基礎性監(jiān)測成果是以普查成果為基礎，每年開展常態(tài)化地理省情監(jiān)測形成的，由各數(shù)據(jù)生產(chǎn)單位匯交的直接數(shù)據(jù)成果，成果內容包含地理省情要素數(shù)據(jù)、地表覆蓋數(shù)據(jù)、元數(shù)據(jù)、遙感影像與解譯樣本數(shù)據(jù)、專題數(shù)據(jù)、行業(yè)專題數(shù)據(jù)、基本統(tǒng)計分析成果數(shù)據(jù)等七大類數(shù)據(jù)[11-13]。統(tǒng)計分析成果是普查時期、監(jiān)測時期建庫完成后進行的下一階段常規(guī)成果，主要包含基本統(tǒng)計成果、變化統(tǒng)計成果[14]。各個統(tǒng)計成果數(shù)據(jù)庫中包含統(tǒng)計成果數(shù)據(jù)集、統(tǒng)計成果圖件、報告、報表等。

圖2 系統(tǒng)數(shù)據(jù)庫內容

從存儲角度，地理國情數(shù)據(jù)分為矢量數(shù)據(jù)、柵格數(shù)據(jù)、網(wǎng)絡數(shù)據(jù)、表格數(shù)據(jù)和文件數(shù)據(jù)等5種，根據(jù)數(shù)據(jù)庫的邏輯設計，對5種類型的數(shù)據(jù)進行物理分開存儲?？紤]每種數(shù)據(jù)的數(shù)據(jù)量，將地理省情監(jiān)測時空數(shù)據(jù)庫劃分為7類表空間，分別為：不分區(qū)的地理國情矢量數(shù)據(jù)、分區(qū)的地理國情矢量數(shù)據(jù)、統(tǒng)計分析數(shù)據(jù)表空間、遙感影像數(shù)據(jù)表空間、地形地貌數(shù)據(jù)表空間以及數(shù)據(jù)庫空間索引和屬性索引數(shù)據(jù)表空間等。

2 關鍵技術分析

2.1 分布式集群架構

系統(tǒng)以數(shù)據(jù)版本匹配技術為基礎，圍繞任務調度這一核心，通過分布式集群架構，采用共享文件系統(tǒng)作為支撐，完成以數(shù)據(jù)為驅動的變化統(tǒng)計分析任務。通過版本匹配、并行調度框架、負載均衡任務調度、國情統(tǒng)計分析任務并行方式的優(yōu)化、共享文件系統(tǒng)的分布式存儲等策略，實現(xiàn)高效的地理省情變化統(tǒng)計分析。

2.2 版本匹配變化統(tǒng)計

通過版本匹配技術進行空間分析，可以將幾個版本數(shù)據(jù)直接對比，也可以將FEATID作為標識信息加以對比，對整個山東省所有要素在各個版本中的發(fā)展變化信息進行監(jiān)測。從時空變化角度反映地理省情要素空間分布、空間結構、空間關系的變化數(shù)量、變化特征、變化趨勢，分析其變化原因和影響因素。

2.3 高性能高可用的并行調度框架

并行調度框架是一個中間件，用于對地理大數(shù)據(jù)進行并行處理，目標是為大數(shù)據(jù)量的計算密集型的業(yè)務應用提供一個基礎開發(fā)平臺[15]。它可為上層應用系統(tǒng)提供模型管理、任務調度與進度監(jiān)控等功能接口，提供并行調度環(huán)境部署與管理工具?？蚣軐Φ讓臃植际酵ㄐ?、資源分配的復雜性進行了封裝，簡化業(yè)務系統(tǒng)的構建過程。

2.4 負載均衡任務調度策略

結合地理省情監(jiān)測數(shù)據(jù)的特點，基于負載均衡策略，合理分解計算任務，同時考慮節(jié)點資源情況選取最合適的計算節(jié)點，然后在集群中的所有計算節(jié)點上動態(tài)分配計算任務。同時，計算節(jié)點可以根據(jù)需要，動態(tài)的增加或減少，以便合理有效地利用機器資源。并行調度系統(tǒng)可以實時監(jiān)控節(jié)點資源狀態(tài)，以便為任務調度提供決策數(shù)據(jù)依據(jù)。

2.5 基于共享文件系統(tǒng)的分布式存儲

為解決數(shù)據(jù)集中式存儲所帶來的IO瓶頸問題，以共享文件系統(tǒng)為支撐，實現(xiàn)分布式存儲、管理空間數(shù)據(jù)。通過在各個計算節(jié)點上，分布式存儲待處理的數(shù)據(jù)，一方面可以解決單個節(jié)點存儲空間不足，以及網(wǎng)絡傳輸?shù)膲毫栴}；另一方面，在執(zhí)行統(tǒng)計任務時，將任務分配到最近的計算節(jié)點上，減少傳輸耗時，降低整體網(wǎng)絡壓力，同時提高運算性能[16]。

3 系統(tǒng)的設計與實現(xiàn)

3.1 系統(tǒng)的開發(fā)環(huán)境與工具

地理省情監(jiān)測變化統(tǒng)計分析系統(tǒng)采用的數(shù)據(jù)庫為Oracle 11g，在數(shù)據(jù)庫服務器上選裝ArcSDE 10.3。Web服務器和應用服務器上需要安裝的服務軟件包括ArcGIS Server10.3、JDK(Java Development Kit)，并且部署Oracle 11g數(shù)據(jù)庫客戶端軟件?？蛻舳松闲枰惭b部署ArcMap、ArcEngine、Microsoft Office、Microsoft.NET Framework等(表1)。

表1 主要軟件環(huán)境構成情況

3.2 系統(tǒng)功能設計與實現(xiàn)

該系統(tǒng)借助空間統(tǒng)計、任務并行等技術手段，對比分析監(jiān)測范圍內的歷史數(shù)據(jù)與現(xiàn)勢數(shù)據(jù)，發(fā)現(xiàn)各個版本數(shù)據(jù)之間的區(qū)別，對監(jiān)測范圍內數(shù)據(jù)要素級、地類級變化情況加以監(jiān)測。系統(tǒng)涉及統(tǒng)計計算模塊、成果生成模塊、任務管理模塊及配置維護模塊。

3.2.1 統(tǒng)計計算模塊

統(tǒng)計分析模塊從地理省情監(jiān)測時空數(shù)據(jù)庫中抽取行政區(qū)域范圍作為監(jiān)測區(qū)域，指定數(shù)據(jù)庫中的各類地理省情監(jiān)測成果數(shù)據(jù)圖層作為監(jiān)測對象，通過對劃定區(qū)域內的監(jiān)測對象的歷史數(shù)據(jù)與現(xiàn)勢數(shù)據(jù)監(jiān)測對比，并采用圖形、表格等多種方式展現(xiàn)變化情況，為地理省情長期持續(xù)的監(jiān)測提供服務。支持按行政區(qū)劃和自定義范圍對比歷史數(shù)據(jù)與現(xiàn)勢數(shù)據(jù)；支持統(tǒng)計要素級和地類級數(shù)據(jù)變化情況；支持變化統(tǒng)計任務多機、多進程執(zhí)行。

要素級變化統(tǒng)計，構建不同版本數(shù)據(jù)之間各類要素的變化分析指標，統(tǒng)計要素在各種空間變化下的數(shù)量變化、長度變化、面積變化等，以對比圖斑的形式展現(xiàn)監(jiān)測對象的變化結果。地類級變化統(tǒng)計，基于監(jiān)測數(shù)據(jù)或基本統(tǒng)計成果，統(tǒng)計各地類的數(shù)量變化和空間分布變化。變化統(tǒng)計模塊主要包括統(tǒng)計方案、數(shù)據(jù)方案和統(tǒng)計指標3個功能。統(tǒng)計方案是統(tǒng)計指標的組合，分為地理省情要素、地表覆蓋分類變化、地表覆蓋轉移變化。數(shù)據(jù)方案是根據(jù)實際需要統(tǒng)計分析的內容創(chuàng)建數(shù)據(jù)方案，實現(xiàn)數(shù)據(jù)與計算模板的匹配。統(tǒng)計指標是統(tǒng)計計算的核心功能，按照具體的數(shù)據(jù)類型，地類分類情況，年份信息構建變化統(tǒng)計指標。

3.2.2 成果生成模塊

成果生成模塊提供圖表制作、報表制作、圖件制作、報告制作4個功能。

圖表制作：地理省情變化統(tǒng)計分析系統(tǒng)的圖表制作功能可以根據(jù)不同的統(tǒng)計范圍對統(tǒng)計結果中各種變化類型的數(shù)量、長度和面積進行自動匯總，系統(tǒng)根據(jù)匯總的數(shù)據(jù)自動生成折線圖、直方圖、餅狀圖和柱狀圖。

報表制作功能：地理省情變化統(tǒng)計分析系統(tǒng)提供完善、靈活的報表制作能力，支持省情特色報表模板的制作，滿足多樣化展示的應用需求。執(zhí)行完成變化統(tǒng)計后，可以輸出統(tǒng)計報表，采用.XLS文件格式。

同時，該模塊也支持對報表模板的修改、設計，提供設計器進行編輯，支持完善、靈活的報表制作能力。除此之外，還支持支持一鍵生成、輸出報表內容(圖3)。

圖3 報表生成

3.2.3 任務管理模塊

任務管理模塊主要是對統(tǒng)計計算的任務進行管理，包括未執(zhí)行任務、執(zhí)行中任務、已完成任務和所有任務。選擇某一個具體的任務，點擊該任務，可以查看相應任務的日志詳情。

支持按照任務的分類分別進行查看任務的名稱、任務類型、任務描述、統(tǒng)計范圍、創(chuàng)建人、創(chuàng)建時間、開始時間、狀態(tài)、任務進度、結束時間和任務結果信息。同時，支持對任務進行全選、啟動、刪除、刷新操作。其中是否展示創(chuàng)建人信息，與登錄的用戶權限有關，若是用戶權限為管理員權限，則展示創(chuàng)建人信息，若是用戶權限為普通用戶權限，則不展示創(chuàng)建人信息

3.2.4 配置維護模塊

配置管理模塊主要完善系統(tǒng)運行維護方面的功能，包括安全管理、建庫配置、時空配置、組織管理等功能，保障系統(tǒng)穩(wěn)定運行。安全管理提供系統(tǒng)用戶管理功能，并對系統(tǒng)操作功能權限和數(shù)據(jù)訪問權限進行嚴格控制，保障數(shù)據(jù)庫運行安全。

建庫配置提供數(shù)據(jù)建庫基礎配置，連接共享存儲，掛接數(shù)據(jù)庫資源，包括數(shù)據(jù)資源管理、存儲設置和設置圖層范圍。時空配置功能建立時空數(shù)據(jù)模型，實現(xiàn)對多年份監(jiān)測數(shù)據(jù)的時空管理，支持對省情監(jiān)測數(shù)據(jù)版本進行注冊與維護，支持按年份對地理國情信息分類碼管理。組織管理提供數(shù)據(jù)目錄、數(shù)據(jù)區(qū)域配置等管理能力，支持自定義組建數(shù)據(jù)編目樹的結構，支持任務區(qū)劃配置，流域區(qū)劃配置，支持按照年份進行行政區(qū)劃配置。運行監(jiān)控提供對系統(tǒng)運行情況進行實時的監(jiān)控，以及業(yè)務數(shù)據(jù)的備份與恢復能力，支持顯示用戶在線狀態(tài)，支持系統(tǒng)運行業(yè)務數(shù)據(jù)備份與恢復。

3.3 系統(tǒng)部署

地理省情監(jiān)測需要統(tǒng)計和分析多元化、多維度、多時相數(shù)據(jù)的變化，需要對統(tǒng)計分析結果進行快速查詢和調用，傳統(tǒng)的支撐環(huán)境難以滿足需要。因此，該項目的支撐環(huán)境需要云環(huán)境，進行網(wǎng)絡存儲、計算及資源服務。

云平臺采用私有云模式，通過云平臺管理軟件，將計算、存儲、網(wǎng)絡等資源虛擬化，并進一步池化管理。用戶通過云主機構建統(tǒng)計分析計算服務器集群、Web服務器集群、應用服務器集群、文件服務器等，使其具有高性能、高可靠性、高可擴展能力等特點。系統(tǒng)通過云平臺API為應用服務、GIS服務軟件系統(tǒng)提供自主化集群管理服務。云平臺通過對底層虛擬環(huán)境的統(tǒng)一調度管理，為上層的應用和GIS服務軟件系統(tǒng)提供包括計算、存儲和網(wǎng)絡資源的自動化動態(tài)分配，并提供對從底層物理資源、虛擬資源池、虛擬主機、GIS服務軟件、應用服務軟件的垂直監(jiān)控。通過整合監(jiān)控數(shù)據(jù)和并發(fā)訪問量，自動調整應用服務軟件、GIS服務軟件的集群規(guī)模，以保證集群的高效處理能力。

3.4 實例分析

因面狀要素兼具點要素與線要素的特性，且對面要素的變化統(tǒng)計最復雜，因此，文章以2015—2017年平度市耕地的變化統(tǒng)計分析進行測試。借助本系統(tǒng)從省情監(jiān)測數(shù)據(jù)中提取水田、旱地地類作為耕地地類，進行變化統(tǒng)計，形成2015—2017年平度市耕地變化統(tǒng)計結果：(1)耕地主要流向分析。從地類來看，耕地與園地間流轉導致耕地面積減少最多，其次，是耕地與草地間流轉。(2)空間分布情況分析。耕地轉為園地的情況在平度各地均有分布，總體來看，北部大于南部，東部大于西部。且主要集中在北部大澤山、東北部尹府水庫、黃同水庫附近。耕地轉為園地的區(qū)域與2017年平度園地分布基本一致，且在園地集中區(qū)域耕地轉為園地的數(shù)量較多(圖4、圖5)。

圖4 平度市耕地轉入-轉出變化量構成情況

圖5 平度市耕地轉出為園地熱點區(qū)域

通過本系統(tǒng)計算得到的變化統(tǒng)計成果與人工判斷的結果一致，驗證了變化統(tǒng)計的準確性。對獲得的省情監(jiān)測變化統(tǒng)計數(shù)據(jù)，進一步進行數(shù)據(jù)挖掘，可為決策部門提供良好的輔助支撐。

4 結語

該文以云環(huán)境為支撐，采用分布式集群架構、版本匹配技術、高性能并行調度框架、負載均衡任務調度策略等關鍵技術，設計了地理省情監(jiān)測變化統(tǒng)計分析系統(tǒng)，利用空間統(tǒng)計、任務并行等技術模型，實現(xiàn)對監(jiān)測區(qū)域內多時態(tài)、多版本、地理省情數(shù)據(jù)要素級、地類級變化情況的統(tǒng)計分析，解決了省情監(jiān)測數(shù)據(jù)分散、管理困難的問題，極大地提升了地理省情時空數(shù)據(jù)的管理能力。