尹 峰,李儉康,劉中秋
(1. 湖北省空間規(guī)劃研究院,湖北 武漢 430070;2. 武漢吉威空間信息技術(shù)研究院有限公司,湖北 武漢 430014)
2009 年湖北省土地調(diào)查數(shù)據(jù)庫管理系統(tǒng)建設(shè)完成,首次實現(xiàn)了對TB 級全省土地調(diào)查成果數(shù)據(jù)的集中管理。2018 年自然資源部“兩統(tǒng)一”和“多規(guī)合一”職責(zé)的確立,以及隨之而來的第三次國土調(diào)查、實景三維中國的建設(shè)目標(biāo),從數(shù)據(jù)庫管理內(nèi)容、海量數(shù)據(jù)存儲管理、高性能訪問與決策支持應(yīng)用、二三維一體化展示等方面對湖北省級土地調(diào)查數(shù)據(jù)庫提出了更高要求。因此,如何在充分繼承和挖掘現(xiàn)有數(shù)據(jù)成果的基礎(chǔ)上,對現(xiàn)有湖北省級土地調(diào)查數(shù)據(jù)庫進(jìn)行升級與優(yōu)化,以滿足新形勢下湖北省自然資源管理事業(yè)的現(xiàn)實需求,成為當(dāng)前湖北省級國土調(diào)查數(shù)據(jù)庫建設(shè)中亟待解決的難題。
針對不同專題、不同結(jié)構(gòu)下多時態(tài)國土調(diào)查成果數(shù)據(jù)的高效管理和應(yīng)用問題,相關(guān)學(xué)者從軟件平臺選型、國土調(diào)查時空數(shù)據(jù)庫更新方法和應(yīng)用模式等方面展開了研究,如在軟件選型方面,相關(guān)研究分別探索了 基 于 Oracle Spatial[1]、ArcGIS[2]、MapGIS[3]和 Geoway Forland[4]等不同軟件平臺的國土調(diào)查數(shù)據(jù)建庫方案;解蕾[5]、鐘星[6]、何大金[7]、戴海倫[8]和方川[9]等則先后研究了土地調(diào)查時空數(shù)據(jù)庫的更新策略。從數(shù)據(jù)庫管理系統(tǒng)的空間尺度來看,現(xiàn)有研究主要集中在省級[10-13]和縣級[2,5-6,14]國土調(diào)查數(shù)據(jù)庫的研究。近年來,隨著傾斜攝影測量和實景三維技術(shù)的發(fā)展,面向自然資源三維立體時空數(shù)據(jù)庫的研究也開始得到關(guān)注[15-16]。
總體上看,現(xiàn)有的關(guān)于國土調(diào)查數(shù)據(jù)庫在軟件選型、建庫更新和決策應(yīng)用方面的研究為新形勢下湖北省級國土調(diào)查數(shù)據(jù)庫建設(shè)提供了重要研究基礎(chǔ)和參考;而湖北省級國土調(diào)查數(shù)據(jù)建庫與優(yōu)化升級在海量時空數(shù)據(jù)高效管理與更新、二三維場景數(shù)據(jù)一體化可視化和開放環(huán)境下土地大數(shù)據(jù)決策支持技術(shù)等方面依然亟待研究。因此,本文在對建庫、管理和應(yīng)用需求分析的基礎(chǔ)上,設(shè)計了湖北省級國土調(diào)查數(shù)據(jù)庫的優(yōu)化升級技術(shù)路線,并對國土調(diào)查海量數(shù)據(jù)高性能存儲管理、基于國土調(diào)查時空大數(shù)據(jù)的分析決策支持和國土調(diào)查成果數(shù)據(jù)二三維場景一體化顯示等關(guān)鍵技術(shù)進(jìn)行了研究。研究成果預(yù)期將服務(wù)于湖北省第三次國土調(diào)查成果數(shù)據(jù)庫的優(yōu)化升級。
自2009年第二次土地調(diào)查以來,歷經(jīng)9次年度土地變更調(diào)查,目前湖北省級國土調(diào)查數(shù)據(jù)的總?cè)萘恳堰_(dá)到6 TB。隨著第三次國土調(diào)查成果數(shù)據(jù)、高分辨率遙感圖像、無人機(jī)航測影像和三維數(shù)據(jù)模型的入庫,湖北省級國土調(diào)查數(shù)據(jù)庫的存儲對象和容量將呈指數(shù)級增長。湖北省級國土調(diào)查數(shù)據(jù)庫已無法滿足新形勢下自然資源管理事業(yè)對海量多源異構(gòu)自然資源時空數(shù)據(jù)的高效存儲管理、國土調(diào)查成果數(shù)據(jù)的二三維一體化顯示、自然資源大數(shù)據(jù)智能化分析決策等需求。
1)國土調(diào)查海量成果數(shù)據(jù)的高效存儲與管理。湖北省級國土調(diào)查數(shù)據(jù)庫面臨著存儲空間不足、時空數(shù)據(jù)關(guān)聯(lián)分析欠缺、功能擴(kuò)展難和管理與訪問效率低等問題,難以滿足新形勢下國家、省、市、縣的4 級聯(lián)動與更新和自然資源管理業(yè)務(wù)的擴(kuò)展需求。
2)國土調(diào)查成果數(shù)據(jù)的二三維場景一體可視化。由于影像切片數(shù)據(jù)集個數(shù)較多,三維平臺的啟動時間較長,且矢量數(shù)據(jù)無法加載到三維平臺上進(jìn)行瀏覽。現(xiàn)有數(shù)據(jù)庫管理系統(tǒng)無法實現(xiàn)從“地塊—村—鄉(xiāng)鎮(zhèn)—縣—市—省”多尺度對自然資源管理業(yè)務(wù)中產(chǎn)生的多類型基礎(chǔ)數(shù)據(jù)進(jìn)行高效查詢與可視化。
3)自然資源大數(shù)據(jù)智能化分析決策。為了有效挖掘數(shù)據(jù)與利用數(shù)據(jù)價值,迫切需要改造當(dāng)前以圖層為管理和應(yīng)用的模式,建立國土調(diào)查數(shù)據(jù)對象級的完整的時空序列對應(yīng)關(guān)系,按照“大數(shù)據(jù)、大分析”的思想,實現(xiàn)基于對象的時空分析,進(jìn)行一體化管理、應(yīng)用與分析,以應(yīng)對日益增長的自然資源管理業(yè)務(wù)決策支持需求。
針對湖北省級國土調(diào)查數(shù)據(jù)庫當(dāng)前運(yùn)行維護(hù)所面臨的壓力以及自然資源管理決策支持的需求,新形勢下湖北省級國土調(diào)查數(shù)據(jù)庫優(yōu)化升級的總體目標(biāo)和任務(wù)包括:①改造數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu),使之在數(shù)據(jù)存儲、兼容性和可擴(kuò)展性等方面的能力得到增強(qiáng);②優(yōu)化系統(tǒng)性能,提高數(shù)據(jù)查詢、瀏覽、統(tǒng)計、分發(fā)的響應(yīng)時間與效率;③拓展決策支持功能,通過數(shù)據(jù)結(jié)構(gòu)與性能的提升,豐富數(shù)據(jù)庫系統(tǒng)基于國土調(diào)查時空大數(shù)據(jù)服務(wù)于自然資源管理決策支持的能力;④提升國土調(diào)查海量基礎(chǔ)數(shù)據(jù)二三維動態(tài)渲染與服務(wù)發(fā)布能力,實現(xiàn)國土資源基礎(chǔ)數(shù)據(jù)的多樣化、個性化和高效可視化。
根據(jù)湖北省級國土調(diào)查數(shù)據(jù)庫的優(yōu)化升級目標(biāo),湖北省級國土調(diào)查數(shù)據(jù)庫管理系統(tǒng)的優(yōu)化升級主要包括數(shù)據(jù)庫存儲模型與結(jié)構(gòu)改造、數(shù)據(jù)庫兼容性擴(kuò)展、數(shù)據(jù)庫分析決策功能提升、基礎(chǔ)技術(shù)平臺升級和數(shù)據(jù)庫性能優(yōu)化5個方面的內(nèi)容,總體技術(shù)路線如圖1所示。
圖1 湖北省級國土調(diào)查數(shù)據(jù)庫升級優(yōu)化技術(shù)路線
1)數(shù)據(jù)庫存儲模型與結(jié)構(gòu)改造。構(gòu)建時態(tài)數(shù)據(jù)模型和增量更新數(shù)據(jù)模型,在當(dāng)前以國土調(diào)查數(shù)據(jù)為主的基礎(chǔ)上,整合地理國情、林草水濕等多源異構(gòu)自然資源管理數(shù)據(jù);形成集關(guān)系型、NoSQL、影像編目庫等于一體的多維多粒度分布式數(shù)據(jù)存儲模型,提升平臺對海量多源異構(gòu)時空數(shù)據(jù)的存儲與管理能力。
2)數(shù)據(jù)庫兼容性擴(kuò)展。為滿足“大數(shù)據(jù)、大分析”的發(fā)展需求以及提供更快速、便捷和優(yōu)質(zhì)的國土調(diào)查數(shù)據(jù)服務(wù),對系統(tǒng)接口進(jìn)行兼容性擴(kuò)展,通過服務(wù)接口、共用工具銜接、數(shù)據(jù)雙向調(diào)用、數(shù)據(jù)編目與元數(shù)據(jù)等手段,實現(xiàn)與土地基礎(chǔ)數(shù)據(jù)集成管理系統(tǒng)和業(yè)務(wù)平臺的數(shù)據(jù)調(diào)用。
3)數(shù)據(jù)庫分析決策功能提升?;诟脑旌蟮膰琳{(diào)查海量數(shù)據(jù)存儲時空數(shù)據(jù)模型,全面提升自然資源時空大數(shù)據(jù)服務(wù)于自然資源管理決策的能力。在對數(shù)據(jù)庫現(xiàn)有查詢、統(tǒng)計等基礎(chǔ)功能進(jìn)行優(yōu)化的基礎(chǔ)上,集成基于時空數(shù)據(jù)挖掘方法的土地利用時空變化模擬和多情景優(yōu)化決策模型。
4)基礎(chǔ)技術(shù)平臺升級。為發(fā)揮新技術(shù)、新方法在海量時空數(shù)據(jù)存儲管理方面的優(yōu)勢,對現(xiàn)有數(shù)據(jù)管理平臺的基礎(chǔ)軟件進(jìn)行升級,以支持系統(tǒng)數(shù)據(jù)存儲能力和訪問性能的提升。
5)數(shù)據(jù)庫性能優(yōu)化。數(shù)據(jù)庫的數(shù)據(jù)訪問與查詢性能直接關(guān)系到數(shù)據(jù)庫中基礎(chǔ)數(shù)據(jù)成果的應(yīng)用效率。本文基于虛擬化環(huán)境,綜合利用并行運(yùn)算、數(shù)據(jù)庫集群和數(shù)據(jù)切片技術(shù),對數(shù)據(jù)存儲管理效率、查詢?yōu)g覽效率、統(tǒng)計分析效率、數(shù)據(jù)分發(fā)效率和遷移部署效率進(jìn)行組織管理優(yōu)化、應(yīng)用分析優(yōu)化和快速服務(wù)優(yōu)化,以提高國土調(diào)查管理系統(tǒng)性能,實現(xiàn)快速高效的數(shù)據(jù)管理、應(yīng)用、分析和服務(wù)。
針對高效存儲管理國土調(diào)查、地理國情、林草水濕等來源、類型、數(shù)據(jù)結(jié)構(gòu)不同的海量國土調(diào)查相關(guān)成果數(shù)據(jù)的需求,本文采用混合存儲架構(gòu),分別利用數(shù)據(jù)庫、文件存儲系統(tǒng)進(jìn)行海量多源異構(gòu)數(shù)據(jù)的高效安全存儲。其中,屬性數(shù)據(jù)、矢量數(shù)據(jù)、遙感圖像、矢量瓦片、影像切片等利用Oracle 數(shù)據(jù)進(jìn)行集中管理,并存放于Oracle RAC(Real Application Cluster)集群上,以應(yīng)對海量數(shù)據(jù)高檢索、高并發(fā)和高IO的需求;其他大型文件采用共享文件存儲和分布式文件存儲。針對不同類型的數(shù)據(jù),根據(jù)其數(shù)據(jù)量、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)應(yīng)用場景等選擇最優(yōu)的存儲方式??傮w存儲架構(gòu)如圖2所示。
圖2 多源異構(gòu)國土調(diào)查大數(shù)據(jù)存儲策略
為應(yīng)對湖北省級國土調(diào)查數(shù)據(jù)庫高效服務(wù)于分析決策的實際需求,采用開放環(huán)境的土地基礎(chǔ)大數(shù)據(jù)處理分析技術(shù),將國土調(diào)查、地理國情、林草水濕等多專題數(shù)據(jù)納入到數(shù)據(jù)庫中進(jìn)行集中管理。湖北省級國土調(diào)查數(shù)據(jù)庫的土地大數(shù)據(jù)分析技術(shù)總體架構(gòu)如圖3所示,主要包括設(shè)施層、存儲層、計算層、模型層等,其中設(shè)施層為計算資源與存儲資源,針對不同的數(shù)據(jù)類型,采用不同的數(shù)據(jù)存儲方式,實現(xiàn)數(shù)據(jù)的塊存儲、文件存儲和對象存儲,針對不同的應(yīng)用場景,劃分出高性能計算集群、分布式計算集群和GPU計算集群;存儲層根據(jù)不同的數(shù)據(jù)類型和應(yīng)用場景,采用空間數(shù)據(jù)庫、共享文件系統(tǒng)、非關(guān)系型數(shù)據(jù)庫與分布文件系統(tǒng)對各類基礎(chǔ)數(shù)據(jù)進(jìn)行存儲;計算層通過耦合高性能計算、分布式計算和內(nèi)存計算等計算框架,自適應(yīng)選取計算策略,并動態(tài)分配系統(tǒng)計算資源,為上層應(yīng)用提供魯棒、高效的應(yīng)用分析服務(wù);模型層以模塊化思想提供數(shù)據(jù)模型、算法模型和應(yīng)用模型,可利用可視化方法快速搭建空間分析算法工作流。
圖3 土地大數(shù)據(jù)分析技術(shù)總體架構(gòu)
在統(tǒng)一的數(shù)據(jù)庫平臺和場景下,從“地塊—村—鄉(xiāng)鎮(zhèn)—縣—市—省”多個尺度實現(xiàn)不同類型、多源異構(gòu)數(shù)據(jù)的高效二三維一體化展示,是湖北省級國土調(diào)查數(shù)據(jù)庫優(yōu)化升級的重要目標(biāo)和難點問題。針對湖北省級國土調(diào)查數(shù)據(jù)庫中存儲的各類數(shù)據(jù)的特點和應(yīng)用需求,本文提出了虛擬金字塔技術(shù)(圖4)。
圖4 面向國土調(diào)查海量二三維數(shù)據(jù)一體化顯示的虛擬金字塔模型
如圖4 所示,模型通過耦合矢量瓦片標(biāo)準(zhǔn)、Arc?GIS 標(biāo)準(zhǔn)、影像切片標(biāo)準(zhǔn)創(chuàng)建瓦片和數(shù)據(jù)服務(wù),從而實現(xiàn)對不同類型數(shù)據(jù)成果的高效一體化可視化。上述異構(gòu)金字塔都有各自的分級標(biāo)準(zhǔn),全球瓦片格網(wǎng)劃分起算點、瓦片編碼和屬性規(guī)則,空間范圍,編碼規(guī)則和屬性信息。湖北省級國土調(diào)查數(shù)據(jù)庫管理系統(tǒng)的三維展示引擎采用虛擬金字塔技術(shù),對各類異構(gòu)金字塔數(shù)據(jù)進(jìn)行組織與管理,邏輯上抽象成虛擬金字塔,三維場景中展示時通過虛擬金字塔進(jìn)行相應(yīng)異構(gòu)數(shù)據(jù)的調(diào)用和渲染。
為實現(xiàn)不同類型數(shù)據(jù)在統(tǒng)一平臺上的高效集成可視化,本文基于虛擬金字塔模型,采取圖層數(shù)據(jù)分離和邏輯耦合技術(shù),實現(xiàn)了各類數(shù)據(jù)成果分別基于Arc?GIS Server、矢量瓦片服務(wù)、影像切片服務(wù)的混合接入和集成展示,如圖5所示。
圖5 基于虛擬金字塔模型的二三維數(shù)據(jù)一體化組織
為測試湖北省級國土調(diào)查數(shù)據(jù)庫的關(guān)鍵技術(shù)性能,本文搭建了小型計算集群,硬件配置為:①數(shù)據(jù)庫服務(wù)器3 臺,硬件參數(shù)為64 核主頻2.1GHz 的CPU、128 G內(nèi)存、9 TB存儲;②測試客戶機(jī)兩臺,硬件參數(shù)為4核主頻3.33 GHz的CPU、內(nèi)存16 G,硬盤2 TB。在數(shù)據(jù)存儲方面,數(shù)據(jù)庫的核心文件數(shù)據(jù)采用NAS存儲設(shè)備進(jìn)行存儲,可滿足局域網(wǎng)內(nèi)PB級的數(shù)據(jù)存儲、擴(kuò)容。NAS存儲服務(wù)器與數(shù)據(jù)庫服務(wù)器和客戶機(jī)之間通過萬兆光纖交換機(jī)進(jìn)行高速互聯(lián),實現(xiàn)局域網(wǎng)內(nèi)數(shù)據(jù)的高速共享與互訪。在測試數(shù)據(jù)方面,選取全省2019年的土地利用變更調(diào)查數(shù)據(jù)進(jìn)行驗證,其中矢量要素1 086萬個,數(shù)據(jù)量為14 GB;柵格數(shù)據(jù)約為1.39 TB。
從數(shù)據(jù)查詢、空間分析與服務(wù)分發(fā)性能測試等方面來看,優(yōu)化升級后的湖北省級國土調(diào)查數(shù)據(jù)庫對省級矢量要素的查詢與統(tǒng)計耗時在5 s以內(nèi),縣級尺度矢量要素的任意空間范圍、多個圖層、跨區(qū)縣的查詢統(tǒng)計耗時可控制在3 s以內(nèi),省級尺度的空間疊加分析耗時可控制在1 min以內(nèi)。在國土調(diào)查柵格和矢量數(shù)據(jù)分發(fā)性能測試中,按任意范圍跨武漢市、宜昌市兩個市分發(fā)5個縣的柵格數(shù)據(jù)(數(shù)據(jù)量為69.1 GB),平均每個縣約耗時5 min,矢量數(shù)據(jù)分發(fā)平均每個縣耗時僅20 s。
在全省尺度的國土調(diào)查成果數(shù)據(jù)可視化性能測試方面,通過虛擬金字塔技術(shù)的應(yīng)用,實現(xiàn)了多源異構(gòu)國土調(diào)查數(shù)據(jù)成果的二三維一體化場景展示(圖6)。其中,在海量矢量數(shù)據(jù)的高效可視化方面,實現(xiàn)了GB 級別的矢量數(shù)據(jù)秒開,無縫漫游效率視覺無延遲;單節(jié)點支持200+并發(fā)訪問,響應(yīng)時間在1 s以內(nèi)。
圖6 全省尺度國土調(diào)查成果數(shù)據(jù)可視化效果
本文主要針對湖北省級國土調(diào)查數(shù)據(jù)庫優(yōu)化升級中面臨的主要問題和挑戰(zhàn)展開了研究工作。針對“兩統(tǒng)一”新形勢下自然資源管理的應(yīng)用決策支持需求和國土調(diào)查成果數(shù)據(jù)的基本特點,分別提出了多源異構(gòu)國土調(diào)查數(shù)據(jù)存儲技術(shù)、國土?xí)r空大數(shù)據(jù)高性能分析技術(shù)和二三維海量國土調(diào)查數(shù)據(jù)可視化技術(shù)。結(jié)果表明,優(yōu)化升級后的湖北省級國土調(diào)查數(shù)據(jù)庫管理系統(tǒng)在海量多源異構(gòu)國土調(diào)查成果數(shù)據(jù)高效存儲、高性能分析與二三維一體化展示方面的性能與功能基本達(dá)到了預(yù)定的設(shè)計目標(biāo)。研究成果預(yù)期將服務(wù)于湖北省第三次國土調(diào)查和年度變更調(diào)查成果數(shù)據(jù)的管理與應(yīng)用。