王 騰，孟小亮，蔡冠中，陳 影，孫潔衍，姚 鵬

（1. 自然資源部華南熱帶亞熱帶自然資源監(jiān)測重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510500；2. 廣東省國土資源測繪院，廣東 廣州 510500；3. 武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430079；4. 廣西泰繪信息科技有限公司，廣西 桂林 541002）

近年來生態(tài)文明建設(shè)上升到新的高度，“山、水、林、田、湖、草、礦、海、城”統(tǒng)一監(jiān)測監(jiān)管體系是國家生態(tài)文明建設(shè)的重要保障。《自然資源部信息化建設(shè)總體方案》指出，要立足已有基礎(chǔ)，統(tǒng)籌整合信息化資源，運(yùn)用傳感器等現(xiàn)代物聯(lián)網(wǎng)技術(shù)，構(gòu)建全天候監(jiān)測與預(yù)警的感知體系，形成實(shí)時快速的自然資源動態(tài)監(jiān)測和態(tài)勢感知能力，實(shí)現(xiàn)對國土空間的全時全域立體監(jiān)控[1]。結(jié)合高精尖新技術(shù)研發(fā)，綜合利用天空地網(wǎng)多途徑技術(shù)，升級移動巡查、監(jiān)管、調(diào)查等信息系統(tǒng)，以促進(jìn)有限資源的高效配置與利用，已成為當(dāng)前國土資源管理的主要手段[2-3]。

土地衛(wèi)片執(zhí)法、耕地衛(wèi)片監(jiān)督、耕地保護(hù)監(jiān)察等自然資源監(jiān)管工作中迫切需要全天候、準(zhǔn)確、實(shí)時、快速的決策機(jī)制。目前日常巡查、媒體披露、群眾舉報(bào)、衛(wèi)片執(zhí)法是自然資源在線巡查平臺的主要發(fā)現(xiàn)手段，其中衛(wèi)片執(zhí)法主要是通過比對衛(wèi)星遙感影像時相變化提取疑似違法圖斑，在地物目標(biāo)與變化檢測方面已發(fā)展得較成熟，但受衛(wèi)星重訪周期影響，時效性較差[4-5]。隨著機(jī)器視覺技術(shù)的突飛猛進(jìn)，智能視頻監(jiān)測為自然資源監(jiān)管提供了可實(shí)時響應(yīng)的新執(zhí)法手段，可根據(jù)塔基或固定桿上高清攝像頭獲取的視頻圖像數(shù)據(jù)進(jìn)行違法線索智能分析，并在國內(nèi)部分省嘗試應(yīng)用示范[6]。以卷積神經(jīng)網(wǎng)絡(luò)為代表的視覺自動識別檢測技術(shù)成為目前的研究熱點(diǎn)[7-8]，但該技術(shù)在復(fù)雜變化環(huán)境下的識別準(zhǔn)確率、視覺定位精度以及多源感知融合監(jiān)測等方面還面臨挑戰(zhàn)性問題[9]。目前，計(jì)算機(jī)視覺領(lǐng)域中域自適應(yīng)方法被證明能應(yīng)用于光照條件變化、天氣條件變化（有雨、霧、霾等）、季節(jié)變化等挑戰(zhàn)性場景中；無監(jiān)督域自適應(yīng)算法使深度學(xué)習(xí)模型在不同環(huán)境中都能取得良好的效果[10]；利用大量標(biāo)注樣本進(jìn)行模型訓(xùn)練可提高應(yīng)用場景中目標(biāo)識別的準(zhǔn)確率[11]。自然資源監(jiān)測場景中多采用單目非專業(yè)量測攝像頭定位檢測目標(biāo)對象，價格低廉、測距模型簡單、運(yùn)算速度快[12-13]。本文針對上述需求與難點(diǎn)，設(shè)計(jì)了立體式一體化自然資源視頻執(zhí)法監(jiān)測系統(tǒng)的技術(shù)架構(gòu)，利用基于深度學(xué)習(xí)的域自適應(yīng)目標(biāo)識別技術(shù)和基于DEM輔助的高精度單目定位技術(shù)對自然資源違法行為與線索進(jìn)行快速目標(biāo)檢測，并通過系統(tǒng)實(shí)現(xiàn)與應(yīng)用驗(yàn)證了關(guān)鍵技術(shù)的有效性。

1 總體技術(shù)架構(gòu)

總體技術(shù)體系架構(gòu)包括基礎(chǔ)設(shè)施、平臺服務(wù)與業(yè)務(wù)應(yīng)用3 層?；A(chǔ)設(shè)施中的感知層為由攝像機(jī)、無人機(jī)、衛(wèi)星遙感、激光雷達(dá)等感知手段獲取的多模態(tài)監(jiān)測數(shù)據(jù)；網(wǎng)絡(luò)層包括4G、5G 等網(wǎng)絡(luò)傳輸形式；支撐層通過平臺應(yīng)用與存儲服務(wù)器實(shí)現(xiàn)數(shù)據(jù)的存儲、組織與管理，利用樣本庫服務(wù)器支撐平臺服務(wù)層的模型訓(xùn)練，還可利用邊緣計(jì)算設(shè)備進(jìn)行前置業(yè)務(wù)處理與分析，降低中心服務(wù)器負(fù)載。平臺服務(wù)層提供目標(biāo)識別、目標(biāo)定位、變化檢測、多模態(tài)數(shù)據(jù)融合與交互驗(yàn)證等模型與方法的關(guān)鍵技術(shù)，以及多源數(shù)據(jù)標(biāo)準(zhǔn)化與共享、地理空間信息分析與決策等服務(wù)。業(yè)務(wù)應(yīng)用層可調(diào)用平臺服務(wù)實(shí)現(xiàn)視頻執(zhí)法、衛(wèi)片執(zhí)法、日常巡查、智能預(yù)警、統(tǒng)計(jì)分析等自然資源執(zhí)法監(jiān)管業(yè)務(wù)功能。技術(shù)體系同時需要安全保障與運(yùn)維管理兩子系統(tǒng)作為支撐。

2 關(guān)鍵技術(shù)

2.1 域自適應(yīng)的違法線索視頻目標(biāo)識別檢測技術(shù)

借助計(jì)算機(jī)視覺方法識別真實(shí)場景下的違法違章線索行為，依賴實(shí)際違法違章數(shù)據(jù)樣本提高識別模型的準(zhǔn)確率，同時要考慮天氣變化等復(fù)雜條件下的監(jiān)測可靠性，因此本文從構(gòu)建數(shù)據(jù)樣本庫和域自適應(yīng)方法兩個方面開展關(guān)鍵技術(shù)研究。

1）根據(jù)自然資源智能執(zhí)法的需求和場景目標(biāo)的特點(diǎn)，自然資源違法行為往往伴隨著一些顯著特征的目標(biāo)類別。根據(jù)對違法行為的整理，本文將違法線索分為亂石、土堆、建筑板材、地面硬化、在建磚房、新建板房、紅磚堆和重型機(jī)械等8類（表1），收集目標(biāo)數(shù)據(jù)樣本并進(jìn)行標(biāo)注，存儲于樣本庫服務(wù)器，以支撐目標(biāo)識別檢測模型的研究。

表1 目標(biāo)識別類別

2）利用機(jī)器視覺中跨域自適應(yīng)目標(biāo)檢測方法解決自然資源視頻監(jiān)測中目標(biāo)識別準(zhǔn)確性受惡劣天氣、拍攝角度、光照條件等因素影響的難題。其關(guān)鍵技術(shù)主要包括圖像級適應(yīng)、實(shí)例級適應(yīng)和域損失的條件對抗。基于遷移學(xué)習(xí)的無監(jiān)督跨域目標(biāo)檢測，通過學(xué)習(xí)到域無關(guān)的特征，改善目標(biāo)域由于惡劣天氣、拍攝角度、光照條件等原因產(chǎn)生的域偏差，進(jìn)而增加模型的魯棒性、泛化性。

基于域自適應(yīng)的跨域目標(biāo)檢測網(wǎng)絡(luò)模型見圖1，可有效地將在有標(biāo)簽的數(shù)據(jù)集上訓(xùn)練的目標(biāo)檢測模型遷移到具有明顯域差異的無標(biāo)簽注釋的數(shù)據(jù)集上，以減少重新標(biāo)注數(shù)據(jù)集投入的人力物力。對于Faster-RCNN目標(biāo)檢測網(wǎng)絡(luò)，首先將來自于源域和目標(biāo)域的兩張圖像分別送入深度卷積網(wǎng)絡(luò)中提取圖像特征，在提取的特征圖上添加域分類器以達(dá)到圖像級域適應(yīng)的效果，通過梯度反轉(zhuǎn)層，原來的目標(biāo)檢測分支仍最小化目標(biāo)檢測損失，而域分類分支則最大化域分類損失用于混淆目標(biāo)域數(shù)據(jù)與源域數(shù)據(jù)；然后經(jīng)過RoI Pooling和全連接層獲得實(shí)例級的特征，在該特征圖上添加一個域分類器達(dá)到實(shí)例級域適應(yīng)的效果?？偟膿p失函數(shù)為目標(biāo)檢測的分類損失、定位損失和兩個域分類器的損失。該模型在自然資源違法監(jiān)測等目標(biāo)檢測數(shù)據(jù)集上取得了較好的效果，使復(fù)雜變化環(huán)境下目標(biāo)檢測的準(zhǔn)確率提高了2%～12%[14]。

圖1 基于域自適應(yīng)的跨域目標(biāo)檢測框架

2.2 基于DEM輔助的高精度單目定位技術(shù)

自然資源視頻監(jiān)測場景中大多數(shù)攝像頭是單目攝像頭，因此單目定位技術(shù)是實(shí)現(xiàn)視頻監(jiān)測的重要環(huán)節(jié)。眾所周知，一條射線在三維空間中無法形成交點(diǎn)，僅依靠單視影像無法實(shí)現(xiàn)目標(biāo)的精準(zhǔn)定位，只能根據(jù)空間相似性原理進(jìn)行目標(biāo)的概略定位。因此，本文基于DEM輔助的高精度單目定位技術(shù)，通過從影像中心到特征點(diǎn)的射線與DEM的交會實(shí)現(xiàn)目標(biāo)的精準(zhǔn)定位，算法流程見圖2。攝像頭內(nèi)參標(biāo)定時，采用張正友棋盤標(biāo)定法對攝像頭進(jìn)行參數(shù)標(biāo)定，在不同焦距下計(jì)算光學(xué)中心的像素坐標(biāo)和畸變參數(shù)等相機(jī)內(nèi)參。在實(shí)際監(jiān)測中，由于攝像頭位置已經(jīng)固定，因此采用移動棋盤格的方式進(jìn)行影像數(shù)據(jù)采集。自然資源監(jiān)測的攝像機(jī)多采用變焦鏡頭，在固定焦距下，應(yīng)保證影像中棋盤格網(wǎng)點(diǎn)具有極高的辨識度。數(shù)據(jù)采集完成后，首先檢測每張影像上的棋盤格網(wǎng)點(diǎn)，利用格網(wǎng)點(diǎn)的像素坐標(biāo)與世界坐標(biāo)計(jì)算影像的單應(yīng)矩陣；然后利用這些單應(yīng)矩陣，分步計(jì)算得到影像的內(nèi)外參數(shù)和畸變的估計(jì)參數(shù)；最后采用極大似然法優(yōu)化估計(jì)參數(shù)。除標(biāo)定的相機(jī)內(nèi)參和測量的位置參數(shù)外，實(shí)現(xiàn)單目定位還需攝像頭云平臺提供的角度參數(shù)；但攝像頭云平臺安裝時并未嚴(yán)格對齊世界坐標(biāo)系，存在一定的角度差異，因此需要提前校正以獲取云臺局部坐標(biāo)系與世界坐標(biāo)系之間的相對旋轉(zhuǎn)矩陣。首先利用多組地面控制點(diǎn)及其對應(yīng)的像素坐標(biāo)計(jì)算投影矩陣，并利用已知的內(nèi)外參數(shù)獲取像空間坐標(biāo)系與世界坐標(biāo)系之間的絕對旋轉(zhuǎn)矩陣；然后將從云臺獲取的云臺局部坐標(biāo)系與像空間坐標(biāo)系之間的旋轉(zhuǎn)矩陣的逆矩陣左乘絕對旋轉(zhuǎn)矩陣，即可得到相對旋轉(zhuǎn)矩陣。

圖2 基于DEM輔助的高精度單目定位流程圖

基于DEM輔助的高精度單目定位技術(shù)的關(guān)鍵在于如何實(shí)現(xiàn)射線與不規(guī)則DEM面的求交。本文通過高程迭代逼近的方式實(shí)現(xiàn)精準(zhǔn)定位，具體實(shí)現(xiàn)見圖3。利用投影矩陣P建立從像素坐標(biāo)(x'y'1) 到世界坐標(biāo)(X'Y'Z'1) 的投影變換，即(x'y'1)=P(X'Y'Z'1) ；但對于一個特征點(diǎn)而言，只能建立兩個方程，而未知數(shù)有3個，因此預(yù)設(shè)一個初始高程平面Z0代入該投影變換，可以計(jì)算得到初始平面坐標(biāo)(X0'Y0)，再利用該平面坐標(biāo)內(nèi)插DEM，即可得到更接近真實(shí)高程的Z1高程面。迭代上述過程，不斷更新高程面，直到反投影誤差小于某極小閾值為止，即可得到精度極高的目標(biāo)三維坐標(biāo)。

圖3 高程迭代逼近過程

3 系統(tǒng)實(shí)現(xiàn)與應(yīng)用實(shí)驗(yàn)

3.1 系統(tǒng)功能實(shí)現(xiàn)

根據(jù)上述總體技術(shù)架構(gòu)和關(guān)鍵技術(shù)，本文設(shè)計(jì)開發(fā)了立體化自然資源執(zhí)法監(jiān)管系統(tǒng)。系統(tǒng)的主要功能模塊包括監(jiān)管視頻管理、違法行為智能分析和智能監(jiān)管與執(zhí)法3大類，分為12個子功能模塊（圖4）。本文以視頻執(zhí)法智能分析中的違法線索目標(biāo)識別為例，介紹系統(tǒng)功能的設(shè)計(jì)與實(shí)現(xiàn)。系統(tǒng)基于B/S 架構(gòu)和SpringBoot 的MVC 模式，Web 服務(wù)部署采用Tomcat，功能模塊開發(fā)采用Eclipse 開發(fā)工具和Java 編程語言，人機(jī)交互可視化界面基于HTML和Javascript編程。違法線索目標(biāo)識別的功能界面見圖5，用戶通過列表選擇查看監(jiān)控?cái)z像頭，系統(tǒng)可以抓取監(jiān)控?cái)z像頭的監(jiān)控圖像，利用違法線索目標(biāo)識別與定位算法分析處理監(jiān)控圖像，通過在監(jiān)控視頻畫面中標(biāo)注出違法線索目標(biāo)的位置與類別的方式展示識別與定位結(jié)果。

圖4 系統(tǒng)功能模塊樹

圖5 系統(tǒng)功能界面

3.2 應(yīng)用驗(yàn)證分析

系統(tǒng)在廣東省某區(qū)縣開展了試點(diǎn)應(yīng)用，本文以2022 年測試期間應(yīng)用效果為例進(jìn)行分析，采用Faster-RCNN 網(wǎng)絡(luò)，將數(shù)據(jù)以8∶2 的比例劃分訓(xùn)練集和驗(yàn)證集，以召回率和準(zhǔn)確率為評價指標(biāo)，評估8 類目標(biāo)的測試結(jié)果（表2），可以看出，該方法對重型機(jī)械、土堆、建筑板材、在建磚房、新建板房、紅磚堆等類別的識別準(zhǔn)確率均高于80%，對亂石、地面硬化的識別準(zhǔn)確率較低，主要是受其外觀特征難區(qū)分等因素影響。對于目標(biāo)定位的應(yīng)用，本文選取不同距離共6 組每組10 次的結(jié)果進(jìn)行實(shí)驗(yàn)分析（表3），可以看出，在1 200 m 監(jiān)測距離內(nèi)單目定位平均相對誤差在3%以內(nèi)。

表2 目標(biāo)識別應(yīng)用測試結(jié)果

表3 單目定位應(yīng)用測試結(jié)果

4 結(jié) 語

本文設(shè)計(jì)了自然資源視頻執(zhí)法監(jiān)測系統(tǒng)技術(shù)架構(gòu)，利用域自適應(yīng)目標(biāo)識別和基于DEM輔助的高精度單目定位技術(shù)對自然資源違法行為與線索進(jìn)行了快速目標(biāo)檢測；并在廣東省某區(qū)縣開展了實(shí)地應(yīng)用測試。結(jié)果表明，該方法對重型機(jī)械、土堆、建筑板材、在建磚房、新建板房、紅磚堆等類別的識別準(zhǔn)確率均高于80%，在1 200 m監(jiān)測距離內(nèi)的平均定位誤差小于3%。

從應(yīng)用價值角度看，我國在自然資源、生態(tài)環(huán)境、安全應(yīng)急等多個行業(yè)領(lǐng)域監(jiān)測中都部署了海量監(jiān)控?cái)z像頭，用于動態(tài)實(shí)時監(jiān)控土地、礦產(chǎn)、森林、草原、濕地、海洋等各類資源，但視頻監(jiān)測資源缺乏與地理信息系統(tǒng)的動態(tài)、高效、智能的耦合機(jī)制，因此搭建融合視頻與地理空間信息的自然資源執(zhí)法監(jiān)測系統(tǒng)，形成實(shí)時、快速的自然資源感知能力，能顯著降低建設(shè)執(zhí)法智能視頻監(jiān)控系統(tǒng)的成本，提升自然資源風(fēng)險預(yù)測、預(yù)警、預(yù)防能力以及應(yīng)急指揮調(diào)度能力，形成智能感知、快速反應(yīng)、精準(zhǔn)指揮、科學(xué)決策的現(xiàn)代化自然資源治理體系。