李昊陽(yáng) 陳龍升 張子涵 吳以婕 李宛桐
關(guān)鍵詞:耕地保護(hù);動(dòng)態(tài)監(jiān)測(cè);GNSS;深度學(xué)習(xí)
0 引言
耕地是人類賴以生存的根本資源,而撂荒、種樹(shù)、建房及耕地范圍內(nèi)大型機(jī)械車(chē)輛的占領(lǐng)等耕地破壞行為嚴(yán)重威脅了我國(guó)耕地資源的安全。在此背景下,相關(guān)責(zé)任人以及政策制定者不僅需要掌握耕地資源數(shù)量和現(xiàn)狀,更需要對(duì)耕地破壞行為進(jìn)行長(zhǎng)期、全面、科學(xué)、高效的動(dòng)態(tài)監(jiān)管,以保證耕地資源的完全利用,確保糧食生產(chǎn)及生態(tài)安全。
基于此,本文擬使用GNSS位置采集傳感器對(duì)耕地違法行為進(jìn)行實(shí)時(shí)位置信息采集,以耕地影像數(shù)據(jù)為研究對(duì)象對(duì)耕地破壞行為進(jìn)行監(jiān)測(cè)與分析,并研發(fā)耕地智能監(jiān)測(cè)系統(tǒng)。利用安置在無(wú)人機(jī)上的 GNSS 位置傳感器采集實(shí)時(shí)位置信息,再利用深度學(xué)習(xí)技術(shù)對(duì)耕地破壞行為的影像數(shù)據(jù)進(jìn)行建模與訓(xùn)練,從而使模型可以識(shí)別出耕地破壞行為。根據(jù) GNSS 位置數(shù)據(jù)判別出破壞位置,有利于及時(shí)識(shí)別、定位耕地破壞行為并進(jìn)行預(yù)警,減少國(guó)家耕地破壞行為檢測(cè)中人力物力的浪費(fèi),更高效地打擊違法行為、保護(hù)耕地資源、保障糧食安全。
1 研究方法
本文擬研發(fā)基于GNSS和深度學(xué)習(xí)的耕地智能監(jiān)測(cè)系統(tǒng),實(shí)現(xiàn)對(duì)耕地破壞行為的自動(dòng)識(shí)別以及精準(zhǔn)定位,從而及時(shí)識(shí)別耕地破壞行為并進(jìn)行預(yù)警。基于此,本文將從以下3個(gè)方面對(duì)本文的技術(shù)方法進(jìn)行闡述。
1.1 GNSS 定位技術(shù)
GNSS (全球?qū)Ш叫l(wèi)星系統(tǒng))定位是利用一組衛(wèi)星的偽距、星歷、衛(wèi)星發(fā)射時(shí)間、用戶鐘差等觀測(cè)量進(jìn)行定位的技術(shù),能在地球表面或近地空間的任何地點(diǎn)為用戶提供全天候的三維坐標(biāo)和速度以及時(shí)間信息。全球?qū)Ш叫l(wèi)星系統(tǒng)在不同區(qū)域有不同的具體系統(tǒng)作為支撐,主要包括:中國(guó)的北斗衛(wèi)星導(dǎo)航系統(tǒng)(BDS) 、美國(guó)的全球定位系統(tǒng)(GPS) 、俄羅斯的格洛納斯(GLONASS) 和歐洲的伽利略衛(wèi)星導(dǎo)航系統(tǒng)(Galileo) 。上述四種定位系統(tǒng)均采用了子午儀衛(wèi)星導(dǎo)航系統(tǒng)的設(shè)計(jì)原理,即衛(wèi)星運(yùn)動(dòng)引起的多普勒頻移效應(yīng),但彼此在具體功能細(xì)節(jié)上又有差異[1]。
1.2 電子圍欄技術(shù)
電子圍欄是目前常見(jiàn)的防盜報(bào)警系統(tǒng),傳統(tǒng)的電子圍欄由主機(jī)、前端配件和后端控制三大部分組成[2],但它具有鋪設(shè)復(fù)雜、成本高昂等問(wèn)題。隨著計(jì)算機(jī)軟硬件技術(shù)的飛速發(fā)展,使用計(jì)算機(jī)處理視頻、圖像的能力也不斷提升,計(jì)算機(jī)視覺(jué)的應(yīng)用越來(lái)越廣泛,近年來(lái)基于計(jì)算機(jī)視覺(jué)的智能監(jiān)控等市場(chǎng)趨于成熟壯大[3]。
1999年前后,一系列國(guó)外脈沖式電子圍欄品牌進(jìn)入國(guó)內(nèi),其中包括法國(guó)的佐輝和萊克米以及以色列的GM、英國(guó)的克羅蘭和澳大利亞的帕克頓等品牌[4]。隨著網(wǎng)絡(luò)集成化的發(fā)展,新時(shí)期的電子圍欄更注重多學(xué)科的交叉應(yīng)用。2017年,李其元[5]彌補(bǔ)其他周界探測(cè)預(yù)警裝置對(duì)環(huán)境的嚴(yán)苛要求等缺點(diǎn),設(shè)計(jì)了一款基于STM32微處理器的張力式電子圍欄;2018年,冉自烜等人[6]設(shè)計(jì)了一款基于北斗高精度電子圍欄的共享單車(chē)管理研究系統(tǒng);2019年,吳蓉波[7]將人臉識(shí)別技術(shù)應(yīng)用到安防監(jiān)控中;同年,何豪杰等人[8]設(shè)計(jì)了一款基于智能電子圍欄技術(shù)的老年人監(jiān)護(hù)系統(tǒng),將老年人的運(yùn)動(dòng)軌跡與智能電子圍欄結(jié)合,解決部分生活自理困難的老年人軌跡管理和行為監(jiān)控問(wèn)題。2021年,張朝峰等人[9]波運(yùn)用北斗定位與電子圍欄技術(shù),設(shè)計(jì)了環(huán)保運(yùn)輸車(chē)輛軌跡管控系統(tǒng)。
1.3 深度學(xué)習(xí)目標(biāo)檢測(cè)算法
深度學(xué)習(xí)是近年來(lái)人工智能領(lǐng)域的一項(xiàng)重要成果,應(yīng)用領(lǐng)域非常廣泛,包括計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理、推薦系統(tǒng)、金融等。在這些領(lǐng)域中,深度學(xué)習(xí)的應(yīng)用都取得了非常顯著的效果。深度學(xué)習(xí)基于神經(jīng)網(wǎng)絡(luò)技術(shù),在大量數(shù)據(jù)的支持下,通過(guò)不斷調(diào)整模型的參數(shù),能夠?qū)崿F(xiàn)對(duì)復(fù)雜數(shù)據(jù)的分析和理解。其概念源于神經(jīng)網(wǎng)絡(luò),是對(duì)神經(jīng)網(wǎng)絡(luò)的一種改進(jìn)和拓展。
目前,深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域的應(yīng)用主要集中在兩個(gè)方面:一方面是基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型,例如YOLO、SSD等;另一方面是基于可分割網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型,例如Mask R-CNN等[10]?;诰矸e神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型是目前應(yīng)用最廣泛的模型之一。它們通過(guò)在圖像中提取特征,進(jìn)行目標(biāo)位置和類別的預(yù)測(cè)。
YOLO作為新興的目標(biāo)檢測(cè)模型,其基于卷積神經(jīng)網(wǎng)絡(luò)技術(shù),具有較高實(shí)時(shí)性和檢測(cè)精度。近年來(lái),越來(lái)越多的科研工作不斷對(duì)其進(jìn)行改進(jìn)。張陳晨等人[11]采用部分卷積層替換池化層的方式和動(dòng)態(tài)調(diào)整Anchor的方式,對(duì)YOLOv3-Tiny模型進(jìn)行改進(jìn),提高了對(duì)中大型目標(biāo)的識(shí)別率;袁小平等人[12]通過(guò)對(duì)YO?LOv3 的特征提取網(wǎng)絡(luò)Darknet-53 進(jìn)行改進(jìn),使用ResneXt殘差模塊替換原有殘差模塊,優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。同時(shí)在Darknet-53中引入密集連接,顯著提高了在遠(yuǎn)處目標(biāo)檢測(cè)上中等目標(biāo)和小目標(biāo)的平均精度;李坤亞等人[13]在主干網(wǎng)絡(luò)引入通道-全局注意力機(jī)制和在上采樣階段使用密度上采樣卷積替代最鄰近插值法,有效提高遙感圖像目標(biāo)檢測(cè)精度。如今使用YOLOv 算法進(jìn)行目標(biāo)檢測(cè)已經(jīng)成為深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的重要應(yīng)用之一。
2 數(shù)據(jù)采集與處理
系統(tǒng)實(shí)現(xiàn)所依賴的數(shù)據(jù)主要包括:無(wú)人機(jī)飛行時(shí)的位置數(shù)據(jù)以及耕地的影像數(shù)據(jù)。其中位置數(shù)據(jù)依賴 GNSS 位置采集傳感器進(jìn)行獲取,耕地影像數(shù)據(jù)通過(guò)攝影相機(jī)獲取,主要包括有正常影像數(shù)據(jù)和各類異常影像數(shù)據(jù),用于作為深度學(xué)習(xí)模型的數(shù)據(jù)集。
2.1 位置數(shù)據(jù)的獲取
將GNSS數(shù)據(jù)采集設(shè)備置于運(yùn)行無(wú)人機(jī)上進(jìn)行實(shí)時(shí)的位置、時(shí)間等信息采集。本文將采用 GNSS+北斗的混合定位模式進(jìn)行無(wú)人機(jī)位置的實(shí)時(shí)定位,根據(jù)JT808協(xié)議的標(biāo)準(zhǔn)規(guī)范,將獲取的位置等信息通過(guò)串口監(jiān)聽(tīng)的方式傳遞至系統(tǒng)后臺(tái)進(jìn)行統(tǒng)一解析與處理。
2.2 耕地破壞行為的影像數(shù)據(jù)
耕地的影像數(shù)據(jù)通過(guò)無(wú)人機(jī)攝影獲取,無(wú)人機(jī)遙控系統(tǒng)主要包括載機(jī)、飛控、陀螺云臺(tái)、視頻傳輸、地面站以及通話系統(tǒng)等,獲取的影像具有高清晰、大比例尺、高現(xiàn)勢(shì)性的優(yōu)點(diǎn)。對(duì)采集的影像數(shù)據(jù)進(jìn)行存儲(chǔ)與分類,用作后續(xù)卷積神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)集。
3 模型的搭建與訓(xùn)練
3.1 數(shù)據(jù)預(yù)處理
使用Labelimg將耕地破壞行為的影像數(shù)據(jù)中的目標(biāo)對(duì)象標(biāo)注為 VOC標(biāo)簽格式、保存為xml文件,并轉(zhuǎn)化為YOLO格式數(shù)據(jù),處理為深度學(xué)習(xí)目標(biāo)檢測(cè)數(shù)據(jù)集。對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)標(biāo)簽和隨機(jī)打亂后,按照0.7:0.2:0.1的比例,將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。
3.2 模型構(gòu)建
系統(tǒng)采用PyTorch 作為后端,在此基礎(chǔ)上搭建YOLOv5模型環(huán)境。YOLOv5模型主干上使用了殘差網(wǎng)絡(luò)Residual,通過(guò)增加深度來(lái)提高準(zhǔn)確率。同時(shí)采用CSPnet神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),其在保留了DenseNet的特征重用特性的基礎(chǔ)上,增添截?cái)嗵荻攘鞴δ?,以此?lái)防止過(guò)多的梯度信息重復(fù)。最后使用Mish 激活函數(shù)解決梯度消失問(wèn)題,提高非線性能力,更好地?cái)M合數(shù)據(jù)。模型網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。
通過(guò)在原來(lái)YOLOv5上做出模型改進(jìn),將損失函數(shù)IOU Loss替換為EIOU Loss,加速了收斂提高了回歸精度,同時(shí)引入了Focal Loss優(yōu)化了邊界框回歸任務(wù)中的樣本不平衡問(wèn)題,使回歸過(guò)程專注于高質(zhì)量錨框。此外還將CBAM注意力模塊嵌入YOLOv5網(wǎng)絡(luò)中,解決了原始網(wǎng)絡(luò)無(wú)注意力偏好的問(wèn)題;將輕量型的Ghost模塊與YOLOv5算法相結(jié)合,降低網(wǎng)絡(luò)參數(shù)量,在滿足模型輕量化的同時(shí),加快原始網(wǎng)絡(luò)推理速度等處理。通過(guò)這一系列改進(jìn),提高目標(biāo)檢測(cè)識(shí)別速度和精度。模型精度圖如圖2 所示,損失圖如圖3 所示。
此外通過(guò)調(diào)整模型超參數(shù),優(yōu)化模型擬合結(jié)果,提高模型精度,降低模型損失,得到滿意模型后,將模型存儲(chǔ)為PT格式的權(quán)值文件,供后續(xù)系統(tǒng)開(kāi)發(fā)利用。
4 系統(tǒng)架構(gòu)及功能設(shè)計(jì)
4.1 系統(tǒng)框架設(shè)計(jì)
系統(tǒng)采用瀏覽器/服務(wù)器(即 Browser/Server) 的多層網(wǎng)絡(luò)架構(gòu)模式,分別為數(shù)據(jù)層、支撐層、網(wǎng)絡(luò)層及應(yīng)用層。系統(tǒng)體系架構(gòu)如圖4所示。
數(shù)據(jù)層:主要是對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)與管理,包括由無(wú)人機(jī)運(yùn)行的位置數(shù)據(jù)以及深度相機(jī)采集的耕地影像數(shù)據(jù)等;
支撐層:主要對(duì)整個(gè)系統(tǒng)的運(yùn)行提供技術(shù)支持,主要包括Ajax軟件技術(shù)(用于實(shí)現(xiàn)對(duì)無(wú)人機(jī)的精準(zhǔn)定位)以及 PyTorch 技術(shù)(用于搭建深度學(xué)習(xí)模型并對(duì)耕地影像數(shù)據(jù)進(jìn)行識(shí)別);
網(wǎng)絡(luò)層:是對(duì)系統(tǒng)運(yùn)行提供網(wǎng)絡(luò)支持,系統(tǒng)可支持移動(dòng)網(wǎng)絡(luò)、計(jì)算機(jī)網(wǎng)絡(luò)以及無(wú)線網(wǎng)絡(luò)進(jìn)行訪問(wèn);
應(yīng)用層:主要對(duì)系統(tǒng)進(jìn)行展示以及功能應(yīng)用,主要包括實(shí)時(shí)定位、信息展示以及模型檢測(cè)三大模塊。
4.2 系統(tǒng)功能設(shè)計(jì)
耕地智能動(dòng)態(tài)檢測(cè)模擬系統(tǒng)主要有實(shí)時(shí)定位和信息展示功能等。系統(tǒng)功能結(jié)構(gòu)如圖5所示:
5 系統(tǒng)客戶端功能介紹
5.1 實(shí)時(shí)定位及地圖渲染
GNSS 位置采集傳感器連接計(jì)算機(jī)后就開(kāi)始進(jìn)行位置信號(hào)的采集,系統(tǒng)使用Django框架搭建客戶端,采用串口監(jiān)聽(tīng)的方式對(duì) GNSS 定位設(shè)備的工作狀態(tài)進(jìn)行監(jiān)聽(tīng)以及對(duì)位置數(shù)據(jù)流的獲取,將定位數(shù)據(jù)進(jìn)行解析后存入后臺(tái)數(shù)據(jù)庫(kù),并實(shí)時(shí)將解析后的位置數(shù)據(jù)發(fā)送給前臺(tái),用于對(duì)無(wú)人機(jī)軌跡進(jìn)行地圖渲染(如圖 6所示)。
5.2 異常信息識(shí)別與展示
系統(tǒng)使用實(shí)際采集的無(wú)人機(jī)采集圖像進(jìn)行識(shí)別操作,利用訓(xùn)練好的模型進(jìn)行異常圖像的識(shí)別分類,同時(shí)將識(shí)別后的信息存入后臺(tái)數(shù)據(jù)庫(kù),在客戶端顯示無(wú)人機(jī)的位置信息及提取的信息異常信息。系統(tǒng)模型識(shí)別展示和異常點(diǎn)位詳細(xì)信息展示如圖 7、圖 8 所示。
6 結(jié)果與討論
目前應(yīng)用的耕地監(jiān)測(cè)系統(tǒng)主要以拍攝衛(wèi)星圖像后供分析人員人工判斷為主,然而單一的遙感監(jiān)測(cè)模式在耗費(fèi)人力物力的同時(shí),很難對(duì)異常位置進(jìn)行準(zhǔn)確定位。鑒于此,本文研究的主要內(nèi)容為耕地破壞行為的智能監(jiān)測(cè)與快速定位,系統(tǒng)主要從識(shí)別和定位兩個(gè)模塊進(jìn)行功能設(shè)計(jì)與編碼實(shí)現(xiàn)。采用Django框架進(jìn)行系統(tǒng)搭建,使用 SQL Lite 數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)的存儲(chǔ),借助Jquery、Layer等前端插件進(jìn)行界面 UI 的設(shè)計(jì),使用PyTorch進(jìn)行深度學(xué)習(xí)模型的訓(xùn)練,從而實(shí)現(xiàn)各個(gè)模塊的獨(dú)立開(kāi)發(fā)與系統(tǒng)集成,打造了一款具有實(shí)用性的系統(tǒng)平臺(tái),為耕地實(shí)時(shí)監(jiān)測(cè)和分析技術(shù)的發(fā)展提供了技術(shù)支持。