蔣玨澤 謝永華

(東北林業(yè)大學(xué)，哈爾濱，150040)

監(jiān)測(cè)、保護(hù)、拯救瀕危珍稀野生動(dòng)物，已成為當(dāng)今社會(huì)持續(xù)性關(guān)注的熱點(diǎn)問題，并且許多研究者對(duì)無(wú)人機(jī)技術(shù)在森林資源調(diào)查、野生動(dòng)物實(shí)時(shí)監(jiān)測(cè)方面進(jìn)行了研究[1-6]，也有研究者對(duì)野生動(dòng)物種類識(shí)別進(jìn)行了研究[7-12]，這些研究成果為野外監(jiān)測(cè)野生動(dòng)物提供了技術(shù)支撐。但是，隨著人工智能技術(shù)的不斷發(fā)展，工業(yè)要求不斷提高，已有技術(shù)在工程應(yīng)用上存在不足，比如，識(shí)別率較低，已有研究成果網(wǎng)絡(luò)識(shí)別率在70%～80%之間，難以滿足目前工業(yè)上的要求；舊網(wǎng)絡(luò)結(jié)構(gòu)冗余，參數(shù)數(shù)量多，過(guò)于依托硬件性能，識(shí)別速度慢。為此，本研究在研究區(qū)域黑龍江東北虎林園、吉林汪清國(guó)家級(jí)自然保護(hù)區(qū)、吉林琿春東北虎國(guó)家級(jí)自然保護(hù)區(qū)、內(nèi)蒙古大興安嶺汗馬國(guó)家級(jí)自然保護(hù)區(qū)內(nèi)，利用M300RTK型無(wú)人機(jī)并配套H20T紅外熱成像機(jī)，重點(diǎn)監(jiān)測(cè)了東北虎及其主要獵物(馬鹿、狍、梅花鹿、馴鹿)的生態(tài)行為，獲取不同季節(jié)的野生動(dòng)物影像，構(gòu)建了野生動(dòng)物監(jiān)測(cè)影像數(shù)據(jù)庫(kù)；采用優(yōu)魯模型對(duì)機(jī)載熱成像中野生動(dòng)物種類進(jìn)行識(shí)別，分析改進(jìn)前、后優(yōu)魯模型識(shí)別效果的差異，構(gòu)建一種輕量化的用于機(jī)載設(shè)備的快速物種識(shí)別算法。旨在為實(shí)時(shí)監(jiān)測(cè)不同種類野生動(dòng)物的生態(tài)行為提供參考。

1 研究方法

1.1 目標(biāo)檢測(cè)算法選擇

目標(biāo)檢測(cè)算法主要分為兩類，依據(jù)區(qū)域的雙階段方法和依據(jù)回歸的單階段方法。雙階段算法，需要先生成候選框再通過(guò)網(wǎng)絡(luò)進(jìn)行分類，代表算法有Girshick et al.[13]提出的依據(jù)區(qū)域提取的區(qū)域卷積網(wǎng)絡(luò)算法。其首先獲取輸入圖像，然后利用選擇性搜索算法提取約2 000個(gè)自下而上的區(qū)域。使用大型卷積神經(jīng)網(wǎng)絡(luò)計(jì)算逐一提取區(qū)域的特征，最后使用特定的類線性支持向量機(jī)對(duì)每個(gè)區(qū)域進(jìn)行分類。單階段算法，直接對(duì)整張圖像進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)分類和定位，代表算法有Redmon et al.[14]提出的優(yōu)魯(YOLO)算法。與依據(jù)區(qū)域的雙階段目標(biāo)檢測(cè)方法不同，優(yōu)魯算法將目標(biāo)檢測(cè)看作空間上的回歸問題，單個(gè)神經(jīng)網(wǎng)絡(luò)可經(jīng)過(guò)一次運(yùn)算從完整圖像上得到邊界框和類別概率的預(yù)測(cè)，有利于對(duì)檢測(cè)性能進(jìn)行端到端的優(yōu)化。單階段算法進(jìn)行的是端到端回歸，檢測(cè)速度比雙階段有明顯提高，模型權(quán)重大小比雙階段算法縮小5～10倍，依托硬件性能較少。因此，本研究采用單階段優(yōu)魯系列算法進(jìn)行試驗(yàn)，不考慮雙階段算法。

1.2 優(yōu)魯算法介紹

(1)優(yōu)魯V3是目標(biāo)檢測(cè)優(yōu)魯系列非常經(jīng)典且實(shí)用的算法，比V1、V2在識(shí)別精度和速度上大幅度提升，并且優(yōu)化了很多缺陷，網(wǎng)絡(luò)結(jié)構(gòu)見圖1。

圖1 優(yōu)魯V3網(wǎng)絡(luò)結(jié)構(gòu)

(2)優(yōu)魯V3-SPP是優(yōu)魯V3的改進(jìn)版(見圖2)，是在優(yōu)魯V3模型的第五、六層中增加了一個(gè)由不同池化操作組成的空間金字塔池化結(jié)構(gòu)模塊(SPP)，實(shí)現(xiàn)了局部特征和全局特征的融合，豐富了特征圖的表達(dá)能力，使準(zhǔn)確率有了小幅度提升。

圖2 優(yōu)魯V3-SPP網(wǎng)絡(luò)結(jié)構(gòu)

(3)優(yōu)魯V5按照網(wǎng)絡(luò)的寬度與深度不同分為4個(gè)版本，分別是s、m、l、x，這4種型號(hào)的網(wǎng)絡(luò)只在卷積層與卷積核數(shù)量上做了區(qū)分，其網(wǎng)絡(luò)結(jié)構(gòu)圖相同，所以本研究只介紹優(yōu)魯V5s的網(wǎng)絡(luò)結(jié)構(gòu)(見圖3)。

1.3 數(shù)據(jù)集的獲取

2019、2020年，項(xiàng)目組多次在黑龍江東北虎林園、吉林汪清國(guó)家級(jí)自然保護(hù)區(qū)、吉林省琿春東北虎國(guó)家級(jí)自然保護(hù)區(qū)、內(nèi)蒙古大興安嶺汗馬國(guó)家級(jí)自然保護(hù)區(qū)等地，利用無(wú)人機(jī)紅外熱成像監(jiān)測(cè)野生動(dòng)物，并在高度、速度、噪音、成像質(zhì)量中找出了最佳飛行參數(shù)，獲取了長(zhǎng)達(dá)數(shù)十小時(shí)的不同季節(jié)的野生動(dòng)物影像。重點(diǎn)監(jiān)測(cè)了東北虎及其主要獵物(馬鹿、狍、梅花鹿)的生態(tài)行為，構(gòu)建了野生動(dòng)物監(jiān)測(cè)影像數(shù)據(jù)庫(kù)。

試驗(yàn)配備大疆的M300RTK型無(wú)人機(jī)，并配套H20T紅外熱成像機(jī)(視頻分辨率為640×512，照片分辨率為640×512，最低工作溫度-40 ℃)；在相同飛行高度下經(jīng)多次試驗(yàn)，當(dāng)鏡頭中心線與水平夾角為45°時(shí)，拍攝的圖像更有利于后期處理。無(wú)人機(jī)飛行高度范圍為25～120 m，以最低不驚擾拍攝目標(biāo)為有效拍攝高度。

圖3 優(yōu)魯V5s網(wǎng)絡(luò)結(jié)構(gòu)

2019年10月26日，于黑龍江東北虎林園拍攝東北虎。由于拍攝目標(biāo)為園內(nèi)飼養(yǎng)，拍攝目標(biāo)對(duì)噪音及外部干擾適應(yīng)能力強(qiáng)；低空45°飛行、距離地面25～30 m拍攝、地面環(huán)境噪音134 dB、飛行速度7 m/s。

2020年11月23日至27日，于吉林省延吉市的汪清保護(hù)區(qū)拍攝梅花鹿、狍。梅花鹿、狍為野生，對(duì)無(wú)人機(jī)和噪音十分敏感；低空45°飛行、距離地面69 m拍攝、地面環(huán)境噪音63 dB、飛行速度7 m/s。

2020年12月22日至25日，于內(nèi)蒙古自治區(qū)根河市的汗馬保護(hù)區(qū)拍攝野生馴鹿、馬鹿；低空45°飛行、距離地面53 m拍攝、地面環(huán)境噪音83 dB、飛行速度7 m/s。

獲取的視頻以50幀每幅處理，剪輯出有效圖片2 000幅，其中狍419幅、馴鹿401幅、馬鹿378幅、梅花鹿381幅、東北虎421幅。本研究引入驗(yàn)證樣本數(shù)據(jù)對(duì)模型構(gòu)建過(guò)程中的參數(shù)進(jìn)行調(diào)整，n(訓(xùn)練樣本)∶n(驗(yàn)證樣本)∶n(測(cè)試樣本)為6∶2∶2[15]，部分圖像如下圖所示。

圖4 5種野生動(dòng)物生態(tài)行為的紅外熱成像監(jiān)測(cè)影像截圖

1.4 數(shù)據(jù)集預(yù)處理

考慮樣本數(shù)量相對(duì)較少，為減少過(guò)擬合，提高模型的魯棒性，對(duì)2 000幅有效樣本數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)。對(duì)樣本數(shù)據(jù)進(jìn)行隨機(jī)裁剪、色調(diào)改變、隨機(jī)翻轉(zhuǎn)[16]，將原樣本2 000幅增強(qiáng)至8 000幅，并對(duì)每幅圖像進(jìn)行歸一化處理，使訓(xùn)練模型時(shí)有更好的效果。在優(yōu)魯V5s網(wǎng)絡(luò)中，對(duì)數(shù)據(jù)集加入拼圖(Mosaic)操作處理，降低內(nèi)存、提高效率。

2 結(jié)果與分析

2.1 優(yōu)魯網(wǎng)絡(luò)模型的結(jié)構(gòu)選擇

本試驗(yàn)中的硬件環(huán)境為AMD Ryzen 7 4800H with Radeon Graphics的中央處理器與NVIDIA GeForce RTX 2060的圖像處理器，軟件環(huán)境為python3.8，操作系統(tǒng)為Ubuntu18.04。試驗(yàn)中使用視頻剪輯軟件對(duì)源文件進(jìn)行裁剪，并對(duì)標(biāo)注好后的數(shù)據(jù)進(jìn)行預(yù)處理后，訓(xùn)練網(wǎng)絡(luò)模型，以單張訓(xùn)練時(shí)間、準(zhǔn)確率、模型權(quán)重大小、參數(shù)數(shù)量、占用內(nèi)存5種指標(biāo)為模型優(yōu)化程度評(píng)定參數(shù)。模型訓(xùn)練參數(shù)：學(xué)習(xí)率為0.01；檢測(cè)損失函數(shù)為G型損失函數(shù)(G_IOU Loss)；分類損失函數(shù)為C型損失函數(shù)(C_IOU Loss)；迭代次數(shù)為300。

應(yīng)用優(yōu)魯網(wǎng)絡(luò)模型6種結(jié)構(gòu)進(jìn)行分類，其分類準(zhǔn)確率見圖5、模型性能參數(shù)見表1。

圖5 優(yōu)魯網(wǎng)絡(luò)模型6種結(jié)構(gòu)分類準(zhǔn)確率

表1 6種網(wǎng)絡(luò)模型性能參數(shù)

由表1可見：6種網(wǎng)絡(luò)模型中，檢測(cè)時(shí)間最短的是優(yōu)魯V5s網(wǎng)絡(luò)，識(shí)別每張圖片僅需0.032 s；準(zhǔn)確率最高的是優(yōu)魯V5x網(wǎng)絡(luò)，為95.2%；模型權(quán)重最小的是優(yōu)魯V5s網(wǎng)絡(luò)，為14.8 MB；參數(shù)數(shù)量最少的為優(yōu)魯V5s網(wǎng)絡(luò)，為77萬(wàn)；占用內(nèi)存空間最少的是優(yōu)魯V5s網(wǎng)絡(luò)，為4.58 GB。由于本研究主要以輕量化系統(tǒng)在線識(shí)別為主要目的，對(duì)比表1數(shù)據(jù)，以優(yōu)魯V5s網(wǎng)絡(luò)進(jìn)行模型輕量化改進(jìn)。

2.2 優(yōu)魯V5s模型改進(jìn)方案

在一個(gè)訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)中，通常會(huì)包含豐富甚至冗余的特征圖，以保證對(duì)輸入數(shù)據(jù)有全面的理解，但這也會(huì)使模型變得過(guò)于龐大。使用輕量化模塊(Ghost)替換原卷積層，對(duì)其進(jìn)行優(yōu)化(見圖6)，該模塊原理是通過(guò)對(duì)原始特征圖使用不同于傳統(tǒng)卷積的線性變換，以較低的計(jì)算成本獲取大量目標(biāo)特征信息相關(guān)的特征圖。目的是使用更少的參數(shù)生成更多特征圖，從而減小模型參數(shù)數(shù)量，降低模型權(quán)重。

圖6 改進(jìn)后的優(yōu)魯V5s網(wǎng)絡(luò)模型結(jié)構(gòu)

2.3 改進(jìn)后網(wǎng)絡(luò)模型識(shí)別結(jié)果

模型改進(jìn)后，用較少的卷積核生成原始特征圖，用效率更高的變換操作生產(chǎn)更多幻影特征圖，改進(jìn)后的網(wǎng)絡(luò)模型準(zhǔn)確率見圖7、模型性能參數(shù)見表2。

圖7 改進(jìn)后網(wǎng)絡(luò)模型準(zhǔn)確率

表2 優(yōu)魯網(wǎng)絡(luò)模型改進(jìn)前、后的性能參數(shù)

改進(jìn)后模型，單張檢測(cè)時(shí)間、權(quán)重、參數(shù)數(shù)量、內(nèi)存等參數(shù)，均優(yōu)于改進(jìn)前模型。將模型應(yīng)用于測(cè)試集分類中，并以物種種類、統(tǒng)計(jì)序號(hào)、識(shí)別置信度為目標(biāo)標(biāo)注，部分識(shí)別結(jié)果樣本數(shù)據(jù)見圖8、9。

圖8 改進(jìn)后模型對(duì)東北虎生態(tài)行為的識(shí)別結(jié)果

圖9 改進(jìn)后模型對(duì)馴鹿生態(tài)行為的識(shí)別結(jié)果

3 結(jié)束語(yǔ)

本研究以東北虎及其食物鏈為研究對(duì)象，在對(duì)比了單階段目標(biāo)識(shí)別代表性優(yōu)魯系列模型后，以優(yōu)魯V5s為主要識(shí)別算法進(jìn)行了分類研究，并對(duì)其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)；通過(guò)將其卷積層部分替換成輕量模(Ghost)塊后，模型參數(shù)更少，模型權(quán)重減小48%，檢測(cè)時(shí)間降低53%，盡管準(zhǔn)確率下降0.9%，但其模型輕量化后更適用于無(wú)人機(jī)載系統(tǒng)邊緣計(jì)算。本研究結(jié)果，可為野生動(dòng)物在線調(diào)查方法提供參考。