易 詩，李欣榮，吳志娟，朱競銘，袁學(xué)松

（1.成都理工大學(xué)信息科學(xué)與技術(shù)學(xué)院 成都610059；2.電子科技大學(xué)電子科學(xué)與工程學(xué)院 成都610054）

0 引 言

隨近年來生態(tài)環(huán)境改善，野兔數(shù)量急劇增加，分布廣泛，給林業(yè)、農(nóng)業(yè)發(fā)展造成一定威脅,并有進一步惡化的趨勢，隨著中國對林業(yè)生產(chǎn)的不斷重視,特別是退耕還林工程的實施,造林面積迅速擴大,林木數(shù)量大幅度增加,但隨之出現(xiàn)的兔害造成了巨大的經(jīng)濟損失[1-2]。野兔活動習(xí)性多為夜間，零星出沒，導(dǎo)致采用有光條件下的驅(qū)兔方法效果較差，而下網(wǎng)下夾、毒殺、電擊、獵殺等方法非常危險[3]，且野兔屬于國家保護動物，因此，提出一種結(jié)合近年來人工智能技術(shù)的驅(qū)兔方法具有實際意義，此類方法中重要的環(huán)節(jié)在于夜間對野兔的檢測。

野兔一般于秋冬季夜間9 點至凌晨活躍于山間麥田，果林和人工經(jīng)濟林等區(qū)域，啃食作物和林木幼苗，普遍單只或成對出現(xiàn)，較少聚群。因此，對野兔的檢測與預(yù)警，需解決如下幾個問題：1)野外夜間的無光環(huán)境下探測。2)復(fù)雜地形，存在一定遮擋的條件下檢測目標(biāo)。3)小型目標(biāo)檢測。4)快速運動目標(biāo)檢測。

紅外熱成像系統(tǒng)成像原理為物體的溫差，其不依賴光源，受天氣影響小，探測距離遠[4]，適合于野外環(huán)境下對野生動物的檢測，解決了無光環(huán)境下探測的問題，對于草木的一定遮擋，紅外熱成像能夠有效探測目標(biāo)泄露的紅外光譜并成像，對復(fù)雜環(huán)境下目標(biāo)探測具有較大優(yōu)勢。近年來，由于深度學(xué)習(xí)相關(guān)理論的快速發(fā)展及計算能力的提升，深度卷積網(wǎng)絡(luò)在計算機視覺方面取得了很大的成功。在目標(biāo)檢測方面，基于深度學(xué)習(xí)的目標(biāo)檢測方法準(zhǔn)確率大大超過了傳統(tǒng)的人工設(shè)計特征的檢測方法。基于深度學(xué)習(xí)的目標(biāo)檢測主要包括2 類，一類是基于區(qū)域生成的卷積網(wǎng)絡(luò)結(jié)構(gòu)，代表性的網(wǎng)絡(luò)為RCNN、Faster-RCNN[5-6]；一類是把目標(biāo)位置的檢測視作回歸問題，直接利用CNN 網(wǎng)絡(luò)結(jié)構(gòu)圖像進行處理，同時預(yù)測出目標(biāo)的類別和位置，代表性的網(wǎng)絡(luò)有SSD、YOLO[7-9]等。熊俊濤等[10]采用更快速卷積神經(jīng)網(wǎng)絡(luò)（Faster-RCNN）實現(xiàn)了自然環(huán)境下綠色柑橘的識別。薛月菊等[11]采用YOLOV2實現(xiàn)了綠色芒果的識別。趙德安等[12]采用YOLOV3 實現(xiàn)了水下攝像頭采集的河蟹圖像的識別。其中YOLOV3 目標(biāo)檢測框架具備對小目標(biāo)檢測精度高，速度快的優(yōu)點，但對夜間紅外圖像中野兔檢測存在以下問題：1) 低分辨率紅外小目標(biāo)的檢測能力需要提高。2) 對運動目標(biāo)檢測速度需進一步提升。3) 對存在一定遮擋下的目標(biāo)檢測能力需要優(yōu)化。

因此，本文針對紅外圖像中野兔檢測的特點，在YOLOV3 網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)上提出了一種紅外圖像中檢測快速運動小目標(biāo)的檢測網(wǎng)絡(luò)（infrared rabbit detection YOLO）IR-YOLO。該網(wǎng)絡(luò)根據(jù)夜間野兔多為數(shù)量較少的快速運動小目標(biāo)，紅外熱成像圖像分辨率低，細節(jié)模糊，缺乏色彩特征的特點，在YOLOV3 網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)上壓縮特征提取網(wǎng)絡(luò)深度，提取淺層卷積層特征，提高低分辨率紅外小目標(biāo)檢測精度，降低運算量，在網(wǎng)絡(luò)檢測層采用CenterNet 結(jié)構(gòu)[13]，提高檢測速度與實時性。在訓(xùn)練樣本中加入存在一定比例草木遮擋條件下的野兔目標(biāo)樣本，優(yōu)化存在遮擋情況下野兔識別的準(zhǔn)確率。

1 紅外熱成像夜間野兔檢測模型

1.1 YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)

YOLOV3 實時目標(biāo)檢測模型的特征提取網(wǎng)絡(luò)Darknet53 由53 個卷積層，24 個殘差層構(gòu)成。后20 層為YOLO 網(wǎng)絡(luò)的特征交互層，分為3 個尺度，每個尺度內(nèi)，通過卷積核的方式實現(xiàn)局部的特征交互，作用類似于全連接層，通過卷積核（3×3 和1×1）的方式實現(xiàn)特征圖（feature map）間的局部特征交互，全連接層進行全局的特征交互[14-19]。卷積層提取圖像特征, 全連接層預(yù)測圖像位置與類別估計概率值。YOLOV3 根據(jù)輸入的圖像數(shù)據(jù),運用回歸分析法輸出圖像數(shù)據(jù)的多個滑動窗口位置及該窗口中檢測到的目標(biāo)類別。

YOLOV3 在3 個檢測尺度S 上（S=13,26,52），將輸入圖像分成S×S 個單元格,每個單元格的神經(jīng)元負責(zé)檢測落入該單元格的對象,最多可包括兩個預(yù)測對象的滑動窗口。T 為目標(biāo)置信度,它反映當(dāng)前滑動窗口是否包含檢測對象及其預(yù)測準(zhǔn)確性的估計概率,計算如下:

式中P0表示滑動窗口包含檢測對象的概率, P1表示滑動窗口與真實檢測對象區(qū)域的重疊面積(像素單位)。若B 為每個單元格可以用于預(yù)測對象的滑動窗口數(shù)量,C 為類別總數(shù),則YOLOV3 的全連接層的輸出維度N 計算如下:

1.2 IR-YOLO神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

為提高YOLOV3 網(wǎng)絡(luò)對紅外圖像中小目標(biāo)的檢測能力，本文提出了IR-YOLO 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，紅外小目標(biāo)的特點主要為分辨率低（紅外小目標(biāo)普遍20×20 像素），細節(jié)模糊，缺乏色彩特征，因此，網(wǎng)絡(luò)結(jié)構(gòu)改進的基本思想為壓縮特征提取網(wǎng)絡(luò)深度，利用淺層卷積層特征，淺層的卷積特征感受視野包含的背景噪聲小，適宜于提取低分辨率小目標(biāo)語義特征，對紅外目標(biāo)具有更好的表征能力。深層卷積層處理高分辨率細節(jié)特征更為合適，而對紅外圖像這類低分辨率圖像特征感受視野包含的背景噪聲較多，可利用有效信息量較少，因此可進行壓縮。同時，為進一步提高檢測實時性，在YOLOV3 原有的檢測層采用無錨點CenterNet 結(jié)構(gòu)。IR-YOLO 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 IR-YOLO網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 IR-YOLO network structure

IR-YOLO 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，剪裁了YOLOV3主干特征提取網(wǎng)絡(luò)（Darknet53）中44 到53 共9 個卷積層以及最后4 個殘差層，使原有主干特征提取網(wǎng)絡(luò)由74 層降低至61 層，形成壓縮網(wǎng)絡(luò)結(jié)構(gòu)（Compress Darknet53）。最小尺度輸出層，檢測尺度S=13，輸入512 通道，輸出75 通道。中尺度輸出層，檢測尺度S=26，與48 層的特征圖合并，輸入256 通道，輸出75 通道。大尺度輸出層，檢測尺度S=52，與23層的特征圖合并，輸入128通道，輸出75通道。由于紅外圖像分辨率較低，細節(jié)模糊，缺乏高分辨率語義特征，因此44層以上的深層卷積層提取的紅外圖像特征中包含有效紅外目標(biāo)語義特征信息較少，同時容易引入感受視野噪聲，造成識別精度的降低[20-25]，而23層開始的淺層卷積層包含較多紅外目標(biāo)語義特征信息，存在感受視野噪聲較少，因此，在主干特征提取網(wǎng)絡(luò)上進行深層卷積層的剪裁，檢測輸出層的向淺層移動的壓縮改進方式將更好利用有效表征紅外圖像目標(biāo)語義特征信息的淺層卷積層特征圖，提高紅外小目標(biāo)識別率，同時壓縮網(wǎng)絡(luò)深度將降低運算量，提高實時性。

檢測部分3個檢測尺度上均使用CenterNet結(jié)構(gòu)代替原有的YOLO 層，CenterNet 是CVPR2019 大會上提出的最新目標(biāo)檢測方法，其基本思想為：基于錨點（anchor box）的方法經(jīng)常出現(xiàn)大量不正確的邊界框，由于缺乏對相關(guān)剪裁區(qū)域的額外監(jiān)督所造成，因此原YOLOV3在檢測層中需要大量的anchor box進行目標(biāo)檢測。而CenterNet是一個單階段的關(guān)鍵點檢測模型，將檢測每個目標(biāo)物看作3個關(guān)鍵點（中心點，上下對角點），避免產(chǎn)生大量anchor box，降低運算量提高實時性的同時提高檢測準(zhǔn)確率及召回率。

②詳見“經(jīng)濟困境下的中國工人，從雙鴨山工人討薪抗議談起”：http：//www.wyzxwk.com/Article/shidai/2016/03/360420.html。

IR-YOLO 所 使 用 的CenterNet 由Cascade corner pooling及Center pooling構(gòu)成，從而獲得從左上角及右下角的豐富信息，同時在中間區(qū)域獲得更多的識別信息。檢測部分結(jié)構(gòu)如圖2所示。

圖2 CenterNet結(jié)構(gòu)Fig.2 CenterNet architecture

CenterNet網(wǎng)絡(luò)中的Center pooling模型由2個卷積歸一化殘差融合層（conv-bn-relu），1 個左池化層（left pooling），1 個右池化層（right pooling），1 個頂層池化層（top pooling），1個底層池化層（bottom pooling）組成，作用在于用于預(yù)測中心關(guān)鍵點的分支，有利于中心獲得更多目標(biāo)物的中心區(qū)域，進而更易感知建議區(qū)域的中心位置，通過取中心位置橫向與縱向響應(yīng)值的和的最大值實現(xiàn)此方法。Cascade corner pooling模型由2個卷積歸一化殘差融合層（conv-bn-relu），1個左池化層（left pooling），1 個卷積歸一化融合層（conv-bn），1 個頂層池化層（top pooling）構(gòu)成，作用在于增加原始的corner pooling 感知內(nèi)部信息的功能。結(jié)合了特征圖（feature map）中目標(biāo)物內(nèi)部及邊界方向的響應(yīng)值和的最大值以預(yù)測左上角及右下角的2 個角點。中心池化模塊(center pooling)及級聯(lián)角池化模塊(cascade corner pooling)的輸出融合后即可得到準(zhǔn)確的目標(biāo)預(yù)測位置。

在使用CenterNet進行檢測時，中心區(qū)域的大小影響邊界框的檢測結(jié)果。因此，采取尺度敏感區(qū)域以適應(yīng)不同尺寸大小的目標(biāo)物。其將生成相對小目標(biāo)較大，相對大目標(biāo)較小的中心區(qū)域，例如，需要判斷一個邊界框I 是否需要被保留，tlx，tly代表框左上角的點，brx，bry代表框右下角的點。定義一個中心區(qū)域j，定義左上角的點的坐標(biāo)為(ctlx,ctly)右下角點(cbrx，cbry)。這些參數(shù)定義滿足：式中n 為奇數(shù),代表中心區(qū)域j 的大小。對于邊界框小于150時n=3，大于150 時n=5。

2 紅外熱成像夜間野兔檢測試驗

2.1 試驗平臺

實驗硬件數(shù)據(jù)采集平臺為普雷德G35 氧化釩384×288 分辨率機芯，35 mm 鏡頭的戶外熱成像探測儀，輸出為單通道16bit數(shù)據(jù)。模型訓(xùn)練使用硬件平臺為Core i7-8750H 2.2Ghz 處 理 器，16GB 內(nèi) 存，Geforce GTX 1080 8GB 顯卡。軟件平臺使用Win10，tensorflow1.9.0，CUDA9.2，VS2017，opencv4.0。

2.2 試驗數(shù)據(jù)

由于紅外熱成像開放數(shù)據(jù)集較少，而且針對夜間野外活動野兔的數(shù)據(jù)集缺乏。因此，本文采用熱成像夜間野外拍攝野兔在各種環(huán)境，距離下出現(xiàn)的視頻制作自建數(shù)據(jù)集，數(shù)據(jù)集的采集時間為野兔夜間活躍的秋冬季節(jié)晚9點至凌晨2點，采集地點為中國四川省境內(nèi)農(nóng)業(yè)大縣梓潼，鹽亭，劍閣。數(shù)據(jù)集中，野兔出現(xiàn)環(huán)境包括農(nóng)田，果園，林地，荒地，草叢等，出現(xiàn)距離包括近距離（10～20 m），中距離（20～50 m）與熱成像所能識別的較遠距離（50～100 m），野兔形態(tài)包括正面，側(cè)面，背面等，特別采集了一定數(shù)量存在草木遮擋情況的野兔紅外圖像以訓(xùn)練提升存在遮擋情況下的野兔目標(biāo)檢測能力。數(shù)據(jù)集包括6 000幅野兔紅外圖像，訓(xùn)練集與測試集按5:1 比例劃分，數(shù)據(jù)集中部分樣本如圖3所示。

圖3 不同拍攝距離的野兔紅外檢測樣本Fig.3 Rabbit infrared detection samples with different shooting distances

2.3 模型訓(xùn)練

在模型訓(xùn)練環(huán)節(jié)，使用遷移學(xué)習(xí)的方法以節(jié)省時間，提高訓(xùn)練速度。首先將數(shù)據(jù)集中的圖像樣本全部轉(zhuǎn)換為416×416（像素）的圖像,訓(xùn)練時以100 幅圖像為一個批次進行小批量訓(xùn)練，每訓(xùn)練一批圖像,權(quán)值進行一次更新。權(quán)值的衰減速率設(shè)為0.000 5，動量設(shè)置為0.9，初始學(xué)習(xí)率設(shè)為0.001，對IR-YOLO 網(wǎng)絡(luò)進行20 000 次迭代，每間隔2 000 次迭代后保存一次模型，最終選取精度最高的模型。

整個訓(xùn)練的目標(biāo)損失函數(shù)計算公式如下：

式中Lcodet與Lcedet分別為邊緣關(guān)鍵點與中心點的散焦損失，用于訓(xùn)練檢測目標(biāo)邊緣與中心點。Ld為向量距離損失函數(shù)，計算如下式：

式中Lcopull為邊緣點回拉損失，用于將同一目標(biāo)內(nèi)嵌向量最小化，Lcopush為邊緣點外推損失，用于將不同目標(biāo)內(nèi)嵌向量最大化，Lceoff與Lcooff分別為中心關(guān)鍵點與邊緣關(guān)鍵點的偏移損失，用于預(yù)測二者的偏移值。α，β，γ 為權(quán)重系數(shù)，本文參考文獻[13]的思路3 個參數(shù)分別取0.1,0.1,1。經(jīng)過20 000 次迭代，模型平均損失降至0.2 以下。

3 結(jié)果與分析

3.1 評價指標(biāo)

式中Tp為正確檢測到野兔的數(shù)量，F(xiàn)p為誤將非野兔目標(biāo)檢測為野兔的數(shù)量，F(xiàn)N為誤將野兔檢測為背景的數(shù)量。

此外，應(yīng)進行模型在夜間野外復(fù)雜環(huán)境中的魯棒性測試，該測試環(huán)節(jié)采用復(fù)雜環(huán)境下對紅外熱成像視頻中野兔目標(biāo)的平均檢測率，與平均檢測速度作為評價指標(biāo)。

3.2 夜間野兔識別結(jié)果與分析

實際測試時選取默認IOU 為0.5，大于該閾值認為在紅外圖像中檢測到了野兔目標(biāo)。測試選用近距離、中等距離與遠距離不同尺度的紅外視頻中野兔目標(biāo)進行測試，為驗證測試方法的可靠性與準(zhǔn)確性，在對比改進YOLOV3前后各項指標(biāo)的同時，使用Faster-RCNN與RFCNRESNET101 方法采用相同數(shù)據(jù)集與訓(xùn)練參數(shù)進行模型訓(xùn)練，并進行對比測試，結(jié)果如圖4所示。

圖4 不同神經(jīng)網(wǎng)絡(luò)對不同距離的目標(biāo)野兔識別結(jié)果對比Fig.4 Comparison of recognition results of target rabbits with different distances by different neural networks

圖4 可見，紅外熱成像圖像中，近距離野兔與中距離野兔幾種檢測網(wǎng)絡(luò)均可識別，而遠距離野兔僅深度目標(biāo)檢測網(wǎng)絡(luò)RFCN-RESNET101 與本文提出的IR-YOLO 網(wǎng)絡(luò)可成功識別。

對測試樣本集中的各個目標(biāo)檢測網(wǎng)絡(luò)的準(zhǔn)確率(P)、召回率(R)、調(diào)和均值(F)和平均處理速度的統(tǒng)計如表1所示。

表1 網(wǎng)絡(luò)評價指標(biāo)分析Table 1 Analysis of network evaluation index

根據(jù)表1 可知改進后的IR-YOLO 目標(biāo)檢測模型相對YOLOV3 目標(biāo)檢測模型對夜間野兔檢測的準(zhǔn)確率和召回率比分別提高了4.3 個百分點和3.3 個百分點，調(diào)和均值提高1.7 個百分點，平均處理速度提高5 幀/s，而另外2 個目標(biāo)檢測網(wǎng)絡(luò)由于在測試樣本集中誤將非野兔目標(biāo)檢測為野兔的數(shù)量較高，影響了總體精度，平均處理速度方面遠低于YOLOV3 與本文提出的IRYOLO。

實際野外環(huán)境中，夜間野兔常出現(xiàn)于林地，雜草較多的田地，存在遮擋，目標(biāo)小，運動速度快的特點，因此，使用在一片較為茂密的經(jīng)濟林中夜間較遠距離拍攝（80 m）的100 幀快速運動的野兔紅外熱成像視頻以測試本文提出方法與Faster-RCNN,RFCN-RESNET101,YOLOV3 在魯棒性上的對比。

首先，在100幀視頻中隨機提取4幀，測試結(jié)果如圖5所示。

隨機提取的4 幀圖像分別為第16 幀，第20 幀，第46幀與第90 幀。其中第16 幀存在快速運動與部分遮擋，F(xiàn)aster-RCNN 不能成功識別，其余目標(biāo)檢測網(wǎng)絡(luò)均可成功識別，第20 幀目標(biāo)相對靜止，遮擋程度小，所有檢測網(wǎng)絡(luò)均可成功識別，第46 幀存在快速運動與較大程度的遮擋，僅本文提出的IR-YOLO 網(wǎng)絡(luò)成功識別，其余網(wǎng)絡(luò)均無法識別，第90 幀目標(biāo)快速運動，同時遮擋面積非常嚴重，所有網(wǎng)絡(luò)均無法識別。由上述對比測試結(jié)果可見本文提出的IR-YOLO 網(wǎng)絡(luò)在夜間野外復(fù)雜環(huán)境下對紅外野兔目標(biāo)識別優(yōu)勢最大，同時平均處理速度最高，達50幀/s以上。

為更為可靠的驗證檢測網(wǎng)絡(luò)魯棒性，對整個測試視頻100 幀中目標(biāo)平均檢測率，漏檢率，誤檢率，平均檢測速度做出統(tǒng)計，統(tǒng)計結(jié)果如表2所示。

圖5 復(fù)雜環(huán)境下不同神經(jīng)網(wǎng)絡(luò)的檢測性能對比Fig.5 Detection performance comparison of different neural networks in complex environments

表2 復(fù)雜環(huán)境下不同神經(jīng)網(wǎng)絡(luò)的魯棒性對比Table 2 Robustness comparison of different neural networks in complex environments

根據(jù)魯棒性測試結(jié)果可見，本文提出的IR-YOLO 目標(biāo)檢測模型在復(fù)雜環(huán)境中的魯棒性良好，對快速運動，存在遮擋，距離較遠的野兔目標(biāo)檢測率相對YOLOV3 目標(biāo)檢測網(wǎng)絡(luò)提高15 個百分點，檢測速度提高5 幀/s，檢測率方面相對Faster-RCNN 與RFCN-RESNET101 分別提高45 個百分點與20 個百分點，檢測速度方面相對Faster-RCNN 與RFCN-RESNET101 分別提高30 與45 幀/s。適宜于夜間復(fù)雜環(huán)境下對野兔的檢測。

4 結(jié)論

1)本文所提出的針對紅外熱成像中出現(xiàn)環(huán)境復(fù)雜，快速運動的紅外小目標(biāo)檢測網(wǎng)絡(luò)IR-YOLO 對夜間野兔目標(biāo)具備較高的準(zhǔn)確性，試驗結(jié)果表明，模型準(zhǔn)確率和召回率分別達到了97.8%和92.5%，平均檢測速度達51幀/s。

2)針對紅外圖像小目標(biāo)特點對YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)做出改進，壓縮特征提取網(wǎng)絡(luò)深層卷積層，向淺層卷積層平移檢測輸出，提取利用較好反映低分辨率紅外圖像特征的淺層卷積層語義特征，提高紅外小目標(biāo)檢測精度，降低運算量，在網(wǎng)絡(luò)檢測部分采用CenterNet檢測結(jié)構(gòu)代替原有YOLO層，進一步提高檢測速度與精度。

3)對實際夜間復(fù)雜環(huán)境下出現(xiàn)的較遠距離快速運動野兔目標(biāo)的魯棒性測試中，本文方法表現(xiàn)出較強魯棒性與實時性，檢測率較YOLOV3 目標(biāo)檢測網(wǎng)絡(luò)改進前提升15 個百分點，檢測速度提升5 幀/s。檢測率方面相對Faster-RCNN 與RFCN-RESNET101 分別提高45 個百分點與20 個百分點，檢測速度方面相對Faster-RCNN 與RFCN-RESNET101分別提高30和45幀/s。