重慶師范大學(xué) 彭明杰

昆蟲(chóng)的有效識(shí)別是農(nóng)林業(yè)病蟲(chóng)害防治的必要環(huán)節(jié)，也是研究和維護(hù)生態(tài)環(huán)境的重要前提。蜻蜓是一種理想型環(huán)境指示昆蟲(chóng)，蜻蜓的識(shí)別研究在環(huán)境檢測(cè)和保護(hù)方面有著重要的現(xiàn)實(shí)意義。本文使用收集的處于生態(tài)環(huán)境中的蜻蜓數(shù)據(jù)集，采用多模態(tài)深度學(xué)習(xí)網(wǎng)絡(luò)模型設(shè)計(jì)思路，構(gòu)建了以SqueezeNet為主干分類網(wǎng)絡(luò)的蜻蜓識(shí)別系統(tǒng)，識(shí)別準(zhǔn)確率高于傳統(tǒng)手工設(shè)計(jì)特征的算法，并且避免了傳統(tǒng)算法只能識(shí)別標(biāo)本圖片的局限性。

昆蟲(chóng)的有效識(shí)別是農(nóng)林業(yè)病蟲(chóng)害防治的必要環(huán)節(jié)，也是研究和維護(hù)生態(tài)環(huán)境的重要基礎(chǔ)。蜻蜓是一種水陸兩息的昆蟲(chóng)，因此是一種理想的環(huán)境指示昆蟲(chóng)，在環(huán)境檢測(cè)和保護(hù)領(lǐng)域有著極其重要的研究?jī)r(jià)值。國(guó)內(nèi)外均有蜻蜓識(shí)別相關(guān)的研究，但利用機(jī)器學(xué)習(xí)技術(shù)進(jìn)行蜻蜓的自動(dòng)識(shí)別研究還有欠缺。傳統(tǒng)的蜻蜓識(shí)別方法是在生物學(xué)專家采集蜻蜓樣本，通過(guò)觀察蜻蜓的顏色形狀和形態(tài)結(jié)構(gòu)等特征后，進(jìn)行人為設(shè)計(jì)的蜻蜓特征提取，然后與已有的模式照樣本進(jìn)行對(duì)照鑒定，從而判斷出蜻蜓的種類。此類方法費(fèi)時(shí)費(fèi)力且依賴于蜻蜓識(shí)別知識(shí)的掌握，極大的限制了蜻蜓識(shí)別的普適性。同時(shí)其識(shí)別準(zhǔn)確率也很低，并且只能識(shí)別標(biāo)本圖片，對(duì)處于生態(tài)環(huán)境下的蜻蜓沒(méi)有識(shí)別能力。隨著計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，利用神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行圖像識(shí)別的方式在許多圖像分類問(wèn)題上已取得了很好的效果。但是由于蜻蜓對(duì)象與自然環(huán)境緊密結(jié)合，生存環(huán)境復(fù)雜多變，導(dǎo)致蜻蜓的圖像背景對(duì)識(shí)別任務(wù)造成巨大的干擾，并且蜻蜓各種類之間差異小，一些種類尤其相似，這些原因不僅使得蜻蜓數(shù)據(jù)采集困難，也讓識(shí)別蜻蜓具有細(xì)粒度分類的特點(diǎn)。面對(duì)以上情況，本文采用多模態(tài)特征融合的方式對(duì)數(shù)據(jù)集進(jìn)行處理和特征提取，利用改進(jìn)的SqueezeNet達(dá)到了更好的識(shí)別準(zhǔn)確率和較快的識(shí)別速率。

對(duì)同一物種的不同種類進(jìn)行識(shí)別屬于典型的細(xì)粒度識(shí)別任務(wù)，現(xiàn)今人們已經(jīng)將細(xì)粒度識(shí)別作為一個(gè)計(jì)算機(jī)視覺(jué)領(lǐng)域的基礎(chǔ)性問(wèn)題來(lái)討論。在分類學(xué)的邏輯約束下，人為進(jìn)行分類的某一群子類往往因同屬于一個(gè)大類而具有較高的相似度，這時(shí)區(qū)分各個(gè)子類的憑借只能是它們之間存在的一些細(xì)小的差異，這樣的特點(diǎn)使得細(xì)粒度識(shí)別任務(wù)更具挑戰(zhàn)性。如圖1所示，以小團(tuán)扇春蜓和巨圓臀大蜓為例，兩者之間可用于區(qū)分的特征主要在于背側(cè)紋的不同，而這種差異是很細(xì)微的。

細(xì)粒度圖像分類隨著深度學(xué)習(xí)的發(fā)展，如今在各個(gè)領(lǐng)域都有著廣泛的研究和應(yīng)用需求。在生活中，真正能滿足實(shí)際需求的不是區(qū)分“大象和冰箱”之類的粗分類，而是區(qū)分“250ml豆瓣醬和250ml甜面醬”這樣的細(xì)分類。在學(xué)術(shù)上，人們主要構(gòu)建了公共的鳥(niǎo)、狗、花、車、飛機(jī)等公開(kāi)圖像數(shù)據(jù)集來(lái)進(jìn)行細(xì)粒度識(shí)別算法的研究。而尤其在生物學(xué)中，有效地識(shí)別不同的物種，是進(jìn)行其他研究的重要前提，由此甚至誕生了生物分類學(xué)這一學(xué)科。因此，借助機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)低成本的細(xì)粒度圖像識(shí)別，對(duì)我們的研究和生活都有重要的意義。

圖1 小團(tuán)扇春蜓和巨圓臀大蜓

1 數(shù)據(jù)集采集

實(shí)驗(yàn)采用平時(shí)比較常見(jiàn)的蜻蜓種類作為研究對(duì)象，以野外拍攝、網(wǎng)絡(luò)搜索和向他人索要等方式共采集到12類蜻蜓的圖片，共計(jì)1768張圖片，以此作為數(shù)據(jù)集。數(shù)據(jù)集樣本如圖2所示。

2 數(shù)據(jù)預(yù)處理

圖2 蜻蜓數(shù)據(jù)集

為了更加清晰地將目標(biāo)與背景分離開(kāi)來(lái)，得到目標(biāo)完整的輪廓信息，本文使用富邊緣檢測(cè)的方法來(lái)對(duì)圖片進(jìn)行預(yù)處理。具體步驟為：①首先對(duì)輸入的彩色圖像進(jìn)行灰度處理，使用公式(1)來(lái)計(jì)算灰度值，把RGB圖像轉(zhuǎn)換為灰度圖。其中R，G，B分別表示色彩通道中的紅、綠、藍(lán)三個(gè)通道的數(shù)值；

②對(duì)訓(xùn)練樣本添加隨機(jī)的椒鹽噪聲以模擬圖像在傳輸、處理等過(guò)程中受到的干擾信息，從而增強(qiáng)算法的魯棒性；③再使用中值濾波器對(duì)上一個(gè)步驟輸出的灰度圖進(jìn)行降噪處理，得到輸出圖像X1；④再使用Sobel算子對(duì)圖像X1進(jìn)行邊緣檢測(cè)，得到圖像X2；⑤再使用Canny算子對(duì)圖像X2進(jìn)行邊緣檢測(cè)，得到圖像X3；⑥將上兩個(gè)步驟得到的圖像X2與X3進(jìn)行疊加，從而最終獲得富邊緣檢測(cè)圖像。處理結(jié)果如圖3所示。

圖3 圖像預(yù)處理過(guò)程結(jié)果圖

3 網(wǎng)絡(luò)模型

深度學(xué)習(xí)模型比常規(guī)的算法有著更龐大的計(jì)算量，意味著需要更優(yōu)良的設(shè)備，如GPU，TPU等等，隨著智能移動(dòng)端的發(fā)展，將深度學(xué)習(xí)模型嵌入至移動(dòng)端設(shè)備成為了現(xiàn)如今的業(yè)界的需求，國(guó)內(nèi)外研究者們提出了一系列降低卷積神經(jīng)網(wǎng)絡(luò)計(jì)算量的方法，如Andrew Howard等研究者提出的MobileNet（G.Howard,M.Zhu,B.Chen,D.Kalenichenko,W.Wang,T.Weyand,M.Andreetto,H.Adam.Mobilenets:Efficient convolutional neural Networks for mobile vision applications）系列和另一種輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)SqueezeNet。它利用FireModule模塊降低卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)量，使得其準(zhǔn)確率在與AlexNet的同時(shí)參數(shù)量卻僅為后者的五十分之一。另外，單一特征的輸入不利于以復(fù)雜自然環(huán)境為背景的蜻蜓圖片的識(shí)別，因此本文提出了一種基于SqueezeNet的多模態(tài)特征輸入的蜻蜓識(shí)別網(wǎng)絡(luò)。

3.1 模型設(shè)計(jì)

本文采用兩種圖像特征作為輸入。一種是蜻蜓的RGB原圖，由可見(jiàn)光攝像頭采集的三通道圖像，第二種是經(jīng)富邊緣檢測(cè)處理后的單通道灰度圖像，RGB圖能夠描述物體的表觀，顏色以及部分紋理的信息，而富邊緣檢測(cè)后的單通道灰度圖能夠描述物體的形狀，尺度以及空間幾何的信息，因此兩種特征的圖像具備互補(bǔ)性，兩種圖像采用特征融合的方式，輸入圖像是RGB圖像和富邊緣檢測(cè)后的單通道灰度圖像，在經(jīng)過(guò)2個(gè)FireModule之后生成的特征圖在三維空間中沿著第一個(gè)維度進(jìn)行拼接，將拼接完的特征圖再經(jīng)過(guò)7個(gè)FireModule進(jìn)入全連接層。網(wǎng)絡(luò)模型結(jié)構(gòu)圖如圖4所示。

3.2 損失函數(shù)

由于數(shù)據(jù)集的每一類的樣本數(shù)量處于非均衡狀態(tài)，例如第一類的數(shù)據(jù)有179張，而第二類僅有43張，如表1所示。大范圍的數(shù)據(jù)比例失衡會(huì)破壞交叉熵?fù)p失，若是以傳統(tǒng)的損失函數(shù)去構(gòu)造目標(biāo)函數(shù)，會(huì)導(dǎo)致部分類別發(fā)生欠擬合的情況。

圖4 模型結(jié)構(gòu)圖

而一般而言，常用的多分類交叉熵?fù)p失定義為：

其中pgroundtruth為數(shù)據(jù)集的標(biāo)簽，ppredict為預(yù)測(cè)的類別概率。針對(duì)數(shù)據(jù)集類別分布不均勻的問(wèn)題，本文采用Tsung-Yi Lin（Lin T Y,Goyal P,Girshick R,et al.Focal Loss for Dense Object Detection）等研究者提出的Focal Loss損失函數(shù)的方法構(gòu)造蜻蜓識(shí)別的目標(biāo)函數(shù)。多分類Focal Loss公式為：

表1 各類蜻蜓樣本數(shù)量表

α和γ是平衡參數(shù)，分別用來(lái)平衡正樣本與負(fù)樣本數(shù)量比例不均（即類別不均衡）的問(wèn)題和簡(jiǎn)單樣本與復(fù)雜樣本的權(quán)重平衡問(wèn)題。只設(shè)置α可以平衡正樣本和負(fù)樣本的在訓(xùn)練過(guò)程中的權(quán)重問(wèn)題，但是無(wú)法解決簡(jiǎn)單樣本與復(fù)雜樣本的權(quán)重問(wèn)題，因此引入γ參數(shù)來(lái)調(diào)節(jié)簡(jiǎn)單樣本權(quán)重，使之保持一個(gè)動(dòng)態(tài)降低的速率，當(dāng)γ為0時(shí)即為交叉熵?fù)p失函數(shù)，后續(xù)實(shí)驗(yàn)結(jié)果也證明使用FocalLoss后整體準(zhǔn)確率有明顯的提升。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)條件

本實(shí)驗(yàn)采用Python3.6、TensorFlow-gpu 1.8.0以及Keras2.2.4框架搭建模型。并且采用Cuda8.0、Cudnn為T(mén)itan XP GPU提供深度學(xué)習(xí)的驅(qū)動(dòng)支持。超參數(shù)設(shè)置包括BathchSize為128，學(xué)習(xí)效率為1e-3，權(quán)重衰減率為5e-6，優(yōu)化器采用Adam優(yōu)化器，優(yōu)化器參數(shù)Beta1、Beta2分別設(shè)置為0.9、0.999，迭代次數(shù)為200次。

4.2 實(shí)驗(yàn)結(jié)果

我們?cè)谑占臄?shù)據(jù)集上對(duì)不同算法進(jìn)行了對(duì)比實(shí)驗(yàn)以驗(yàn)證本文方法的有效性。將本文提出的方法分別與包括支持向量機(jī)(Support vector machine，SVM)、貝葉斯神經(jīng)網(wǎng)絡(luò)方法(Bayesian neural network，BNN)和殘差網(wǎng)絡(luò)ResNet18(Convolutional neural network)在內(nèi)的三種算法在蜻蜓識(shí)別準(zhǔn)確率上進(jìn)行了對(duì)比。除本文方法外，其他算法均采用單一特征輸入的方式進(jìn)行實(shí)驗(yàn)，即只使用蜻蜓RGB圖像的顏色直方圖來(lái)表征訓(xùn)練樣本的特征圖，SVM算法的核函數(shù)選擇高斯核函數(shù)。不同算法的準(zhǔn)確率結(jié)果如表2所示。可以看出，在使用支持向量機(jī)時(shí)，算法對(duì)蜻蜓的識(shí)別準(zhǔn)確率較低；傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在小數(shù)據(jù)集上則容易發(fā)生過(guò)擬合現(xiàn)象，因此在該方法下的蜻蜓識(shí)別準(zhǔn)確率也不高；貝葉斯神經(jīng)網(wǎng)絡(luò)方法與本文方法相似，但因其只使用單一輸入特征，其準(zhǔn)確率也低于本文方法使用多特征融合的多模態(tài)輸入神經(jīng)網(wǎng)絡(luò)?？偟膩?lái)看，本文方法與上述3種算法相比，平均識(shí)別準(zhǔn)確率提高了11到35.6個(gè)百分點(diǎn)，平均提高了23.8個(gè)百分點(diǎn)。

圖4 蜻蜓自動(dòng)識(shí)別系統(tǒng)

表2 算法結(jié)果對(duì)比圖

5 蜻蜓識(shí)別系統(tǒng)

將本文訓(xùn)練的網(wǎng)絡(luò)模型搭載在基于python的圖形界面開(kāi)發(fā)包QT5編寫(xiě)的GUI上，搭建一個(gè)輕便的蜻蜓識(shí)別系統(tǒng)。該系統(tǒng)能夠根據(jù)用戶傳入的蜻蜓圖片給出準(zhǔn)確的分類信息，主要分為兩個(gè)模塊：輸入模塊與輸出模塊，輸入模塊首先判斷傳入對(duì)象是否為蜻蜓，其次對(duì)圖像進(jìn)行預(yù)處理，處理完成后對(duì)圖像放入網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。輸出模塊主要來(lái)自于給出預(yù)測(cè)的結(jié)果，判斷蜻蜓所屬類別及其概率，并且給出該類別的蜻蜓示例圖。系統(tǒng)示例圖如圖4所示。

結(jié)論：本文將圖像處理技術(shù)和深度學(xué)習(xí)技術(shù)相結(jié)合，采用多模態(tài)輸入的方式搭建卷積神經(jīng)網(wǎng)絡(luò)，有效地實(shí)現(xiàn)了蜻蜓圖像的自動(dòng)識(shí)別。實(shí)驗(yàn)主要采用Sony IMX300攝像頭以及通過(guò)Google搜索引擎進(jìn)行數(shù)據(jù)的采集，分類上細(xì)分到每個(gè)類別中的雄雌性，使用RGB圖與富邊緣檢測(cè)圖像處理相結(jié)合的方法，在更加清晰地將目標(biāo)與背景分離開(kāi)來(lái)，得到目標(biāo)完整的輪廓信息的同時(shí)，保證了圖片的色彩信息。提出了一種基于SqueezeNet多模態(tài)特征融合的蜻蜓識(shí)別網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，從而對(duì)蜻蜓的種類進(jìn)行分類，克服了傳統(tǒng)蜻蜓識(shí)別方法中需要通過(guò)手工設(shè)計(jì)和提取目標(biāo)特征的缺點(diǎn)，為蜻蜓鑒別任務(wù)節(jié)省了時(shí)間成本。另外，由于圖像的質(zhì)量將直接影響到分類的效果，基于本文算法搭建的蜻蜓識(shí)別系統(tǒng)對(duì)于質(zhì)量較好的蜻蜓圖片識(shí)別率較高，對(duì)背景復(fù)雜和模糊的圖像識(shí)別率較低，這是值得進(jìn)一步研究的地方。