李奇龍

摘 要：本文基于2018年第三屆中國數(shù)據(jù)挖掘競賽-國際首次蝴蝶識別大賽，提出基于深度學(xué)習(xí)技術(shù)yolov3的蝴蝶種類自動識別技術(shù)，包括生態(tài)照片和模式照片的蝴蝶位置自動檢測和物種鑒定。對yolov3的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了微調(diào)，采用對比升降、色度升降、均值模糊、上下、左右翻轉(zhuǎn)七種方式進(jìn)行數(shù)據(jù)預(yù)處理以增強(qiáng)數(shù)據(jù)量，比較了Faster-Rcnn與YOLOV3模型網(wǎng)絡(luò)的蝴蝶自動識別系統(tǒng)，以recall（召回率）和loss值。為評價(jià)指標(biāo)，實(shí)驗(yàn)結(jié)果表明，基于yolov3 深度學(xué)習(xí)框架的自動識別系統(tǒng)在2s內(nèi)對生態(tài)環(huán)境中的蝴蝶照片能實(shí)現(xiàn)自動檢測和物種識別，且模型的mAP（Mean Average Precision）最低值接近70%。

關(guān)鍵詞：深度學(xué)習(xí)；YOLOV3；蝴蝶識別

引言：昆蟲是人類已知的動物界中數(shù)量最為龐大的一個(gè)分支，對該類群實(shí)現(xiàn)分類、鑒定是一項(xiàng)非常復(fù)雜和艱巨的任務(wù)，也是昆蟲研究領(lǐng)域需要解決的重要問題之一（李成德，2003）蝴蝶作為昆蟲的一個(gè)數(shù)量龐大的重要分支（已知的種類多達(dá)14000余種）對其種類的鑒定與識別是長期以來的昆蟲分類研究的重要內(nèi)容之一（周堯，1998）蝴蝶幼蟲期以農(nóng)作物或植物為食，是農(nóng)林業(yè)重要害蟲之一，對人類的生產(chǎn)與生活有嚴(yán)重的影響，因此，對蝴蝶的分類與鑒別有著十分重要的意義。目前隨著計(jì)算機(jī)的普及，人工智能的迅速發(fā)展，為物種分類提供了大量的數(shù)據(jù)和分類方法。本研究在tensorflow框架下，在應(yīng)用是yolov3模型上，利用遷移學(xué)習(xí)方法，對其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行微調(diào)，通過訓(xùn)練網(wǎng)絡(luò)的權(quán)重參數(shù)獲得了一個(gè)較好的蝴蝶實(shí)時(shí)自動識別的模型。

1.數(shù)據(jù)與方法

1.1蝴蝶圖像數(shù)據(jù)集

蝴蝶的數(shù)據(jù)一部分來源于第三屆國際數(shù)據(jù)挖掘大賽，數(shù)據(jù)集中包含了5695張蝴蝶的照片，分為生態(tài)照和標(biāo)本照，其中生態(tài)照（如圖所示）共計(jì)1425張，111種，均由大賽組委會提供，是也在單反相機(jī)所得的高清照片，生態(tài)照的數(shù)據(jù)分類如圖所示。標(biāo)本照極為模式照，共計(jì)有4270張1176種，包含生態(tài)照的所有種類。分為正本兩面。如圖所示，模式照的數(shù)據(jù)分類如圖所示。另外測試照片由本次大賽的組委會提供的，如圖所示。

1.2數(shù)據(jù)集劃分

根據(jù)大賽組委會的數(shù)據(jù)，我們對所有生態(tài)照的蝴蝶位置進(jìn)行標(biāo)注在數(shù)據(jù)預(yù)處理中，采用對比升降、色度升降、均值模糊、上下、左右翻轉(zhuǎn)七種方式進(jìn)行數(shù)據(jù)預(yù)處理以增強(qiáng)數(shù)據(jù)量，便于訓(xùn)練（如圖所示）。數(shù)據(jù)分為訓(xùn)練集和測試集，訓(xùn)練集包含模式照片和生態(tài)照，由于很多生態(tài)照樣本的蝴蝶只有一個(gè)樣本，所以去掉這類樣本蝴蝶的種類，共計(jì)94種蝴蝶，我們最后選取了對應(yīng)的模式照的94種進(jìn)行標(biāo)注。我們將組委會給的圖片全部用于訓(xùn)練集，通過數(shù)據(jù)的預(yù)處理，最后得到（）張生態(tài)照和（）模式照。測試集數(shù)據(jù)均來自于第三屆數(shù)據(jù)挖掘大賽組委會提供。

2.蝴蝶位置檢測與種類識別方法

2.1模型的選擇

2018年三月Joseph Redmon Ali Farhadi 等人對yolo結(jié)構(gòu)進(jìn)行改進(jìn)，提出了yolov3模型，在iou為0.5時(shí)，相較于其他結(jié)構(gòu)例如faster cnn和ssd更快更好。

與其他模型對比如下：

因此本研究基于yolov3結(jié)構(gòu)，對其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行微調(diào)，更加適合蝴蝶種類的識別與定位。由于蝴蝶的圖像特征主要包括顏色、紋理、形態(tài)和局部特征，和全局特征，特征提取較困難，所以選去了更適合對微小物體分類的yolov3模型，為了提高分類的精度，對模型進(jìn)行了微調(diào)。

2.2訓(xùn)練模型與過程

YOLOV3 用 dimension clusters 固定 anchor box 來選定邊界框。采用了多次檢測，在三個(gè)尺度不同的特征圖上分別設(shè)置了3個(gè)不同的anchor來進(jìn)行檢測，特征圖尺度越大，anchor越小。為了提高精度，本實(shí)驗(yàn)講anchor設(shè)置為5。神經(jīng)網(wǎng)絡(luò)會為每個(gè)邊界框預(yù)測 4 個(gè)坐標(biāo)：tx、ty、tw、th。如果目標(biāo) cell 距離圖像左上角的邊距是（cx， cy），且它對應(yīng)邊界框的寬和 高為 pw、ph，那么網(wǎng)絡(luò)的預(yù)測值會是：

在訓(xùn)練期間，計(jì)算方差。如果預(yù)測坐標(biāo)的 ground truth 是 t^*， 那相應(yīng)的梯度就是 ground truth 值和預(yù)測值的差：t^*-t*。

YOLOv3用邏輯回歸預(yù)測每個(gè)邊界框的objectness score。如果當(dāng)前預(yù)測的邊界框比之前的更好地與ground truth對象重合，那它的分 數(shù)就是1。如果當(dāng)前的預(yù)測不是最好的，但它和ground truth對象重 合到了一定閾值以上，神經(jīng)網(wǎng)絡(luò)會忽視這個(gè)預(yù)測。我們使用的閾值是 0.5。系統(tǒng)只為每個(gè)ground truth對象分配一個(gè)邊界框。如果 先前的邊界框并未分配給相應(yīng)對象，那它只是檢測錯(cuò)了對象，而不會 對坐標(biāo)或分類預(yù)測造成影響。在分類過程中未使用傳統(tǒng)的softmax對每個(gè)框進(jìn)行分類，使用的是單獨(dú)的邏輯分類器，用二元交叉熵?fù)p失來預(yù)測蝴蝶類別。其主要原因是softmax使得咩哥框分配一個(gè)類別，而對于蝴蝶的數(shù)據(jù)集，目標(biāo)可能有重疊的類別標(biāo)簽，因此softmax不適用于多類標(biāo)簽分類，且softmax可被多個(gè)logistic分類器代替，速度會加快，且準(zhǔn)確率不會下降。

在預(yù)測方面采用的是跨尺度預(yù)測，yolov3提供了3種尺寸不一的邊界框，用以預(yù)測boxes，yolov3使用的特征提取模型通過FPN（feature pyramid network）網(wǎng)絡(luò)進(jìn)行改變，（如圖所示）形成金字塔結(jié)構(gòu)，最后得到一個(gè)3-d tensor（三維張量編碼）其中包含：bounding box（邊界框）的信息，邊界框中的信息已經(jīng)多少類的預(yù)測信息N*N*[3*（4+1+94）]94代表94類物體。

（FPN結(jié)構(gòu)圖）

我們用同樣的網(wǎng)絡(luò)設(shè)計(jì)來預(yù)測邊界框的最終尺寸，這個(gè)過程其實(shí)也有助于分類預(yù)測，因?yàn)槲覀兛梢詮脑缙趫D像中篩選出更精細(xì)的特征。 在處理本次比賽中采用的聚類方法是K-Means，用以得到bounding box的先驗(yàn)，選擇9個(gè)簇以及3個(gè)尺度。然后將這9個(gè)簇均勻的分布在這幾個(gè)尺度上，在特征提取上，我們使用的是Darknet-53， （Darknet-53是由yolov2，Darknet-19以及這Resnet，并在后面增加了一些shortcut connection）Darknet-53也可以實(shí)現(xiàn)每秒最高的測量浮點(diǎn)運(yùn)算。這意味著網(wǎng)絡(luò) 結(jié)構(gòu)可以更好地利用GPU，使其預(yù)測效率更高，速度更快。這主要是 因?yàn)镽esNets的層數(shù)太多，效率不高。 下圖為Darknet-53的結(jié)構(gòu)：

式（1）表示該網(wǎng)絡(luò)的多任務(wù)的損失函數(shù)，即坐標(biāo)預(yù)測、含object的box的confidence預(yù)測、不含object的box的confidence預(yù)測以及類別預(yù)測的和。

整個(gè)訓(xùn)練的流程如圖所示，先對原始蝴蝶數(shù)據(jù)進(jìn)行數(shù)據(jù)劃分，對數(shù)據(jù)中蝴蝶位置進(jìn)行人工標(biāo)注，數(shù)據(jù)進(jìn)行預(yù)處理，增加圖像的數(shù)量，制作成訓(xùn)練集，進(jìn)入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，參數(shù)的調(diào)試，最后得到最優(yōu)模型。由于訓(xùn)練集數(shù)據(jù)過于少，為了避免過擬合，采用了 YOLOv3 的 darknet53 進(jìn)行 fine turn。把 Darknet53 作為特征提取器（Feature Extractor），訓(xùn)練的時(shí)候維持其預(yù)訓(xùn)練權(quán)重不變，不對其訓(xùn)練，只對后面添加的 Detection_net21 進(jìn)行訓(xùn)練，所以整個(gè)網(wǎng)絡(luò)只訓(xùn)練 21 層， 既提高了訓(xùn)練效率又避免了過擬合。Detection_net21 網(wǎng)絡(luò)結(jié)構(gòu)具體 如圖所示：

訓(xùn)練過程：

本次實(shí)驗(yàn)采用的是tensorflow模型，所需軟件python3.6及以上，tensorflow框架為1.3及以上。所需系統(tǒng)ubntu16.04.3所需軟件為cdua_8.0.61 cudnn5.1 。再訓(xùn)練的過程中初使學(xué)習(xí)率為0.001每20000次訓(xùn)練后遞減，迭代次數(shù)為80000次。輸出為94類蝴蝶。

最后使用初始化的參數(shù)對訓(xùn)練圖像進(jìn)行前向傳播操作，計(jì)算誤差，再使用梯度下降算法和反向傳播算法調(diào)整參數(shù)，通過不斷的迭代使損失函數(shù)收斂到最小值，講此時(shí)訓(xùn)練出的權(quán)值參數(shù)作為蝴蝶分類模型的最終權(quán)值參數(shù)。

2.3蝴蝶識別的評價(jià)指標(biāo)

任務(wù)一：score=所有覆蓋率的平均值*100%。其中覆蓋率為（A交B）/（A并B）， A與 B 分別為參賽隊(duì)伍輸出的檢測區(qū)域與大賽官方標(biāo)注的真值區(qū)域。任務(wù)二：score=分類 正確的照片數(shù)/生態(tài)照總數(shù)*100%。R=TP/（TP+FN）

3.實(shí)驗(yàn)結(jié)果與分析

任務(wù)一的結(jié)果為68.42 任務(wù)二的結(jié)果為70.52

4.結(jié)論

通過實(shí)驗(yàn)與對比，我們發(fā)現(xiàn)yolov3在目標(biāo)檢測與定位上效果更佳，另外本文提出的基于yolov3的深度學(xué)習(xí)模型，不僅僅可以對蝴蝶樣本進(jìn)行分類與檢測，還可以用于其他生物等方向，而且yolov3的速度更快。

致謝：

我們特別感謝“第三屆數(shù)據(jù)挖掘大賽—國際首次蝴蝶識別大賽”給我們提供的數(shù)據(jù)集，同時(shí)我們也非常感謝yolov3的提出者，因?yàn)樗麄兊墓ぷ鞑攀沟梦覀兊淖詣幼R別定位系統(tǒng)得以實(shí)現(xiàn)。還要感謝成都理工大學(xué)提供的實(shí)驗(yàn)室為我們在做實(shí)驗(yàn)，訓(xùn)練數(shù)據(jù)提供了保障。

參考文獻(xiàn)：

[1]Redmon J， Farhadi A. YOLOv3： An Incremental Improvement[J]. 2018.

[2]Ren S， He K， Girshick R， et al. Faster R-CNN： towards real-time object detection with region proposal networks[C]// International Conference on Neural Information Processing Systems. MIT Press， 2015：91-99.

[3]Liu W， Anguelov D， Erhan D， et al. SSD： Single Shot MultiBox Detector[J]. 2015：21-37.

[4]周愛明， 馬鵬鵬， 席天宇，等. 基于深度學(xué)習(xí)的蝴蝶科級標(biāo)本圖像自動識別[J]. 昆蟲學(xué)報(bào)， 2017（11）.

[5]Jia Y， Shelhamer E， Donahue J， et al. Caffe： Convolutional Architecture for Fast Feature Embedding[C]// Acm International Conference on Multimedia. ACM， 2014：675-678.

[6]Abadi M， Barham P， Chen J， et al. TensorFlow： a system for large-scale machine learning[J]. 2016.

[7]柴瑞敏， 曹振基. 基于Gabor小波與深度信念網(wǎng)絡(luò)的人臉識別方法[J]. 計(jì)算機(jī)應(yīng)用， 2014， 34（9）：2590-2594.

[8]李彥冬， 郝宗波， 雷航. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)應(yīng)用， 2016， 36（9）：2508-2515.