魏甫豫，張振宇，梁桂珍

(1.河北工程大學(xué) 園林與生態(tài)工程學(xué)院，河北 邯鄲 056000；2.新鄉(xiāng)學(xué)院 a.美術(shù)學(xué)院;b.數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，河南 新鄉(xiāng) 453000)

我國(guó)作為占世界近四分之一人口的大國(guó)，糧食問(wèn)題直接影響人們的物質(zhì)生活水平，關(guān)系到國(guó)家的穩(wěn)定.農(nóng)業(yè)是我國(guó)重要的基礎(chǔ)產(chǎn)業(yè)，蟲害是影響糧食生產(chǎn)的重要限制條件之一，因此蟲害防治就顯得尤為重要.但昆蟲種類眾多，目前已知的種類超過(guò)百萬(wàn).對(duì)于不同種類的蟲害也需要有相應(yīng)針對(duì)性的防治措施.因此高效快速準(zhǔn)確識(shí)別昆蟲種類是有效防治蟲害的前提.在農(nóng)作物蟲害識(shí)別及預(yù)測(cè)領(lǐng)域，我國(guó)傳統(tǒng)方法且目前仍普遍使用的辦法多是早期傳統(tǒng)人工類識(shí)別方法，即對(duì)昆蟲種類的識(shí)別都是基于人工調(diào)查，如目測(cè)法、拍打法、掃網(wǎng)法、誘捕法[1]等，大多通過(guò)昆蟲專家或相關(guān)領(lǐng)域?qū)W者對(duì)昆蟲進(jìn)行人工識(shí)別，其準(zhǔn)確性精準(zhǔn)度取決于相關(guān)調(diào)查專家的專業(yè)水平，且現(xiàn)有昆蟲學(xué)領(lǐng)域相關(guān)專家和專業(yè)人員無(wú)法滿足分布廣泛、各類場(chǎng)景的實(shí)際應(yīng)用需求.因此這類方法局限性很大，效率低下，費(fèi)時(shí)費(fèi)力，很難做到高效率快速識(shí)別，不是最佳的監(jiān)測(cè)識(shí)別方法.隨著人工智能機(jī)器學(xué)習(xí)的快速發(fā)展，特別是在深度學(xué)習(xí)領(lǐng)域各種算法不斷涌現(xiàn)，使得在昆蟲種類圖像領(lǐng)域方面進(jìn)行高效快速準(zhǔn)確的識(shí)別成為可能.

1 昆蟲種類圖像識(shí)別研究理論基礎(chǔ)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

在深度學(xué)習(xí)領(lǐng)域，CNN即卷積神經(jīng)網(wǎng)絡(luò)是一種在圖像分類識(shí)別領(lǐng)域極具優(yōu)勢(shì)的方法.其結(jié)構(gòu)包含輸入層、隱含層和輸出層，且卷積神經(jīng)網(wǎng)絡(luò)的隱含層包含卷積層、池化層、全連接層，這個(gè)五層結(jié)構(gòu)是一個(gè)標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)模型.卷積層作為重要的核心模塊，它包含多個(gè)卷積核，可以從輸入圖像中提取特征.池化層可以重新提取卷積層的特征，即多重濾波增強(qiáng)特征信息.全連接層將提取的特征結(jié)合起來(lái)，以便最終使用softmax進(jìn)行目標(biāo)分類.首個(gè)標(biāo)準(zhǔn)深度卷積神經(jīng)網(wǎng)絡(luò)是由LeNet-5[2]開(kāi)始，其模型在灰度圖像手寫體字符識(shí)別方面有著很高的識(shí)別率，其也含有標(biāo)準(zhǔn)CNN網(wǎng)絡(luò)結(jié)構(gòu).隨后在2012年AlexNet[3]網(wǎng)絡(luò)在ImageNet大賽有著突出表現(xiàn)，AlexNet網(wǎng)絡(luò)將激活函數(shù)Sigmoid[4]替換成ReLU[5]，ReLU函數(shù)具有梯度穩(wěn)定的特點(diǎn)，解決了神經(jīng)網(wǎng)絡(luò)中梯度彌散的問(wèn)題.自此，基于卷積神經(jīng)網(wǎng)絡(luò)的算法和模型大量出現(xiàn)，并在計(jì)算機(jī)視覺(jué)領(lǐng)域迅速發(fā)展.

隨著模型深度越來(lái)越深，模型復(fù)雜度也不斷增加.后續(xù)產(chǎn)生了一系列模型網(wǎng)絡(luò)，如Google提出的googLeNet[6]網(wǎng)絡(luò)模型，由牛津大學(xué)視覺(jué)幾何計(jì)算組提出的VGG[7]模型等.而由微軟提出的ResNet[8]殘差網(wǎng)絡(luò)解決了神經(jīng)網(wǎng)絡(luò)深度增加帶來(lái)網(wǎng)絡(luò)退化的問(wèn)題，緩解了深度神經(jīng)網(wǎng)絡(luò)增加深度梯度消失的難題.其模型優(yōu)化方便，性能有了大幅提升.卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域之所以能被廣泛應(yīng)用并取得顯著效果的關(guān)鍵在于它的兩個(gè)特點(diǎn)，即局部連接和權(quán)值共享方式.局部連接指CNN與ANN神經(jīng)元全連接不同，而是進(jìn)行部分連接，好處是在特定視域下每個(gè)卷積核都可以專注于一種特征.權(quán)值共享意味著在同層中的卷積核參數(shù)共享，并且可以直接輸入圖像，較傳統(tǒng)圖像識(shí)別復(fù)雜圖像特征提取方法更優(yōu).

1.2 遷移學(xué)習(xí)

使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識(shí)別雖然有很大的優(yōu)勢(shì)，但其對(duì)數(shù)據(jù)集的要求較高，并且需要大量標(biāo)記數(shù)據(jù)集進(jìn)行訓(xùn)練.遷移學(xué)習(xí)是深度學(xué)習(xí)中一種非常重要的方法.在圖像識(shí)別領(lǐng)域，采用預(yù)訓(xùn)練模型作為新任務(wù)的第一個(gè)模型來(lái)訓(xùn)練新任務(wù)的數(shù)據(jù)集.其目的是使用預(yù)訓(xùn)練模型的權(quán)重和參數(shù)重新訓(xùn)練新的數(shù)據(jù)集，加快新模型的收斂速度，減少對(duì)數(shù)據(jù)集中數(shù)據(jù)量的需求，并減少數(shù)據(jù)不足導(dǎo)致的模型過(guò)度擬合.簡(jiǎn)而言之，舊領(lǐng)域(即源領(lǐng)域)的學(xué)習(xí)模型將應(yīng)用于新領(lǐng)域(即目標(biāo)領(lǐng)域)上.遷移學(xué)習(xí)有多種類型，例如基于樣本、特征、參數(shù)和關(guān)系的遷移學(xué)習(xí).在實(shí)踐中，使用遷移學(xué)習(xí)可以節(jié)省從頭開(kāi)始訓(xùn)練新的神經(jīng)網(wǎng)絡(luò)的時(shí)間.因?yàn)橛蓚€(gè)人創(chuàng)建像ImageNet這樣龐大數(shù)據(jù)集是不現(xiàn)實(shí)的.在大多數(shù)情況下，在特定的實(shí)際應(yīng)用場(chǎng)景中很少有標(biāo)記的數(shù)據(jù)集.因此，使用預(yù)訓(xùn)練模型進(jìn)行微調(diào)是一個(gè)非常好的選擇.

2 昆蟲種類圖像識(shí)別研究現(xiàn)狀

當(dāng)前已有很多專家學(xué)者對(duì)不同種類的昆蟲進(jìn)行了研究，成果顯著.彭明杰[9]構(gòu)建了蜻蜓識(shí)別系統(tǒng)，張瑞瑞等[10]首次將基于神經(jīng)網(wǎng)絡(luò)方法運(yùn)用于松材線蟲病變色木識(shí)別方面,薛大暄等[11]設(shè)計(jì)了一種識(shí)別模型IHCDM結(jié)合Inception _ v2 網(wǎng)絡(luò)的 Faster R-CNN，對(duì)單一種類物體進(jìn)行目標(biāo)檢測(cè)有良好的檢測(cè)效果，對(duì)美國(guó)白蛾可達(dá)到99.5%識(shí)別率.王衛(wèi)民等[12]構(gòu)建了昆蟲圖像分割的Insect-Net模型，基于U-Net可將圖片背景與目標(biāo)昆蟲進(jìn)行分離并計(jì)數(shù).王茂林等[13]設(shè)計(jì)的自動(dòng)化計(jì)數(shù)軟件運(yùn)用 OpenCV和 VGG相結(jié)合，可以精準(zhǔn)對(duì)薊馬進(jìn)行預(yù)測(cè)預(yù)報(bào).陳彥彤等[14]提出了蠅類面部識(shí)別模型，此模型將蠅類面部輪廓和具體部位進(jìn)行特征提取，結(jié)果表明對(duì)蠅類面部識(shí)別準(zhǔn)確率可達(dá)94.03%.張銀松等[15]設(shè)計(jì)了一種改進(jìn)的目標(biāo)檢測(cè)算法，將Faster-RCNN主干網(wǎng)絡(luò)由ResNet50代替VGG16，可以更有效地提取小昆蟲的特征，減少密集昆蟲區(qū)域漏檢.由此可見(jiàn)，在昆蟲種類圖像識(shí)別領(lǐng)域，已有許多學(xué)者開(kāi)展了相關(guān)研究，且取得了較為顯著的結(jié)果.但基于以上研究表明，目前已有研究大多為特定場(chǎng)景下優(yōu)化階段，未能在實(shí)際應(yīng)用場(chǎng)景下落地部署發(fā)布.

深度學(xué)習(xí)領(lǐng)域的技術(shù)已日趨成熟，尤其在圖像識(shí)別領(lǐng)域的卷積神經(jīng)網(wǎng)絡(luò)及目標(biāo)檢測(cè)算法在不斷優(yōu)化與迭代.在昆蟲種類圖像識(shí)別領(lǐng)域獲得了顯著的研究結(jié)果，并有了極大的發(fā)展.在實(shí)際應(yīng)用領(lǐng)域，已有相關(guān)科研單位及高校與科技公司進(jìn)行項(xiàng)目合作，探索開(kāi)發(fā)出了多款昆蟲圖像識(shí)別APP產(chǎn)品，如慧植農(nóng)當(dāng)家、植保家等APP.但仍有不足，一方面是由于日常實(shí)際應(yīng)用場(chǎng)景下獲取識(shí)別圖像的干擾較大，在不同場(chǎng)景下其算法模型難以適用.另一方面，由于昆蟲種類眾多，需要大量的昆蟲圖像數(shù)據(jù)集來(lái)對(duì)算法模型進(jìn)行訓(xùn)練.而現(xiàn)有昆蟲數(shù)據(jù)集大多是某一些昆蟲種類或針對(duì)特定科研目的場(chǎng)景下昆蟲集合的數(shù)據(jù)集，其種類及數(shù)量都相對(duì)有限，目前尚未有較為完善的昆蟲種類數(shù)據(jù)集來(lái)支撐.因此其數(shù)據(jù)集訓(xùn)練的對(duì)應(yīng)算法模型就不能滿足實(shí)際應(yīng)用場(chǎng)景下昆蟲識(shí)別的普適性需求.由此可見(jiàn)，進(jìn)行構(gòu)建模型到端的場(chǎng)景化研發(fā)應(yīng)用就顯得非常重要且勢(shì)在必行了.

3 昆蟲圖像識(shí)別應(yīng)用研究

3.1 端到端場(chǎng)景化昆蟲圖像分類

為實(shí)現(xiàn)模型到端的基于場(chǎng)景化研發(fā)應(yīng)用需求，本文基于kaggle開(kāi)源昆蟲數(shù)據(jù)集，利用開(kāi)源工具Paddle，基于ImageNet的預(yù)訓(xùn)練模型采用兩種目前比較流行的卷積網(wǎng)絡(luò)結(jié)構(gòu)MobileNetV2和ResNet50_vd_ssld進(jìn)行遷移學(xué)習(xí)訓(xùn)練.本實(shí)驗(yàn)?zāi)Ｐ陀?xùn)練環(huán)境為Windows10版X64_64bit操作系統(tǒng)，Intel i5-4590CPU處理器，Intel(R)HDGraphics 4600顯存，8 GB內(nèi)存.

3.1.1數(shù)據(jù)準(zhǔn)備

本實(shí)驗(yàn)?zāi)Ｐ偷蕉藞?chǎng)景化應(yīng)用研究的數(shù)據(jù)集以kaggle平臺(tái)上的昆蟲開(kāi)源數(shù)據(jù)集arthropod-taxonomy-orders-object-detection-dataset作為實(shí)驗(yàn)數(shù)據(jù)集，簡(jiǎn)稱ArTaxOr數(shù)據(jù)集.kaggle是2010年由Anthony Goldbloom在墨爾本創(chuàng)立的平臺(tái)，作為一個(gè)為開(kāi)發(fā)者和數(shù)據(jù)科研學(xué)家提供機(jī)器學(xué)習(xí)競(jìng)賽與分享數(shù)據(jù)編程等功能的平臺(tái).ArTaxOr數(shù)據(jù)集共15 376張圖片，占12.06 GB大小.圖像大多拍攝于自然條件下的場(chǎng)景，包含7類數(shù)據(jù)， Araneae，Coleoptera，Diptera，Hemiptera，Hymenoptera，Lepidoptera，Odonata，即蜘蛛目、鞘翅目、雙翅目、半翅目、膜翅目、鱗翅目和蜻蜓目.每類目昆蟲包含2 000余張圖片，共計(jì)15 000余張圖片.

3.1.2數(shù)據(jù)預(yù)處理

考慮CNN算法在圖像視點(diǎn)變化及對(duì)數(shù)據(jù)波動(dòng)變化處理能力的不足，如出現(xiàn)目標(biāo)在圖像中不同位置，有不同角度、包含不同背景、以不同光照強(qiáng)度的情況.為了使訓(xùn)練模型具有更好魯棒性并提高擬合度，在進(jìn)行數(shù)據(jù)集訓(xùn)練前，需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理.對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)優(yōu)化策略，隨機(jī)對(duì)圖像進(jìn)行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)進(jìn)行位置改變，進(jìn)行隨機(jī)亮度、隨機(jī)對(duì)比度調(diào)整，并進(jìn)行圖像歸一化Normalize處理，進(jìn)而擴(kuò)充數(shù)據(jù)集，提高模型泛化能力.

利用Paddle內(nèi)置工具命令對(duì)本實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行數(shù)據(jù)劃分，將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.執(zhí)行命令需要提前在對(duì)應(yīng)實(shí)驗(yàn)PC機(jī)上預(yù)安裝Paddle，通過(guò)pip安裝命令可進(jìn)行快速安裝Paddle.命令執(zhí)行可將數(shù)據(jù)集隨機(jī)劃分為70%的訓(xùn)練集，20%驗(yàn)證集，10%的測(cè)試集.并自動(dòng)在對(duì)應(yīng)目錄下生成labels.txt，train_list.txt，val_list.txt，test_list.txt 4個(gè)文件，即標(biāo)簽文本、訓(xùn)練集文本、驗(yàn)證集文本和測(cè)試集文本.命令行如下：

paddlex--split_dataset--format ImageNet--dataset_dir ArTaxOr--val_value 0.2--test_value 0.1.

3.1.3模型訓(xùn)練

Paddle作為基于飛槳核心框架、開(kāi)發(fā)套件及深度全流程的開(kāi)發(fā)工具，內(nèi)置了20余種圖像分類模型網(wǎng)絡(luò)，包括適用于移動(dòng)端的MobileNet系列網(wǎng)絡(luò)，及適用于服務(wù)器端的其他類型，如ResNet系列，DenseNet[16]系列等內(nèi)置模型網(wǎng)絡(luò).由微軟提出的ResNet殘差網(wǎng)絡(luò)解決了神經(jīng)網(wǎng)絡(luò)深度增加導(dǎo)致的網(wǎng)絡(luò)退化問(wèn)題，緩解了深度神經(jīng)網(wǎng)絡(luò)增加深度梯度消失的難題.其模型易優(yōu)化，性能有了大幅提升.至今ResNet都仍是非常穩(wěn)定的CNN骨架網(wǎng)絡(luò)，而其模型深度也已達(dá)152層之多.經(jīng)典流行的ResNet雖然在識(shí)別效果上有足夠精準(zhǔn)度，但其模型參數(shù)量和訓(xùn)練計(jì)算量巨大，在某些實(shí)際場(chǎng)景下，這些過(guò)于龐大且復(fù)雜的模型難以應(yīng)用于嵌入式設(shè)備或移動(dòng)終端.因此更適合移動(dòng)端的輕量級(jí)CNN模型設(shè)計(jì)就應(yīng)運(yùn)而生.MobileNet系列是輕量級(jí)經(jīng)典網(wǎng)絡(luò)模型.谷歌在2017年提出了MobileNetV1[17]，其最重要的創(chuàng)新是提出了深度可分離卷積(depthwise separable convolution)，其主要作用是將傳統(tǒng)網(wǎng)絡(luò)中的卷積分離成兩步來(lái)進(jìn)行，分別為depthwise和pointwise.這樣的好處是比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)減少了幾倍的計(jì)算量，其缺點(diǎn)是會(huì)損失一定的精度.MobileNetV1在網(wǎng)絡(luò)深度上已經(jīng)減少到28層，但其泛化能力較強(qiáng)，保持了較高的網(wǎng)絡(luò)魯棒性.2018年谷歌提出MobileNetV2[18]，較之MobileNetV1引入了Inverted Residuals和Linear Bottlenecks，即反向殘差和線性瓶頸，雖然網(wǎng)絡(luò)為54層，但優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)，模型體積更小，速度更快.

適用于服務(wù)器端ResNet系列中的ResNet50_vd_ssld模型網(wǎng)絡(luò)大小為103.5 MB，在ImageNet數(shù)據(jù)集上Top1準(zhǔn)確率有82.4%，Top5準(zhǔn)確率有96.1%，相比于此系列的其他模型網(wǎng)絡(luò)在體積大小適合的同時(shí)也保持有更高精度.適用于移動(dòng)端MobileNet系列中的MobileNetV2模型網(wǎng)絡(luò)大小為15.0 MB，在ImageNet數(shù)據(jù)集上Top1準(zhǔn)確率有72.2%，Top5準(zhǔn)確率有90.7%，相比于此系列的其他模型網(wǎng)絡(luò)在較小體積的同時(shí)也保持有較高精度.因此本實(shí)驗(yàn)采用了輕量級(jí)較具代表性MobileNet系列中的模型小預(yù)測(cè)快速的MobileNetV2與經(jīng)典模型ResNet系列中模型精度高的ResNet50_vd_ssld兩種模型網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)集訓(xùn)練.實(shí)驗(yàn)MobileNetV2網(wǎng)絡(luò)與ResNet網(wǎng)絡(luò)采用在ImageNet上訓(xùn)練模型作為預(yù)訓(xùn)練模型，并對(duì)MobileNetV2網(wǎng)絡(luò)不進(jìn)行加載預(yù)訓(xùn)練模型作為參照組.針對(duì)本實(shí)驗(yàn)數(shù)據(jù)集，對(duì)Paddle訓(xùn)練接口的內(nèi)置參數(shù)進(jìn)行fine-tune.最主要核心參數(shù)調(diào)整如下：

pretain_weights(str):即預(yù)訓(xùn)練模型.若為指定路徑，則加載路徑下預(yù)訓(xùn)練模型;若為字符串"IMAGENET"，則自動(dòng)下載imagenet數(shù)據(jù)集的預(yù)訓(xùn)練模型權(quán)重；若為None，則不進(jìn)行預(yù)訓(xùn)練模型加載.默認(rèn)為"IMAGENET".本實(shí)驗(yàn)使用"IMAGENET"為預(yù)訓(xùn)練模型，并采用None作為不進(jìn)行加載預(yù)訓(xùn)練模型的參照組.

num_epochs(int):訓(xùn)練迭代輪數(shù)，即模型對(duì)所有樣本數(shù)據(jù)訓(xùn)練集訓(xùn)練一輪就是一個(gè)epoch.本實(shí)驗(yàn)參數(shù)設(shè)置為8.

learning_rate(float):本實(shí)驗(yàn)采用默認(rèn)初始學(xué)習(xí)率0.025.

train_batch_size(int):訓(xùn)練數(shù)據(jù)批大小，默認(rèn)為64.batch_size設(shè)定大小跟實(shí)驗(yàn)環(huán)境所需的GPU或CPU相關(guān)，設(shè)定值越大，對(duì)相應(yīng)顯存或內(nèi)存消耗越大.本實(shí)驗(yàn)設(shè)置參數(shù)為100.

save_interval_epochs(int):模型保存迭代輪數(shù)間隔，本實(shí)驗(yàn)采用默認(rèn)值1，即為每一輪進(jìn)行一次模型保存.

lr_decay_gamma(float):默認(rèn)優(yōu)化器的學(xué)習(xí)率衰減率.默認(rèn)為0.1.

lr_decay_epochs(list):默認(rèn)模型優(yōu)化器的學(xué)習(xí)率衰減輪數(shù)，默認(rèn)為[30,60,90].本實(shí)驗(yàn)采用[4,6,8]，即學(xué)習(xí)率在第4個(gè)epoch，第6個(gè)epoch和第8個(gè)epoch進(jìn)行衰減.每一次衰減為上次學(xué)習(xí)率與 lr_decay_gamma的乘積，即每次衰減為之前學(xué)習(xí)率的0.1.

3.1.4模型訓(xùn)練結(jié)果

基于不同預(yù)訓(xùn)練模型的訓(xùn)練預(yù)測(cè)值匯總?cè)绫?所示.

表1 基于不同預(yù)訓(xùn)練模型的訓(xùn)練結(jié)果

對(duì)比不加載預(yù)訓(xùn)練模型MobileNetV2模型網(wǎng)絡(luò)與加載ImageNet模型的MobileNetV2模型網(wǎng)絡(luò)，Top1預(yù)測(cè)精準(zhǔn)度分別為0.294 6和0.746 0，Top5預(yù)測(cè)精準(zhǔn)度分別為0.861 1和0.982 1.訓(xùn)練結(jié)果可以明顯看出，運(yùn)用遷移學(xué)習(xí)加載預(yù)訓(xùn)練模型的網(wǎng)絡(luò)能更高效對(duì)目標(biāo)數(shù)據(jù)集進(jìn)行模型訓(xùn)練，且結(jié)果更加收斂，魯棒性高.對(duì)比加載ImageNet的MobileNetV2模型網(wǎng)絡(luò)和ResNet50_vd_ssld模型網(wǎng)絡(luò)，在Top1預(yù)測(cè)精準(zhǔn)度上，ResNet50_vd_ssld比MobileNetV2高近14個(gè)百分點(diǎn)，在Top5預(yù)測(cè)精準(zhǔn)度上，ResNet50_vd_ssld比MobileNetV2高1.37個(gè)百分點(diǎn).訓(xùn)練的結(jié)果可以明顯看出，ResNet50_vd_ssld模型網(wǎng)絡(luò)在同等條件下訓(xùn)練所得模型各個(gè)指標(biāo)均高于MobileNetV2模型網(wǎng)絡(luò).但若考慮其二者的模型大小、模型訓(xùn)練預(yù)測(cè)時(shí)長(zhǎng)及預(yù)測(cè)Top5準(zhǔn)確率的差異，MobileNetV2模型網(wǎng)絡(luò)其綜合性能比更高，相對(duì)于ResNet50_vd_ssld模型網(wǎng)絡(luò)更適用于部署發(fā)布應(yīng)用，即符合MobileNetV2適用于移動(dòng)端開(kāi)發(fā)部署的要求.

3.1.5模型結(jié)果保存

Paddle在訓(xùn)練時(shí)，可根據(jù)訓(xùn)練接口的save_interval_epoch參數(shù)進(jìn)行保存模型，保存模型目錄中的model.pdparams包含"_model_","_params_"和"model.yml"3個(gè)文件."_model_"即為網(wǎng)絡(luò)結(jié)構(gòu)的相關(guān)信息."_params_"為包括網(wǎng)絡(luò)模型的參數(shù)權(quán)重信息.這兩個(gè)文件也是作為后續(xù)EasyEdge開(kāi)源平臺(tái)模型部署發(fā)布所必需的信息文件.

3.2 端到端昆蟲圖像目標(biāo)檢測(cè)

目標(biāo)檢測(cè)的產(chǎn)生源于傳統(tǒng)CNN網(wǎng)絡(luò)無(wú)法對(duì)圖像內(nèi)對(duì)應(yīng)目標(biāo)進(jìn)行定位，只能進(jìn)行相應(yīng)的分類且不能對(duì)多目標(biāo)物體進(jìn)行檢測(cè).而目標(biāo)檢測(cè)算法的出現(xiàn)和發(fā)展，大大加速了圖像目標(biāo)定位的實(shí)現(xiàn).目標(biāo)檢測(cè)實(shí)現(xiàn)了圖像中目標(biāo)對(duì)象的定位和分類兩重性問(wèn)題，且更進(jìn)一步解決了多目標(biāo)的分類及定位問(wèn)題.使得圖像識(shí)別應(yīng)用領(lǐng)域更廣泛，運(yùn)用場(chǎng)景更加多元化.其算法核心在于對(duì)定位目標(biāo)的錨點(diǎn)Anchor設(shè)定，即選取候選框.針對(duì)Anchor設(shè)定不同，大致可分為Anchor-Based算法和Anchor-Free算法兩大類.Anchor-Based算法中針對(duì)Anchor是否和目標(biāo)分類同時(shí)進(jìn)行檢測(cè)，可分為兩階段算法和單階段算法.兩階段算法指先在圖像上選取候選框，再對(duì)候選框目標(biāo)進(jìn)行分類，其代表是Faster R-CNN[19]，提出RPN(Region proposal network區(qū)域建議網(wǎng)絡(luò))代替SS(selective search)，提高精度同時(shí)還大大減少了目標(biāo)候選框數(shù)量，提升了速度.單階段算法的代表是YOLO[20]算法，單階段算法速度遠(yuǎn)大于兩階段算法，且對(duì)于目標(biāo)定位的精準(zhǔn)度也沒(méi)有較大損失.

3.2.1數(shù)據(jù)準(zhǔn)備

采用百度開(kāi)源Insect_det數(shù)據(jù)集作為目標(biāo)檢測(cè)數(shù)據(jù)，此數(shù)據(jù)集涵蓋共6大種類，包括leconte，boerner，armandi，linnaeus，coleoptera，acuminatus，共計(jì)217張標(biāo)注圖像.

其數(shù)據(jù)標(biāo)注采用VOC數(shù)據(jù)格式，即每張圖像含有同名XML文件.其包括圖像尺寸大小，目標(biāo)物體類別、坐標(biāo)等信息.具體字段如下所示：

圖像名稱：

圖像尺寸，包括寬度、高度和深度：

目標(biāo)名稱及坐標(biāo)，還有一些如目標(biāo)對(duì)象姿態(tài)、目標(biāo)被截?cái)嘣颉⒑妥R(shí)別難易程度等非必須字段：

3.2.2數(shù)據(jù)預(yù)處理

考慮目標(biāo)檢測(cè)數(shù)據(jù)集作為一個(gè)小樣本集，為使訓(xùn)練模型具有更好魯棒性并提高擬合度，在進(jìn)行訓(xùn)練前，也對(duì)其進(jìn)行預(yù)處理.對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)優(yōu)化策略，如隨機(jī)對(duì)圖像進(jìn)行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)進(jìn)行位置改變，進(jìn)行隨機(jī)亮度、隨機(jī)對(duì)比度調(diào)整.進(jìn)而擴(kuò)充數(shù)據(jù)集.并對(duì)數(shù)據(jù)集按照70%的訓(xùn)練集，20%驗(yàn)證集，10%的測(cè)試集劃分.

3.2.3模型訓(xùn)練

框架采用Paddle，其內(nèi)置包含如FasterRCNN及Yolo系列等具有代表性的目標(biāo)檢測(cè)模型網(wǎng)絡(luò).本文采用兩階段具有代表性的FasterRCNN-ResNet50網(wǎng)絡(luò)，及單階段Yolo系列的YoloV3-MobileNetV3，PPYoloTiny-MobileNetV3網(wǎng)絡(luò)進(jìn)行訓(xùn)練.

其各自核心參數(shù)是FasterRCNN-ResNet50：運(yùn)用兩階段FasterRCNN與以ResNet50為主干網(wǎng)絡(luò)，采取在COCO數(shù)據(jù)集上的預(yù)訓(xùn)練模型，輸入圖像尺寸為800×1 333，迭代輪數(shù)為12，學(xué)習(xí)率為0.002 5，Batch size為2，學(xué)習(xí)衰減輪數(shù)為[8，11]；YoloV3-MobileNetV3：運(yùn)用單階段YoloV3與以MobileNetV3為主干網(wǎng)絡(luò)，采取在COCO數(shù)據(jù)集上的預(yù)訓(xùn)練模型，輸入圖像尺寸為608×608，迭代輪數(shù)為100，學(xué)習(xí)率為0.004 167 7，Batch size為8，學(xué)習(xí)衰減輪數(shù)為[50，90]；PPYoloTiny-MobileNetV3：運(yùn)用單階段PPYoloTiny與以MobileNetV3為主干網(wǎng)絡(luò)，采取在COCO數(shù)據(jù)集上的預(yù)訓(xùn)練模型，輸入圖像尺寸為608×608，迭代輪數(shù)為100，學(xué)習(xí)率為0.004 167 7，Batch size為8，學(xué)習(xí)衰減輪數(shù)為[50，90].

與圖像分類衡量網(wǎng)絡(luò)準(zhǔn)確率的Top1與Top5不同，目標(biāo)檢測(cè)的衡量網(wǎng)絡(luò)性能有幾個(gè)常見(jiàn)指標(biāo)：IoU閾值：目標(biāo)檢測(cè)的測(cè)量符合條件依據(jù)IoU閾值判定，其表示預(yù)測(cè)框和真實(shí)標(biāo)簽框的交集與預(yù)測(cè)框和真實(shí)標(biāo)簽框的并集比值，常規(guī)設(shè)定為0.5,TP表示正樣本被識(shí)別正確的總量，F(xiàn)P表示負(fù)樣本被錯(cuò)誤識(shí)別為正樣本的總量即誤報(bào)量，F(xiàn)N表示正樣本被識(shí)別為負(fù)樣本的總量即漏報(bào)量.precision(P)表示找出正確框數(shù)量概率，即精準(zhǔn)度.recall(R)表示找出正確框的比例，即召回率.PA表示各類別目標(biāo)平均精度值，也是由PR曲線面積所表示。PR曲線面積表示精準(zhǔn)度和召回率所形成的面積，用積分計(jì)算.mPA表示所有類別的PA均值.公式如下所示：

精準(zhǔn)度precison(P)公式為

召回率recall(R)公式為

3.2.4模型訓(xùn)練結(jié)果

采用COCO預(yù)訓(xùn)練模型的FasterRCNN-ResNet50網(wǎng)絡(luò)訓(xùn)練結(jié)果如圖1所示.

運(yùn)用FasterRCNN-ResNet50網(wǎng)絡(luò)訓(xùn)練在精準(zhǔn)率上最高的一類為acuminatus的0.800 0，最低的一類為coleoptera的0.486 5；在召回率上最高的一類為boerner的0.968 8，最低的一類為acuminatus的0.695 7；在AP上最高一類為boerner的0.969 4，最低一類為acuminatus的0.767 2.6大類別整體平均精準(zhǔn)率即mAP為0.878 2.

采用COCO預(yù)訓(xùn)練模型的YoloV3-MobileNetV3網(wǎng)絡(luò)訓(xùn)練結(jié)果如圖2所示.

運(yùn)用YoloV3-MobileNetV3網(wǎng)絡(luò)訓(xùn)練在精準(zhǔn)率上最高的一類為boerner的0.965 5，最低的為coleoptera與armandi兩類，同為0.680 0；在召回率上最高的一類為leconte的0.921 6，最低的一類為acuminatus的0.565 2；在AP上最高一類為boerner的0.969 1，最低一類為acuminatus的0.772 1.6大類別整體平均精準(zhǔn)率即mAP為0.877 2.

采用COCO預(yù)訓(xùn)練模型的PPYoloTiny-MobileNetV3網(wǎng)絡(luò)訓(xùn)練結(jié)果如圖3所示.

運(yùn)用PPYoloTiny-MobileNetV3網(wǎng)絡(luò)訓(xùn)練在精準(zhǔn)率上最高的一類為leconte的0.770 5，最低的一類為armandi的0.380 0；在召回率上最高的一類為linnaeus的1.000 0，最低的一類為acuminatus的0.478 3；在AP上最高一類為boerner的0.932 0，最低一類為armandi的0.398 2.6大類別整體平均精準(zhǔn)率即mAP為0.712 1.

對(duì)比目標(biāo)檢測(cè)網(wǎng)絡(luò)訓(xùn)練結(jié)果可知，由FasterRCNN-ResNet50及YoloV3-MobileNetV3訓(xùn)練所得模型網(wǎng)絡(luò)mAP指標(biāo)較好，考慮模型大小、訓(xùn)練時(shí)長(zhǎng)及模型響應(yīng)時(shí)間等性能指標(biāo)，YoloV3-MobileNetV3訓(xùn)練模型更適用于部署發(fā)布應(yīng)用，即適用于邊緣設(shè)備開(kāi)發(fā)部署的要求.

3.2.5模型結(jié)果保存

Paddle在訓(xùn)練時(shí)，可根據(jù)訓(xùn)練接口的save_interval_epoch參數(shù)進(jìn)行保存模型，與目標(biāo)分類產(chǎn)生文件信息不同，網(wǎng)絡(luò)結(jié)構(gòu)信息文件名為model.pdmodel，網(wǎng)絡(luò)參數(shù)文件為model.pdiparams.這兩個(gè)文件也是作為后續(xù)EasyEdge開(kāi)源平臺(tái)模型目標(biāo)檢測(cè)部署發(fā)布所必需的信息文件.

4 模型到端邊緣的部署實(shí)現(xiàn)

訓(xùn)練完成的模型往往并不能直接在端的產(chǎn)品級(jí)應(yīng)用，需要根據(jù)不同型號(hào)不同硬件配置的服務(wù)端或移動(dòng)端來(lái)進(jìn)行針對(duì)性的部署和發(fā)布，如較為便捷的方式利用Docker開(kāi)源應(yīng)用容器進(jìn)行打包，將應(yīng)用包到一個(gè)可移植的鏡像中，其可在Windows或Linux系統(tǒng)上發(fā)布，但其最大一個(gè)局限性是不能在32 bit的Linux或Windows環(huán)境下使用.而開(kāi)源EasEdge可以解決所有關(guān)于模型最終發(fā)布為端產(chǎn)品的局限性問(wèn)題.提供了統(tǒng)一方案和開(kāi)源平臺(tái)，讓開(kāi)發(fā)者能更高效率將訓(xùn)練模型發(fā)布于APP產(chǎn)品或應(yīng)用于服務(wù)端，嵌入式設(shè)備中.

本實(shí)驗(yàn)采用百度開(kāi)源服務(wù)平臺(tái)EasyEdge，可將訓(xùn)練好的模型快速轉(zhuǎn)化并發(fā)布成到端的模型應(yīng)用.其產(chǎn)品包含模型中心，純離線服務(wù)，端協(xié)同服務(wù)三大功能模塊部分.模型應(yīng)用部分包括自建模型和開(kāi)源模型兩類.開(kāi)源模型涵蓋近10多種開(kāi)源模型，包括圖像分類及目標(biāo)檢測(cè)等.本實(shí)驗(yàn)利用自建模型功能，訓(xùn)練模型發(fā)布使用方式如下,選擇模型中心的上傳本地模型模塊.如圖4所示.

模型類型內(nèi)置圖像分類、物體檢測(cè)、人臉檢測(cè)、姿態(tài)估計(jì)、語(yǔ)義分割5種主流方式，模型框架涵蓋了幾乎所有現(xiàn)今主流框架，如caffe,TensorFlow,PyTorch等，且其對(duì)應(yīng)框架下也幾乎涵蓋目前主流所有模型網(wǎng)絡(luò).如圖像分類中的AlexNet,VGG系列,MobileNet系列,ResNet系列等近20余種，物體檢測(cè)中的SSD,FasterRCNN,Yolo系列,PP-Yolo系列等.

部署昆蟲圖像分類模型網(wǎng)絡(luò)：在自定義模型名稱中將本實(shí)驗(yàn)?zāi)Ｐ兔Q定為kaggle-Insect.本實(shí)驗(yàn)選擇模型的類型為圖像分類，采用PaddlePaddle框架，模型網(wǎng)絡(luò)使用MobileNet系列的MobileNetV2.網(wǎng)絡(luò)結(jié)構(gòu)采用MobileNetV2訓(xùn)練模型的_model_，網(wǎng)絡(luò)參數(shù)使用MobileNetV2訓(xùn)練模型的_params_，模型標(biāo)簽使用對(duì)應(yīng)實(shí)驗(yàn)數(shù)據(jù)集的標(biāo)簽文本即label.txt.選好相應(yīng)配置及上傳相關(guān)內(nèi)置參數(shù)文件后，點(diǎn)擊校驗(yàn)并提交模型功能按鈕.

部署昆蟲目標(biāo)檢測(cè)模型網(wǎng)絡(luò)：在自定義模型名稱中將本實(shí)驗(yàn)?zāi)Ｐ兔Q定為Yolo-Insect.本實(shí)驗(yàn)選擇模型的類型為目標(biāo)檢測(cè)，采用PaddlePaddle框架，模型網(wǎng)絡(luò)使用Yolo系列的YoloV3.網(wǎng)絡(luò)結(jié)構(gòu)采用YoloV3-MobileNetV3訓(xùn)練模型的model.pdmodel，網(wǎng)絡(luò)參數(shù)使用YoloV3-MobileNetV3訓(xùn)練模型的model.pdiparams，模型標(biāo)簽使用對(duì)應(yīng)實(shí)驗(yàn)數(shù)據(jù)集的標(biāo)簽文本即label.txt.選好相應(yīng)配置及上傳相關(guān)內(nèi)置參數(shù)文件后，點(diǎn)擊校驗(yàn)并提交模型功能按鈕.

在平臺(tái)進(jìn)行系統(tǒng)校驗(yàn)后會(huì)自動(dòng)分配模型ID及顯示對(duì)應(yīng)模型名稱，模型類型以及后續(xù)SDK操作功能.應(yīng)用生成端模型功能，會(huì)顯示相應(yīng)發(fā)布離線SDK界面(如圖5).端模型提供模型網(wǎng)絡(luò)相適用的各類芯片硬件、操作系統(tǒng).其芯片硬件涵蓋目前市面主流各類廠商產(chǎn)品，包括服務(wù)端與移動(dòng)端，如通用x86芯片、通用ARM芯片、蘋果A-Bionic、高通驍龍GPU與DSP、華為海思NPU、英特爾系列處理器、英偉達(dá)GPU等.操作系統(tǒng)也包括目前主流的移動(dòng)端Android、IOS與服務(wù)器端Windows、Linux.并且可支持單模型多版本SDK發(fā)布.

在進(jìn)行多版本設(shè)置進(jìn)行發(fā)布后，平臺(tái)系統(tǒng)會(huì)自動(dòng)校驗(yàn)并生成對(duì)應(yīng)版本SDK.在全部模型界面下可以看到目前版本生成狀態(tài).已發(fā)布的模型版本可以進(jìn)行獲取SDK，Demo體驗(yàn)下載等操作.運(yùn)用手機(jī)瀏覽器進(jìn)行對(duì)應(yīng)SDK二維碼掃描即可下載對(duì)應(yīng)版本SDK應(yīng)用.最終實(shí)現(xiàn)模型到邊緣產(chǎn)品的發(fā)布流程.

5 總 結(jié)

本文在昆蟲種類識(shí)別領(lǐng)域技術(shù)基礎(chǔ)方面對(duì)卷積神經(jīng)網(wǎng)絡(luò)CNN及其發(fā)展的脈絡(luò)進(jìn)行說(shuō)明，并對(duì)目前深度學(xué)習(xí)應(yīng)用于圖像分類、目標(biāo)檢測(cè)方面的主流模型網(wǎng)絡(luò)進(jìn)行梳理，介紹了遷移學(xué)習(xí)相關(guān)的原理，結(jié)合目前昆蟲種類研究識(shí)別現(xiàn)狀，提出了一種模型到邊緣的落地場(chǎng)景的全流程開(kāi)發(fā)應(yīng)用實(shí)現(xiàn)方法.以深度學(xué)習(xí)圖像分類及目標(biāo)檢測(cè)兩方面主流模型網(wǎng)絡(luò)為主，本文在圖像分類上采用kaggle開(kāi)源昆蟲數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)集，運(yùn)用Paddle開(kāi)源框架工具，采用基于ImageNet的預(yù)訓(xùn)練模型并對(duì)比兩種目前比較流行的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)MobileNetV2和ResNet50_vd_ssld進(jìn)行遷移學(xué)習(xí)訓(xùn)練.在目標(biāo)檢測(cè)上采用百度開(kāi)源昆蟲數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)集，采用基于COCO的預(yù)訓(xùn)練模型并對(duì)比兩階段有代表性的FasterRCNN及單階段具有代表性的Yolo系列兩種網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)訓(xùn)練.并對(duì)其實(shí)驗(yàn)效果較好的圖像分類中MobileNetV2訓(xùn)練模型及目標(biāo)檢測(cè)中YoloV3-MobileNetV3訓(xùn)練模型在EasyEdge上進(jìn)行部署發(fā)布，生成了應(yīng)用于移動(dòng)端的SDK版本.完成了從模型構(gòu)建到端的落地場(chǎng)景的全流程開(kāi)發(fā)應(yīng)用實(shí)現(xiàn)，為后續(xù)昆蟲圖像識(shí)別在場(chǎng)景化應(yīng)用方面的研究提供依據(jù)參考.本實(shí)驗(yàn)也存在一定局限性，如在數(shù)據(jù)集上未采用細(xì)分類數(shù)據(jù)集，只是劃分到目級(jí)，對(duì)于科級(jí)和種級(jí)未進(jìn)行探究實(shí)驗(yàn)，對(duì)于像昆蟲種類較為細(xì)化的圖像識(shí)別領(lǐng)域訓(xùn)練模型不夠細(xì)化，目標(biāo)檢測(cè)場(chǎng)景化數(shù)據(jù)性較弱.這也是今后需要繼續(xù)深入研究的方向.