亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于卷積神經(jīng)網(wǎng)絡(luò)下昆蟲種類圖像識(shí)別應(yīng)用研究

        2022-12-02 05:47:54魏甫豫張振宇梁桂珍
        關(guān)鍵詞:檢測(cè)模型

        魏甫豫,張振宇,梁桂珍

        (1.河北工程大學(xué) 園林與生態(tài)工程學(xué)院,河北 邯鄲 056000;2.新鄉(xiāng)學(xué)院 a.美術(shù)學(xué)院;b.數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,河南 新鄉(xiāng) 453000)

        我國(guó)作為占世界近四分之一人口的大國(guó),糧食問(wèn)題直接影響人們的物質(zhì)生活水平,關(guān)系到國(guó)家的穩(wěn)定.農(nóng)業(yè)是我國(guó)重要的基礎(chǔ)產(chǎn)業(yè),蟲害是影響糧食生產(chǎn)的重要限制條件之一,因此蟲害防治就顯得尤為重要.但昆蟲種類眾多,目前已知的種類超過(guò)百萬(wàn).對(duì)于不同種類的蟲害也需要有相應(yīng)針對(duì)性的防治措施.因此高效快速準(zhǔn)確識(shí)別昆蟲種類是有效防治蟲害的前提.在農(nóng)作物蟲害識(shí)別及預(yù)測(cè)領(lǐng)域,我國(guó)傳統(tǒng)方法且目前仍普遍使用的辦法多是早期傳統(tǒng)人工類識(shí)別方法,即對(duì)昆蟲種類的識(shí)別都是基于人工調(diào)查,如目測(cè)法、拍打法、掃網(wǎng)法、誘捕法[1]等,大多通過(guò)昆蟲專家或相關(guān)領(lǐng)域?qū)W者對(duì)昆蟲進(jìn)行人工識(shí)別,其準(zhǔn)確性精準(zhǔn)度取決于相關(guān)調(diào)查專家的專業(yè)水平,且現(xiàn)有昆蟲學(xué)領(lǐng)域相關(guān)專家和專業(yè)人員無(wú)法滿足分布廣泛、各類場(chǎng)景的實(shí)際應(yīng)用需求.因此這類方法局限性很大,效率低下,費(fèi)時(shí)費(fèi)力,很難做到高效率快速識(shí)別,不是最佳的監(jiān)測(cè)識(shí)別方法.隨著人工智能機(jī)器學(xué)習(xí)的快速發(fā)展,特別是在深度學(xué)習(xí)領(lǐng)域各種算法不斷涌現(xiàn),使得在昆蟲種類圖像領(lǐng)域方面進(jìn)行高效快速準(zhǔn)確的識(shí)別成為可能.

        1 昆蟲種類圖像識(shí)別研究理論基礎(chǔ)

        1.1 卷積神經(jīng)網(wǎng)絡(luò)

        在深度學(xué)習(xí)領(lǐng)域,CNN即卷積神經(jīng)網(wǎng)絡(luò)是一種在圖像分類識(shí)別領(lǐng)域極具優(yōu)勢(shì)的方法.其結(jié)構(gòu)包含輸入層、隱含層和輸出層,且卷積神經(jīng)網(wǎng)絡(luò)的隱含層包含卷積層、池化層、全連接層,這個(gè)五層結(jié)構(gòu)是一個(gè)標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)模型.卷積層作為重要的核心模塊,它包含多個(gè)卷積核,可以從輸入圖像中提取特征.池化層可以重新提取卷積層的特征,即多重濾波增強(qiáng)特征信息.全連接層將提取的特征結(jié)合起來(lái),以便最終使用softmax進(jìn)行目標(biāo)分類.首個(gè)標(biāo)準(zhǔn)深度卷積神經(jīng)網(wǎng)絡(luò)是由LeNet-5[2]開(kāi)始,其模型在灰度圖像手寫體字符識(shí)別方面有著很高的識(shí)別率,其也含有標(biāo)準(zhǔn)CNN網(wǎng)絡(luò)結(jié)構(gòu).隨后在2012年AlexNet[3]網(wǎng)絡(luò)在ImageNet大賽有著突出表現(xiàn),AlexNet網(wǎng)絡(luò)將激活函數(shù)Sigmoid[4]替換成ReLU[5],ReLU函數(shù)具有梯度穩(wěn)定的特點(diǎn),解決了神經(jīng)網(wǎng)絡(luò)中梯度彌散的問(wèn)題.自此,基于卷積神經(jīng)網(wǎng)絡(luò)的算法和模型大量出現(xiàn),并在計(jì)算機(jī)視覺(jué)領(lǐng)域迅速發(fā)展.

        隨著模型深度越來(lái)越深,模型復(fù)雜度也不斷增加.后續(xù)產(chǎn)生了一系列模型網(wǎng)絡(luò),如Google提出的googLeNet[6]網(wǎng)絡(luò)模型,由牛津大學(xué)視覺(jué)幾何計(jì)算組提出的VGG[7]模型等.而由微軟提出的ResNet[8]殘差網(wǎng)絡(luò)解決了神經(jīng)網(wǎng)絡(luò)深度增加帶來(lái)網(wǎng)絡(luò)退化的問(wèn)題,緩解了深度神經(jīng)網(wǎng)絡(luò)增加深度梯度消失的難題.其模型優(yōu)化方便,性能有了大幅提升.卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域之所以能被廣泛應(yīng)用并取得顯著效果的關(guān)鍵在于它的兩個(gè)特點(diǎn),即局部連接和權(quán)值共享方式.局部連接指CNN與ANN神經(jīng)元全連接不同,而是進(jìn)行部分連接,好處是在特定視域下每個(gè)卷積核都可以專注于一種特征.權(quán)值共享意味著在同層中的卷積核參數(shù)共享,并且可以直接輸入圖像,較傳統(tǒng)圖像識(shí)別復(fù)雜圖像特征提取方法更優(yōu).

        1.2 遷移學(xué)習(xí)

        使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識(shí)別雖然有很大的優(yōu)勢(shì),但其對(duì)數(shù)據(jù)集的要求較高,并且需要大量標(biāo)記數(shù)據(jù)集進(jìn)行訓(xùn)練.遷移學(xué)習(xí)是深度學(xué)習(xí)中一種非常重要的方法.在圖像識(shí)別領(lǐng)域,采用預(yù)訓(xùn)練模型作為新任務(wù)的第一個(gè)模型來(lái)訓(xùn)練新任務(wù)的數(shù)據(jù)集.其目的是使用預(yù)訓(xùn)練模型的權(quán)重和參數(shù)重新訓(xùn)練新的數(shù)據(jù)集,加快新模型的收斂速度,減少對(duì)數(shù)據(jù)集中數(shù)據(jù)量的需求,并減少數(shù)據(jù)不足導(dǎo)致的模型過(guò)度擬合.簡(jiǎn)而言之,舊領(lǐng)域(即源領(lǐng)域)的學(xué)習(xí)模型將應(yīng)用于新領(lǐng)域(即目標(biāo)領(lǐng)域)上.遷移學(xué)習(xí)有多種類型,例如基于樣本、特征、參數(shù)和關(guān)系的遷移學(xué)習(xí).在實(shí)踐中,使用遷移學(xué)習(xí)可以節(jié)省從頭開(kāi)始訓(xùn)練新的神經(jīng)網(wǎng)絡(luò)的時(shí)間.因?yàn)橛蓚€(gè)人創(chuàng)建像ImageNet這樣龐大數(shù)據(jù)集是不現(xiàn)實(shí)的.在大多數(shù)情況下,在特定的實(shí)際應(yīng)用場(chǎng)景中很少有標(biāo)記的數(shù)據(jù)集.因此,使用預(yù)訓(xùn)練模型進(jìn)行微調(diào)是一個(gè)非常好的選擇.

        2 昆蟲種類圖像識(shí)別研究現(xiàn)狀

        當(dāng)前已有很多專家學(xué)者對(duì)不同種類的昆蟲進(jìn)行了研究,成果顯著.彭明杰[9]構(gòu)建了蜻蜓識(shí)別系統(tǒng),張瑞瑞等[10]首次將基于神經(jīng)網(wǎng)絡(luò)方法運(yùn)用于松材線蟲病變色木識(shí)別方面,薛大暄等[11]設(shè)計(jì)了一種識(shí)別模型IHCDM結(jié)合Inception _ v2 網(wǎng)絡(luò)的 Faster R-CNN,對(duì)單一種類物體進(jìn)行目標(biāo)檢測(cè)有良好的檢測(cè)效果,對(duì)美國(guó)白蛾可達(dá)到99.5%識(shí)別率.王衛(wèi)民等[12]構(gòu)建了昆蟲圖像分割的Insect-Net模型,基于U-Net可將圖片背景與目標(biāo)昆蟲進(jìn)行分離并計(jì)數(shù).王茂林等[13]設(shè)計(jì)的自動(dòng)化計(jì)數(shù)軟件運(yùn)用 OpenCV和 VGG相結(jié)合,可以精準(zhǔn)對(duì)薊馬進(jìn)行預(yù)測(cè)預(yù)報(bào).陳彥彤等[14]提出了蠅類面部識(shí)別模型,此模型將蠅類面部輪廓和具體部位進(jìn)行特征提取,結(jié)果表明對(duì)蠅類面部識(shí)別準(zhǔn)確率可達(dá)94.03%.張銀松等[15]設(shè)計(jì)了一種改進(jìn)的目標(biāo)檢測(cè)算法,將Faster-RCNN主干網(wǎng)絡(luò)由ResNet50代替VGG16,可以更有效地提取小昆蟲的特征,減少密集昆蟲區(qū)域漏檢.由此可見(jiàn),在昆蟲種類圖像識(shí)別領(lǐng)域,已有許多學(xué)者開(kāi)展了相關(guān)研究,且取得了較為顯著的結(jié)果.但基于以上研究表明,目前已有研究大多為特定場(chǎng)景下優(yōu)化階段,未能在實(shí)際應(yīng)用場(chǎng)景下落地部署發(fā)布.

        深度學(xué)習(xí)領(lǐng)域的技術(shù)已日趨成熟,尤其在圖像識(shí)別領(lǐng)域的卷積神經(jīng)網(wǎng)絡(luò)及目標(biāo)檢測(cè)算法在不斷優(yōu)化與迭代.在昆蟲種類圖像識(shí)別領(lǐng)域獲得了顯著的研究結(jié)果,并有了極大的發(fā)展.在實(shí)際應(yīng)用領(lǐng)域,已有相關(guān)科研單位及高校與科技公司進(jìn)行項(xiàng)目合作,探索開(kāi)發(fā)出了多款昆蟲圖像識(shí)別APP產(chǎn)品,如慧植農(nóng)當(dāng)家、植保家等APP.但仍有不足,一方面是由于日常實(shí)際應(yīng)用場(chǎng)景下獲取識(shí)別圖像的干擾較大,在不同場(chǎng)景下其算法模型難以適用.另一方面,由于昆蟲種類眾多,需要大量的昆蟲圖像數(shù)據(jù)集來(lái)對(duì)算法模型進(jìn)行訓(xùn)練.而現(xiàn)有昆蟲數(shù)據(jù)集大多是某一些昆蟲種類或針對(duì)特定科研目的場(chǎng)景下昆蟲集合的數(shù)據(jù)集,其種類及數(shù)量都相對(duì)有限,目前尚未有較為完善的昆蟲種類數(shù)據(jù)集來(lái)支撐.因此其數(shù)據(jù)集訓(xùn)練的對(duì)應(yīng)算法模型就不能滿足實(shí)際應(yīng)用場(chǎng)景下昆蟲識(shí)別的普適性需求.由此可見(jiàn),進(jìn)行構(gòu)建模型到端的場(chǎng)景化研發(fā)應(yīng)用就顯得非常重要且勢(shì)在必行了.

        3 昆蟲圖像識(shí)別應(yīng)用研究

        3.1 端到端場(chǎng)景化昆蟲圖像分類

        為實(shí)現(xiàn)模型到端的基于場(chǎng)景化研發(fā)應(yīng)用需求,本文基于kaggle開(kāi)源昆蟲數(shù)據(jù)集,利用開(kāi)源工具Paddle,基于ImageNet的預(yù)訓(xùn)練模型采用兩種目前比較流行的卷積網(wǎng)絡(luò)結(jié)構(gòu)MobileNetV2和ResNet50_vd_ssld進(jìn)行遷移學(xué)習(xí)訓(xùn)練.本實(shí)驗(yàn)?zāi)P陀?xùn)練環(huán)境為Windows10版X64_64bit操作系統(tǒng),Intel i5-4590CPU處理器,Intel(R)HDGraphics 4600顯存,8 GB內(nèi)存.

        3.1.1數(shù)據(jù)準(zhǔn)備

        本實(shí)驗(yàn)?zāi)P偷蕉藞?chǎng)景化應(yīng)用研究的數(shù)據(jù)集以kaggle平臺(tái)上的昆蟲開(kāi)源數(shù)據(jù)集arthropod-taxonomy-orders-object-detection-dataset作為實(shí)驗(yàn)數(shù)據(jù)集,簡(jiǎn)稱ArTaxOr數(shù)據(jù)集.kaggle是2010年由Anthony Goldbloom在墨爾本創(chuàng)立的平臺(tái),作為一個(gè)為開(kāi)發(fā)者和數(shù)據(jù)科研學(xué)家提供機(jī)器學(xué)習(xí)競(jìng)賽與分享數(shù)據(jù)編程等功能的平臺(tái).ArTaxOr數(shù)據(jù)集共15 376張圖片,占12.06 GB大小.圖像大多拍攝于自然條件下的場(chǎng)景,包含7類數(shù)據(jù), Araneae,Coleoptera,Diptera,Hemiptera,Hymenoptera,Lepidoptera,Odonata,即蜘蛛目、鞘翅目、雙翅目、半翅目、膜翅目、鱗翅目和蜻蜓目.每類目昆蟲包含2 000余張圖片,共計(jì)15 000余張圖片.

        3.1.2數(shù)據(jù)預(yù)處理

        考慮CNN算法在圖像視點(diǎn)變化及對(duì)數(shù)據(jù)波動(dòng)變化處理能力的不足,如出現(xiàn)目標(biāo)在圖像中不同位置,有不同角度、包含不同背景、以不同光照強(qiáng)度的情況.為了使訓(xùn)練模型具有更好魯棒性并提高擬合度,在進(jìn)行數(shù)據(jù)集訓(xùn)練前,需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理.對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)優(yōu)化策略,隨機(jī)對(duì)圖像進(jìn)行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)進(jìn)行位置改變,進(jìn)行隨機(jī)亮度、隨機(jī)對(duì)比度調(diào)整,并進(jìn)行圖像歸一化Normalize處理,進(jìn)而擴(kuò)充數(shù)據(jù)集,提高模型泛化能力.

        利用Paddle內(nèi)置工具命令對(duì)本實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行數(shù)據(jù)劃分,將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.執(zhí)行命令需要提前在對(duì)應(yīng)實(shí)驗(yàn)PC機(jī)上預(yù)安裝Paddle,通過(guò)pip安裝命令可進(jìn)行快速安裝Paddle.命令執(zhí)行可將數(shù)據(jù)集隨機(jī)劃分為70%的訓(xùn)練集,20%驗(yàn)證集,10%的測(cè)試集.并自動(dòng)在對(duì)應(yīng)目錄下生成labels.txt,train_list.txt,val_list.txt,test_list.txt 4個(gè)文件,即標(biāo)簽文本、訓(xùn)練集文本、驗(yàn)證集文本和測(cè)試集文本.命令行如下:

        paddlex--split_dataset--format ImageNet--dataset_dir ArTaxOr--val_value 0.2--test_value 0.1.

        3.1.3模型訓(xùn)練

        Paddle作為基于飛槳核心框架、開(kāi)發(fā)套件及深度全流程的開(kāi)發(fā)工具,內(nèi)置了20余種圖像分類模型網(wǎng)絡(luò),包括適用于移動(dòng)端的MobileNet系列網(wǎng)絡(luò),及適用于服務(wù)器端的其他類型,如ResNet系列,DenseNet[16]系列等內(nèi)置模型網(wǎng)絡(luò).由微軟提出的ResNet殘差網(wǎng)絡(luò)解決了神經(jīng)網(wǎng)絡(luò)深度增加導(dǎo)致的網(wǎng)絡(luò)退化問(wèn)題,緩解了深度神經(jīng)網(wǎng)絡(luò)增加深度梯度消失的難題.其模型易優(yōu)化,性能有了大幅提升.至今ResNet都仍是非常穩(wěn)定的CNN骨架網(wǎng)絡(luò),而其模型深度也已達(dá)152層之多.經(jīng)典流行的ResNet雖然在識(shí)別效果上有足夠精準(zhǔn)度,但其模型參數(shù)量和訓(xùn)練計(jì)算量巨大,在某些實(shí)際場(chǎng)景下,這些過(guò)于龐大且復(fù)雜的模型難以應(yīng)用于嵌入式設(shè)備或移動(dòng)終端.因此更適合移動(dòng)端的輕量級(jí)CNN模型設(shè)計(jì)就應(yīng)運(yùn)而生.MobileNet系列是輕量級(jí)經(jīng)典網(wǎng)絡(luò)模型.谷歌在2017年提出了MobileNetV1[17],其最重要的創(chuàng)新是提出了深度可分離卷積(depthwise separable convolution),其主要作用是將傳統(tǒng)網(wǎng)絡(luò)中的卷積分離成兩步來(lái)進(jìn)行,分別為depthwise和pointwise.這樣的好處是比傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)減少了幾倍的計(jì)算量,其缺點(diǎn)是會(huì)損失一定的精度.MobileNetV1在網(wǎng)絡(luò)深度上已經(jīng)減少到28層,但其泛化能力較強(qiáng),保持了較高的網(wǎng)絡(luò)魯棒性.2018年谷歌提出MobileNetV2[18],較之MobileNetV1引入了Inverted Residuals和Linear Bottlenecks,即反向殘差和線性瓶頸,雖然網(wǎng)絡(luò)為54層,但優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu),模型體積更小,速度更快.

        適用于服務(wù)器端ResNet系列中的ResNet50_vd_ssld模型網(wǎng)絡(luò)大小為103.5 MB,在ImageNet數(shù)據(jù)集上Top1準(zhǔn)確率有82.4%,Top5準(zhǔn)確率有96.1%,相比于此系列的其他模型網(wǎng)絡(luò)在體積大小適合的同時(shí)也保持有更高精度.適用于移動(dòng)端MobileNet系列中的MobileNetV2模型網(wǎng)絡(luò)大小為15.0 MB,在ImageNet數(shù)據(jù)集上Top1準(zhǔn)確率有72.2%,Top5準(zhǔn)確率有90.7%,相比于此系列的其他模型網(wǎng)絡(luò)在較小體積的同時(shí)也保持有較高精度.因此本實(shí)驗(yàn)采用了輕量級(jí)較具代表性MobileNet系列中的模型小預(yù)測(cè)快速的MobileNetV2與經(jīng)典模型ResNet系列中模型精度高的ResNet50_vd_ssld兩種模型網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)集訓(xùn)練.實(shí)驗(yàn)MobileNetV2網(wǎng)絡(luò)與ResNet網(wǎng)絡(luò)采用在ImageNet上訓(xùn)練模型作為預(yù)訓(xùn)練模型,并對(duì)MobileNetV2網(wǎng)絡(luò)不進(jìn)行加載預(yù)訓(xùn)練模型作為參照組.針對(duì)本實(shí)驗(yàn)數(shù)據(jù)集,對(duì)Paddle訓(xùn)練接口的內(nèi)置參數(shù)進(jìn)行fine-tune.最主要核心參數(shù)調(diào)整如下:

        pretain_weights(str):即預(yù)訓(xùn)練模型.若為指定路徑,則加載路徑下預(yù)訓(xùn)練模型;若為字符串"IMAGENET",則自動(dòng)下載imagenet數(shù)據(jù)集的預(yù)訓(xùn)練模型權(quán)重;若為None,則不進(jìn)行預(yù)訓(xùn)練模型加載.默認(rèn)為"IMAGENET".本實(shí)驗(yàn)使用"IMAGENET"為預(yù)訓(xùn)練模型,并采用None作為不進(jìn)行加載預(yù)訓(xùn)練模型的參照組.

        num_epochs(int):訓(xùn)練迭代輪數(shù),即模型對(duì)所有樣本數(shù)據(jù)訓(xùn)練集訓(xùn)練一輪就是一個(gè)epoch.本實(shí)驗(yàn)參數(shù)設(shè)置為8.

        learning_rate(float):本實(shí)驗(yàn)采用默認(rèn)初始學(xué)習(xí)率0.025.

        train_batch_size(int):訓(xùn)練數(shù)據(jù)批大小,默認(rèn)為64.batch_size設(shè)定大小跟實(shí)驗(yàn)環(huán)境所需的GPU或CPU相關(guān),設(shè)定值越大,對(duì)相應(yīng)顯存或內(nèi)存消耗越大.本實(shí)驗(yàn)設(shè)置參數(shù)為100.

        save_interval_epochs(int):模型保存迭代輪數(shù)間隔,本實(shí)驗(yàn)采用默認(rèn)值1,即為每一輪進(jìn)行一次模型保存.

        lr_decay_gamma(float):默認(rèn)優(yōu)化器的學(xué)習(xí)率衰減率.默認(rèn)為0.1.

        lr_decay_epochs(list):默認(rèn)模型優(yōu)化器的學(xué)習(xí)率衰減輪數(shù),默認(rèn)為[30,60,90].本實(shí)驗(yàn)采用[4,6,8],即學(xué)習(xí)率在第4個(gè)epoch,第6個(gè)epoch和第8個(gè)epoch進(jìn)行衰減.每一次衰減為上次學(xué)習(xí)率與 lr_decay_gamma的乘積,即每次衰減為之前學(xué)習(xí)率的0.1.

        3.1.4模型訓(xùn)練結(jié)果

        基于不同預(yù)訓(xùn)練模型的訓(xùn)練預(yù)測(cè)值匯總?cè)绫?所示.

        表1 基于不同預(yù)訓(xùn)練模型的訓(xùn)練結(jié)果

        對(duì)比不加載預(yù)訓(xùn)練模型MobileNetV2模型網(wǎng)絡(luò)與加載ImageNet模型的MobileNetV2模型網(wǎng)絡(luò),Top1預(yù)測(cè)精準(zhǔn)度分別為0.294 6和0.746 0,Top5預(yù)測(cè)精準(zhǔn)度分別為0.861 1和0.982 1.訓(xùn)練結(jié)果可以明顯看出,運(yùn)用遷移學(xué)習(xí)加載預(yù)訓(xùn)練模型的網(wǎng)絡(luò)能更高效對(duì)目標(biāo)數(shù)據(jù)集進(jìn)行模型訓(xùn)練,且結(jié)果更加收斂,魯棒性高.對(duì)比加載ImageNet的MobileNetV2模型網(wǎng)絡(luò)和ResNet50_vd_ssld模型網(wǎng)絡(luò),在Top1預(yù)測(cè)精準(zhǔn)度上,ResNet50_vd_ssld比MobileNetV2高近14個(gè)百分點(diǎn),在Top5預(yù)測(cè)精準(zhǔn)度上,ResNet50_vd_ssld比MobileNetV2高1.37個(gè)百分點(diǎn).訓(xùn)練的結(jié)果可以明顯看出,ResNet50_vd_ssld模型網(wǎng)絡(luò)在同等條件下訓(xùn)練所得模型各個(gè)指標(biāo)均高于MobileNetV2模型網(wǎng)絡(luò).但若考慮其二者的模型大小、模型訓(xùn)練預(yù)測(cè)時(shí)長(zhǎng)及預(yù)測(cè)Top5準(zhǔn)確率的差異,MobileNetV2模型網(wǎng)絡(luò)其綜合性能比更高,相對(duì)于ResNet50_vd_ssld模型網(wǎng)絡(luò)更適用于部署發(fā)布應(yīng)用,即符合MobileNetV2適用于移動(dòng)端開(kāi)發(fā)部署的要求.

        3.1.5模型結(jié)果保存

        Paddle在訓(xùn)練時(shí),可根據(jù)訓(xùn)練接口的save_interval_epoch參數(shù)進(jìn)行保存模型,保存模型目錄中的model.pdparams包含"_model_","_params_"和"model.yml"3個(gè)文件."_model_"即為網(wǎng)絡(luò)結(jié)構(gòu)的相關(guān)信息."_params_"為包括網(wǎng)絡(luò)模型的參數(shù)權(quán)重信息.這兩個(gè)文件也是作為后續(xù)EasyEdge開(kāi)源平臺(tái)模型部署發(fā)布所必需的信息文件.

        3.2 端到端昆蟲圖像目標(biāo)檢測(cè)

        目標(biāo)檢測(cè)的產(chǎn)生源于傳統(tǒng)CNN網(wǎng)絡(luò)無(wú)法對(duì)圖像內(nèi)對(duì)應(yīng)目標(biāo)進(jìn)行定位,只能進(jìn)行相應(yīng)的分類且不能對(duì)多目標(biāo)物體進(jìn)行檢測(cè).而目標(biāo)檢測(cè)算法的出現(xiàn)和發(fā)展,大大加速了圖像目標(biāo)定位的實(shí)現(xiàn).目標(biāo)檢測(cè)實(shí)現(xiàn)了圖像中目標(biāo)對(duì)象的定位和分類兩重性問(wèn)題,且更進(jìn)一步解決了多目標(biāo)的分類及定位問(wèn)題.使得圖像識(shí)別應(yīng)用領(lǐng)域更廣泛,運(yùn)用場(chǎng)景更加多元化.其算法核心在于對(duì)定位目標(biāo)的錨點(diǎn)Anchor設(shè)定,即選取候選框.針對(duì)Anchor設(shè)定不同,大致可分為Anchor-Based算法和Anchor-Free算法兩大類.Anchor-Based算法中針對(duì)Anchor是否和目標(biāo)分類同時(shí)進(jìn)行檢測(cè),可分為兩階段算法和單階段算法.兩階段算法指先在圖像上選取候選框,再對(duì)候選框目標(biāo)進(jìn)行分類,其代表是Faster R-CNN[19],提出RPN(Region proposal network區(qū)域建議網(wǎng)絡(luò))代替SS(selective search),提高精度同時(shí)還大大減少了目標(biāo)候選框數(shù)量,提升了速度.單階段算法的代表是YOLO[20]算法,單階段算法速度遠(yuǎn)大于兩階段算法,且對(duì)于目標(biāo)定位的精準(zhǔn)度也沒(méi)有較大損失.

        3.2.1數(shù)據(jù)準(zhǔn)備

        采用百度開(kāi)源Insect_det數(shù)據(jù)集作為目標(biāo)檢測(cè)數(shù)據(jù),此數(shù)據(jù)集涵蓋共6大種類,包括leconte,boerner,armandi,linnaeus,coleoptera,acuminatus,共計(jì)217張標(biāo)注圖像.

        其數(shù)據(jù)標(biāo)注采用VOC數(shù)據(jù)格式,即每張圖像含有同名XML文件.其包括圖像尺寸大小,目標(biāo)物體類別、坐標(biāo)等信息.具體字段如下所示:

        圖像名稱:

        圖像尺寸,包括寬度、高度和深度:

        目標(biāo)名稱及坐標(biāo),還有一些如目標(biāo)對(duì)象姿態(tài)、目標(biāo)被截?cái)嘣颉⒑妥R(shí)別難易程度等非必須字段:

        Unspecified

        3.2.2數(shù)據(jù)預(yù)處理

        考慮目標(biāo)檢測(cè)數(shù)據(jù)集作為一個(gè)小樣本集,為使訓(xùn)練模型具有更好魯棒性并提高擬合度,在進(jìn)行訓(xùn)練前,也對(duì)其進(jìn)行預(yù)處理.對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)優(yōu)化策略,如隨機(jī)對(duì)圖像進(jìn)行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)進(jìn)行位置改變,進(jìn)行隨機(jī)亮度、隨機(jī)對(duì)比度調(diào)整.進(jìn)而擴(kuò)充數(shù)據(jù)集.并對(duì)數(shù)據(jù)集按照70%的訓(xùn)練集,20%驗(yàn)證集,10%的測(cè)試集劃分.

        3.2.3模型訓(xùn)練

        框架采用Paddle,其內(nèi)置包含如FasterRCNN及Yolo系列等具有代表性的目標(biāo)檢測(cè)模型網(wǎng)絡(luò).本文采用兩階段具有代表性的FasterRCNN-ResNet50網(wǎng)絡(luò),及單階段Yolo系列的YoloV3-MobileNetV3,PPYoloTiny-MobileNetV3網(wǎng)絡(luò)進(jìn)行訓(xùn)練.

        其各自核心參數(shù)是FasterRCNN-ResNet50:運(yùn)用兩階段FasterRCNN與以ResNet50為主干網(wǎng)絡(luò),采取在COCO數(shù)據(jù)集上的預(yù)訓(xùn)練模型,輸入圖像尺寸為800×1 333,迭代輪數(shù)為12,學(xué)習(xí)率為0.002 5,Batch size為2,學(xué)習(xí)衰減輪數(shù)為[8,11];YoloV3-MobileNetV3:運(yùn)用單階段YoloV3與以MobileNetV3為主干網(wǎng)絡(luò),采取在COCO數(shù)據(jù)集上的預(yù)訓(xùn)練模型,輸入圖像尺寸為608×608,迭代輪數(shù)為100,學(xué)習(xí)率為0.004 167 7,Batch size為8,學(xué)習(xí)衰減輪數(shù)為[50,90];PPYoloTiny-MobileNetV3:運(yùn)用單階段PPYoloTiny與以MobileNetV3為主干網(wǎng)絡(luò),采取在COCO數(shù)據(jù)集上的預(yù)訓(xùn)練模型,輸入圖像尺寸為608×608,迭代輪數(shù)為100,學(xué)習(xí)率為0.004 167 7,Batch size為8,學(xué)習(xí)衰減輪數(shù)為[50,90].

        與圖像分類衡量網(wǎng)絡(luò)準(zhǔn)確率的Top1與Top5不同,目標(biāo)檢測(cè)的衡量網(wǎng)絡(luò)性能有幾個(gè)常見(jiàn)指標(biāo):IoU閾值:目標(biāo)檢測(cè)的測(cè)量符合條件依據(jù)IoU閾值判定,其表示預(yù)測(cè)框和真實(shí)標(biāo)簽框的交集與預(yù)測(cè)框和真實(shí)標(biāo)簽框的并集比值,常規(guī)設(shè)定為0.5,TP表示正樣本被識(shí)別正確的總量,F(xiàn)P表示負(fù)樣本被錯(cuò)誤識(shí)別為正樣本的總量即誤報(bào)量,F(xiàn)N表示正樣本被識(shí)別為負(fù)樣本的總量即漏報(bào)量.precision(P)表示找出正確框數(shù)量概率,即精準(zhǔn)度.recall(R)表示找出正確框的比例,即召回率.PA表示各類別目標(biāo)平均精度值,也是由PR曲線面積所表示。PR曲線面積表示精準(zhǔn)度和召回率所形成的面積,用積分計(jì)算.mPA表示所有類別的PA均值.公式如下所示:

        精準(zhǔn)度precison(P)公式為

        召回率recall(R)公式為

        3.2.4模型訓(xùn)練結(jié)果

        采用COCO預(yù)訓(xùn)練模型的FasterRCNN-ResNet50網(wǎng)絡(luò)訓(xùn)練結(jié)果如圖1所示.

        運(yùn)用FasterRCNN-ResNet50網(wǎng)絡(luò)訓(xùn)練在精準(zhǔn)率上最高的一類為acuminatus的0.800 0,最低的一類為coleoptera的0.486 5;在召回率上最高的一類為boerner的0.968 8,最低的一類為acuminatus的0.695 7;在AP上最高一類為boerner的0.969 4,最低一類為acuminatus的0.767 2.6大類別整體平均精準(zhǔn)率即mAP為0.878 2.

        采用COCO預(yù)訓(xùn)練模型的YoloV3-MobileNetV3網(wǎng)絡(luò)訓(xùn)練結(jié)果如圖2所示.

        運(yùn)用YoloV3-MobileNetV3網(wǎng)絡(luò)訓(xùn)練在精準(zhǔn)率上最高的一類為boerner的0.965 5,最低的為coleoptera與armandi兩類,同為0.680 0;在召回率上最高的一類為leconte的0.921 6,最低的一類為acuminatus的0.565 2;在AP上最高一類為boerner的0.969 1,最低一類為acuminatus的0.772 1.6大類別整體平均精準(zhǔn)率即mAP為0.877 2.

        采用COCO預(yù)訓(xùn)練模型的PPYoloTiny-MobileNetV3網(wǎng)絡(luò)訓(xùn)練結(jié)果如圖3所示.

        運(yùn)用PPYoloTiny-MobileNetV3網(wǎng)絡(luò)訓(xùn)練在精準(zhǔn)率上最高的一類為leconte的0.770 5,最低的一類為armandi的0.380 0;在召回率上最高的一類為linnaeus的1.000 0,最低的一類為acuminatus的0.478 3;在AP上最高一類為boerner的0.932 0,最低一類為armandi的0.398 2.6大類別整體平均精準(zhǔn)率即mAP為0.712 1.

        對(duì)比目標(biāo)檢測(cè)網(wǎng)絡(luò)訓(xùn)練結(jié)果可知,由FasterRCNN-ResNet50及YoloV3-MobileNetV3訓(xùn)練所得模型網(wǎng)絡(luò)mAP指標(biāo)較好,考慮模型大小、訓(xùn)練時(shí)長(zhǎng)及模型響應(yīng)時(shí)間等性能指標(biāo),YoloV3-MobileNetV3訓(xùn)練模型更適用于部署發(fā)布應(yīng)用,即適用于邊緣設(shè)備開(kāi)發(fā)部署的要求.

        3.2.5模型結(jié)果保存

        Paddle在訓(xùn)練時(shí),可根據(jù)訓(xùn)練接口的save_interval_epoch參數(shù)進(jìn)行保存模型,與目標(biāo)分類產(chǎn)生文件信息不同,網(wǎng)絡(luò)結(jié)構(gòu)信息文件名為model.pdmodel,網(wǎng)絡(luò)參數(shù)文件為model.pdiparams.這兩個(gè)文件也是作為后續(xù)EasyEdge開(kāi)源平臺(tái)模型目標(biāo)檢測(cè)部署發(fā)布所必需的信息文件.

        4 模型到端邊緣的部署實(shí)現(xiàn)

        訓(xùn)練完成的模型往往并不能直接在端的產(chǎn)品級(jí)應(yīng)用,需要根據(jù)不同型號(hào)不同硬件配置的服務(wù)端或移動(dòng)端來(lái)進(jìn)行針對(duì)性的部署和發(fā)布,如較為便捷的方式利用Docker開(kāi)源應(yīng)用容器進(jìn)行打包,將應(yīng)用包到一個(gè)可移植的鏡像中,其可在Windows或Linux系統(tǒng)上發(fā)布,但其最大一個(gè)局限性是不能在32 bit的Linux或Windows環(huán)境下使用.而開(kāi)源EasEdge可以解決所有關(guān)于模型最終發(fā)布為端產(chǎn)品的局限性問(wèn)題.提供了統(tǒng)一方案和開(kāi)源平臺(tái),讓開(kāi)發(fā)者能更高效率將訓(xùn)練模型發(fā)布于APP產(chǎn)品或應(yīng)用于服務(wù)端,嵌入式設(shè)備中.

        本實(shí)驗(yàn)采用百度開(kāi)源服務(wù)平臺(tái)EasyEdge,可將訓(xùn)練好的模型快速轉(zhuǎn)化并發(fā)布成到端的模型應(yīng)用.其產(chǎn)品包含模型中心,純離線服務(wù),端協(xié)同服務(wù)三大功能模塊部分.模型應(yīng)用部分包括自建模型和開(kāi)源模型兩類.開(kāi)源模型涵蓋近10多種開(kāi)源模型,包括圖像分類及目標(biāo)檢測(cè)等.本實(shí)驗(yàn)利用自建模型功能,訓(xùn)練模型發(fā)布使用方式如下,選擇模型中心的上傳本地模型模塊.如圖4所示.

        模型類型內(nèi)置圖像分類、物體檢測(cè)、人臉檢測(cè)、姿態(tài)估計(jì)、語(yǔ)義分割5種主流方式,模型框架涵蓋了幾乎所有現(xiàn)今主流框架,如caffe,TensorFlow,PyTorch等,且其對(duì)應(yīng)框架下也幾乎涵蓋目前主流所有模型網(wǎng)絡(luò).如圖像分類中的AlexNet,VGG系列,MobileNet系列,ResNet系列等近20余種,物體檢測(cè)中的SSD,FasterRCNN,Yolo系列,PP-Yolo系列等.

        部署昆蟲圖像分類模型網(wǎng)絡(luò):在自定義模型名稱中將本實(shí)驗(yàn)?zāi)P兔Q定為kaggle-Insect.本實(shí)驗(yàn)選擇模型的類型為圖像分類,采用PaddlePaddle框架,模型網(wǎng)絡(luò)使用MobileNet系列的MobileNetV2.網(wǎng)絡(luò)結(jié)構(gòu)采用MobileNetV2訓(xùn)練模型的_model_,網(wǎng)絡(luò)參數(shù)使用MobileNetV2訓(xùn)練模型的_params_,模型標(biāo)簽使用對(duì)應(yīng)實(shí)驗(yàn)數(shù)據(jù)集的標(biāo)簽文本即label.txt.選好相應(yīng)配置及上傳相關(guān)內(nèi)置參數(shù)文件后,點(diǎn)擊校驗(yàn)并提交模型功能按鈕.

        部署昆蟲目標(biāo)檢測(cè)模型網(wǎng)絡(luò):在自定義模型名稱中將本實(shí)驗(yàn)?zāi)P兔Q定為Yolo-Insect.本實(shí)驗(yàn)選擇模型的類型為目標(biāo)檢測(cè),采用PaddlePaddle框架,模型網(wǎng)絡(luò)使用Yolo系列的YoloV3.網(wǎng)絡(luò)結(jié)構(gòu)采用YoloV3-MobileNetV3訓(xùn)練模型的model.pdmodel,網(wǎng)絡(luò)參數(shù)使用YoloV3-MobileNetV3訓(xùn)練模型的model.pdiparams,模型標(biāo)簽使用對(duì)應(yīng)實(shí)驗(yàn)數(shù)據(jù)集的標(biāo)簽文本即label.txt.選好相應(yīng)配置及上傳相關(guān)內(nèi)置參數(shù)文件后,點(diǎn)擊校驗(yàn)并提交模型功能按鈕.

        在平臺(tái)進(jìn)行系統(tǒng)校驗(yàn)后會(huì)自動(dòng)分配模型ID及顯示對(duì)應(yīng)模型名稱,模型類型以及后續(xù)SDK操作功能.應(yīng)用生成端模型功能,會(huì)顯示相應(yīng)發(fā)布離線SDK界面(如圖5).端模型提供模型網(wǎng)絡(luò)相適用的各類芯片硬件、操作系統(tǒng).其芯片硬件涵蓋目前市面主流各類廠商產(chǎn)品,包括服務(wù)端與移動(dòng)端,如通用x86芯片、通用ARM芯片、蘋果A-Bionic、高通驍龍GPU與DSP、華為海思NPU、英特爾系列處理器、英偉達(dá)GPU等.操作系統(tǒng)也包括目前主流的移動(dòng)端Android、IOS與服務(wù)器端Windows、Linux.并且可支持單模型多版本SDK發(fā)布.

        在進(jìn)行多版本設(shè)置進(jìn)行發(fā)布后,平臺(tái)系統(tǒng)會(huì)自動(dòng)校驗(yàn)并生成對(duì)應(yīng)版本SDK.在全部模型界面下可以看到目前版本生成狀態(tài).已發(fā)布的模型版本可以進(jìn)行獲取SDK,Demo體驗(yàn)下載等操作.運(yùn)用手機(jī)瀏覽器進(jìn)行對(duì)應(yīng)SDK二維碼掃描即可下載對(duì)應(yīng)版本SDK應(yīng)用.最終實(shí)現(xiàn)模型到邊緣產(chǎn)品的發(fā)布流程.

        5 總 結(jié)

        本文在昆蟲種類識(shí)別領(lǐng)域技術(shù)基礎(chǔ)方面對(duì)卷積神經(jīng)網(wǎng)絡(luò)CNN及其發(fā)展的脈絡(luò)進(jìn)行說(shuō)明,并對(duì)目前深度學(xué)習(xí)應(yīng)用于圖像分類、目標(biāo)檢測(cè)方面的主流模型網(wǎng)絡(luò)進(jìn)行梳理,介紹了遷移學(xué)習(xí)相關(guān)的原理,結(jié)合目前昆蟲種類研究識(shí)別現(xiàn)狀,提出了一種模型到邊緣的落地場(chǎng)景的全流程開(kāi)發(fā)應(yīng)用實(shí)現(xiàn)方法.以深度學(xué)習(xí)圖像分類及目標(biāo)檢測(cè)兩方面主流模型網(wǎng)絡(luò)為主,本文在圖像分類上采用kaggle開(kāi)源昆蟲數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)集,運(yùn)用Paddle開(kāi)源框架工具,采用基于ImageNet的預(yù)訓(xùn)練模型并對(duì)比兩種目前比較流行的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)MobileNetV2和ResNet50_vd_ssld進(jìn)行遷移學(xué)習(xí)訓(xùn)練.在目標(biāo)檢測(cè)上采用百度開(kāi)源昆蟲數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)集,采用基于COCO的預(yù)訓(xùn)練模型并對(duì)比兩階段有代表性的FasterRCNN及單階段具有代表性的Yolo系列兩種網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)訓(xùn)練.并對(duì)其實(shí)驗(yàn)效果較好的圖像分類中MobileNetV2訓(xùn)練模型及目標(biāo)檢測(cè)中YoloV3-MobileNetV3訓(xùn)練模型在EasyEdge上進(jìn)行部署發(fā)布,生成了應(yīng)用于移動(dòng)端的SDK版本.完成了從模型構(gòu)建到端的落地場(chǎng)景的全流程開(kāi)發(fā)應(yīng)用實(shí)現(xiàn),為后續(xù)昆蟲圖像識(shí)別在場(chǎng)景化應(yīng)用方面的研究提供依據(jù)參考.本實(shí)驗(yàn)也存在一定局限性,如在數(shù)據(jù)集上未采用細(xì)分類數(shù)據(jù)集,只是劃分到目級(jí),對(duì)于科級(jí)和種級(jí)未進(jìn)行探究實(shí)驗(yàn),對(duì)于像昆蟲種類較為細(xì)化的圖像識(shí)別領(lǐng)域訓(xùn)練模型不夠細(xì)化,目標(biāo)檢測(cè)場(chǎng)景化數(shù)據(jù)性較弱.這也是今后需要繼續(xù)深入研究的方向.

        猜你喜歡
        檢測(cè)模型
        一半模型
        “不等式”檢測(cè)題
        “一元一次不等式”檢測(cè)題
        “一元一次不等式組”檢測(cè)題
        “幾何圖形”檢測(cè)題
        “角”檢測(cè)題
        重要模型『一線三等角』
        重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
        3D打印中的模型分割與打包
        小波變換在PCB缺陷檢測(cè)中的應(yīng)用
        日本理论片一区二区三区| 欧美激情内射喷水高潮| 国产精品久久久免费精品| 久久久久免费精品国产| 国产熟妇疯狂4p交在线播放| 国内成+人 亚洲+欧美+综合在线 | 亚洲av无码日韩精品影片| 亚洲色图综合免费视频| 97女厕偷拍一区二区三区 | 久久国产精品99精品国产987| 东风日产系列全部车型| 白嫩少妇在线喷水18禁 | 亚洲国产精品久久久久久无码| 国产内射爽爽大片视频社区在线| 任你躁国产自任一区二区三区 | 精品四虎免费观看国产高清| 欧美日韩一线| 日韩精品夜色二区91久久久| 国产3p一区二区三区精品| 国产精品黑丝美女啪啪啪| 性刺激的大陆三级视频| 99久久久无码国产精品6| 免费无码成人av在线播| 国产成人亚洲精品77| 国产综合一区二区三区av| 亚洲精品一区二区高清| 4hu四虎永久免费地址ww416| 久激情内射婷内射蜜桃| 乱码午夜-极品国产内射| 国产又黄又爽又无遮挡的视频| 国产一区二区在线观看视频免费| 国产精品伦理久久一区| 无码人妻精品一区二区三| 先锋影音最新色资源站| 成年女人免费v片| 亚洲av乱码国产精品观看麻豆| 国产一区二区三区视频在线观看| 十八禁视频网站在线观看| 亚洲 精品 综合 精品 自拍| 精品人无码一区二区三区| 国内精品久久久久影院蜜芽|