謝州益,胡彥蓉

(浙江農(nóng)林大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院/浙江省林業(yè)智能監(jiān)測(cè)與信息技術(shù)研究重點(diǎn)實(shí)驗(yàn)室/林業(yè)感知技術(shù)與智能裝備國(guó)家林業(yè)和草原局重點(diǎn)實(shí)驗(yàn)室,浙江 杭州 311300)

花卉定位與識(shí)別是自動(dòng)化機(jī)械分類采摘的重要依據(jù),在推進(jìn)園藝種植自動(dòng)化的今天,實(shí)現(xiàn)對(duì)鮮花的實(shí)時(shí)檢測(cè)與定位,已成為復(fù)雜生長(zhǎng)環(huán)境下做出決策的重要環(huán)節(jié)。隨著全面小康的實(shí)現(xiàn),人們開(kāi)始追求更高品質(zhì)的生活,在欣賞花的同時(shí),如果能準(zhǔn)確獲知其種類,對(duì)于花卉知識(shí)的普及和產(chǎn)業(yè)的發(fā)展具有重要意義。

傳統(tǒng)依靠專家觀察、利用參考圖片輔以文字的識(shí)別方法,由于缺乏對(duì)文字描述的統(tǒng)一理解,不利于機(jī)械自動(dòng)化作業(yè),而且憑主觀經(jīng)驗(yàn)判斷需要具備較高的專業(yè)素養(yǎng)。近些年,基于模型的目標(biāo)分類[1-2]被應(yīng)用于植物病害識(shí)別領(lǐng)域。如:將人工提取到的紋理、顏色、方向梯度直方圖(histogram of oriented gradient,HOG)等特征輸入分類器獲得預(yù)測(cè)結(jié)果;將環(huán)境因素作為重要影響因子,結(jié)合葉片的其他屬性因子獲得分類結(jié)果[3];基于顯著性分析確定茶園害蟲(chóng)潛在區(qū)域,實(shí)現(xiàn)了復(fù)雜背景下的目標(biāo)定位[4]。但早期方法對(duì)特征的選擇單一,以Faster R-CNN[5]為代表的two-stage檢測(cè)器和以SSD[6]、YOLO系列[7-11]為代表的one-stage模式,這類基于深度學(xué)習(xí)的目標(biāo)檢測(cè)能有效克服人工選取特征適用性不強(qiáng)的缺點(diǎn)。任意平等[12]對(duì)比大量花卉圖片發(fā)現(xiàn)花蕊紋路、形狀差異較大,通過(guò)Faster R-CNN首先定位花蕊區(qū)域,再進(jìn)行種類識(shí)別顯著提升了局部遮擋下的目標(biāo)識(shí)別精度;鄭凱等[13]基于Mask R-CNN,提出混合空洞卷積方法使卷積運(yùn)算覆蓋所有像素,對(duì)茄子花做了像素級(jí)的分割。由于two-stage框架的檢測(cè)速度慢,較基于先驗(yàn)框算法的實(shí)時(shí)性差,一些優(yōu)秀的one-stage框架被提出,常見(jiàn)的有:引入FPN實(shí)現(xiàn)多尺度預(yù)測(cè)的YOLOv3[9]算法;加入CSPNet網(wǎng)絡(luò)并添加SPP和PANet結(jié)構(gòu)加強(qiáng)特征提取的YOLOv4[10]模型;采用深度可分離卷積和BiFPN實(shí)現(xiàn)實(shí)時(shí)準(zhǔn)確檢測(cè)的EfficientDet[14];利用TUM和FFM模塊加強(qiáng)特征提取的M2Det[15];以Focal loss訓(xùn)練以平衡正負(fù)樣本,提高檢測(cè)效果的RetinaNet[16]和無(wú)先驗(yàn)框檢測(cè)的CenterNet[17]。針對(duì)月季花瓣重疊度高的問(wèn)題,王雪琰等[18]使用4種深度學(xué)習(xí)模型分類同種不同類的相似月季;王楊等[19]使用SE-layer結(jié)合Triplet Attention構(gòu)建加強(qiáng)特征提取網(wǎng)絡(luò),提升模型對(duì)隱藏目標(biāo)的檢索能力;方健等[20]利用特征融合、融入注意力機(jī)制的膨脹卷積模塊,提高了多目標(biāo)遮擋下小物體的檢測(cè)效果;針對(duì)靜態(tài)圖像只能處理單個(gè)場(chǎng)景的問(wèn)題,Tian等[21]將SSD算法引入花卉視頻流檢測(cè)中,提高了應(yīng)用場(chǎng)景范圍。

現(xiàn)有目標(biāo)檢測(cè)的相關(guān)文獻(xiàn)多是對(duì)算法進(jìn)行改進(jìn),在農(nóng)業(yè)特別是花卉目標(biāo)檢測(cè)領(lǐng)域的研究偏少。因此,本文基于YOLOv4模型對(duì)常見(jiàn)花卉的目標(biāo)檢測(cè)進(jìn)行了研究,引入輕量化神經(jīng)網(wǎng)絡(luò)MobileNetV3[22]替換主干CSPDarknet53簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu),并在路徑聚合網(wǎng)絡(luò)部分利用深度可分離卷積替換普通卷積,改進(jìn)預(yù)選框設(shè)定方法后對(duì)訓(xùn)練方式進(jìn)行優(yōu)化,最終得到的模型以較少的精度損失大幅降低了參數(shù)和模型大小,最后在此基礎(chǔ)上實(shí)現(xiàn)花卉目標(biāo)檢測(cè)系統(tǒng)。該系統(tǒng)具有低載荷、高精度、快速識(shí)別等優(yōu)勢(shì),在為用戶提供更好使用體驗(yàn)的同時(shí),也為農(nóng)作物自動(dòng)化采摘提供了理論依據(jù)和技術(shù)支持。

1 系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)開(kāi)發(fā)環(huán)境

本文采用Python的GUI模塊庫(kù)PyQt5設(shè)計(jì)圖形化用戶交互界面,系統(tǒng)流程如圖 1所示,用戶上傳的圖片經(jīng)縮放后被傳輸?shù)椒?wù)器,通過(guò)調(diào)用訓(xùn)練好的模型將識(shí)別結(jié)果返回,并在頁(yè)面上呈現(xiàn)給用戶。軟件環(huán)境為Windows10的64位操作系統(tǒng),Python3.7、TensorFlow2.3.0、Keras2.4.3;硬件環(huán)境:計(jì)算機(jī)內(nèi)存8 GB,搭載Intel(R)Core(TM)i7-9750HF CPU@2.60 GHz處理器;PyQt5的開(kāi)發(fā)必備工具:Python解釋器、PyCharm2019.3和PyQt5相關(guān)的模塊。

圖1 多目標(biāo)花卉識(shí)別系統(tǒng)流程圖Fig.1 Flowchart of multi-target recognition system of flowers

圖2 圖像預(yù)處理模塊Fig.2 Image preprocessing module

1.2 軟件設(shè)計(jì)

1.2.1 圖像預(yù)處理模塊圖像預(yù)處理是花卉識(shí)別的重要環(huán)節(jié),由于拍攝后上傳到本地的圖像可能會(huì)有噪聲、對(duì)比度不明顯等問(wèn)題,需要設(shè)計(jì)預(yù)處理模塊來(lái)實(shí)現(xiàn)圖像的前期處理,并對(duì)操作結(jié)果進(jìn)行實(shí)時(shí)反饋及存儲(chǔ)。該模塊的界面主要包括選擇圖片、圖像平滑、圖像均衡化等8個(gè)功能按鍵(圖 2),按下選擇圖片就會(huì)打開(kāi)本地圖庫(kù),選擇后單擊基本操作,便將對(duì)應(yīng)的處理結(jié)果顯示在下方,圖2所示是選擇了向日葵圖像后經(jīng)圖像均衡化處理后的結(jié)果,此時(shí)該結(jié)果已保存至后臺(tái),方便進(jìn)行下一步操作。

1.2.2 花卉目標(biāo)檢測(cè)模塊目標(biāo)檢測(cè)模塊是部署本文算法的核心模塊,在計(jì)算機(jī)上得到的.h5模型與系統(tǒng)部署同屬一個(gè)編譯環(huán)境,可以減少諸多限制因素,模型部署的流程包括模型準(zhǔn)備、軟件安裝和配置、模型導(dǎo)入和參數(shù)修改、測(cè)試與驗(yàn)證。部署完成后選擇圖像或視頻進(jìn)行驗(yàn)證和測(cè)試。

圖3是靜態(tài)圖像檢測(cè)(a)、視頻檢測(cè)(b)以及實(shí)時(shí)目標(biāo)檢測(cè)(c)的示例,在已經(jīng)編寫(xiě)的圖形化界面中有選擇圖片、打開(kāi)實(shí)時(shí)目標(biāo)檢測(cè)攝像頭和運(yùn)行3個(gè)按鈕。使用過(guò)程中,用戶點(diǎn)擊選擇圖片可以在本地圖片庫(kù)中選擇靜態(tài)圖片或視頻,選擇完成后在右側(cè)文件路徑下方顯示剛剛選擇文件的絕對(duì)路徑,選好文件后點(diǎn)擊運(yùn)行按鈕,圖像將被壓縮到固定大小(416×416)后輸入模型中進(jìn)行計(jì)算,左下方等待識(shí)別區(qū)域是返回的檢測(cè)結(jié)果,右側(cè)下方顯示計(jì)算機(jī)檢測(cè)該圖像的運(yùn)行時(shí)間。示例圖中顯示該靜態(tài)圖像的檢測(cè)時(shí)間是0.08 s,系統(tǒng)還會(huì)把識(shí)別到的花卉詳細(xì)位置坐標(biāo)反饋給用戶,視頻的檢測(cè)也是重復(fù)上述操作步驟,在框選出目標(biāo)位置的同時(shí)顯示對(duì)該目標(biāo)檢測(cè)框的置信度,置信度越高說(shuō)明判斷為該類別的可靠性越強(qiáng)。

圖3 多目標(biāo)花卉識(shí)別系統(tǒng)檢測(cè)示例Fig.3 Detection example of multi-target recognition system of flowers

2 材料與方法

2.1 數(shù)據(jù)采集

以Kaggle花卉數(shù)據(jù)集(https://www.kaggle.com/alxmamaev/flowers-recognition)中包含的5種常見(jiàn)花卉作為研究對(duì)象,整理后發(fā)現(xiàn)樣本中存在一些非花卉、分辨率不足或是分類錯(cuò)誤的圖片,需要對(duì)圖像數(shù)據(jù)進(jìn)行篩選,同時(shí)為豐富數(shù)據(jù)集,添加少量網(wǎng)絡(luò)圖像作為戶外拍攝場(chǎng)景下的照片補(bǔ)充,以此構(gòu)造可靠的訓(xùn)練數(shù)據(jù)集。網(wǎng)絡(luò)圖像是基于Python中的selenium工具,通過(guò)模擬瀏覽器登錄,讓爬蟲(chóng)控制瀏覽器來(lái)爬取百度(https://image.baidu.com/)上的圖片,經(jīng)翻轉(zhuǎn)、裁剪后最終獲得原始花卉圖像3 486張,5類花卉分別是小雛菊、蒲公英、玫瑰、向日葵和郁金香,其中圖片數(shù)量最多的蒲公英約900張,最少的玫瑰也有579張,保證每種類別花卉圖片的數(shù)量在600～800張。

2.2 數(shù)據(jù)集制作

試驗(yàn)中為凸顯圖像重要特征,降低光照等客觀因素對(duì)后續(xù)特征提取的影響,利用去噪、直方圖均衡等預(yù)處理有效增強(qiáng)圖像,增大對(duì)比度和清晰度,然后按8∶1∶1的比例將數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,使用Python編寫(xiě)的圖形圖像注釋工具labelImg對(duì)目標(biāo)進(jìn)行標(biāo)注,形成PASCAL VOC格式的XML文件。

2.3 算法設(shè)計(jì)優(yōu)化

YOLOv4是一種相對(duì)高效的目標(biāo)檢測(cè)算法,其大體結(jié)構(gòu)與YOLOv3類似,作為YOLOv3的加強(qiáng)版,該算法在原有網(wǎng)絡(luò)Darknet53的基礎(chǔ)上修改resblock_body,運(yùn)用CSPNet(圖 4)結(jié)構(gòu)、Mish激活函數(shù)提高檢測(cè)精度。加強(qiáng)特征提取模塊改變YOLOv3中僅有上采樣過(guò)程的特征金字塔結(jié)構(gòu)(feature pyramid networks,FPN),通過(guò)上采樣和下采樣2個(gè)過(guò)程,加強(qiáng)初步特征和深層特征的融合。但實(shí)際應(yīng)用場(chǎng)景對(duì)檢測(cè)模型的尺寸和實(shí)時(shí)性提出了更高的要求,由于傳統(tǒng)的YOLOv4模型參數(shù)量大、運(yùn)算速度慢,本研究在原有網(wǎng)絡(luò)的基礎(chǔ)上,通過(guò)替換主干特征提取網(wǎng)絡(luò)、簡(jiǎn)化路徑聚合網(wǎng)絡(luò)的方式實(shí)現(xiàn)模型參數(shù)的縮減,同時(shí)探討預(yù)設(shè)框的尺寸和訓(xùn)練技巧對(duì)算法性能的影響。

圖4 殘差卷積(左)和CSPNet結(jié)構(gòu)(右)對(duì)比Fig.4 Comparison of residual convolution(left)and CSPNet structure(right)

2.3.1 主干特征提取網(wǎng)絡(luò)算法優(yōu)化首先利用輕量級(jí)CNN替換YOLOv4中的主干特征提取網(wǎng)絡(luò),MobileNetV3中使用了_Bneck結(jié)構(gòu)塊,具體結(jié)構(gòu)如圖 5所示。_Bneck主干部分首先對(duì)輸入進(jìn)行升維,再利用深度可分離卷積完成特征提取,然后通過(guò)施加輕量級(jí)的注意力機(jī)制來(lái)調(diào)整每個(gè)通道的權(quán)重,最后將降維后的輸出與殘差邊部分相加。_Bneck結(jié)構(gòu)的特殊之處在于融合深度可分離卷積、殘差倒置結(jié)構(gòu)以及注意力機(jī)制來(lái)加強(qiáng)特征融合。

圖5 _Bneck結(jié)構(gòu)示意圖Fig.5 Schematic diagram of _Bneck structure

深度可分離卷積將普通卷積拆分為逐通道卷積和逐點(diǎn)卷積兩部分,首先對(duì)每一通道單獨(dú)卷積,產(chǎn)生和輸入通道數(shù)一致的特征圖輸出,再利用1×1的卷積核進(jìn)行單點(diǎn)上的特征提取。假設(shè)特征圖輸入和輸出尺寸分別為DF×DF×M、DF×DF×N,卷積核尺寸為DK×DK×M,其中DF為特征圖的寬/高,M和N分別為輸入和輸出的通道數(shù),DK為卷積核的寬/高。標(biāo)準(zhǔn)卷積下的參數(shù)量為(DK×DK×M)×N,而深度可分離卷積中深度卷積參數(shù)量為(DK×DK×1)×M,逐點(diǎn)卷積參數(shù)量為(1×1×M)×N,當(dāng)使用尺寸大小為3×3的卷積核時(shí),深度可分離卷積的模型計(jì)算參數(shù)約是標(biāo)準(zhǔn)卷積的1/10。

由于深度可分離卷積的使用會(huì)使網(wǎng)絡(luò)層數(shù)增加,過(guò)深的模型容易產(chǎn)生梯度彌散而導(dǎo)致訓(xùn)練無(wú)法收斂,可通過(guò)引入殘差結(jié)構(gòu)來(lái)改進(jìn)映射。該結(jié)構(gòu)最顯著的特點(diǎn)是多了1條實(shí)現(xiàn)輸入和輸出之間數(shù)據(jù)疊加的捷徑連接,這種連接并不會(huì)增加參數(shù)數(shù)量和計(jì)算復(fù)雜度,卻可以有效避免梯度消失,從而在加深網(wǎng)絡(luò)的同時(shí)提高模型表達(dá)能力。傳統(tǒng)殘差模型采用先壓縮通道數(shù),卷積后再擴(kuò)張通道數(shù)的策略,這種方式會(huì)降低特征提取能力,為此MobileNetV3采用了殘差倒置方式,利用瓶頸結(jié)構(gòu)減少訓(xùn)練參數(shù)的主干部分,先1×1卷積升維,然后利用3×3的深度可分離卷積進(jìn)行特征提取,最后用1×1卷積降維,在減少計(jì)算量的同時(shí)加強(qiáng)特征提取能力。

在注意力機(jī)制方面,本文對(duì)特征提取后的結(jié)果進(jìn)行全局平均池化,添加高和寬的維度后,利用全卷積代替2個(gè)全連接層的方式施加注意力,這樣網(wǎng)絡(luò)就無(wú)需限定輸入圖像的分辨率,利用靈活的網(wǎng)絡(luò)結(jié)構(gòu)加上1×1卷積代替全連接,在達(dá)到稀疏全連接的同時(shí)大大提高計(jì)算效率。

2.3.2 路徑聚合網(wǎng)絡(luò)簡(jiǎn)化特征金字塔網(wǎng)絡(luò)主要針對(duì)多尺度的特征圖,自上而下將深層網(wǎng)絡(luò)提取到的高層特征傳遞到低層進(jìn)行特征融合,增強(qiáng)了語(yǔ)義信息卻忽視了位置信息。YOLOv4的路徑聚合網(wǎng)絡(luò)(path aggression network,PANet)針對(duì)該缺點(diǎn)采用了自底向上的策略,先對(duì)空間金字塔池化網(wǎng)絡(luò)(spatial pyramid pooling networks,SPPNet)多尺度最大池化后的輸出進(jìn)行上采樣,加強(qiáng)特征融合,然后下采樣將淺層網(wǎng)絡(luò)提取的信息傳遞到深層網(wǎng)絡(luò)中,更好地保留物體的位置信息。一系列的上采樣和下采樣使YOLOv4的訓(xùn)練參數(shù)主要集中在PANet結(jié)構(gòu)塊中,為了降低模型復(fù)雜度,同時(shí)保證對(duì)小目標(biāo)的檢測(cè)精度,本文不考慮通過(guò)減少網(wǎng)絡(luò)層來(lái)簡(jiǎn)化模型,而是參考MobileNetV3中的深度可分離卷積,將原始PANet網(wǎng)絡(luò)中的3×3普通卷積更改為深度可分離卷積來(lái)獲得更快的檢測(cè)速度。卷積更改前后的對(duì)比如圖 6所示,激活函數(shù)改為ReLU6的目的在于增強(qiáng)浮點(diǎn)數(shù)的小數(shù)位表達(dá)能力,降低精度損失的同時(shí)防止數(shù)值爆炸。

圖6 卷積改進(jìn)前(左)和后(右)結(jié)構(gòu)對(duì)比Fig.6 Comparison of improved convolution structures before(left)and after(right)

采用上述優(yōu)化主干特征提取網(wǎng)絡(luò)和簡(jiǎn)化PANet后的整體模型結(jié)構(gòu)如圖 7所示,圖中對(duì)CBA(convolution batch normalization activation)、DCBA(depthwise separable convolution batch normalization activation)、5_Convs和SPP(spatial pyramid pooling)的具體結(jié)構(gòu)也做了介紹,將大小為416×416×3的圖片輸入目標(biāo)檢測(cè)模型,最終得到13×13、26×26、52×52的預(yù)測(cè)網(wǎng)格,模型的預(yù)測(cè)結(jié)果可以判斷網(wǎng)格點(diǎn)是否包含物體以及物體的種類,最終通過(guò)對(duì)先驗(yàn)框的調(diào)整獲得預(yù)測(cè)框。

圖7 改進(jìn)后的MobileNetV3-YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Network structure of improved MobileNetV3-YOLOv4

2.3.3 改進(jìn)預(yù)選框生成方式K-means聚類算法是一種迭代求解聚類中心的分析方法,隨機(jī)選擇k個(gè)對(duì)象作為初始聚類中心,通過(guò)計(jì)算每個(gè)對(duì)象到各個(gè)中心的距離,將其派給距離最近的聚類中心,每指派1個(gè)樣本,聚類中心就會(huì)根據(jù)現(xiàn)有的對(duì)象被重新計(jì)算,重復(fù)這個(gè)過(guò)程直到聚類中心不再發(fā)生變化。為了提高檢測(cè)速度,本文根據(jù)人工標(biāo)注的真實(shí)目標(biāo)框基于K-means聚類算法生成9簇預(yù)設(shè)的錨框,但在訓(xùn)練自己的數(shù)據(jù)集時(shí),發(fā)現(xiàn)僅采取這種方法得到模型的預(yù)測(cè)效果并不好。經(jīng)研究發(fā)現(xiàn),錨框的選擇和數(shù)據(jù)集有很大關(guān)系,在使用自構(gòu)建的數(shù)據(jù)進(jìn)行訓(xùn)練時(shí),數(shù)據(jù)集的類型單一,人工標(biāo)記的真實(shí)框大小尺寸相對(duì)集中,僅僅通過(guò)K-means聚類產(chǎn)生的錨框大小也相對(duì)集中,無(wú)法體現(xiàn)模型的多尺度輸出優(yōu)勢(shì)。因此本文改進(jìn)了預(yù)選框的生成辦法,使用線性尺度縮放的方式,將聚類生成的錨框尺寸優(yōu)化,通過(guò)拉伸錨框以提升模型的檢測(cè)精度,最終的錨框參數(shù)如表1所示。

表1 改進(jìn)后預(yù)選框值Table 1 Improved preselection box value

圖8 花卉圖像的馬賽克數(shù)據(jù)增強(qiáng)示例Fig.8 Mosaic data augmentation example of flower images

(1)

(2)馬賽克(Mosaic)數(shù)據(jù)增強(qiáng)。馬賽克數(shù)據(jù)增強(qiáng)是YOLOv4訓(xùn)練模型的一大技巧,參考了理論上具有相似性的CutMix數(shù)據(jù)增強(qiáng)方式,圖 8是馬賽克數(shù)據(jù)增強(qiáng)后的結(jié)果。該方法每次讀取4張圖片,并將拼接結(jié)果傳入神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí),優(yōu)點(diǎn)是豐富檢測(cè)物體的背景,而試驗(yàn)中的訓(xùn)練穩(wěn)定性略差,具體步驟如下:

①依次讀取4張圖片;

②分別通過(guò)翻轉(zhuǎn)、縮放和改變色域的方式將更改后的圖片放置于4個(gè)方向;

③利用矩陣的方式截取4張圖片的固定位置,組合圖片和標(biāo)注框。

3 結(jié)果與分析

訓(xùn)練均采用遷移學(xué)習(xí)的訓(xùn)練方式,解凍前的學(xué)習(xí)率為10-3,每個(gè)批次訓(xùn)練8張圖片,然后對(duì)模型進(jìn)行微調(diào),解凍后學(xué)習(xí)率調(diào)整為10-4,每批次訓(xùn)練減小至4張圖片,最終驗(yàn)證改進(jìn)方法在不同學(xué)習(xí)策略下的識(shí)別準(zhǔn)確率,并對(duì)結(jié)果進(jìn)行綜合分析。每秒傳輸幀數(shù)(frames per second,FPS)越大,顯示的流暢程度越好;召回率(recall)是衡量模型對(duì)花卉目標(biāo)檢測(cè)的覆蓋能力,表示識(shí)別出的花卉目標(biāo)的比例;精確度(precision)是正確識(shí)別的目標(biāo)在所有識(shí)別目標(biāo)中的比例,平均精度(average precision,AP)是每一類別精確度的平均值。計(jì)算出AP后,對(duì)所有類別的AP求平均值則得到整個(gè)數(shù)據(jù)集上的平均精度均值(mean average precision,mAP),mAP是目標(biāo)檢測(cè)中最重要的指標(biāo),用來(lái)衡量檢測(cè)性能。

3.1 模型性能分析

分析改進(jìn)后的目標(biāo)檢測(cè)網(wǎng)絡(luò)在mAP和FPS指標(biāo)上的變化(表 2),可以看到簡(jiǎn)化后網(wǎng)絡(luò)的mAP略有下降,但幀頻率從11.21提升至30左右,滿足了實(shí)時(shí)檢測(cè)的需求。對(duì)比現(xiàn)有的目標(biāo)檢測(cè)模型,發(fā)現(xiàn)使用TUM模塊進(jìn)行U型特征提取,再利用FFM模塊進(jìn)行特征融合的M2Det對(duì)特征的提取效果最好,5類花卉檢測(cè)中的平均精度均值達(dá)到83.52%,但FPS僅有12.43,難以滿足實(shí)時(shí)檢測(cè)的條件;無(wú)先驗(yàn)框的CenterNet在本文數(shù)據(jù)集上的效果相對(duì)較差,僅為77.66%;而RetinaNet在2種評(píng)價(jià)指標(biāo)上的表現(xiàn)都不是特別理想。

比較基于K-means聚類的預(yù)設(shè)框和優(yōu)化預(yù)設(shè)框下的訓(xùn)練結(jié)果,發(fā)現(xiàn)兩者在改進(jìn)后模型中的表現(xiàn)略有差異,但在衡量目標(biāo)檢測(cè)算法最重要的指標(biāo)mAP上,經(jīng)過(guò)線性尺度縮放拉伸錨框后的檢測(cè)結(jié)果更具優(yōu)勢(shì),高于傳統(tǒng)聚類生成錨框模型0.99%。原因是K-means算法雖然會(huì)對(duì)數(shù)據(jù)集中的目標(biāo)框進(jìn)行聚類,但由于標(biāo)注的數(shù)據(jù)集中的目標(biāo)框大小相近,聚類出的9個(gè)候選框相差不大,因?yàn)椴煌奶卣鲗舆m合不同大小的先驗(yàn)框,淺層特征適合較大的先驗(yàn)框,而聚類得到近似尺寸的預(yù)設(shè)框反而不利于模型的訓(xùn)練。經(jīng)過(guò)線性尺度縮放后得到的預(yù)設(shè)框更符合模型多尺度輸出,其泛化能力也就越好。較大的錨框在將淺層網(wǎng)絡(luò)提取的特征信息傳遞到深層網(wǎng)絡(luò)的同時(shí),保留了淺層網(wǎng)絡(luò)中的特征,也能更好地對(duì)目標(biāo)進(jìn)行定位。

表2 模型對(duì)比結(jié)果Table 2 Model comparison experimental results

為體現(xiàn)本文模型在硬件需求上的優(yōu)勢(shì),選擇相同試驗(yàn)條件下的內(nèi)存占用、顯存占用、訓(xùn)練參數(shù)和模型尺寸這4個(gè)指標(biāo)來(lái)衡量算法的復(fù)雜度。表3展示了幾種模型在進(jìn)行預(yù)測(cè)時(shí)對(duì)硬件資源的消耗,可知內(nèi)存和顯存的占用量基本和模型復(fù)雜度呈正比,訓(xùn)練參數(shù)越大,分配的資源也就越多。改進(jìn)后模型的訓(xùn)練參數(shù)由原來(lái)的6千多萬(wàn)降至1千多萬(wàn),訓(xùn)練完成后得到的模型尺寸也由原來(lái)的245 MB縮小至44.3 MB,而較小的模型更有利于系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn),具備在低配置電腦中運(yùn)行的現(xiàn)實(shí)意義。

表3 模型的復(fù)雜度分析Table 3 Complexity analysis of model

進(jìn)一步定量分析試驗(yàn)結(jié)果,計(jì)算模型改進(jìn)前、后在每類花卉上的各項(xiàng)指標(biāo),由表4可知,原始模型在向日葵上的識(shí)別精度最高,為89.30%,而最低的玫瑰僅為71.52%,說(shuō)明該模型對(duì)不同類型花卉的識(shí)別魯棒性不強(qiáng);經(jīng)K-means聚類方法計(jì)算得到anchor后訓(xùn)練的模型在郁金香上的AP最高,達(dá)到81.61%,最低的玫瑰也有76.26%,模型在5類花卉間的AP值差距相對(duì)較小;而線性尺度縮放優(yōu)化聚類錨框后的模型在向日葵上最高AP值為86.68%,高出優(yōu)化前模型最高值5.07%,最低為74.42%,高出原始模型中的最小值2.90%。

在衡量準(zhǔn)確率和召回率的綜合指標(biāo)F1上,改進(jìn)anchor的模型平均值介于原始方法和聚類anchor之間,而查看單一指標(biāo)時(shí)會(huì)發(fā)現(xiàn)原始方法的召回率較高,但犧牲了檢測(cè)的精確率,最低精確率僅為83.80%,改進(jìn)后的模型在每類花卉上的檢測(cè)精確率均能保持在85%以上,證明網(wǎng)絡(luò)具有更強(qiáng)的泛化能力。

表4 模型性能參數(shù)對(duì)比Table 4 Comparison of performance parameters of models

3.2 對(duì)比試驗(yàn)及分析

通過(guò)前面的試驗(yàn)發(fā)現(xiàn)改進(jìn)的網(wǎng)絡(luò)以較少的精度損失大幅降低了網(wǎng)絡(luò)的計(jì)算參數(shù)數(shù)量,特別是改進(jìn)聚類錨框算法后訓(xùn)練得到的模型mAP值僅與原網(wǎng)絡(luò)相差0.03%,幾乎可以忽略不計(jì),卻可以滿足實(shí)時(shí)檢測(cè)的需求。為了進(jìn)一步探討改進(jìn)的錨框選取方法和訓(xùn)練策略對(duì)模型檢測(cè)效果的影響,設(shè)計(jì)試驗(yàn)探究anchor選擇、學(xué)習(xí)率衰減方法和馬賽克數(shù)據(jù)增強(qiáng)對(duì)檢測(cè)性能的影響,對(duì)照試驗(yàn)設(shè)計(jì)及mAP指標(biāo)結(jié)果如表 5所示。相同試驗(yàn)條件下改進(jìn)anchor選取方法后模型的性能較聚類生成的anchor好。進(jìn)一步探討在改進(jìn)anchor前提下的學(xué)習(xí)率衰減方式對(duì)檢測(cè)效果的影響,試驗(yàn)結(jié)果表明,余弦退火算法以學(xué)習(xí)率跳變的方式“跳出”局部最小值,從而達(dá)到全局最優(yōu),采用指數(shù)衰減訓(xùn)練方式的mAP值相較余弦退火低了2.59%,而馬賽克數(shù)據(jù)增強(qiáng)方法穩(wěn)定性欠佳,在本試驗(yàn)中的表現(xiàn)一般。

表5 對(duì)照試驗(yàn)設(shè)計(jì)Table 5 Controlled experimental design

上述4種訓(xùn)練策略下的損失函數(shù)下降曲線如圖 9所示,發(fā)現(xiàn)前11個(gè)epoch,使用指數(shù)衰減算法訓(xùn)練的Loss曲線收斂更快,11個(gè)epoch后曲線波動(dòng)不大但仍有小幅下降趨勢(shì),在11至27個(gè)epoch范圍內(nèi),使用了余弦退火衰減算法的Loss曲線下降并達(dá)到了更低值,說(shuō)明可以有效跳出局部最優(yōu)解,達(dá)到全局最優(yōu)的目的,此時(shí)曲線整體已經(jīng)沒(méi)有下降趨勢(shì),可認(rèn)為模型已經(jīng)收斂。

圖10展示了4種訓(xùn)練策略下的檢測(cè)結(jié)果,可以看到基于聚類anchor的模型預(yù)測(cè)結(jié)果并不理想,預(yù)測(cè)框的得分低且漏檢現(xiàn)象較為嚴(yán)重;指數(shù)學(xué)習(xí)率衰減和馬賽克訓(xùn)練技巧下的模型檢測(cè)效果也不好,都存在一定程度的漏檢,而改進(jìn)后的模型在不使用馬賽克增強(qiáng),學(xué)習(xí)率衰減采用余弦退火算法下的檢測(cè)性能最好,能夠有效緩解局部遮擋下的漏檢問(wèn)題,證明了本文方法的有效性。

圖9 對(duì)比試驗(yàn)的loss訓(xùn)練曲線Fig.9 Loss training curve of comparative experiment①②③④分別對(duì)應(yīng)表5中的訓(xùn)練策略。下同。①②③④ correspond to the training strategies in Table 5 respectively.The same below.

圖10 檢測(cè)結(jié)果對(duì)比Fig.10 Comparison of test results

4 結(jié)論

1)本文在YOLOv4基礎(chǔ)上設(shè)計(jì)的輕量級(jí)目標(biāo)檢測(cè)模型,通過(guò)替換主干網(wǎng)絡(luò)降低模型復(fù)雜度,并在路徑聚合網(wǎng)絡(luò)部分引入深度可分離卷積大幅減少訓(xùn)練參數(shù),利用線性尺度縮放優(yōu)化基于K-means聚類的預(yù)選框尺寸,并結(jié)合多種學(xué)習(xí)策略訓(xùn)練模型,在最小化精度損失的前提下加速模型訓(xùn)練速度。試驗(yàn)結(jié)果表明,改進(jìn)后模型的mAP值略微降低,但檢測(cè)速度和均衡性都得到了提高,單類別花卉的最高檢測(cè)精度達(dá)到96.43%,并能滿足實(shí)時(shí)檢測(cè)的條件,訓(xùn)練后的模型尺寸也由原來(lái)的245 MB降至44.3 MB。

2)本文設(shè)計(jì)實(shí)現(xiàn)的花卉目標(biāo)檢測(cè)系統(tǒng),可以為用戶提供圖像預(yù)處理操作,以交互處理方式增加用戶體驗(yàn)感,通過(guò)選擇靜態(tài)圖像或視頻,系統(tǒng)將檢測(cè)結(jié)果反饋給用戶。

3)由于缺少常見(jiàn)花卉的大規(guī)模數(shù)據(jù)集,為進(jìn)一步提高模型的泛化性和魯棒性,需要采集更多、更復(fù)雜場(chǎng)景下的數(shù)據(jù),同時(shí)規(guī)范數(shù)據(jù)標(biāo)注的標(biāo)準(zhǔn),確保目標(biāo)框集合的準(zhǔn)確性與統(tǒng)一性。

4)由于本文僅實(shí)現(xiàn)了輕量化網(wǎng)絡(luò)在PC端中的花卉目標(biāo)檢測(cè)系統(tǒng),算法未在移動(dòng)設(shè)備上進(jìn)行驗(yàn)證,需要進(jìn)一步研究輕量化模型在移動(dòng)端的部署。