朱德利，林智健

(1 重慶師范大學(xué) 計(jì)算機(jī)與信息科學(xué)學(xué)院，重慶 401331； 2 重慶市數(shù)字農(nóng)業(yè)服務(wù)工程技術(shù)研究中心，重慶 401331)

玉米是中國(guó)主產(chǎn)農(nóng)作物之一，在我國(guó)國(guó)民經(jīng)濟(jì)中具有舉足輕重的作用。現(xiàn)階段對(duì)玉米生長(zhǎng)狀態(tài)的監(jiān)控和產(chǎn)量的預(yù)測(cè)主要還是人工方式[1]，主要原因是玉米生長(zhǎng)狀態(tài)特征不容易自動(dòng)提取，果穗性狀在生長(zhǎng)周期內(nèi)變化較大。玉米是雌雄同體異花，雌花在植株的葉腋位置，雄花在植株的頂部位置[2]。玉米穗絲作為授粉器官，不同生長(zhǎng)階段的性狀對(duì)玉米生長(zhǎng)狀況的監(jiān)控[3]和果穗產(chǎn)量的預(yù)測(cè)有重要的參考意義。監(jiān)控玉米穗絲的重要一步即是對(duì)其所處的位置進(jìn)行檢測(cè)。

不同生長(zhǎng)階段的玉米穗絲的特性和性狀有很大不同，不具有通用特征，用傳統(tǒng)機(jī)器視覺方法進(jìn)行目標(biāo)提取和定位的效果不佳。近年來，大量大型圖像數(shù)據(jù)建設(shè)和硬件計(jì)算力的增強(qiáng)促使卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺的各個(gè)方面獲得突破；王臨銘等[4]提取甘肅大麥病斑的顏色和紋理特征，以特征向量為輸入向量構(gòu)造大麥病害神經(jīng)網(wǎng)絡(luò)分類器模型，對(duì)甘肅大麥病害的整體識(shí)別正確率達(dá)到86.7%；王璨等[5]提出了基于卷積神經(jīng)網(wǎng)絡(luò)提取多尺度分層特征的玉米識(shí)別方法。此外，利用神經(jīng)網(wǎng)絡(luò)可對(duì)農(nóng)作物的生長(zhǎng)狀態(tài)進(jìn)行科學(xué)分析；周云成等[6]提出一種基于面向通道分組卷積網(wǎng)絡(luò)的番茄主要器官實(shí)時(shí)識(shí)別網(wǎng)絡(luò)模型；劉永波等[7]提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的在自然環(huán)境條件下識(shí)別玉米病害的方法；Koirala等[8]以芒果為研究對(duì)象，使用深度學(xué)習(xí)方法對(duì)研究目標(biāo)進(jìn)行檢測(cè)并預(yù)測(cè)產(chǎn)量；Tian等[9]通過改進(jìn)的YOLO-V3模型對(duì)果園中不同生長(zhǎng)階段蘋果的檢測(cè)進(jìn)行了研究。

目前目標(biāo)檢測(cè)算法一般分為2種，基于候選區(qū)域的兩步目標(biāo)檢測(cè)算法(如Faster R-CNN系列[10])和基于回歸的單步目標(biāo)檢測(cè)算法(如YOLO、SSD[11])。兩步目標(biāo)檢測(cè)算法的精度高但檢測(cè)速度稍慢，單步目標(biāo)檢測(cè)算法的檢測(cè)速度快但精度略低。其中，SSD同時(shí)借鑒了YOLO的回歸思想和Faster R-CNN的錨(Anchor)機(jī)制，檢測(cè)性能相對(duì)較好，效果也超越了兩者。但是SSD的模型參數(shù)過多，運(yùn)行時(shí)內(nèi)存占用量過大，在顯存容量較小的GPU設(shè)備上無法運(yùn)行[12]。

針對(duì)農(nóng)業(yè)生產(chǎn)實(shí)踐中玉米生長(zhǎng)狀況監(jiān)控和產(chǎn)量預(yù)測(cè)中對(duì)玉米穗絲實(shí)時(shí)視覺識(shí)別的需求及問題，本研究通過改進(jìn)深度學(xué)習(xí)中的SSD目標(biāo)檢測(cè)算法以完成玉米穗絲的位置確定，提出了基于多特征融合SSD (Multi-feature fusion SSD, MF-SSD)的玉米穗絲檢測(cè)模型。該模型有較高的小目標(biāo)識(shí)別性能，在識(shí)別準(zhǔn)確度和性能消耗方面均可滿足實(shí)際要求。

1 SSD網(wǎng)絡(luò)模型及其改進(jìn)

1.1 SSD網(wǎng)絡(luò)模型

SSD屬于單步目標(biāo)檢測(cè)算法，在多尺度特征圖上以回歸的方式直接得到目標(biāo)的類別和位置。如圖1所示，傳統(tǒng)的SSD網(wǎng)絡(luò)模型架構(gòu)包括2個(gè)部分，基礎(chǔ)網(wǎng)絡(luò)采用VGG16用于目標(biāo)特征提取，在基礎(chǔ)網(wǎng)絡(luò)后是額外添加的特征層，最后從6個(gè)不同尺度的特征圖上提取特征為目標(biāo)檢測(cè)使用。

圖1 VGG16-SSD的網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 VGG16-SSD network structure

傳統(tǒng)的VGG16-SSD模型結(jié)構(gòu)較長(zhǎng)，操作相對(duì)復(fù)雜，不易訓(xùn)練。其中VGG16的參數(shù)過多，模型較大，在有限資源的工程應(yīng)用設(shè)備上使用會(huì)造成困擾。另外，在VGG16-SSD訓(xùn)練過程中，小目標(biāo)特征經(jīng)過多層卷積后會(huì)發(fā)生特征消失現(xiàn)象，甚至不會(huì)檢測(cè)到目標(biāo)。因此，如何改善SSD網(wǎng)絡(luò)參數(shù)規(guī)模大、小目標(biāo)識(shí)別能力不佳等問題是本文研究的重點(diǎn)。

1.2 使用MobileNet作為特征提取器

VGG16的權(quán)重參數(shù)約1.38×108個(gè)[13]，是為解決類似ImageNet這類大規(guī)模圖像任務(wù)而設(shè)計(jì)的深度卷積神經(jīng)網(wǎng)絡(luò)。玉米穗絲的檢測(cè)在類型和樣本數(shù)量方面都遠(yuǎn)小于ImageNet，所以可使用比VGG16更輕量化的特征提取器。

Alawad等[14]提出的MobileNet卷積網(wǎng)絡(luò)模型屬于一種輕量級(jí)的卷積網(wǎng)絡(luò)，它基于深度可分離的卷積架構(gòu)，將常規(guī)標(biāo)準(zhǔn)模型結(jié)構(gòu)分解成深度卷積與逐點(diǎn)卷積2類，如圖2所示。深度卷積作用于每個(gè)通道，而逐點(diǎn)卷積用來組合各個(gè)通道的輸出。通過卷積分解，可以有效減少計(jì)算量，加快運(yùn)算速度，減輕因過度擬合導(dǎo)致的訓(xùn)練問題。

深度可分離卷積較傳統(tǒng)卷積所降低的參數(shù)比例可以定義為公式(1)：

式中，Dk為卷積核的寬高，DF為輸出特征圖的寬高，M為輸入的特征圖數(shù)量，N為卷積核數(shù)量。其中傳統(tǒng)卷積的計(jì)算量為Dk2MNDF2，深度可分離卷積的計(jì)算量為MNDF2+Dk2MDF2。

圖2 傳統(tǒng)卷積和深度可分離卷積Fig. 2 Traditional convolution and depth separable convolution

本文使用MobileNet網(wǎng)絡(luò)作為特征提取器替換SSD中的VGG16，能夠減少整體網(wǎng)絡(luò)的計(jì)算開銷，減少內(nèi)存占用量，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。MobileNet-SSD模型網(wǎng)絡(luò)結(jié)構(gòu)與VGG16-SSD的網(wǎng)絡(luò)結(jié)構(gòu)類似，都是抽取多個(gè)不同尺度的特征圖進(jìn)行目標(biāo)檢測(cè)。該模型結(jié)合MobileNet和SSD 2種類型網(wǎng)絡(luò)的優(yōu)勢(shì)，保持了原有SSD網(wǎng)絡(luò)結(jié)構(gòu)，降低了參數(shù)模型大小。

圖3 MobileNet-SSD的網(wǎng)絡(luò)結(jié)構(gòu)Fig. 3 MobileNet-SSD network structure

1.3 MF-SSD的網(wǎng)絡(luò)模型架構(gòu)設(shè)計(jì)

MobileNet替換VGG16后的網(wǎng)絡(luò)MobileNet-SSD仍然存在小目標(biāo)檢測(cè)能力不佳的問題，原因是該網(wǎng)絡(luò)不能充分利用局部的細(xì)節(jié)特征和全局的語(yǔ)義特征。隨著網(wǎng)絡(luò)層次的增加，卷積層提取特征的語(yǔ)義越來越強(qiáng)，SSD卻直接用不同語(yǔ)義的特征圖進(jìn)行預(yù)測(cè)。圖4a為原始SSD結(jié)構(gòu)，這種方式各個(gè)層之間沒有聯(lián)系。最底層的特征圖分辨率高但是語(yǔ)義值不夠，導(dǎo)致不能被使用。SSD只使用較上層的特征圖用于目標(biāo)檢測(cè)，因此對(duì)小物體的檢測(cè)性能不佳。

Lin等[15]提出一種旨在提高準(zhǔn)確率的特征提取器－特征金字塔網(wǎng)絡(luò)(Feature pyramid network,FPN)，如圖4b。FPN提供了一條自頂向下的路徑，從語(yǔ)義豐富的層構(gòu)建高分辨率的層。把淺層的細(xì)節(jié)特征和高層的語(yǔ)義特征結(jié)合起來進(jìn)行預(yù)測(cè)，使得算法的精度明顯提升。

圖4 SSD與特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比Fig. 4 Structure comparison of SSD and feature pyramid network

本文受FPN網(wǎng)絡(luò)結(jié)構(gòu)思想的啟發(fā)，重新構(gòu)建了MobileNet-SSD中的特征提取器，圖5為重建的網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)的前向過程實(shí)現(xiàn)了自底向上特征提取，在前向過程中，特征圖大小在經(jīng)過某些層后會(huì)改變，而經(jīng)過某些層不會(huì)改變。將不改變特征圖大小的卷積層歸為一個(gè)階段，將每個(gè)階段的最后一層得到的特征圖進(jìn)行組合能夠構(gòu)成特征金字塔。

對(duì)MobileNet-SSD不同階段的最后一層C3、C5、C11、C13構(gòu)建一條自頂向下反向路徑。自頂向下構(gòu)建層的過程采用最近鄰上采樣法進(jìn)行，從語(yǔ)義豐富的層構(gòu)建高分辨率的層，得到重建層的語(yǔ)義較強(qiáng)，但目標(biāo)的位置不精確。為檢測(cè)更加準(zhǔn)確，本文通過添加橫向連接將上采樣的結(jié)果和自底向上生成的相同大小的特征圖進(jìn)行融合得到融合結(jié)果M3、M5、M11、M13。在橫向連接前對(duì)前一層特征圖要使用1×1的卷積核，目的是改變卷積核個(gè)數(shù)，使其和后一層的特征圖個(gè)數(shù)相同，如圖6。在融合后使用3×3的卷積核對(duì)每個(gè)融合結(jié)果進(jìn)行卷積，消除上采樣的混疊效應(yīng)，最終生成的特征圖結(jié)果是P3、P5、P11、P13，然后使用P3到P13進(jìn)行多尺度目標(biāo)檢測(cè)。

圖5 MF-SSD的網(wǎng)絡(luò)結(jié)構(gòu)Fig. 5 MF-SSD network structure

圖6 橫向連接過程Fig. 6 Horizontal connection process

該模型對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)鍵改進(jìn)在于把多層特征融合到了特征圖的提取層，故最終的模型本文稱之為MF-SSD網(wǎng)絡(luò)模型。相比于傳統(tǒng)的VGG16-SSD網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)模型減少了網(wǎng)絡(luò)參數(shù)，能夠提升檢測(cè)速度；同時(shí)融合底層特征的高分辨率和高層特征的高語(yǔ)義信息，提高檢測(cè)準(zhǔn)確度，改善模型檢測(cè)小目標(biāo)的性能。

為獲得更好的玉米穗絲檢測(cè)網(wǎng)絡(luò)，考慮到輕量級(jí)特征提取器參數(shù)較少，可以通過改變特征提取單元修改網(wǎng)絡(luò)結(jié)構(gòu)的特征提取能力[16]。本文以MFSSD模型為基準(zhǔn)，通過增加和減少特征提取層數(shù)獲得了MF-SSD的另外2種變體結(jié)構(gòu)，分別是MFSSD-add-3和MF-SSD-cut-3。其中，MF-SSD-add-3是對(duì)MF-SSD模型的每個(gè)階段增加1層深度可分離卷積，并選取 C4、C7、C14、C16這 4層進(jìn)行特征融合，將最終生成特征金字塔P4、P7、P14、P16進(jìn)行多尺度的目標(biāo)檢測(cè)；MF-SSD-cut-3是對(duì)MF-SSD模型的每個(gè)階段減少1層深度可分離卷積，并選取C2、C3、C8、C10這4層進(jìn)行特征融合，將最終生成特征金字塔P2、P3、P8、P10進(jìn)行多尺度的目標(biāo)檢測(cè)。圖7是3種不同特征提取結(jié)構(gòu)的模型說明。在本文的試驗(yàn)中，把玉米穗絲圖像作為輸入，通過對(duì)比3種不同網(wǎng)絡(luò)結(jié)構(gòu)的MF-SSD性能來篩選最優(yōu)網(wǎng)絡(luò)模型。

1.4 網(wǎng)絡(luò)訓(xùn)練目標(biāo)

MF-SSD的訓(xùn)練同時(shí)對(duì)目標(biāo)位置和種類進(jìn)行回歸，其目標(biāo)損失函數(shù)是分類損失與定位損失之和，表達(dá)式如公式(2)所示。

式中，n是與真實(shí)框相匹配的預(yù)測(cè)框個(gè)數(shù)；Lconf(x,c)是分類損失，采用Sofmax分類器；Lloc(x,l,g)是定位損失，采用Smooth L1 loss[17]；x為預(yù)測(cè)框與不同類別的真實(shí)框的匹配結(jié)果；c為預(yù)測(cè)物體框的置信度；l為預(yù)測(cè)框的位置信息；g為真實(shí)框的位置信息；α是2種損失的均衡系數(shù)，一般設(shè)置為1。

圖7 MF-SSD-add-3、MF-SSD和MF-SSD-cut-3的特征提取結(jié)構(gòu)Fig. 7 Feature extraction structures of MF-SSD-add-3, MF-SSD and MF-SSD-cut-3

在訓(xùn)練過程中，減小損失函數(shù)值可以確保在提升預(yù)測(cè)框分類置信度的同時(shí)提高預(yù)測(cè)框的位置準(zhǔn)確度，從而訓(xùn)練出性能較好的預(yù)測(cè)模型。

1.5 解決正負(fù)樣本數(shù)量失衡問題

MF-SSD在各檢測(cè)層生成不同尺寸的預(yù)測(cè)框，選取交并比(Intersection over union, IoU)大于0.50的預(yù)測(cè)框作為正樣本，IoU小于0.50的預(yù)測(cè)框作為負(fù)樣本。大目標(biāo)物體上IoU大于0.50的預(yù)測(cè)框多，正負(fù)樣本均衡；小目標(biāo)物體上IoU大于0.50的預(yù)測(cè)框少，正負(fù)樣本數(shù)量失衡，訓(xùn)練效果不佳。IoU是候選框與正確標(biāo)記框(Ground truth)的交疊率，即它們的交集與并集的比值，如圖8所示。

在VGG16-SSD中使用困難負(fù)例挖掘策略從困難樣本中選取負(fù)樣本，實(shí)現(xiàn)了正負(fù)樣本數(shù)量1∶3的比例，但卻忽略了Loss較小的簡(jiǎn)單樣本。本文認(rèn)為訓(xùn)練一個(gè)有效的網(wǎng)絡(luò)應(yīng)該平衡簡(jiǎn)單樣本和困難樣本的權(quán)重，不能完全舍棄簡(jiǎn)單樣本對(duì)Loss的貢獻(xiàn)。因此本文使用Lin等[17]提出的Focal loss同時(shí)解決正負(fù)樣本不平衡以及簡(jiǎn)單樣本與困難樣本不平衡的問題。Focal loss (FL)的表達(dá)式如公式(3)所示。

式中，pt是不同類別的分類概率；αt是[0, 1]區(qū)間的小數(shù)，用于調(diào)節(jié)正負(fù)例比例，正例為 αt，負(fù)例為1－ αt；1－pt用于對(duì)簡(jiǎn)單樣本進(jìn)行權(quán)重抑制；γ用于平滑權(quán)重抑制。對(duì)于簡(jiǎn)單樣本，pt較大，權(quán)重1－pt較小；而對(duì)于困難樣本，pt較小，權(quán)重1－pt較大。γ和αt都是固定值，本文采用αt=0.25，γ=2。

圖8 4種不同類型的樣本Fig. 8 Samples of four different types

Focal loss函數(shù)可以通過減少簡(jiǎn)單樣本的權(quán)重讓簡(jiǎn)單樣本對(duì)Loss做貢獻(xiàn)，但又不主導(dǎo)Loss，使得MF-SSD網(wǎng)絡(luò)模型在訓(xùn)練時(shí)更專注于困難樣本的分類。用數(shù)據(jù)集進(jìn)行多次結(jié)果優(yōu)化訓(xùn)練模型可不斷提高模型的檢測(cè)性能，從而訓(xùn)練出性能較好的MFSSD檢測(cè)模型。

2 玉米穗絲目標(biāo)檢測(cè)網(wǎng)絡(luò)的訓(xùn)練

2.1 玉米穗絲圖像數(shù)據(jù)采集

現(xiàn)場(chǎng)采集并結(jié)合網(wǎng)絡(luò)采集共搜集了2 980幅玉米穗絲圖像作為模型訓(xùn)練和驗(yàn)證的數(shù)據(jù)集。其中，現(xiàn)場(chǎng)采集設(shè)備使用的是Nikon D7200，使用AFS尼克爾鏡頭，焦距范圍是18～105 mm，該設(shè)備使用35.9 mm × 23.9 mm的CMOS圖像傳感器，有較好的圖像采集質(zhì)量。采集地點(diǎn)選擇在重慶璧山種植玉米的農(nóng)地。為避免所收集數(shù)據(jù)存在隨機(jī)性、圖片尺寸大小不一、重復(fù)率較高等問題，數(shù)據(jù)輸入網(wǎng)絡(luò)前對(duì)圖像進(jìn)行了預(yù)處理，去除了冗余圖像樣本以及目標(biāo)特征不清等雜糅圖像300幅，最終獲得有效現(xiàn)場(chǎng)圖像共2 200幅，包括吐絲期650幅，灌漿期700幅，成熟期850幅。網(wǎng)絡(luò)采集圖像780幅，包括吐絲期200幅，灌漿期280幅，成熟期300幅。在上述玉米穗絲數(shù)據(jù)集中，選擇2 400幅作為訓(xùn)練集，580幅作為測(cè)試集。通過人工對(duì)每幅玉米穗絲圖像進(jìn)行標(biāo)注，圈選出穗絲的真實(shí)區(qū)域，并標(biāo)注區(qū)域的類別。為降低訓(xùn)練樣本多樣性不足導(dǎo)致網(wǎng)絡(luò)過擬合的概率，圖像收集過程中采取了一些措施?？紤]到溫室環(huán)境光條件不同會(huì)造成成像結(jié)果差異，分別搜集晴天和陰天的玉米穗絲圖片；考慮到玉米穗絲形態(tài)和遮擋情況不同，對(duì)不同形態(tài)、不同成熟度的玉米穗絲從不同高度(1.0 m、1.5 m、2.0 m)，距離(0.50 m、0.75 m、1.00 m)和拍攝方向等多個(gè)角度進(jìn)行搜集，以增加樣本的多樣性。

2.2 試驗(yàn)環(huán)境

試驗(yàn)軟件環(huán)境操作系統(tǒng)為Window 10，深度學(xué)習(xí)軟件框架為TensorFlow。試驗(yàn)硬件環(huán)境CPU型號(hào)為IntelCorei7-8750H，內(nèi)存為16 G，GPU型號(hào)為NVIDIA GTX 1 070 (Max-Q Design)。為提高模型的訓(xùn)練效率，本文使用COCO數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練，再使用玉米穗絲數(shù)據(jù)集訓(xùn)練本文模型，能在一定程度上提高用玉米穗絲數(shù)據(jù)集訓(xùn)練模型的效率[18]。

2.3 數(shù)據(jù)增廣方法

作為一種數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)模型，訓(xùn)練樣本越多，覆蓋的對(duì)象種類越全面，越能保證MFSSD模型的檢測(cè)效果。本研究受時(shí)間和條件的限制，采集的玉米穗絲數(shù)據(jù)集樣本偏少，故在研究中使用了數(shù)據(jù)增廣技術(shù)。數(shù)據(jù)增廣是在保持圖像數(shù)據(jù)標(biāo)簽不變的前提下，對(duì)原圖像進(jìn)行變換以獲取新的樣本。在已有樣本的基礎(chǔ)上制作更多的圖像樣本，可以增加樣本的多樣性，降低網(wǎng)絡(luò)過擬合的風(fēng)險(xiǎn)。

研究采用的第1種數(shù)據(jù)增廣方法是通過以一定角度(0～180°)隨機(jī)旋轉(zhuǎn)原始圖像來形成新圖像；雖然在玉米穗絲圖像采集過程中考慮了樣本形態(tài)、角度等的多樣性，但玉米穗絲的生長(zhǎng)以及成像角度是隨機(jī)的；通過隨機(jī)角度旋轉(zhuǎn)原始圖像，可部分消除樣本多樣性不足的問題；研究在訓(xùn)練集中隨機(jī)選取了800幅圖像進(jìn)行了這種增廣操作。采用的第2種數(shù)據(jù)增廣方法是水平翻轉(zhuǎn)和平移圖像；將搜集到的圖像進(jìn)行等比例縮放，然后從縮放后的圖像中隨機(jī)裁剪300像素×300像素的圖像作為結(jié)果，同時(shí)對(duì)裁剪結(jié)果做隨機(jī)水平翻轉(zhuǎn)和平移；研究在訓(xùn)練集中隨機(jī)選取了600幅圖像進(jìn)行了第2種增廣操作。

經(jīng)過數(shù)據(jù)增廣處理，使訓(xùn)練樣本的數(shù)量增加到了3 800幅，可以增強(qiáng)訓(xùn)練的有效性，同時(shí)提高網(wǎng)絡(luò)推理的泛化能力。

2.4 網(wǎng)絡(luò)訓(xùn)練策略

本文的網(wǎng)絡(luò)模型使用二次訓(xùn)練策略。首先用COCO數(shù)據(jù)集訓(xùn)練本文的網(wǎng)絡(luò)結(jié)構(gòu)，得到預(yù)訓(xùn)練網(wǎng)絡(luò)模型，保存模型參數(shù)。COCO數(shù)據(jù)集圖像目標(biāo)均有明確信息標(biāo)注，并具有目標(biāo)位置以及類別等信息，且單張圖像包含豐富的信息，便于目標(biāo)檢測(cè)與識(shí)別。預(yù)訓(xùn)練模型學(xué)習(xí)率初始值為0.001，網(wǎng)絡(luò)結(jié)構(gòu)各層參數(shù)均初始化為0。然后使用玉米穗絲數(shù)據(jù)集再次進(jìn)行訓(xùn)練，先對(duì)網(wǎng)絡(luò)模型參數(shù)初始化，對(duì)各個(gè)特征提取層參數(shù)進(jìn)行賦值，參數(shù)來源于COCO數(shù)據(jù)集預(yù)訓(xùn)練模型所產(chǎn)生的參數(shù)保存值；訓(xùn)練后輸出模型分類檢測(cè)結(jié)果。該策略可提高模型訓(xùn)練性能[19]。

2.5 評(píng)價(jià)指標(biāo)

物體檢測(cè)中，精度的評(píng)估通常用平均精度(Average precision，AP)表示，覆蓋面的評(píng)估通常用平均召回率(Average recall，AR)表示[20-21]。本文采用COCO數(shù)據(jù)集使用的目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)[19]對(duì)算法效果進(jìn)行評(píng)測(cè)，以期能夠客觀、全面、多樣化地評(píng)價(jià)本文的檢測(cè)算法性能。

在評(píng)價(jià)指標(biāo)中，AP從2個(gè)方面來衡量。其一是從IoU方面，對(duì)不同的IoU閾值分別計(jì)算AP，再綜合得到平均值，比如AP (IoU=0.50～0.95)表示對(duì)IoU范圍在0.50～0.95、0.05為步長(zhǎng)的檢測(cè)結(jié)果分別計(jì)算精度并取平均值，AP (IoU=0.50)表示IoU=0.50時(shí)的平均精度；其二是以目標(biāo)在圖像中的尺寸為依據(jù)來看目標(biāo)檢測(cè)精度，本文依據(jù)尺寸把目標(biāo)對(duì)象分成小目標(biāo)、中型目標(biāo)和大目標(biāo)，小目標(biāo)在圖像中的尺寸小于32像素×32像素，中型目標(biāo)在圖像中的尺寸在32像素×32像素～96像素×96像素之間，大目標(biāo)在圖像中的尺寸大于96像素×96像素。AR是針對(duì)3類不同的目標(biāo)尺寸分別計(jì)算每個(gè)圖像中的穗絲目標(biāo)在IoU方面的召回率的平均值。

使用AP和AR指標(biāo)對(duì)算法的檢測(cè)精度有效性進(jìn)行評(píng)價(jià)，是目標(biāo)檢測(cè)領(lǐng)域?qū)λ惴ㄟM(jìn)行評(píng)估的常用方法[10,22]，能較好地體現(xiàn)模型的檢測(cè)性能。本試驗(yàn)使用該指標(biāo)分析各個(gè)網(wǎng)絡(luò)模型對(duì)小目標(biāo)的檢測(cè)效果和對(duì)所有目標(biāo)的平均檢測(cè)精度，優(yōu)選出適合于玉米穗絲檢測(cè)的網(wǎng)絡(luò)模型。

3 結(jié)果與分析

3.1 檢測(cè)性能分析

利用玉米穗絲的數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，用對(duì)VGG16-SSD、MobileNet-SSD、MF-SSD、MF-SSD-add-3、MF-SSD-cut-3的訓(xùn)練結(jié)果分別進(jìn)行檢測(cè)，選取的置信度閾值為0.50，即所有檢測(cè)出物體的類別置信度均在0.50以上。檢測(cè)結(jié)果如表1所示，檢測(cè)時(shí)間表示在300像素×300像素圖像上的檢測(cè)時(shí)間。

由表1可知，MobileNet-SSD在檢測(cè)精確度上略低于VGG16-SSD網(wǎng)絡(luò)，但仍表現(xiàn)出良好穩(wěn)定性與精確性，在基本保證準(zhǔn)確率的情況下減少了計(jì)算時(shí)間和參數(shù)數(shù)量。使用MF-SSD網(wǎng)絡(luò)模型時(shí)，在IoU取0.50時(shí)，其AP可達(dá)到96.6%，與VGG16-SSD模型基本一致，但在高IoU(0.50～0.95)下的AP相比VGG16-SSD提高了7.2%。在小目標(biāo)檢測(cè)精度上，相比VGG16-SSD模型，MF-SSD有20.4%的提高，對(duì)玉米穗絲小目標(biāo)檢測(cè)的AR提高了19.6%，說明把淺層的細(xì)節(jié)特征和高層的語(yǔ)義特征融合起來能夠提升算法對(duì)小目標(biāo)的檢測(cè)能力。從統(tǒng)計(jì)的數(shù)據(jù)分析來看，本文所提出的MF-SSD模型及其變體的檢測(cè)效果均比VGG16-SSD和MobileNet-SSD模型更好。

表1 不同網(wǎng)絡(luò)模型試驗(yàn)結(jié)果對(duì)比Table 1 Comparison of experimental results of different network models

分析MF-SSD模型變體的檢測(cè)試驗(yàn)數(shù)據(jù)可知，與MF-SSD相比，MF-SSD-add-3的AP略有提升，但對(duì)小目標(biāo)的AP下降了2.4%；MF-SSD-cut-3在不同IoU取值下的檢測(cè)性能要弱于MF-SSD，但差距在1%以內(nèi)，而對(duì)大目標(biāo)的AR還要高出0.3%。從模型尺寸的角度來說，MF-SSD-cut-3的最終模型是最小的。同時(shí)，在檢測(cè)時(shí)間方面，在不同變體的改進(jìn)模型中MF-SSD-cut-3耗費(fèi)時(shí)間最少，與VGG16-SSD模型相比速度提升了18.7%。

綜合上述結(jié)果，玉米穗絲目標(biāo)檢測(cè)的最終網(wǎng)絡(luò)結(jié)構(gòu)的選擇方法是：在存儲(chǔ)空間和運(yùn)行時(shí)間有較高要求的嵌入式環(huán)境下，選擇MF-SSD-cut-3模型可以在滿足檢測(cè)效果的前提下，以較小的空間代價(jià)獲得相對(duì)較快的運(yùn)行時(shí)間；在不考慮空間和時(shí)間的情況下，則可以選擇MF-SSD模型以獲得更好的檢測(cè)效果。

3.2 不同訓(xùn)練策略對(duì)訓(xùn)練結(jié)果的影響

為分析不同訓(xùn)練策略對(duì)模型訓(xùn)練的影響，本文對(duì)是否使用二次訓(xùn)練策略和是否使用Focal loss解決樣本不平衡問題進(jìn)行了試驗(yàn)，并比對(duì)分析Loss的下降過程。

圖9的4種策略中，MobileNet-SSD未使用二次訓(xùn)練策略和使用二次策略的模型結(jié)構(gòu)完全相同，兩者區(qū)別在于是否使用COCO數(shù)據(jù)集預(yù)訓(xùn)練網(wǎng)絡(luò)模型，對(duì)這2種網(wǎng)絡(luò)的訓(xùn)練誤差下降過程進(jìn)行了比較。結(jié)果表明，使用二次訓(xùn)練策略情況的訓(xùn)練誤差降落速度快于未使用二次訓(xùn)練策略的訓(xùn)練方法，同時(shí)其損失百分比更小，說明使用二次訓(xùn)練策略更利于模型收斂。MF-SSD使用困難負(fù)例挖掘策略和使用Focal loss策略的區(qū)別在于解決不平衡樣本的策略。結(jié)果表明，在學(xué)習(xí)率相同的情況下，MF-SSD網(wǎng)絡(luò)使用Focal loss能讓網(wǎng)絡(luò)更容易收斂，收斂速度加快，并且誤差收斂到較小的值；使用困難負(fù)例挖掘時(shí)，Loss值的降落速度較慢，震蕩幅度較大，不易收斂。因此使用二次訓(xùn)練策略和Focal loss更利于MF-SSD模型的訓(xùn)練，訓(xùn)練出性能更好的檢測(cè)模型。圖10是使用MF-SSD檢測(cè)的結(jié)果例圖。

圖9 不同訓(xùn)練策略誤差比較Fig. 9 Error comparison of different training strategies

圖10 MF-SSD檢測(cè)結(jié)果示例Fig. 10 MF-SSD test result example

4 結(jié)論

本文通過改進(jìn)目標(biāo)檢測(cè)算法SSD的不足之處，在玉米穗絲檢測(cè)的應(yīng)用方面進(jìn)行了試驗(yàn)研究和分析，提出一種基于MF-SSD卷積神經(jīng)網(wǎng)絡(luò)的玉米穗絲檢測(cè)網(wǎng)絡(luò)模型。在原始VGG16-SSD的基礎(chǔ)上，用MobileNet替換特征提取器，并加入多層特征融合結(jié)構(gòu)改進(jìn)MobileNet-SSD，得到MF-SSD網(wǎng)絡(luò)模型；同時(shí)，根據(jù)不同應(yīng)用場(chǎng)景的需求設(shè)計(jì)了3種結(jié)構(gòu)的MF-SSD網(wǎng)絡(luò)。在玉米穗絲訓(xùn)練樣本上，通過多種數(shù)據(jù)增廣技術(shù)，對(duì)每種網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練，優(yōu)選一種網(wǎng)絡(luò)模型作為玉米穗絲檢測(cè)網(wǎng)絡(luò)模型。研究結(jié)論如下：

1)特征層融合的方式能夠顯著提高檢測(cè)網(wǎng)絡(luò)的檢測(cè)能力，提高對(duì)小目標(biāo)的檢測(cè)精度和召回率。與VGG16-SSD相比，MF-SSD在高IoU (0.50～0.95)下的AP提高了7.2%，對(duì)小目標(biāo)的AP提高了20.4%，對(duì)玉米穗絲小目標(biāo)的AR提高了19.6%，并且降低了模型尺寸，提高了識(shí)別速度。MF-SSD玉米穗絲目標(biāo)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)具有較高的檢測(cè)性能，能夠有效用于玉米穗絲的檢測(cè)。

2)在存儲(chǔ)空間和運(yùn)行時(shí)間有較高要求的嵌入式環(huán)境下，選擇MF-SSD-cut-3模型可以在滿足檢測(cè)效果的前提下，以較小的空間代價(jià)獲得相對(duì)較快的運(yùn)行時(shí)間；在不考慮空間和時(shí)間因素的情況下，可以選擇MF-SSD模型獲得更好的檢測(cè)效果。

3)二次訓(xùn)練策略可提高網(wǎng)絡(luò)的收斂速度，提高模型的穩(wěn)定性和健壯性；Focal loss能夠有效解決SSD算法中正負(fù)樣本數(shù)量不平衡問題，使網(wǎng)絡(luò)模型的訓(xùn)練更容易收斂。