姜海燕 徐 燦 陳 堯 成永康

(1.南京農(nóng)業(yè)大學(xué)信息科技學(xué)院， 南京 210095； 2.南京農(nóng)業(yè)大學(xué)國家信息農(nóng)業(yè)工程技術(shù)中心， 南京 210095)

0 引言

自動、準(zhǔn)確地預(yù)估產(chǎn)量是水稻科學(xué)生產(chǎn)的重要環(huán)節(jié)。研究表明[1-2]，單位面積穗粒數(shù)是與產(chǎn)量最密切相關(guān)的農(nóng)學(xué)性狀。在水稻栽培或育種研究中，穗粒數(shù)一般通過結(jié)實率和穗數(shù)估算獲得，因此，快速、準(zhǔn)確地獲取水稻穗數(shù)對智能測產(chǎn)意義重大。在實際應(yīng)用中，水稻穗數(shù)的獲取主要依靠人工統(tǒng)計，費時、費力。近年來，隨著農(nóng)業(yè)信息技術(shù)的發(fā)展，圖像分析技術(shù)在植物葉片[3-6]和水果果實[7-9]的自動計數(shù)上取得成功，被認(rèn)為是人工計數(shù)的有效替代方法。

田間水稻稻穗自動計數(shù)的關(guān)鍵是復(fù)雜場景下的稻穗識別?，F(xiàn)有方法主要包括基于顏色或紋理的分割計數(shù)法和基于候選區(qū)域的分類計數(shù)法兩類?；陬伾蚣y理的分割計數(shù)法主要通過抽取穗的顏色特征[10-12]或紋理特征[13]，實現(xiàn)穗的分割并計數(shù)。ZHOU等[14]融合小麥的顏色、紋理和邊緣特征，并訓(xùn)練雙支持向量機(jī)模型，分割小麥麥穗；FERNANDEZ-GALLEGO等[15]使用濾波器去除土壤、葉片等無關(guān)噪聲，計算局部峰值，實現(xiàn)麥穗的分割。穗分割方法計算簡單、處理速度快，但是對光照敏感，分割效果和計數(shù)精度也容易受場景復(fù)雜度的影響?；诤蜻x區(qū)域的分類計數(shù)法[16-18]首先生成穗的候選區(qū)域，然后對候選區(qū)域進(jìn)行分類(穗或背景)并計數(shù)。常用的候選區(qū)域生成方法基于顏色或紋理特征，如LI等[19]基于Laws紋理能量生成穗部候選區(qū)域，訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，對候選區(qū)域分類并計算穗數(shù)。此外，一些研究嘗試在生成候選區(qū)域時更充分利用物體的邊界信息，將相似的像素點聚類生成超像素，進(jìn)一步提高候選區(qū)域的精度。XIONG等[20]使用簡單線性迭代聚類生成超像素，為田間水稻圖像生成稻穗候選區(qū)域；OLSEN等[21]基于田間高粱圖像生成不同尺度的超像素，并訓(xùn)練線性回歸模型，實現(xiàn)計數(shù)。候選區(qū)域的生成是候選區(qū)域分類法的關(guān)鍵，當(dāng)葉片貼近或粘連稻穗時，很難生成只包含穗或葉的高質(zhì)量候選區(qū)域，含有噪聲的候選區(qū)域影響分類器的分類性能，抑制最終的計數(shù)準(zhǔn)確率。

最新的研究將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)應(yīng)用于田間禾本科作物的穗識別與計數(shù)。張領(lǐng)先等[22]利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練冬小麥識別模型，實現(xiàn)對麥穗、葉片和陰影的準(zhǔn)確識別。ALKHUDAYDI等[23]基于全卷積網(wǎng)絡(luò)實現(xiàn)了像素水平的田間麥穗識別與計數(shù)方法；MADEC等[24]使用基于快速區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Faster regions with convolutional neural networks，F(xiàn)aster R-CNN)方法估算小麥的穗密度，并取得91%的計數(shù)準(zhǔn)確率。田間水稻的稻穗尺寸小，在卷積神經(jīng)網(wǎng)絡(luò)抽取的深層特征中，有限的稻穗信息損失嚴(yán)重；稻穗因自重下垂，高種植密度下葉片與稻穗貼合更緊密，葉片對稻穗的局部遮擋使得稻穗特征中混入葉片噪聲，進(jìn)一步制約了稻穗識別準(zhǔn)確率和計數(shù)精度。目前，針對遮擋稻穗自動計數(shù)的研究鮮有報道。

針對存在大量葉片遮擋的成熟期田間水稻稻穗，提出一種基于生成特征金字塔的稻穗檢測(Generative feature pyramid for panicle detection，GFP-PD)方法。首先，針對小尺寸稻穗在特征學(xué)習(xí)時的特征損失問題，量化分析稻穗尺寸與感受野大小的關(guān)系，通過選擇合適的特征學(xué)習(xí)網(wǎng)絡(luò)減少稻穗信息損失；其次，通過構(gòu)造并融合多尺度特征金字塔來增強(qiáng)稻穗特征。然后，針對稻穗特征中葉片遮擋帶來的噪聲，基于生成對抗網(wǎng)絡(luò)設(shè)計遮擋修復(fù)模塊OSIM，優(yōu)化遮擋稻穗的特征質(zhì)量。

1 GFP-PD稻穗計數(shù)算法設(shè)計

1.1 Faster R-CNN算法

本研究選擇Faster R-CNN[25]作為基礎(chǔ)框架，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。Faster R-CNN結(jié)合相關(guān)檢測算法[26-28]的優(yōu)點，將特征學(xué)習(xí)、候選區(qū)域生成、目標(biāo)分類及位置框回歸4個關(guān)鍵環(huán)節(jié)集成于一個端到端網(wǎng)絡(luò)。對于輸入的原始圖像，F(xiàn)aster R-CNN首先利用卷積神經(jīng)網(wǎng)絡(luò)提取特征圖(Feature map)。候選區(qū)域生成網(wǎng)絡(luò)(Region proposal network，RPN) 復(fù)用最深卷積層上提取的特征圖，使用尺寸為3×3的滑動窗口遍歷該特征圖，以每個錨點(滑動窗口中心)為中心，設(shè)計不同的長寬比生成多尺度候選區(qū)域。

圖1 Faster R-CNN算法結(jié)構(gòu)示意圖Fig.1 Structure diagram of Faster R-CNN algorithm

目標(biāo)分類和位置框回歸由一組級聯(lián)的全卷積網(wǎng)絡(luò)實現(xiàn)，輸入生成的候選區(qū)域，計算待檢測目標(biāo)的類別概率實現(xiàn)分類，同時計算待檢測目標(biāo)最小外接矩形的中心點坐標(biāo)、寬和高實現(xiàn)目標(biāo)定位。Faster R-CNN算法在具體應(yīng)用時，檢測精度易被影響。首先，若特征圖的目標(biāo)信息較少，RPN生成的候選區(qū)域可能無法覆蓋所有待檢測目標(biāo)，導(dǎo)致部分目標(biāo)被漏檢；其次，若某候選區(qū)域?qū)?yīng)的特征中含有噪聲，噪聲將直接影響類別概率的計算結(jié)果，導(dǎo)致部分目標(biāo)被錯檢。

對于本文研究對象，田間場景中含有大量無關(guān)的水稻葉片且部分稻穗被葉片遮擋。隨機(jī)抽取200個稻穗進(jìn)行統(tǒng)計，單個稻穗平均尺寸(長×寬)約為260像素×180像素，長、寬均不足原始圖像的十分之一，稻穗面積僅占原始圖像的0.38%。當(dāng)直接應(yīng)用Faster R-CNN算法檢測稻穗時，存在以下兩個主要問題：首先，小尺寸稻穗有限的原始信息在特征學(xué)習(xí)時不斷損失，網(wǎng)絡(luò)深層的特征圖可能僅保留極少量目標(biāo)信息，這導(dǎo)致映射特征圖上的特征點所生成的候選區(qū)域并不能覆蓋圖像中的全部稻穗，大量小尺寸稻穗被漏檢。其次，葉片遮擋不僅導(dǎo)致有限的稻穗原始信息進(jìn)一步損失，而且使得稻穗的原始數(shù)據(jù)空間混入噪聲。在特征學(xué)習(xí)的過程中，原始的局部葉片噪聲將逐步傳遞給具有全局語義性的最終特征，這將直接導(dǎo)致稻穗特征質(zhì)量下降，影響最終的稻穗識別和計數(shù)精度。

1.2 GFP-PD算法設(shè)計

針對小尺寸稻穗的特征損失問題，首先，通過量化稻穗尺寸與網(wǎng)絡(luò)感受野間的關(guān)系，選擇適合的特征學(xué)習(xí)網(wǎng)絡(luò)；其次，構(gòu)建特征金字塔獲取多尺度稻穗特征。針對稻穗特征含有的遮擋噪聲，設(shè)計生成對抗式的修復(fù)模塊為特征金字塔的每一層特征構(gòu)建有效的優(yōu)化映射，其目的是將含葉片噪聲的稻穗特征擬合為真實的稻穗特征。GFP-PD算法融合優(yōu)化后的特征金字塔實現(xiàn)稻穗特征的有效增強(qiáng)，如圖2所示，主要包括基于感受野分析的特征學(xué)習(xí)網(wǎng)絡(luò)選擇、基于生成對抗網(wǎng)絡(luò)的特征修復(fù)、基于特征金字塔的特征融合和基于Faster R-CNN算法的檢測4個主要環(huán)節(jié)。其中，Conv3_64表示64通道且卷積核尺寸為3×3的卷積計算，以此類推；pool/2表示窗口尺寸為2×2的最大池化計算；Cls+Reg表示計算類別和計算位置框。

圖2 GFP-PD算法框架示意圖Fig.2 Structure diagram of GFP-PD algorithm

1.3 基于感受野分析的網(wǎng)絡(luò)選擇

特征學(xué)習(xí)網(wǎng)絡(luò)將輸入圖像的原始信息進(jìn)行迭代，抽象為特征圖，同一網(wǎng)絡(luò)不同卷積層對應(yīng)特征圖的語義信息和空間信息各不相同；而不同的特征學(xué)習(xí)網(wǎng)絡(luò)因其結(jié)構(gòu)不同，輸出的特征圖也存在差異。特征圖上任一像素點所對應(yīng)輸入圖像的區(qū)域被描述為感受野(Receptive field)，卷積層感受野的計算公式為

SRF(t)=(SRF(t-1)-1)Ns(t)+Sf(t)

(1)

式中SRF(t)——第t層卷積層感受野尺寸

Ns(t)——第t層卷積的步長

Sf(t)——第t層卷積濾波器尺寸

感受野區(qū)域內(nèi)圖像的信息直接影響學(xué)習(xí)到的特征質(zhì)量。相較于待檢測目標(biāo)，感受野過大，特征中混入無關(guān)噪聲；感受野過小，特征不能充分描述待檢測目標(biāo)。因此，總是希望特征學(xué)習(xí)網(wǎng)絡(luò)的感受野與稻穗尺寸盡可能相近。理想情況下，GFP-PD特征學(xué)習(xí)網(wǎng)絡(luò)的感受野和待檢測目標(biāo)的尺寸關(guān)系為

(2)

式中Sobj(hobj,wobj)——待檢測目標(biāo)尺寸

hobj——待檢測目標(biāo)外接矩形長度

wobj——待檢測目標(biāo)外接矩形寬度

根據(jù)式(1)計算卷積神經(jīng)網(wǎng)絡(luò)Alex-Net[29]、ZF-Net[30]、VGG16-Net[31]和Google-Net[32]的感受野，不同網(wǎng)絡(luò)的最后一層卷積層對應(yīng)的感受野尺寸如表1所示。VGG16-Net最后一層特征對應(yīng)的感受野為212像素×212像素，相較于其他網(wǎng)絡(luò)更接近稻穗尺寸，因此選擇去除分類層的VGG16-Net作為GFP-PD的特征學(xué)習(xí)網(wǎng)絡(luò)。

表1 不同卷積神經(jīng)網(wǎng)絡(luò)的感受野尺寸Tab.1 Size of receptive field of different networks

1.4 基于生成對抗網(wǎng)絡(luò)的特征修復(fù)

一般來說，一個成功的檢測器總是基于優(yōu)秀的物體特征表示和足夠規(guī)模的數(shù)據(jù)學(xué)習(xí)。葉片對稻穗的遮擋使得稻穗特征中混入葉片噪聲，影響最終的稻穗識別準(zhǔn)確率和計數(shù)精度。為此，GFP-PD算法基于生成對抗網(wǎng)絡(luò)設(shè)計OSIM來優(yōu)化田間稻穗的特征表達(dá)，其核心思想是不斷為遮擋噪聲生成新的值并對抗式地使含有遮擋噪聲的稻穗特征逐漸逼近真實稻穗特征。如圖3所示，OSIM的網(wǎng)絡(luò)結(jié)構(gòu)由生成器、局部判別器和全局判別器共同構(gòu)成。生成器為遮擋區(qū)域生成新特征值，局部判別器比較修復(fù)后遮擋區(qū)域與對應(yīng)真實區(qū)域的差異，而全局判別器比較修復(fù)后整幅圖像與對應(yīng)真實圖像的差異。生成器與兩個判別器進(jìn)行迭代，直至兩個判別器無法確定生成的新特征是否是真實稻穗特征為止。

圖3 OSIM網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.3 Structure diagram of OSIM

1.4.1生成器

生成器被抽象為對遮擋特征的編碼和解碼過程。對于輸入的含有葉片遮擋的稻穗圖像，生成器通過編碼網(wǎng)絡(luò)學(xué)習(xí)圖像特征并為其生成新特征。編碼網(wǎng)絡(luò)選擇VGG16-Net的Conv1層到pool2層作為基礎(chǔ)結(jié)構(gòu)，并在其后增加兩個全連接層將填充后的新特征圖傳遞到解碼網(wǎng)絡(luò)。為保證遮擋稻穗特征的修復(fù)精度，解碼網(wǎng)絡(luò)通過反卷積將生成的新特征解碼為圖像，送入判別器與真實圖像進(jìn)行比較。解碼網(wǎng)絡(luò)的結(jié)構(gòu)與編碼網(wǎng)絡(luò)對稱，不同之處僅在于使用解碼網(wǎng)絡(luò)un-pooling層替代編碼網(wǎng)絡(luò)中的pooling層。

1.4.2局部與全局判別器

生成器可以保證生成特征和真實特征最終的值相差較小，但是生成特征并不一定能夠有效地表示其對應(yīng)的輸入圖像。不僅希望生成的稻穗特征與真實稻穗在內(nèi)容上相似，而且能夠有效地描述稻穗與圖像中其他稻穗的結(jié)構(gòu)關(guān)系。因此，分別為OSIM設(shè)計一個二分類的局部判別器和全局判別器。局部判別器與全局判別器采用相同的網(wǎng)絡(luò)結(jié)構(gòu)，選擇VGG16-Net的Conv1到pool2層作為基礎(chǔ)結(jié)構(gòu)并增加一個sigmoid分類層。局部判別器將生成器的注意力集中在遮擋區(qū)域的內(nèi)部細(xì)節(jié)，引導(dǎo)修復(fù)后的遮擋區(qū)域在內(nèi)容上與真實區(qū)域相似，而全局判別器則引導(dǎo)修復(fù)后的遮擋區(qū)域在結(jié)構(gòu)上與其周圍區(qū)域相近。

1.4.3損失函數(shù)

5.2 防治方法：①農(nóng)業(yè)防治：深翻土壤，消滅越冬蛹；及時打杈掐尖，結(jié)合整枝把嫩葉、嫩枝上的卵及幼蟲一起帶走燒毀或深埋，可有效地減少卵量；摘除蟲果，減少幼蟲轉(zhuǎn)株危害。②生物防治：在棉鈴蟲產(chǎn)卵始、盛末期釋放赤眼蜂，每畝冬暖大棚放蜂1.5萬頭，每次放蜂間隔期為3～5天，連續(xù)3～4次。③藥劑防治：應(yīng)掌握在百株卵量達(dá)20～30粒時開始用藥，尤其在半數(shù)卵變黑時為好，可選用90%敵百蟲可濕性粉劑1000倍液，或50%辛硫磷乳油1000倍液，或2.5%溴氰菊酯乳油3000倍液，或40%菊馬乳油2000～3000倍液噴霧。

為保證生成的新特征與真實稻穗特征在內(nèi)容上相似，使用歐氏距離來度量生成特征與真實特征之間的差異，生成器損失函數(shù)LG計算公式為

(3)

式中M——特征圖上的像素點數(shù)量

xi——稻穗的真實特征值

x′i——遮擋處生成的新特征值

局部判別器和全局判別器擁有相同的損失函數(shù)，計算公式為

(4)

式中LLocalD——局部判別器損失函數(shù)

LGlobalD——全局判別器損失函數(shù)

Ex～Pdata(x)——真實數(shù)據(jù)分布

Ez～Pz(z)——遮擋噪聲分布

G(z)——噪聲生成的數(shù)據(jù)值

OSIM的損失函數(shù)L由生成器和判別器共同構(gòu)成，其計算公式為

L=LG+LLocalD+LGlobalD

(5)

1.5 基于特征金字塔的特征融合

不同卷積層上輸出特征圖的語義信息和空間信息各不相同，低層卷積特征保留目標(biāo)較多的空間和細(xì)節(jié)信息，而高層卷積特征具有較好的語義性。為進(jìn)一步豐富稻穗特征，GFP-PD算法參考特征金字塔網(wǎng)絡(luò)(Feature pyramid networks，F(xiàn)PN)的結(jié)構(gòu)[33]，抽取稻穗的多尺度特征并使用OSIM模塊進(jìn)行優(yōu)化，按由深到淺的順序融合高語義信息的深層特征和高細(xì)節(jié)信息的淺層特征，使得稻穗特征在具有較好語義性的同時保留更多的空間信息。

特征融合時，對深層特征進(jìn)行2倍上采樣后與前一層特征進(jìn)行橫向連接(Lateral connections)。使用RPN分別對每一層融合后的新特征生成候選區(qū)域并進(jìn)行檢測。橫向連接的計算公式為

Fk=Sk-1A1×1+f(Sk) (k=1,2,…,n)

(6)

式中Sk-1——第k-1層輸出的特征矩陣

Sk——第k層輸出的特征矩陣

A1×1——1×1卷積核

f——基于最鄰近插值的2倍上采樣函數(shù)

Fk——第k-1層和k層融合后的特征矩陣

1.6 基于Faster R-CNN算法的檢測

圖4 基于GFP-PD算法的稻穗檢測與計數(shù)流程圖Fig.4 Flow chart of panicle detection and counting based on GFP-PD

GFP-PD算法基于Faster R-CNN算法檢測目標(biāo)，實現(xiàn)目標(biāo)分類和目標(biāo)定位。對于OSIM優(yōu)化的稻穗特征，GFP-PD算法利用候選區(qū)域生成網(wǎng)絡(luò)生成候選區(qū)域，使用尺寸為3×3的卷積核遍歷(滑動步長為1)優(yōu)化后的特征圖。設(shè)計1∶1、2∶1、1∶2共3種不同尺度的長寬比，以特征圖上的每個像素點(錨點)為中心生成9個大小不同的預(yù)測框。檢測模塊的損失函數(shù)由類別損失和位置回歸損失共同構(gòu)成，損失函數(shù)為

(7)

其中

(8)

(9)

式中L——檢測模塊的整體損失函數(shù)

Lcls——用于分類的對數(shù)損失函數(shù)

Lreg——用于定位的魯棒回歸損失函數(shù)

i——錨點編號

Pi——錨點i被預(yù)測為目標(biāo)的概率

ti——生成的預(yù)測框左上頂點和右下頂點坐標(biāo)組成的4維向量

Ncls——訓(xùn)練時的批尺寸(Mini-batch size)

Nreg——產(chǎn)生的候選區(qū)域數(shù)量

λ——分類損失和回歸損失的平衡系數(shù)

2 基于GFP-PD算法的稻穗檢測與計數(shù)

基于GFP-PD算法訓(xùn)練稻穗檢測模型，流程如圖4所示，主要包括5個步驟：原始圖像采集；訓(xùn)練數(shù)據(jù)集構(gòu)建；OSIM修復(fù)模型訓(xùn)練；稻穗檢測模型訓(xùn)練；稻穗計數(shù)。

2.1 原始圖像采集

水稻圖像于2017年10—11月采集于江蘇省南京市六合區(qū)艾津水稻生產(chǎn)基地(32°16′44″N，118°51′10″E，海拔4 m)，供試水稻品種為南粳46，每穴3～5苗，株間距30 cm，行間距12 cm。使用佳能EOS 70D型數(shù)碼相機(jī)在水稻植株側(cè)上方60 cm處，進(jìn)行隨意角度拍攝，共采集圖像267幅，圖像分辨率均為4 032像素×3 024像素。如圖5所示，單幅圖像中包含大量水稻稻穗與葉片，統(tǒng)計后稻穗平均尺寸約260像素×180像素，絕大部分稻穗局部被葉片遮擋。

圖5 不同角度下獲取的田間水稻圖像Fig.5 Rice images taken from different angles

2.2 訓(xùn)練數(shù)據(jù)集構(gòu)建

對于原始的田間水稻圖像，隨機(jī)選取130幅作為訓(xùn)練集，57幅作為驗證集，將剩余80幅作為測試集。訓(xùn)練集、驗證集與測試集在圖像樣本空間上沒有交集，基于劃分后的數(shù)據(jù)集分別構(gòu)造OSIM訓(xùn)練數(shù)據(jù)集、水稻訓(xùn)練集和水稻測試集。

(1)OSIM訓(xùn)練數(shù)據(jù)集構(gòu)建：基于OSIM的特征修復(fù)模型的損失在含有葉片遮擋的稻穗圖像和未遮擋時的稻穗圖像間傳遞，實際數(shù)據(jù)采集過程中，獲得同一場景的含有葉片遮擋的稻穗圖像和其對應(yīng)未遮擋時的圖像是困難的。因此本研究中，人工從劃分后的水稻訓(xùn)練集和測試集圖像中篩選未遮擋稻穗圖像982幅，圖像尺寸為128像素×128像素。通過隨機(jī)丟棄部分像素來模擬葉片遮擋，構(gòu)造的OSIM訓(xùn)練數(shù)據(jù)集部分樣本如圖6所示。

圖6 OSIM訓(xùn)練數(shù)據(jù)集示例Fig.6 Examples of train data for OSIM

(2)水稻訓(xùn)練集構(gòu)建：本研究中單幅圖像尺寸為4 032像素×3 024像素，直接使用原圖訓(xùn)練模型時導(dǎo)致硬件負(fù)載過高且耗時增加，因此按長、寬分別二等分切割訓(xùn)練集和驗證集圖像。切割后圖像尺寸為2 016像素×1 512像素，平均稻穗尺寸為260像素×180像素，單個稻穗約占切割圖像的1.54%，稻穗相對于圖像依然為小目標(biāo)。利用開源標(biāo)注工具LabelImg對切割后的訓(xùn)練集和驗證集圖像進(jìn)行人工標(biāo)注，將樣本中的稻穗通過最小外接矩形標(biāo)出，記錄最小外接矩形的左上、右下頂點坐標(biāo)，標(biāo)注最小外接矩形框的類別標(biāo)簽為稻穗。切割后的圖像和對應(yīng)稻穗標(biāo)注文件共同組成水稻訓(xùn)練集。

(3)水稻測試集構(gòu)建：將測試集圖像按長、寬分別二等分切割組成水稻測試集。

2.3 OSIM特征修復(fù)模型訓(xùn)練

OSIM被設(shè)計為一個獨立的插件嵌入到GFP-PD中，為含有遮擋噪聲的特征和真實稻穗特征構(gòu)建一個有效映射。因此，OSIM特征優(yōu)化模型被獨立訓(xùn)練。OSIM的訓(xùn)練采用課程策略[33](Curriculum strategy)和隨機(jī)梯度下降法(Stochastic gradient descent，SGD)，整個過程包括3個階段。首先，利用LG訓(xùn)練遮擋區(qū)域并獲得初步模糊內(nèi)容；其次，利用LLocalD提高修復(fù)區(qū)域內(nèi)容的真實度；最后，利用LGlobalD調(diào)整修復(fù)區(qū)域與待檢測目標(biāo)的結(jié)構(gòu)。隨機(jī)生成特征修復(fù)模型的初始化參數(shù)，為了提高訓(xùn)練的有效性和效率，訓(xùn)練中后一階段的模型總是以前一階段的模型為基礎(chǔ)微調(diào)(Fine turning)獲得。

2.4 稻穗檢測模型訓(xùn)練與稻穗計數(shù)

使用水稻訓(xùn)練集作為稻穗檢測模型的輸入數(shù)據(jù)，將通過特征學(xué)習(xí)網(wǎng)絡(luò)獲得的稻穗特征首先輸入2.3節(jié)訓(xùn)練的OSIM特征修復(fù)模型，修復(fù)后的特征被輸入RPN生成候選區(qū)域并進(jìn)行識別和定位，使用隨機(jī)梯度下降法和交替優(yōu)化法(Alternating optimization)訓(xùn)練稻穗檢測模型。稻穗計數(shù)時，將測試圖像輸入稻穗檢測模型，在稻穗識別和定位的基礎(chǔ)上統(tǒng)計稻穗數(shù)量。

3 實驗與結(jié)果分析

3.1 模型訓(xùn)練軟硬件平臺

處理平臺為AMAX的PSC-HB1X深度學(xué)習(xí)工作站，處理器為Inter E5-2600 v3，主頻為2.1 GHz，內(nèi)存為128 GB，硬盤容量為1 TB，GeForce GTX Titan X顯卡。運行環(huán)境為Ubuntu 16.0.4、Caffe和Python 2.7。

3.2 評價指標(biāo)

選用查全率Pc、正確率Pt作為模型性能的評價指標(biāo)，其中查全率是指檢測正確的穗數(shù)與實際穗數(shù)的比值；正確率是指檢測正確的穗數(shù)與識別為稻穗的目標(biāo)數(shù)量的比值。計算公式為

(10)

(11)

式中Ncor——模型檢測正確的穗數(shù)

Nerr——模型檢測錯誤的穗數(shù)

Nreal——測試圖像中實際含有穗數(shù)

Ndect——檢測結(jié)果為稻穗的目標(biāo)數(shù)量

3.3 GFP-PD算法與其他算法的比較

為了比較GFP-PD算法和其他算法對田間稻穗的計數(shù)精度，使用2.2節(jié)構(gòu)建的水稻測試集作為測試數(shù)據(jù)，選擇LMM[15]、Panicle-SEG[20]和Faster R-CNN[24]作為比較對象，4種方法的平均查全率和正確率如表2所示。由表2可知，對于水稻測試數(shù)據(jù)集，本文方法性能最優(yōu)，平均查全率和平均正確率分別為90.82%和99.05%，較Faster R-CNN算法提高了16.69、5.15個百分點。Faster R-CNN算法和GFP-PD算法對田間水稻的檢測效果如圖7所示，檢測結(jié)果表明，相同測試場景下GFP-PD明顯優(yōu)于Faster R-CNN對稻穗的查全率。對于圖7中第3列的測試圖像，GFP-PD算法能夠準(zhǔn)確地檢測到圖像中下部的一些微小稻穗，而Faster R-CNN卻無法感知，這直接驗證了2.1節(jié)中關(guān)于應(yīng)用Faster R-CNN算法檢測尺寸小數(shù)量多稻穗效果不佳的假設(shè)。

表2 GFP-PD與其他算法對測試圖像的計數(shù)性能比較Tab.2 Performance comparison of GFP-PD and other approaches on testing images %

LMM與Panicle-SEG的計數(shù)精度相近，平均查全率均能夠達(dá)到82%以上，和平均正確率95%以上，但較GFP-PD算法的查全率和正確率均分別降低約8、4個百分點。原因可能是對于基于顏色特征的分割算法LMM，水稻稻穗與葉片較小麥貼合的更為緊密，這可能抑制LMM算法中濾波器對葉片等無關(guān)背景的去除性能，也提高了通過計算局部峰值來分割稻穗的難度。而對于Panicle-SEG算法，一方面可能是訓(xùn)練數(shù)據(jù)分布不同，Panicle-SEG算法訓(xùn)練數(shù)據(jù)覆蓋了中國主要的水稻品種，但與本文水稻品種相似的建模數(shù)據(jù)可能相對不足；另一方面，Panicle-SEG算法構(gòu)建模型的圖像從小區(qū)正上方獲取，而本文應(yīng)用場景中葉片遮擋嚴(yán)重，這可能對Panicle-SEG算法中聚類生成候選區(qū)域的精度產(chǎn)生巨大干擾。

圖7 Faster R-CNN算法與GFP-PD算法檢測效果對比Fig.7 Comparison of detection effects between Faster R-CNN and GFP-PD algorithms

3.4 基于FPN的特征增強(qiáng)有效性分析

為進(jìn)一步量化基于感受野分析的特征學(xué)習(xí)網(wǎng)絡(luò)選擇和基于特征金字塔的特征增強(qiáng)對稻穗計數(shù)精度的提升，選擇感受野差異顯著的ZF網(wǎng)絡(luò)(Zeilerfergus net)和VGG16網(wǎng)絡(luò)(Visual geometry group net)并構(gòu)造特征金字塔，分別訓(xùn)練稻穗檢測模型。使用2.2節(jié)劃分的水稻測試集作為測試數(shù)據(jù)，結(jié)果如表3所示。

表3 網(wǎng)絡(luò)選擇和特征金字塔構(gòu)造的性能分析Tab.3 Performance analysis of selecting network and constructing feature pyramid on test dataset %

由表3可知，基于ZF網(wǎng)絡(luò)的Faster R-CNN的平均查全率和正確率分別為71.03%和92.29%，相較于基于ZF網(wǎng)絡(luò)的VGG16網(wǎng)絡(luò)分別降低了3.09、1.56個百分點。類似的，對于構(gòu)造特征金字塔后的Faster R-CNN算法，VGG16網(wǎng)絡(luò)的平均查全率和正確率較ZF網(wǎng)絡(luò)也分別提高了3.75、1.20個百分點。使用VGG16作為特征學(xué)習(xí)網(wǎng)絡(luò)的平均檢測結(jié)果均優(yōu)于ZF，這說明據(jù)式(1)選擇特征學(xué)習(xí)網(wǎng)絡(luò)能夠提升計數(shù)結(jié)果。分析感受野和稻穗尺寸選擇VGG16網(wǎng)絡(luò)后，構(gòu)造特征金字塔的Faster R-CNN算法的平均正確率與Faster R-CNN算法相近，但平均查全率為87.10%，較Faster R-CNN算法提高12.98個百分點，這表明構(gòu)造特征金字塔提取并融合稻穗的多尺度特征，能夠有效增強(qiáng)小尺寸稻穗的特征，從而進(jìn)一步顯著提升稻穗計數(shù)的查全率。

3.5 OSIM特征優(yōu)化有效性分析

為了驗證OSIM模塊對遮擋場景處理的有效性，對于圖6b所示的遮擋模擬圖像，使用反卷積將優(yōu)化后的特征上采樣到輸入圖像的相同尺寸，修復(fù)后的圖像如圖8所示。視覺結(jié)果顯示，通過訓(xùn)練OSIM特征修復(fù)模型，可以有效降低遮擋噪聲對目標(biāo)特征的影響；同時，修復(fù)后的噪聲一定程度上補(bǔ)充了損失的稻穗原始信息，更為準(zhǔn)確地描述和表示輸入的遮擋稻穗場景。

GFP-PD算法對遮擋稻穗的檢測效果如圖9所示，綠框表示圖像中真實存在的遮擋稻穗，紅框表示GFP-PD算法檢測到的稻穗。結(jié)果表明，GFP-PD算法能夠有效地識別局部被葉片遮擋的稻穗，但是稻穗位置的預(yù)測仍然存在一定偏差。為了進(jìn)一步定量分析OSIM對GFP-PD算法計數(shù)精度的提升程度，組合Faster R-CNN算法和OSIM特征修復(fù)模塊分別訓(xùn)練稻穗檢測計數(shù)模型，對于水稻測試集，實驗結(jié)果如表4所示。

圖8 基于OSIM修復(fù)后的稻穗特征反卷積效果示意圖Fig.8 Visual effect diagram of panicle feature repaired based on OSIM

圖9 GFP-PD算法對局部被葉片遮擋稻穗的檢測效果Fig.9 Detecting effect of GFP-PD for panicles occluded by leaves locally

表4 基于OSIM的特征修復(fù)對計數(shù)模型性能的提升分析Tab.4 Performance analysis of feature optimization based on OSIM on 2017 test dataset %

由表4可知，對于VGG16網(wǎng)絡(luò)，基于OSIM訓(xùn)練的稻穗計數(shù)模型對稻穗的識別正確率達(dá)97.34%，比Faster R-CNN提高了3.49個百分點。OSIM修復(fù)模塊優(yōu)化稻穗特征后稻穗識別的正確率上升，這一趨勢在構(gòu)造特征金字塔后也同樣明顯。構(gòu)造特征金字塔后的Faster R-CNN算法對水稻測試集的識別正確率僅為93.87%，較OSIM特征優(yōu)化后的正確率下降了5.18個百分點。正確率的變化驗證了1.2節(jié)中含有噪聲的稻穗特征將抑制稻穗識別正確率的假設(shè)，表明基于生成對抗網(wǎng)絡(luò)的OSIM特征修復(fù)模塊能夠去除稻穗特征中的噪聲，有效地提高了田間遮擋條件下成熟期水稻稻穗的特征質(zhì)量，進(jìn)而提升其計數(shù)精度。

3.6 GFP-PD算法的影響因素分析

對田間水稻圖像計數(shù)時，發(fā)現(xiàn)水稻測試集中有些子圖中穗和葉清晰，而有些子圖中穗和葉模糊且有部分穗人眼難以識別，稱之為清晰子圖和模糊子圖。模型對于同一圖像的不同局部的計數(shù)精度偏差明顯，為了進(jìn)一步探究算法和模型的應(yīng)用邊界，基于GFP-PD算法訓(xùn)練稻穗計數(shù)模型，對水稻測試集的清晰子圖和模糊子圖的計數(shù)結(jié)果如表5所示。

表5 GFP-PD算法對不同清晰度測試圖像的計數(shù)結(jié)果比較Tab.5 Results of GFP-PD for images with different definitions %

由表5可知GFP-PD算法對清晰子圖的查全率為96.99%，比模糊子圖高11.54個百分點；對清晰子圖的稻穗識別正確率比模糊子圖提高0.51個百分點。GFP-PD算法對清晰子圖的計數(shù)精度明顯優(yōu)于模糊子圖，稻穗檢測模型對模糊稻穗并不敏感。如圖10所示，GFP-PD算法能夠準(zhǔn)確地識別清晰子圖中的絕大部分稻穗，但是對于模糊子圖上半部邊緣附近的稻穗存在明顯漏檢。由圖10可知，清晰子圖主要對應(yīng)于原始圖像的中下部分，在獲取時處于相機(jī)焦點附近；而模糊子圖主要對應(yīng)原始未分割圖像的上半部分邊緣，在獲取時處于相機(jī)焦點以外。模糊子圖的稻穗原始信息進(jìn)一步減少，雖然構(gòu)造特征金字塔一定程度上增強(qiáng)了稻穗特征，但基于融合后特征圖生成的候選區(qū)域仍然不能有效覆蓋圖像中所有的稻穗，這影響了本文稻穗計數(shù)模型最終的計數(shù)查全率。

圖10 GFP-PD算法對不同清晰度子圖的檢測效果Fig.10 Detecting effects of GFP-PD algorithm for panicles with different definitions

3.7 討論

基于感受野分析選擇特征學(xué)習(xí)網(wǎng)絡(luò)和基于特征金字塔提取并融合多尺度稻穗特征，有利于提升田間小尺寸稻穗的檢測和計數(shù)精度；基于OSIM的特征修復(fù)，有利于提升田間稻穗特征的質(zhì)量，顯著提高了稻穗識別的正確率；基于GFP-PD算法訓(xùn)練稻穗檢測模型，可以有效識別局部被葉片遮擋的田間稻穗并自動預(yù)測稻穗的位置。進(jìn)一步分析計數(shù)結(jié)果發(fā)現(xiàn)，抑制計數(shù)精度的另一個主要因素是存在部分區(qū)域重疊的稻穗。如圖11所示，稻穗檢測模型易將粘連的稻穗識別為一個稻穗或?qū)⒅丿B稻穗的部分誤識為一個完整的稻穗。

對于GFP-PD算法而言，構(gòu)建OSIM修復(fù)模型雖然能夠提高稻穗特征質(zhì)量，但是消耗額外的計算量。在實際的應(yīng)用中，還需要進(jìn)一步考慮水稻品種(亞種)、圖像采集裝置、光照條件、成像高度等因素變化的影響。對于形態(tài)差異明顯的不同品種水稻稻穗，下一步將嘗試對特征提取網(wǎng)絡(luò)和候選區(qū)域建議網(wǎng)絡(luò)進(jìn)行優(yōu)化，提取稻穗與葉更細(xì)粒度的可分性特征來提高分類和計數(shù)的精度。

圖11 GFP-PD算法對粘連或重疊稻穗的檢測效果Fig.11 Detecting effects of GFP-PD algorithm for overlapping panicles

4 結(jié)論

(1)GFP-PD算法選擇最佳特征學(xué)習(xí)網(wǎng)絡(luò)并構(gòu)建特征金字塔，顯著提高了田間小尺寸稻穗的查全率。對于構(gòu)造特征金字塔后的Faster R-CNN算法，基于VGG16網(wǎng)絡(luò)的稻穗平均查全率和識別正確率分別為87.10%和93.87%，比ZF網(wǎng)絡(luò)分別提高了3.75、1.20個百分點；而對于Faster R-CNN算法，基于VGG16網(wǎng)絡(luò)的平均查全率和識別正確率比ZF網(wǎng)絡(luò)也分別提高了3.09、1.56百分點。

(2)設(shè)計并訓(xùn)練OSIM能夠有效去除稻穗特征中的葉片噪聲，顯著提高了局部被葉片遮擋的稻穗的識別正確率。對于基于VGG16網(wǎng)絡(luò)的Faster R-CNN方法，使用OSIM修復(fù)模型優(yōu)化稻穗特征前后，對水稻測試集的識別正確率分別為93.85%和97.34%；當(dāng)構(gòu)造特征金字塔時，使用OSIM修復(fù)模型優(yōu)化稻穗特征后，識別正確率由93.87%提高為99.05%，對遮擋稻穗的識別正確率提高了5.18個百分點。

(3)GFP-PD 算法能夠有效檢測局部被葉片遮擋的田間小尺寸稻穗，并對其計數(shù)。稻穗計數(shù)模型的平均查全率和識別正確率分別為90.82%和99.05%，比Faster R-CNN算法結(jié)果分別提高了16.69、5.15個百分點。但GFP-PD算法對清晰稻穗的查全率較模糊稻穗提高11.54個百分點,樣本清晰度是制約GFP-PD算法檢測精度的主要因素。