熊俊濤 戴森鑫 區(qū)炯洪 林筱蕓 黃瓊海 楊振剛

(1.華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院， 廣州 510642; 2.華南農(nóng)業(yè)大學(xué)電子工程學(xué)院， 廣州 510642)

0 引言

農(nóng)作物在生長(zhǎng)過(guò)程中，自然條件和人為操作等諸多因素影響其營(yíng)養(yǎng)情況，導(dǎo)致出現(xiàn)缺素癥狀[1]，影響了農(nóng)產(chǎn)品的產(chǎn)量和質(zhì)量，進(jìn)而影響高效益農(nóng)業(yè)的可持續(xù)發(fā)展。農(nóng)作物營(yíng)養(yǎng)狀況的變化可較大程度從植株的葉片顏色、紋理等特征表現(xiàn)出來(lái)[2]，國(guó)內(nèi)外學(xué)者運(yùn)用圖像處理技術(shù)將作物營(yíng)養(yǎng)缺乏所引起的顏色、紋理變化進(jìn)行可視化分析，取得了諸多成果[3-16]。關(guān)海鷗等[3]利用正則模糊神經(jīng)網(wǎng)絡(luò)及多顏色空間的多維特征參數(shù),解決了農(nóng)作物植株的單葉及冠層圖像與缺素癥狀之間的模糊映射關(guān)系。YAO等[4]在不同土壤背景下，通過(guò)3個(gè)生長(zhǎng)季節(jié)、不同施氮量和不同種植密度的田間試驗(yàn)，獲得了冬小麥冠層光譜和葉片含氮量。張凱兵等[5]利用基于HSV(Hue, Saturation, Value)顏色空間的非均勻直方圖，組合多個(gè)支持向量機(jī)分類(lèi)器，診斷油菜缺素。YUTTANA等[6]提出了一種基于移動(dòng)設(shè)備的水稻葉片顏色分析儀，以估計(jì)稻田所需的氮肥量。尚艷等[7]通過(guò)分析不同生育期及整個(gè)生育期小麥葉片氮含量與冠層光譜反射特征的關(guān)系,建立了小麥葉片氮含量的最佳模型,實(shí)現(xiàn)了對(duì)田間小麥活體氮素營(yíng)養(yǎng)狀況的監(jiān)測(cè)。以上研究均在較為簡(jiǎn)單的背景下對(duì)機(jī)器視覺(jué)獲取的數(shù)字圖像特征進(jìn)行分析，應(yīng)用條件比較苛刻，導(dǎo)致其應(yīng)用的適應(yīng)性較差。

植物生長(zhǎng)在不同的環(huán)境中，經(jīng)常有不同的背景，而背景中經(jīng)常包含與缺素特征無(wú)關(guān)的干擾信息，影響分類(lèi)任務(wù)的最終結(jié)果。使用機(jī)器視覺(jué)技術(shù)在復(fù)雜背景下突出有價(jià)值的圖像、弱化或清除背景的影響，能增加分類(lèi)任務(wù)的精度和穩(wěn)定性。趙熙臨等[17]提出一種基于形態(tài)學(xué)變換的標(biāo)記分水嶺算法，用于復(fù)雜背景下的葉片分割。賈麗麗等[18]在對(duì)圖像的背景及其RGB顏色分量特征進(jìn)行分析后，采用超綠算法和底帽變換算法相結(jié)合的方法對(duì)目標(biāo)樹(shù)葉進(jìn)行分割。WANG等[19]提出了一種新的自適應(yīng)閾值算法，結(jié)合Otsu、Canny算法和模式識(shí)別，選擇閾值來(lái)分割目標(biāo)葉片的區(qū)域。這些利用傳統(tǒng)圖像處理方法分割葉片的方式強(qiáng)調(diào)觀察和分析，應(yīng)用的方法常常隨背景特點(diǎn)變化而變化，難以達(dá)到通用的葉片分割效果。在實(shí)例分割任務(wù)上，深度學(xué)習(xí)可以根據(jù)數(shù)據(jù)和標(biāo)簽，有監(jiān)督地訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到在各種背景下都能發(fā)揮作用的靈活分割工具。

本文重點(diǎn)研究在復(fù)雜背景下獲得大豆葉片的缺素分類(lèi)，利用Mask R-CNN網(wǎng)絡(luò)[20]分割復(fù)雜背景下的葉片，使用基于VGG網(wǎng)絡(luò)(Visual geometry group network)[21]的遷移學(xué)習(xí)方法提取葉片特征，并得到葉片缺素分類(lèi)的方法，為構(gòu)建智能化的缺素分析技術(shù)提供參考。

1 材料與方法

1.1 視覺(jué)系統(tǒng)

圖像采集設(shè)備如圖1所示。圖像采集端使用嵌入式樹(shù)莓派3B作為采集控制器，所使用的圖像采集設(shè)備為800萬(wàn)像素工業(yè)攝像頭，其CMOS彩色感光元件尺寸為1/3.2，拍攝圖像有效最大分辨率為3 264像素×2 448像素，最大光圈為F3.5，手動(dòng)變焦(焦距范圍)鏡頭，焦距范圍2.8～12 mm。在使用樹(shù)莓派接口接入互聯(lián)網(wǎng)并插入電源后，設(shè)置定時(shí)采集目標(biāo)圖像并通過(guò)socket網(wǎng)絡(luò)協(xié)議傳輸至指定云端服務(wù)器供后續(xù)客戶端軟件分析使用。攝像機(jī)三腳架可升降高度范圍為45～138 cm，在試驗(yàn)時(shí)可以根據(jù)需要調(diào)整攝像頭的高度和角度，以滿足多角度拍攝葉片的需要。攝像機(jī)拍攝葉片的最佳距離為20～60 cm之間，與葉片表面形成10°～90°的夾角拍攝。

圖1 葉片圖像采集試驗(yàn)場(chǎng)景圖Fig.1 Picture of image acquiring scene1.采集控制器 2.攝像頭 3.大豆葉片

1.2 特征分析

圖像采集到的葉片特征有：葉片顏色特征，如葉脈間葉肉顏色、葉脈顏色、葉片顏色等；葉片紋理特征，如褶皺、斑點(diǎn)、葉脈形態(tài)等；葉片空間特征，如葉片在圖像中的位置、葉片相對(duì)于圖像的大小、葉片形狀等。除葉片特征外，還會(huì)采集到的無(wú)關(guān)特征有：拍攝狀況，如對(duì)焦、光照等；場(chǎng)景特征，如背景葉片、環(huán)境等。

分類(lèi)過(guò)程中必要的圖像特征有：葉片顏色、葉片紋理、葉片形狀特征。為了進(jìn)行有效的分類(lèi)，使用Mask R-CNN網(wǎng)絡(luò)去除背景特征，通過(guò)對(duì)分割得到的圖像進(jìn)行平移和壓縮，去除圖像中除葉片以外的空間特征，僅有光照特征沒(méi)有很好的處理方法。

1.3 網(wǎng)絡(luò)模型

首先使用Mask R-CNN網(wǎng)絡(luò)分割植株圖像以獲得葉片圖像，然后使用VGG16網(wǎng)絡(luò)提取葉片圖像的瓶頸特征，并使用分類(lèi)網(wǎng)絡(luò)預(yù)測(cè)葉片的缺素分類(lèi)。最終再根據(jù)預(yù)先設(shè)定的分類(lèi)規(guī)則由葉片分類(lèi)概率得到植株的缺素情況。整體流程如圖2所示。

對(duì)采集到的植株葉片圖像進(jìn)行輪廓標(biāo)記，訓(xùn)練Mask R-CNN分割網(wǎng)絡(luò)。在分割效果滿意后，將分割獲得的葉片圖像制作分類(lèi)網(wǎng)絡(luò)的數(shù)據(jù)集；然后將預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)作為特征提取器，提取葉片圖像的瓶頸特征，訓(xùn)練識(shí)別網(wǎng)絡(luò)。

圖2 整體流程圖Fig.2 Structure diagram of whole process

1.3.1Mask R-CNN實(shí)例分割網(wǎng)絡(luò)

Mask R-CNN是基于Faster R-CNN[22]的網(wǎng)絡(luò)框架，在基礎(chǔ)特征網(wǎng)絡(luò)(ResNet101[23]+FPN[24])處理之后又加入了全卷積的Mask分割子網(wǎng)，使得網(wǎng)絡(luò)處理由原來(lái)的分類(lèi)、回歸檢測(cè)，變成了分類(lèi)、回歸檢測(cè)和個(gè)例分割。Mask R-CNN對(duì)數(shù)據(jù)的處理分為2個(gè)階段：第1階段，由Mask R-CNN基礎(chǔ)特征網(wǎng)絡(luò)(ResNet101+FPN)提取大豆葉片圖像的特征圖，然后使用區(qū)域候選網(wǎng)絡(luò) (Region proposal network,RPN)生成針對(duì)目標(biāo)的建議框，并對(duì)建議框篩選得到感興趣區(qū)域 (Regions of interest, ROI)；第2階段，利用ROI Align層(Regions of interest align layer)對(duì)特征圖進(jìn)行像素校正，即通過(guò)ROI Align層使每個(gè)ROI生成固定尺寸特征圖，然后對(duì)每個(gè)ROI預(yù)測(cè)類(lèi)別、位置和對(duì)應(yīng)葉片的掩碼。Mask R-CNN實(shí)例分割網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示。

圖3 Mask R-CNN實(shí)例分割網(wǎng)絡(luò)模型結(jié)構(gòu)圖Fig.3 Structure diagram of Mask R-CNN

Mask R-CNN采用多任務(wù)的損失函數(shù)，每個(gè)ROI區(qū)域的損失函數(shù)包含3部分：邊界框的分類(lèi)損失值、邊界框位置回歸損失值和掩碼部分的損失值。所以，Mask R-CNN的損失函數(shù)Loss定義如下

Loss=Lcls+Lreg+Lmask

(1)

其中

(2)

(3)

(4)

Lmask=[Km2]i

(5)

式中Lcls——分類(lèi)誤差

Lreg——檢驗(yàn)誤差，即邊界框回歸誤差

Lmask——平均相對(duì)熵誤差

i——特征圖中ROI下標(biāo)，即映射ROI的索引

N——?dú)w一化參量，表示類(lèi)別數(shù)

Pi——第i個(gè)ROI預(yù)測(cè)為正樣本的概率

ti——正樣本ROI到預(yù)測(cè)區(qū)域的4個(gè)平移縮放參數(shù)

R——損失函數(shù)

m——掩碼分支對(duì)每個(gè)ROI產(chǎn)生的m×m的掩碼

K——分類(lèi)物體的種類(lèi)數(shù)

假設(shè)一共有K個(gè)類(lèi)別，則Mask分割分支的輸出維度是Km2,對(duì)于m2中的每個(gè)點(diǎn)，都會(huì)輸出K個(gè)二值掩碼,其中K個(gè)不同的分類(lèi)對(duì)應(yīng)不同的m×m區(qū)域，對(duì)于每一個(gè)類(lèi)都有一個(gè)對(duì)應(yīng)的像素，然后用sigmod函數(shù)求相對(duì)熵，得到平均相對(duì)熵誤差Lmask。

1.3.2VGG16網(wǎng)絡(luò)和分類(lèi)器

SIMONYAN等[21]提出的VGG模型，在ImageNet數(shù)據(jù)集分類(lèi)上具有較理想的分類(lèi)效果。由于VGG模型在ImageNet上的優(yōu)秀表現(xiàn)，被認(rèn)為在基礎(chǔ)圖形特征上有一定的抽象能力。常用的遷移學(xué)習(xí)方法是使用VGG網(wǎng)絡(luò)的卷積部分提取瓶頸特征(Bottleneck feature)，然后訓(xùn)練一個(gè)分類(lèi)器。

將葉片輸入VGG16網(wǎng)絡(luò)，提取中間層的輸出，可以在一定程度上分析VGG16網(wǎng)絡(luò)的特征提取能力。圖4為VGG16網(wǎng)絡(luò)處理的原圖和處理后輸出圖像。

圖4 VGG16第1層卷積層的部分輸出Fig.4 Some output from the first convolutional layer

圖4b為從第1層卷積層中挑選的6個(gè)卷積核對(duì)輸入圖像卷積后的輸出圖像，可以看出，卷積神經(jīng)網(wǎng)絡(luò)具有邊緣提取能力以及一定程度上的去噪聲能力。其次，從圖中還能看出，第1層卷積層雖然抽象程度不高，但是已經(jīng)可以提取出不同顏色塊的空間特征，包括葉脈、斑點(diǎn)等都清晰可見(jiàn)。

圖5 VGG16網(wǎng)絡(luò)提取葉片瓶頸特征流程圖Fig.5 Flow chart of extracting bottleneck feature by VGG16 model

圖5所示為VGG16網(wǎng)絡(luò)提取葉片瓶頸特征的流程圖。在使用ImageNet數(shù)據(jù)集訓(xùn)練的VGG16模型(預(yù)訓(xùn)練權(quán)值由 VGG at Oxford 發(fā)布)的基礎(chǔ)上，對(duì)結(jié)構(gòu)修改進(jìn)行遷移學(xué)習(xí)。具體做法是將輸入尺寸改為256×256×3，并將接近輸出的3個(gè)全連接層去掉，以將預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)用作一個(gè)特征提取器。然后構(gòu)建一個(gè)新的全連接網(wǎng)絡(luò)作為分類(lèi)器，并確保輸入層輸入張量形狀與VGG網(wǎng)絡(luò)的卷積層輸出一致，連接一個(gè)128個(gè)神經(jīng)元的全連接層，最后使用Softmax分類(lèi)激活函數(shù)對(duì)其進(jìn)行處理。將預(yù)處理過(guò)的圖像輸入VGG16模型進(jìn)行計(jì)算，從最后一層卷積層提取出瓶頸特征，然后使用瓶頸特征訓(xùn)練分類(lèi)器。

實(shí)際使用時(shí)，將去除全連接層的VGG16預(yù)訓(xùn)練網(wǎng)絡(luò)和訓(xùn)練好的全連接網(wǎng)絡(luò)分類(lèi)器相連，然后將尺寸合適的圖像輸入VGG16網(wǎng)絡(luò)后，經(jīng)過(guò)計(jì)算，得出葉片缺素癥狀的分類(lèi)預(yù)測(cè)。

1.4 訓(xùn)練方法

1.4.1Mask R-CNN實(shí)例分割網(wǎng)絡(luò)訓(xùn)練

訓(xùn)練在臺(tái)式計(jì)算機(jī)(Intel i7-8700 CPU，Windows 10專(zhuān)業(yè)版，GTX 1080 8GB GPU)上進(jìn)行，主要使用的庫(kù)有TensorFlow、Keras、PyQt5。訓(xùn)練模型時(shí)設(shè)置100個(gè)批次，每256幅圖像為1個(gè)批次，直到損失值穩(wěn)定后停止訓(xùn)練。

將基于Mask R-CNN自動(dòng)分割出的前景和背景圖像與人工分割出的基準(zhǔn)圖像進(jìn)行對(duì)比，以馬修斯相關(guān)系數(shù)(Matthews correlation coefficient, MCC)與精確度(Accuracy, ACC)作為本文算法分割精度的評(píng)價(jià)指標(biāo)。

MCC是一種常用且成熟的測(cè)量二分類(lèi)的機(jī)器學(xué)習(xí)評(píng)估指標(biāo)，也是評(píng)價(jià)一種分類(lèi)器在最優(yōu)參數(shù)情況下所擁有的預(yù)測(cè)性能指標(biāo)。MCC 的計(jì)算公式為

(6)

式中MCC——馬修斯相關(guān)系數(shù)

TP——真陽(yáng)性，表示人工分割的葉片前景區(qū)域像素和運(yùn)用Mask R-CNN自動(dòng)分割的葉片前景區(qū)域像素的重合數(shù)量

FP——假陽(yáng)性，表示人工分割的葉片背景區(qū)域像素被Mask R-CNN標(biāo)注為葉片前景區(qū)域像素的數(shù)量

TN——真陰性，表示人工分割的葉片背景區(qū)域像素和Mask R-CNN自動(dòng)分割出的葉片背景區(qū)域像素的重合數(shù)量

FN——假陰性，表示人工分割的葉片前景區(qū)域像素被Mask R-CNN標(biāo)注為葉片背景區(qū)域像素的數(shù)量

MCC值在[-1,1]之間波動(dòng)，其數(shù)值越大，分割越精細(xì)。

ACC的計(jì)算公式為

(7)

式中f——人工分割所得的葉片基準(zhǔn)區(qū)域像素?cái)?shù)

f0——人工分割區(qū)域與本算法分割區(qū)域的交集像素?cái)?shù)

ACC——精確度

1.4.2分類(lèi)網(wǎng)絡(luò)訓(xùn)練

在提取瓶頸特征時(shí)，將增強(qiáng)后的尺寸為256像素×256像素的3通道圖像訓(xùn)練集和測(cè)試集數(shù)據(jù)輸入到VGG16模型，將得到的瓶頸特征以二進(jìn)制字符串形式保存到文件中。訓(xùn)練分類(lèi)器時(shí)，從二進(jìn)制文件中提取瓶頸特征用于訓(xùn)練，避免用VGG16網(wǎng)絡(luò)反復(fù)計(jì)算同樣的數(shù)據(jù)。使用訓(xùn)練集訓(xùn)練20輪(epoch)，每輪包含3 000幅圖像，每輪分94個(gè)批次進(jìn)行。

2 試驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集

文中數(shù)據(jù)均為水培墾農(nóng)18號(hào)大豆葉片圖像，并根據(jù)生長(zhǎng)階段、缺素種類(lèi)進(jìn)行分類(lèi)拍攝。在試驗(yàn)時(shí)，根據(jù)Mask R-CNN實(shí)例分割網(wǎng)絡(luò)需要，人工標(biāo)記葉片輪廓制作分割網(wǎng)絡(luò)數(shù)據(jù)集；分割網(wǎng)絡(luò)訓(xùn)練完成后，根據(jù)分類(lèi)網(wǎng)絡(luò)的需要，人工篩選利用分割網(wǎng)絡(luò)分割得到的葉片圖像，制作分類(lèi)網(wǎng)絡(luò)數(shù)據(jù)集。

2.1.1數(shù)據(jù)來(lái)源

使用的葉片來(lái)源于華南農(nóng)業(yè)大學(xué)資源環(huán)境學(xué)院大豆缺素相關(guān)試驗(yàn)的溫室水培大豆植株，試驗(yàn)用的大豆植株生長(zhǎng)條件處于人工控制下，元素供給條件分為高磷高氮、高磷低氮、低磷高氮、低磷低氮4種。采集時(shí)葉片按照植株所處生長(zhǎng)條件分成4類(lèi)：正常、缺氮、缺磷、缺磷氮。試驗(yàn)環(huán)境為圖6所示的溫室。

圖6 試驗(yàn)環(huán)境Fig.6 Experiment scene

在大豆發(fā)芽后的早期生長(zhǎng)期的不同時(shí)間點(diǎn)對(duì)葉片進(jìn)行采集，采集時(shí)間分別為2018年7月31日(早期生長(zhǎng)期早期)、2018年8月4日(早期生長(zhǎng)期中期)、2018年8月9日(早期生長(zhǎng)期晚期)。在拍攝時(shí)對(duì)各個(gè)分類(lèi)的葉片都用A4紙進(jìn)行不同程度的葉片背景遮擋處理，如圖7所示。

圖7 不同程度的背景遮擋Fig.7 Three levels of background complexity on collected pictures

大豆葉片缺素時(shí)，外觀會(huì)與正常葉片有所區(qū)別，如圖8所示。根據(jù)相關(guān)文獻(xiàn)可知，大豆缺氮的圖像特征為：葉片顏色變?yōu)榈G，出現(xiàn)沿葉脈的鐵色斑塊，葉片薄而小，從葉尖到葉基發(fā)黃；或全葉呈黃色、葉脈失綠。

圖8 不同時(shí)期不同缺素條件下的葉片圖像Fig.8 Leaf images of different periods with different dificiency

大豆缺磷的圖像特征為：葉片顏色變?yōu)樯罹G、無(wú)光澤、葉片尖而窄，葉片變厚；或脈間失綠；或葉脈黃褐色；或全葉呈黃色，或者暗紅色。

在大豆生長(zhǎng)期早期、中期和晚期，對(duì)缺氮、缺磷、缺磷氮、正常4種類(lèi)型的大豆按照試驗(yàn)階段需求拍攝圖像，共拍攝1 578幅圖像，其中264幅為未分類(lèi)圖像，用于分割。最終拍攝圖像數(shù)量統(tǒng)計(jì)如表1所示。

表1 最終拍攝圖像數(shù)量統(tǒng)計(jì)Tab.1 Statistics of collected pictures

2.1.2分割網(wǎng)絡(luò)數(shù)據(jù)集制作

采用圖像語(yǔ)義分割標(biāo)注工具labelme制作Mask R-CNN實(shí)例分割網(wǎng)絡(luò)的數(shù)據(jù)集。數(shù)據(jù)集包含訓(xùn)練集1 200幅，測(cè)試集218幅，比例大致為6∶1。

由于Mask R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)和設(shè)置的網(wǎng)絡(luò)各層參數(shù)特點(diǎn)，圖像的分辨率高度和寬度要求可以整除64。在保證原始圖像寬、高比例不變的情況下，為了使網(wǎng)絡(luò)更快收斂，在圖像預(yù)處理的過(guò)程中將圖像壓縮至1 344像素×896像素。最終選取1 200幅圖像作為Mask R-CNN訓(xùn)練集，218幅圖像作為Mask R-CNN測(cè)試集。

2.1.3分類(lèi)網(wǎng)絡(luò)數(shù)據(jù)集制作

使用訓(xùn)練后的Mask R-CNN實(shí)例分割網(wǎng)絡(luò)分割采集到的圖像，并壓縮成256像素×256像素，得到圖9所示的葉片圖像。

圖9 分割后的葉片圖像Fig.9 Leaf diagram after segmentation

由于拍攝時(shí)隨機(jī)選取葉片拍攝，部分葉片特征不明顯，根據(jù)缺素特征，手工篩選圖像，葉片保留特征如表2、3所示。

表2 保留的缺氮葉片圖像的葉片特征Tab.2 Types of anazotic leaf images to be retained

表3 保留的缺磷葉片圖像的葉片特征Tab.3 Types of aphosphagenic leaf images to be retained

將篩選后的葉片圖像作為分類(lèi)網(wǎng)絡(luò)的原始數(shù)據(jù)集，共包含訓(xùn)練集圖像161幅，測(cè)試集圖像69幅，比例為7∶3。其中訓(xùn)練集包含缺氮28幅，缺磷33幅，正常100幅；測(cè)試集包含缺氮12幅，缺磷15幅，正常42幅。

數(shù)據(jù)增強(qiáng)時(shí)，將訓(xùn)練用的葉片圖像旋轉(zhuǎn)隨機(jī)角度、平移一定距離、按一定比例縮放；添加高斯噪聲。通過(guò)這些操作為訓(xùn)練圖像的無(wú)關(guān)分類(lèi)特征，增加不變性。每個(gè)分類(lèi)固定增強(qiáng)數(shù)據(jù)為1 000幅。為了得到穩(wěn)定的評(píng)估結(jié)果，對(duì)測(cè)試數(shù)據(jù)做相同增強(qiáng)，每幅圖像增強(qiáng)10次。最終得到訓(xùn)練集3 000幅圖像，測(cè)試集690幅圖像，其中訓(xùn)練集包含缺氮1 000幅，缺磷1 000幅，正常1 000幅；測(cè)試集包含缺氮120幅，缺磷150幅，正常420幅。

實(shí)際訓(xùn)練時(shí)，將利用VGG16預(yù)訓(xùn)練網(wǎng)絡(luò)提取葉片的瓶頸特征以訓(xùn)練分類(lèi)網(wǎng)絡(luò)。

2.2 模型評(píng)估

2.2.1Mask R-CNN分割網(wǎng)絡(luò)評(píng)估

由于圖像中目標(biāo)的數(shù)量對(duì)分割效果影響較大，本研究根據(jù)所采集的大豆葉片的數(shù)量和背景，對(duì)葉片進(jìn)行分類(lèi)分割。分割效果如圖10所示，圖像分割精度如表4所示。由圖10可以看出，本文所訓(xùn)練的Mask R-CNN模型對(duì)葉片圖像具有較好的分割效果。

圖10 大豆葉片分割效果Fig.10 Soybean leaf image segmentation results

類(lèi)型MCCACC/%背景遮擋的局部單葉片0.84796.1背景遮擋的局部多葉片0.78893.3背景無(wú)處理的多葉片0.62175.6平均值0.75288.3

在搭載GTX 1080顯卡的臺(tái)式計(jì)算機(jī)上，尺寸為1 344像素×896像素的圖像平均分割時(shí)間為0.8 s。圖10c的分割結(jié)果如圖11所示。

圖11 分割后的單葉圖像Fig.11 Segmented soybean leaf images

2.2.2VGG16卷積神經(jīng)網(wǎng)絡(luò)評(píng)估

訓(xùn)練過(guò)程中，全連接分類(lèi)網(wǎng)絡(luò)的準(zhǔn)確率和損失值的變化如圖12所示。經(jīng)過(guò)訓(xùn)練，模型對(duì)訓(xùn)練集數(shù)據(jù)預(yù)測(cè)的準(zhǔn)確率達(dá)到98.60%，說(shuō)明分類(lèi)器充分地?cái)M合了訓(xùn)練數(shù)據(jù)。模型對(duì)測(cè)試集數(shù)據(jù)預(yù)測(cè)的準(zhǔn)確率達(dá)到89.42%。表5為分類(lèi)器對(duì)訓(xùn)練集預(yù)測(cè)的混淆矩陣，表6為測(cè)試集預(yù)測(cè)的混淆矩陣及召回率指標(biāo)。

從混淆矩陣上看，缺磷葉片被錯(cuò)誤分類(lèi)為正常葉片的比例較大。根據(jù)人工篩選時(shí)的選擇標(biāo)準(zhǔn)，猜測(cè)是第1種缺磷葉片(深綠色，無(wú)光澤)以及第4種缺磷葉片(葉片尖且窄，厚且無(wú)光澤)被錯(cuò)誤分類(lèi)為正常葉片。涉及的特征有顏色特征(深綠色，無(wú)光澤)、形態(tài)特征(尖且窄且厚)，其中，顏色特征為深綠色的容易與陰暗環(huán)境下的正常葉片發(fā)生混淆，形態(tài)特征為尖且窄的缺磷葉片容易與細(xì)長(zhǎng)的正常葉片發(fā)生混淆，兩種缺磷葉片如圖13所示，與其相似的正常葉片如圖14所示。

將第1類(lèi)和第4類(lèi)缺磷葉片剔除，則測(cè)試集準(zhǔn)確率從89.42%上升到94.92%，同時(shí)被錯(cuò)分類(lèi)為正常的缺磷葉片數(shù)量和被錯(cuò)分類(lèi)為缺磷的正常葉片的數(shù)量都將大幅減少。由此認(rèn)為ImageNet預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)不能很好地在不同光照下提取到區(qū)分深綠色和正常葉片顏色的特征，不能很好地提取到一些整體的形態(tài)特征、光澤特征；而對(duì)如葉脈顏色、鐵色斑塊等局部空間特征以及葉片呈黃色、暗紅色等明顯的顏色特征提取效果較好。

圖12 準(zhǔn)確率和損失值隨訓(xùn)練代數(shù)變化曲線Fig.12 Changing curves of accuracy and loss of VGG16 training process

表5 分類(lèi)器對(duì)訓(xùn)練集預(yù)測(cè)的混淆矩陣
Tab.5 Confusion matrix of classification on train set

真實(shí)標(biāo)簽預(yù)測(cè)為缺氮預(yù)測(cè)為缺磷預(yù)測(cè)為正常數(shù)量/幅比例/%數(shù)量/幅比例/%數(shù)量/幅比例/%缺氮100033.330000缺磷20.0799233.0760.20正常0000100033.33

表6 分類(lèi)器對(duì)測(cè)試集預(yù)測(cè)的混淆矩陣及召回率Tab.6 Confusion matrix and recall of classification on test set

圖13 難以被神經(jīng)網(wǎng)絡(luò)正確分類(lèi)的缺磷葉片F(xiàn)ig.13 Aphosphagenic leaves that network failed to classify correctly

圖14 相似的正常葉片F(xiàn)ig.14 Normal leaves that shared similar features

3 結(jié)論

(1)提出了一種多葉片背景下大豆葉片圖像分割方法，使用攝像機(jī)采集圖像，人工標(biāo)記葉片所在區(qū)域，通過(guò)預(yù)訓(xùn)練確定了Mask R-CNN模型訓(xùn)練的初始參數(shù)，利用預(yù)訓(xùn)練確定的參數(shù)訓(xùn)練Mask R-CNN模型，訓(xùn)練得到的模型在大豆葉片分割上具有較高的準(zhǔn)確率。本文算法對(duì)背景遮擋的局部單葉片圖像分割準(zhǔn)確率為96.1%，對(duì)背景遮擋的局部多葉片圖像分割準(zhǔn)確率為93.3%，對(duì)背景無(wú)處理的多葉片圖像分割準(zhǔn)確率為75.6%，平均準(zhǔn)確率為88.3%。

(2)提出了一種大豆葉片缺素的分類(lèi)方法，通過(guò)預(yù)訓(xùn)練確定了VGG16模型卷積部分的參數(shù)并利用確定的參數(shù)訓(xùn)練分類(lèi)器部分，訓(xùn)練得到的模型對(duì)大豆葉片缺素分類(lèi)具有較高的準(zhǔn)確率。本文算法對(duì)各個(gè)分類(lèi)的召回率分別為：缺氮分類(lèi)召回率95.00%，缺磷分類(lèi)召回率66.67%，正常分類(lèi)召回率為95.95%。在測(cè)試集上的準(zhǔn)確率為89.42%。

(3)本文算法對(duì)大豆缺磷葉片的分類(lèi)上仍存在不足，推測(cè)是ImageNet預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)在整體形態(tài)特征和光照變化下對(duì)顏色特征的提取能力不足。本文算法識(shí)別一幅圖像中的大豆葉片缺素癥狀的平均時(shí)間為0.8 s，對(duì)各種缺素癥狀分類(lèi)準(zhǔn)確率較高。