鐘偉鎮(zhèn)，劉鑫磊，楊坤龍，李豐果

(華南師范大學(xué) 物理與電信工程學(xué)院/物理國家級實(shí)驗(yàn)教學(xué)示范中心，廣東 廣州 510006)

不同植物葉片的差異比較大，能夠直接反映植物生長狀態(tài)信息，而且植物葉片容易采摘，因此，常作為植物識別、分類和生長狀態(tài)監(jiān)控的對象進(jìn)行研究。然而，在自然環(huán)境中獲取植物葉片圖像時，葉片圖像中常常包含復(fù)雜的背景和多片相同葉片同時存在的情況。一方面，復(fù)雜的背景包含土地、建筑物和與擬識別對象外觀相似的植物等；另一方面，多片目標(biāo)葉片同時存在且相互重疊，葉片呈現(xiàn)角度不同等情況。這些因素極大增加了目標(biāo)葉片分割和識別的難度，也直接影響了目標(biāo)葉片分割和特征提取的準(zhǔn)確度和效率。

深度學(xué)習(xí)由于其精確度高，響應(yīng)速度快而迅速在葉片分割和識別[1-4]，以及病斑提取[5]領(lǐng)域被廣泛使用。許景輝等[6]在VGG-16模型的基礎(chǔ)上設(shè)計了新的全連接層，并將該模型應(yīng)用到玉米的病害識別上，結(jié)果表明，該模型對玉米健康葉、大斑病葉、銹病葉圖像的平均識別準(zhǔn)確率為95.33%。賈少鵬等[7]提出了一種CNN與膠囊網(wǎng)絡(luò)的組合模型，該模型對番茄灰霉病病害圖像的識別正確率達(dá)93.75%。Dyrmann等[8]使用深度卷積神經(jīng)網(wǎng)絡(luò)對包括雜草在內(nèi)的22種植物進(jìn)行分類，該網(wǎng)絡(luò)的分類準(zhǔn)確度達(dá)86.2%。高云等[9]在深度卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上建立Pig Net網(wǎng)絡(luò)，對群豬圖像進(jìn)行實(shí)例分割，對訓(xùn)練集和驗(yàn)證集的分割準(zhǔn)確率分別為86.15%和85.40%。馮海林等[10]將Alex Net、VGG Net-16、Inception-V3和ResNet-50四種模型通過相對多數(shù)投票法和加權(quán)平均法建立集成的新模型Trees Net，對復(fù)雜背景下樹種圖像識別準(zhǔn)確率達(dá)到99.15%。Mehdipour-Ghazi等[11]通過優(yōu)化轉(zhuǎn)移學(xué)習(xí)參數(shù)，使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行植物識別，最好的組合系統(tǒng)在驗(yàn)證集上的總體準(zhǔn)確度達(dá)到了80%。畢松等[12]提出一種對自然環(huán)境下柑橘進(jìn)行識別的深度學(xué)習(xí)模型，該模型在自然環(huán)境下對柑橘的平均識別準(zhǔn)確率為86.6%；孫哲等[13]提出一種基于Faster R-CNN的西蘭花幼苗檢測模型，該模型以ResNet101網(wǎng)絡(luò)為特征提取網(wǎng)絡(luò)，對西蘭花幼苗的平均檢測精度為90.89%。袁銀等[14]利用SGD(隨機(jī)梯度下降法)優(yōu)化google Net的深度卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)對50種常規(guī)植物圖像的識別準(zhǔn)確率在90%以上。穆龍濤等[15]采用Im-AlexNet為特征提取層的Faster R-CNN目標(biāo)檢測算法，對復(fù)雜環(huán)境下相互遮擋的獼猴桃進(jìn)行識別，在不同環(huán)境下識別精度為96.00%。綜上所述，在深度學(xué)習(xí)領(lǐng)域，有關(guān)植物葉片的分割與識別已經(jīng)取得不小的成果，但是缺少一種高效的針對植物葉片的種類識別與分割統(tǒng)一模型。Mask Region-based Convolutional Neural Network (Mask-RCNN)是一種通過使用標(biāo)記好的圖像進(jìn)行訓(xùn)練，同時對多個目標(biāo)進(jìn)行分割和識別且準(zhǔn)確率較高的深度學(xué)習(xí)框架。本文采用Mask-RCNN對自然狀態(tài)下的包含地面、綠色植物等復(fù)雜背景的4種植物的多目標(biāo)葉片圖像進(jìn)行像素級別的分割和植物葉片種類的識別，并對分割準(zhǔn)確率進(jìn)行定量分析。這一研究將對復(fù)雜背景下植物多目標(biāo)葉片分割和識別提供算法參考，也為基于植物葉片的植物生長狀態(tài)的監(jiān)控提供算法支持。

1 材料與方法

1.1 圖像采集

采用在華南植物園使用手機(jī)拍攝的植物葉片圖像作為訓(xùn)練樣本，共拍攝了7 357張圖像。由于Mask-RCNN為有監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)，因此需對訓(xùn)練圖像進(jìn)行標(biāo)注，共標(biāo)注了3 000張植物葉片圖像作為訓(xùn)練數(shù)據(jù)。這3 000張圖像共包含4種植物，分別為孔雀竹芋(Calatheamakoyana)、珊瑚樹(Viburnumodoratissinum)、洋常春藤(HederahelixL.)和黃花羊蹄甲(Bauhiniatomentosa)，這4種植物在形狀或顏色上有較大差異，便于區(qū)分。

1.2 圖像標(biāo)注

A，孔雀竹芋；B，珊瑚樹；C，洋常春藤；D，黃花羊蹄甲。A，Calathea makoyana;B，Viburnum odoratissinum;C，Hedera helix L.;D，Bauhinia tomentosa.圖1 葉片樣本標(biāo)注示意圖Fig.1 Schematic diagrams of the leaf sample labeling

由于顯卡內(nèi)存限制，需對圖像進(jìn)行一定比例的縮小后進(jìn)行標(biāo)注，縮小后的圖像像素大小不超過850×850，相應(yīng)地訓(xùn)練所需顯卡內(nèi)存不超過8 GB。圖1所示為葉片樣本的標(biāo)注，選擇圖像中葉片面積最大且葉片完整的1片或者2片葉片(具體以圖像中實(shí)際完整葉片數(shù)目來選擇，有1個就選擇1個，有多個就選擇多個)作為目標(biāo)葉片，使用標(biāo)注軟件labelme將4種植物葉片圖像中目標(biāo)葉片的邊緣輪廓使用標(biāo)注點(diǎn)標(biāo)注出來，并使用不同標(biāo)注標(biāo)簽即葉片英文名進(jìn)行分類。所有的標(biāo)注信息如標(biāo)注標(biāo)簽、標(biāo)注點(diǎn)坐標(biāo)等將會保存到與原圖像對應(yīng)的json文件中。

使用labelme打開原圖像和對應(yīng)json文件即可看到圖1所示圖像，標(biāo)注點(diǎn)將圖像分為2部分，標(biāo)注點(diǎn)內(nèi)部為不同種類的目標(biāo)葉片，其余為背景；但標(biāo)注的標(biāo)簽信息不會在圖像中顯示，只能在labelme的其他視圖中看到；因此，將標(biāo)注后的json文件轉(zhuǎn)化為可視圖像，結(jié)果如圖2所示。樣本圖像中的不同目標(biāo)葉片將會用不同顏色的掩膜覆蓋，并在右下角顯示出標(biāo)記的標(biāo)簽。此時每張圖像對應(yīng)的json文件只包含對應(yīng)的原圖像標(biāo)注信息，將所有標(biāo)注圖像的json文件合成1個包含所有標(biāo)注圖像標(biāo)注信息的json文件，轉(zhuǎn)換成coco數(shù)據(jù)集輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。

A，孔雀竹芋；B，珊瑚樹；C，洋常春藤；D，黃花羊蹄甲。A，Calathea makoyana;B，Viburnum odoratissinum;C，Hedera helix L.;D，Bauhinia tomentosa.圖2 標(biāo)注后的葉片圖像樣本Fig.2 Labelled leaf samples

1.3 實(shí)驗(yàn)方法

1.3.1 Mask-RCNN基本框架

Mask-RCNN可分為4個主要的結(jié)構(gòu)：主干架構(gòu)(Backbone)、區(qū)域候選網(wǎng)絡(luò)(RPN)、興趣區(qū)域(ROI)分類器和邊框回歸器、分割掩膜(Mask)生成網(wǎng)絡(luò)。Mask-RCNN的主干架構(gòu)通常會利用1種或2種常用的卷積神經(jīng)網(wǎng)絡(luò)對訓(xùn)練圖像進(jìn)行特征提取，這是整個Mask-RCNN的基礎(chǔ)部分，不同的深度學(xué)習(xí)網(wǎng)絡(luò)對不同物體的特征提取效果不一，在進(jìn)行遷移時要選取合適的深度學(xué)習(xí)網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，在使用相同數(shù)據(jù)進(jìn)行訓(xùn)練時，使用ResNet101比ResNet50等網(wǎng)絡(luò)精度更高[16]。

本文采用ResNet101與FPN相結(jié)合作為主干架構(gòu)對植物葉片圖像進(jìn)行特征提取，其中ResNet101是一個共有101次卷積的卷積神經(jīng)網(wǎng)絡(luò)，可以依次提取出低級特征(邊緣、角點(diǎn)等)和高級特征(葉片、花朵、地面等)，形成5層不同大小和維度的特征圖(feature maps)，如果只使用ResNet101網(wǎng)絡(luò)的最后一層特征圖作為該網(wǎng)絡(luò)的輸出，由于其分辨率比較低，難以檢測出比較小的葉片特征：因此，使用FPN網(wǎng)絡(luò)將底層到高層的特征圖進(jìn)行融合，充分利用ResNet 101網(wǎng)絡(luò)各層提取到的特征，將主干架構(gòu)提取得到的特征圖輸入到區(qū)域候選網(wǎng)絡(luò)。區(qū)域候選網(wǎng)絡(luò)是一個典型的二分類網(wǎng)絡(luò)，其作用是將圖像分為目標(biāo)葉片與背景2個類別，并將植物葉片以盡量貼合葉片大小的方框分別框選出來，此時只能區(qū)分出包含目標(biāo)葉片的大概區(qū)域與背景，無法對目標(biāo)葉片進(jìn)行細(xì)致的物種分類和葉片分割。經(jīng)過區(qū)域候選網(wǎng)絡(luò)可以得到1個或多個必然包含目標(biāo)葉片的區(qū)域，該區(qū)域?qū)⒈惠斎隦OIAlign中池化為固定大小的特征圖，再分別輸入到2個分支中。其中1個分支網(wǎng)絡(luò)通過興趣區(qū)域(ROI)分類器和邊框回歸器來進(jìn)行目標(biāo)葉片識別，興趣區(qū)域(ROI)分類器和邊框回歸器均由1個全連接層構(gòu)成，1個全連接層作為興趣區(qū)域(ROI)分類器將興趣區(qū)域分類為具體的植物類別，另一個全連接層則作為邊框回歸器調(diào)整興趣區(qū)域的中心點(diǎn)位置和長寬比，以求更精準(zhǔn)地檢測到目標(biāo)葉片。另一個分支網(wǎng)絡(luò)則是由全卷積網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)構(gòu)成的分割掩膜(Mask)生成網(wǎng)絡(luò)，該網(wǎng)絡(luò)會產(chǎn)生與目標(biāo)葉片大小、形狀一致的掩膜對目標(biāo)葉片圖像進(jìn)行分割。最終將識別與結(jié)果相結(jié)合，得到1張包含目標(biāo)葉片類別和與目標(biāo)葉片大小、形狀一致的分割掩膜的圖像。

1.3.2 模型參數(shù)

本文使用Ubuntu 16.04操作系統(tǒng)，服務(wù)器使用顯卡為NVIDIA Tesla P4，顯存為8 GB。使用Mask-RCNN-fpn-resnet101做預(yù)訓(xùn)練模型。2組參數(shù)組合對最終選擇的參數(shù)組合進(jìn)行多次實(shí)驗(yàn)進(jìn)行比較：(1)取max epoch為12，初始學(xué)習(xí)率設(shè)置為0.01，動量默認(rèn)設(shè)置為0.9，實(shí)驗(yàn)表明，網(wǎng)絡(luò)會誤識別不屬于本文所需分析的4種植物葉片，即網(wǎng)絡(luò)欠擬合，模型復(fù)雜度較低；(2)取max epoch為24，初始學(xué)習(xí)率設(shè)置為0.02，動量默認(rèn)設(shè)置為0.9，結(jié)果表明，網(wǎng)絡(luò)會誤識別4種植物種類，即網(wǎng)絡(luò)過擬合，泛化能力較差。

本文最終選擇分割效果最好的參數(shù)組合，即：

圖3 Mask-RCNN的結(jié)構(gòu)圖Fig.3 Architecture of Mask-RCNN

max epoch為24，采用帶動量的梯度下降優(yōu)化算法，初始學(xué)習(xí)率設(shè)置為0.01，動量默認(rèn)設(shè)置為0.9。訓(xùn)練需要運(yùn)行時間大約11 h，訓(xùn)練完成后分割需要幾秒鐘。圖4是本文在上述參數(shù)下網(wǎng)絡(luò)訓(xùn)練的損失與精準(zhǔn)度收斂曲線圖，可以看出，loss(損失)在0.04附近收斂，accuracy(精準(zhǔn)度)在0.99附近收斂。說明網(wǎng)絡(luò)達(dá)到了很好的擬合效果。

圖4 Mask-RCNN的訓(xùn)練結(jié)果收斂曲線圖Fig.4 Convergence curve of training results of Mask-RCNN

1.3.3 錯分率計算

為了對分割效果進(jìn)行定量評價，選擇以人工在Photoshop軟件中摳出的目標(biāo)葉片作為評價基準(zhǔn)，使用錯分率針對本文算法對目標(biāo)葉片分割的準(zhǔn)確率進(jìn)行評價。本文將圖像中的點(diǎn)定義為4種情況：算法分割的結(jié)果與手動分割的結(jié)果相比較，將分割正確的目標(biāo)葉片上的點(diǎn)稱為正確的目標(biāo)(true positive)，將目標(biāo)葉片上的點(diǎn)判斷成了背景的點(diǎn)稱為錯誤的目標(biāo)(false positive)，將分割正確的背景上的點(diǎn)稱為正確的背景(true negative)，將背景上的點(diǎn)判斷成了目標(biāo)葉片上的點(diǎn)稱為錯誤的背景(false negative)。因此，定義了相關(guān)的4種錯分率計算方式。第1種是將背景誤分割為目標(biāo)的點(diǎn)即錯誤背景點(diǎn)占算法分割出來的目標(biāo)點(diǎn)的比例，稱為錯誤背景率(false negative rate，F(xiàn)NR)；第2種是將目標(biāo)誤分割為背景的點(diǎn)即錯誤目標(biāo)點(diǎn)占算法分割出來的背景點(diǎn)的比例，稱為錯誤目標(biāo)率(false positive rate，F(xiàn)PR)；第3種為所有誤分割的點(diǎn)占整個圖像的比例，稱為圖像錯分率(error rate，ER)；第4種為所有誤分割的點(diǎn)占實(shí)際葉片的比例，稱為葉片錯分率(error rate for object，ERO)。

2 結(jié)果與分析

2.1 原圖與分割后的圖像

目標(biāo)葉片指的是在圖像中面積較大且較為完整的葉片。圖5中展示了有2個目標(biāo)葉片的樣本圖像原圖和分割后的圖像。圖5-A為原圖，可以看到圖像中有2個目標(biāo)葉片；圖5-B為原圖輸入訓(xùn)練好的Mask-RCNN后輸出的結(jié)果圖，圖中的2個目標(biāo)葉片分別被不同顏色的掩膜覆蓋并各自處于1個獨(dú)立的綠色方框中，將圖5-B的方框部分放大得到圖5-E和5-F，框選出目標(biāo)葉片的綠色方框左上角的內(nèi)容是該框內(nèi)目標(biāo)葉片的預(yù)測標(biāo)簽和分?jǐn)?shù)，即該框中的目標(biāo)葉片的植物分類和目標(biāo)葉片屬于該植物類別的概率。本次分割實(shí)驗(yàn)包含2個類型，即黃花羊蹄甲和背景，所以顯示的標(biāo)簽都是“Bauhiniatomentosa”，概率分別為0.90和0.99。將圖5-B中覆蓋目標(biāo)葉片的掩膜提取出來得到圖5-C，將圖5-C與利用PS摳出的目標(biāo)葉片圖像5-D進(jìn)行比較，計算錯分率。

為了驗(yàn)證算法的可靠性，選擇了4種植物葉片圖像共80個樣本，利用Mask-RCNN進(jìn)行分割，再進(jìn)行識別統(tǒng)計和錯分率分析，這80個樣本中共含有125片葉片。圖6所示為80張樣本中部分圖像的原圖、分割效果圖、相應(yīng)的掩膜和手動分割效果圖。

A，原圖；B，實(shí)驗(yàn)結(jié)果圖；C，掩膜；D，PS摳圖；E，目標(biāo)葉片1，F(xiàn)，目標(biāo)葉片2。A，Original image;B，Experimental result;C，Mask;D，Segmented image by Photoshop;E，Target blade 1;F，Target blade 2.圖5 原圖與分割后的圖像樣本Fig.5 Original image and segmented image sample

從左到右依次為原圖、分割效果圖、掩膜、PS摳圖。From the left to right were original image，segmentation diagram，mask and segmented image by photoshop，respectively.圖6 部分測試樣本實(shí)驗(yàn)結(jié)果示意圖Fig.6 Schematic diagram of the experimental results of part of integrant test samples

2.2 測試樣本的錯分率

統(tǒng)計結(jié)果顯示，Mask-RCNN對于所有樣本的其余125個葉片全部識別正確，且保持較高的識別概率，識別效果較好。為了對分割結(jié)果的準(zhǔn)確性進(jìn)行定量分析，采用以Photoshop手動摳圖的葉片為基準(zhǔn)，計算錯分率，錯分率計算結(jié)果如圖7所示。80個樣本的錯誤背景率(FNR)和錯誤目標(biāo)率(FPR)最高不超過2.72%和3.15%，說明將背景誤分割為目標(biāo)和將目標(biāo)誤分割為背景的概率較低，對于背景和目標(biāo)有較好的分類。樣本的圖像錯分率(ER)最高不超過2.49%，平均圖像錯分率為0.93%。樣本的葉片錯分率(ERO)平均值為4.79%。其中，圖像錯分率(ER)為圖像分割領(lǐng)域通用指標(biāo)。綜合以上計算結(jié)果，說明Mask-RCNN對復(fù)雜背景下植物葉片有較好的分割效果。

圖7 測試樣本的錯分率Fig.7 Error rate of test samples

3 結(jié)論

使用Mask-RCNN深度學(xué)習(xí)網(wǎng)絡(luò)對復(fù)雜背景下的4種植物(孔雀竹芋、珊瑚樹、洋常春藤和黃花羊蹄甲)進(jìn)行了目標(biāo)識別和圖像分割。共拍攝了7 357張圖像，標(biāo)注了4種植物的3 000張葉片圖像作為數(shù)據(jù)庫，并輸入Mask-RCNN深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練后識別和分割了80個樣本，并對其中80個樣本進(jìn)行了識別統(tǒng)計和錯分率分析。結(jié)果表明：Mask-RCNN深度學(xué)習(xí)網(wǎng)絡(luò)對這4種植物的識別效果較好，未出現(xiàn)識別錯誤的情況；分割的平均圖像錯分率為0.93%，最大值不超過2.49%，即分割準(zhǔn)確率達(dá)97.51%。說明Mask-RCNN可以對在自然環(huán)境下獲得的存在復(fù)雜背景和光照不均等情況的植物圖像進(jìn)行較為準(zhǔn)確的分割和識別，具有良好的遷移性。誠然，對于自然生長狀態(tài)的植物利用葉片進(jìn)行識別和監(jiān)控時，由于拍攝葉片圖像時極其容易受到光照、拍攝角度等因素的影響，同時背景極具偶然性，這些因素給分割和識別目標(biāo)葉片帶來了困難，需要進(jìn)一步研究。