鄭艷梅 黃光耀 蘆碧波 王永茂

(河南理工大學 計算機科學與技術學院，河南 焦作 454003)

葉片是植物進行光合作用、蒸騰作用和合成有機物質的主要器官，葉片的生長發(fā)育狀況直觀反映植物生長情況和營養(yǎng)狀況。準確快速分割植物葉片并提取其面積、周長等幾何參數值，可以預測植物的生長模型，監(jiān)測病蟲害，為合理栽培管理提供重要數據支撐[1-2]。

傳統(tǒng)的測量植物葉片幾何參數的手段有葉面積儀法、稱重法、方格紙法等[3]。葉面積儀法使用專業(yè)的葉面積測量設備，這種方法精確率較高，使用方便，速度快，操作簡單，但價格較為昂貴，成本較高，開發(fā)難度大，維修不便[4]。稱重法使用稱重工具(分析天平)對葉片質量進行稱重，根據單位面積葉片質量和葉片密度指數計算葉片面積。該方法操作較復雜，測量大量葉片時效率較低，并且葉片的厚度不一致，密度不同，測量正確率受客觀自然條件限制，無法測量除葉片面積外的其它參數信息[5]。方格紙法將待測量的葉片平鋪在方格紙中間位置，使用鉛筆描繪葉片輪廓后計算葉片面積。該方法處理速度慢，僅適于處理少量葉片，還需合理舍取處于葉片邊緣、覆蓋不完整的方格[6]。

基于數字技術的蘋果葉片分割與測量方法具有簡單、快速、費用低廉等特點。張萬紅[7]提出了一種基于圖像分割的蘋果葉片幾何參數的測定方法，該方法將圖像顏色空間進行轉換，使用大津法(Otsu)獲得二值圖像，根據像素坐標計算面積、周長、葉長、葉寬等葉片參數。該方法準確率較高、成本較低。肖強等[8]提出一種使用Photoshop軟件對數字葉片圖像進行非破壞性的測量方法，該方法使用了坐標紙作為拍攝背景來確保選用的計算系數盡量一致，但由于不同拍攝分辨率和圖像縮放比例都會對像素數量產生影響，測量精度受人為因素影響較大。徐義鑫等[9]給出一種基于Android手機的植物葉片幾何參數測量方法，使用手機拍照即可測量出其面積、周長等幾何參數，操作簡單、精度高、成本低、通用性強，但對圖像拍攝的條件要求相對較高，光照、參照物、是否傾斜等因素對測量結果影響較大。張萬紅等[10]提出了一種基于數字圖像分析的方法分割蘋果葉片并進行參數測量，使用灰度化、中值濾波、二值化等算法計算葉片面積，準確率較高、省時省力，但對圖像背景色要求較高，算法參數較多，處理大量圖像耗時較多。陳愛軍等[11]提出基于邊緣跟蹤算法的植物葉片參數測量系統(tǒng)，借助標定物得到葉片的面積、周長、長、寬等參數，但該方法需要借助掃描儀，成本較高并且掃描大量葉片速度較慢。

針對上述問題，本研究擬設計一種新的蘋果葉片分割算法，結合使用深度學習和引導濾波技術，在對蘋果葉片進行粗分割的基礎上優(yōu)化邊緣細節(jié)，準確測定蘋果葉片的形狀以利于提取面積、周長等幾何參數值。

1 材料及方法

1.1 試驗材料

本研究所用蘋果葉片圖像(圖1)，源自于夏雪等[12]提供的公開數據集，該數據集采集于中國農業(yè)科學院果樹研究所的資源圃，采集時間為果樹枝葉最旺盛的7月中旬—8月中旬，采集工具為配備尼克爾鏡頭并具有D-lighting功能的尼康D90型數碼相機，能夠對過度曝光和暗光進行自動修正，使葉片邊緣鋸齒輪廓清晰。數據集共包含8 184張?zhí)O果葉片圖像、涵蓋國內外常見的174種蘋果葉片種類，每種葉片圖像數量為20～50張。葉片圖像分辨率分別為4 288像素×2 848像素和3 216像素×2 316像素，圖像數據文件總計14.5 GB，預處理階段把葉片圖像分辨率統(tǒng)一縮小為1 204像素×800像素。

由圖1可以看出，葉片放置在具有刻度的藍色標尺平板上拍攝，但綠色葉片和藍色背景之間的對比度不大，葉片局部與標尺重疊(圖1(a))。部分蘋果葉片會有自然卷曲情況，圖像中會包含葉片背面和陰影(圖1(b))。部分圖像中葉尖超出拍攝視域(圖1(c))或者包含葉柄處嫩芽(圖1(d))，給葉片分割增加了難度。

圖1 4種復雜情況下的蘋果葉片圖像Fig.1 Apple leaf images in four complex cases

與目前公開的相關數據集[13-14]相比，該數據集種類豐富，背景相對復雜。文獻[13]提供的數據庫包含22種蘋果葉片圖像，背景透明；文獻[14]提供的數據庫包含60種蘋果葉片圖像，背景為純白色。

1.2 試驗方法

1.2.1試驗設計

首先，使用深度學習技術對蘋果葉片圖像特征進行學習和提取，確定模型參數后即可對新圖像進行預測，實現蘋果葉片圖像的粗分割；然后利用引導濾波技術來提取圖像中蘋果葉片邊緣等細節(jié)特征；最后設計聯合分割方案得到完整的蘋果葉片分割結果。其中蘋果葉片的原始圖像分別在引導濾波過程中和聯合分割過程中將多次利用。具體算法研究流程見圖2。

圖2 蘋果葉片算法處理流程Fig.2 Flow chart of algorithmic process of apple leaf

1.2.2基于深度學習的蘋果葉片主體分割

卷積神經網絡[15]包括卷積層、池化層和激勵層3個基本結構。卷積層由若干個卷積核和偏移值組成，主要功能是用來特征提取。在卷積運算中(圖3)，卷積核在輸入圖像上以一定的步長移動并完成點積運算[16]。池化操作也被稱為下采樣，主要功能是維數削減、數據和參數壓縮、過度匹配削減、以及模型容錯性的提高，并保持特征不變性、防止過擬合[17]。激勵層可以使神經網絡近似為任何非線性函數，旨在為模型提供非線性化能力，模擬激勵神經元的狀態(tài)變化[18]。當前主流的3種激勵函數為：Sigmoid激勵函數、Thah激勵函數和ReLU激勵函數。本研究使用的是Sigmoid激勵函數，用于隱層神經元輸出，取值范圍為(0,1)，以便于進行二分類處理。

圖3 卷積運算示意圖Fig.3 Schematic diagram of convolution operation

在語義分割中，尤其是實時語義分割，空間分辨率和感受野很難兩全，現有方法通常是使用較小的圖像作為輸入或者使用輕量主干模型來實現加速。但是，相較于原圖像，小圖像會缺失了很多的信息；而由于對通道進行了裁剪，會導致空間信息受到了損害。對于上述問題，本研究使用BiSeNet網絡模型(圖4(a))，該模型分為2個主要模塊：空間路徑和環(huán)境路徑?？臻g路徑的作用是保留原輸入圖像的空間尺度和編碼豐富的空間信息；環(huán)境路徑的作用是使用注意力優(yōu)化模塊(圖4(b))優(yōu)化輸出結果，以獲取較大感受野[19]。在2個主要模塊后面加上1個特征融合模塊(圖4(c))，將2個輸出結果進行特征提取并融合，完成最后的模型結果。

圖4 BiseNet網絡結構及其模塊Fig.4 BiseNet network structure and its modules

本研究訓練模型使用的蘋果葉片為400張，算法使用的網絡模型具體參數見表1。其中批處理量表示每批處理圖像的數量，一般來說設置的越大越好，但是由于電腦的配置，本研究設置為5；驗證圖像表示用于驗證的圖像數量，目的是為了可視化當前模型的預測程度，本研究設置為10；檢查點步長表示在定義的步長輪次下進行圖像預測并給出精確率等指標的大??；卷積步長表示過濾器在圖像中的垂直方向和水平方向每次步進的長度，本研究設置stride=3，即每隔2個像素點移動1次；學習率即學習速度的快慢，要根據具體的圖像進行設置，設置過大易震蕩，設置過小易過擬合；衰減率是解決試驗結果無法收斂到最優(yōu)解而設定的，不斷縮小學習率，使結果達到最優(yōu)解。

表1 深度學習模型中使用的部分主要參數Table 1 Some of the main parameters used in the deep learning model

1.2.3基于引導濾波的邊緣細節(jié)處理

利用深度學習技術可以得到蘋果葉片的主體輪廓，但是由于卷積和池化這2個步驟操作的影響，圖像中的蘋果葉片部分細節(jié)丟失。為解決這種細節(jié)丟失的情況，下面利用引導濾波技術來提取圖像中蘋果葉片邊緣的細節(jié)特征。引導濾波是一種可用于圖像平滑、特征提取等多任務的圖像處理算法[20]。引導濾波允許引導圖像與輸入圖像不同。根據蘋果葉片分割的任務要求，本研究將深度學習預測得到的二值圖像作為輸入圖像p，將蘋果葉片彩色圖像作為引導圖像I，使用局部線性處理生成輸出圖像q，作為增強后的圖像。

假設引導圖像I和輸出圖像q在局部正方形窗口ωk中，存在如下線性關系:

qi=akIi+bk,?i∈ωk

(1)

式中：qi為輸出圖像中i點的像素值；Ii為引導圖像中i點的像素值；ωk為1個以像素k為中心的局部正方形窗口，本研究設置為120×120；i和k為像素索引；a和b為當窗口中心位于k時該線性函數的系數。

通過計算得到最優(yōu)的線性因數(ak,bk)為：

(2)

(3)

由于像素點Ii被多個窗口所覆蓋，故用ak和bk的平均值計算最終輸出圖像中i點的像素值qi：

(4)

準確的測定蘋果葉片的幾何參數是本研究的主要目標，但是圖像中蘋果葉片邊緣細節(jié)丟失較多，為保留更多的邊緣特征，本研究使用蘋果葉片二值圖像作為引導對輸入彩色蘋果葉片圖像進行濾波，可以對蘋果葉片的邊緣細節(jié)進行優(yōu)化，突出細節(jié)。

1.2.4聯合分割

引導濾波雖然可以把邊緣的細節(jié)信息給優(yōu)化，使蘋果葉片的邊緣鋸齒更加突出，但是圖片背景中的標尺并未去除，而且背景中會夾雜一些白色的圓點。為此在引導濾波的基礎上設計聯合分割方案，以結合深度學習的粗分割結果和引導濾波特征增強圖像的結果。

對于引導濾波的特征增強結果GF，利用自適應閾值進行二值化分割，得到二值化結果GFbin，其中閾值thr由大津法確定。需要注意的是，引導濾波結果經過閾值處理后，可以消除背景中的標尺等非葉片部分，但也會殘留葉片中的高光點。因此，需要將引導濾波二值化結果GFbin與深度學習預測圖BWdl進行并集操作解決上述問題，得到最終的蘋果葉片結果BWleaf為二者求并集后的二值圖。具體計算公式如下：

GFbin=GF>thr

(5)

BWleaf=BWdl∪GFbin

(6)

圖5示出蘋果葉片原始圖像及本研究算法各步驟處理結果。本研究算法適用于數據庫中多種復雜情況下的蘋果葉片圖像，圖6示出葉片與標尺重疊(圖1(a))情形下的分割結果。

圖5 蘋果葉片原始圖像及本研究算法各步驟處理結果Fig.5 Original image of apple leaf and the processing results of each step

圖6 重疊情形下的蘋果葉片圖像及本研究算法各步驟處理結果Fig.6 Apple leaf image and the processing results of each step under the overlapping situation

從圖5和圖6可以看出，深度學習預測結果包含了完整的葉片輪廓和葉柄，但丟失了邊緣細節(jié)。引導濾波不僅增強了葉片邊緣細節(jié)，同時也保留了葉柄嫩芽，并殘存了部分標尺痕跡。對引導濾波結果取閾值后消除了標尺和葉柄處嫩芽，但仍會殘存由于蘋果葉片高光引起的亮點(圖5(c)中葉片左下區(qū)域)，經聯合分割處理后，可以去掉亮點干擾，得到完整而準確的分割結果。

1.2.5幾何參數測量

本研究使用的方法是找出蘋果葉片的最小外接矩形。首先以引導濾波后的預測圖和二值化蘋果葉片原圖為基礎得到聯合分割結果圖，然后進行二值化，最后得到蘋果葉片最大連通域的外接最小矩形。圖7給出圖1中重疊、陰影、葉尖缺失和葉柄帶芽4種復雜情況下的蘋果葉片外接最小矩形。

在蘋果葉片外接最小矩形圖像的基礎上，計算得到大量與蘋果葉片相關的集合參數，包括面積、周長、離心率、長軸長度和短軸長度等，并以csv格式保存。表2給出圖7中4張?zhí)O果葉片圖像的幾何參數測定結果。

圖7 4種復雜情況下的蘋果葉片外接最小矩形圖像Fig.7 Minimum rectangular image of apple leaves in four complex cases

表2 部分蘋果葉片幾何參數測定結果Table 2 Determination results of the geometric parameters of apple leaves

2 結果與分析

本研究試驗精確率結果高于文獻[8]試驗方法得到的結果。文獻[8]使用的方法只是把蘋果葉片放入到一張帶有方格的背景中進行拍照，然后利用公式：葉面積=葉片像素點數/選取方格像素點數×方格面積，計算得出蘋果葉片的面積，這種方式無法去除方格線條帶來的誤差，葉片面越大帶來的誤差也就越大。文獻[8]只能處理背景為白色并且數量較少的蘋果葉片圖像，對于處理背景為其他顏色，計算結果的精確率將會下降，處理數據集較大的葉片圖像，操作將會非常的繁瑣。

本研究使用全公開的蘋果葉片數據集，從精確率(Acc)、交并比(IoU)2個指標分析算法結果。精確率刻畫了算法結果與人工標記結果的相似程度，交并比表示算法結果與人工標記結果的交疊程度又或是重疊率，即交集與并集的比值關系，相關性越高，交并比就越高，在理想情況下，比值為1，即預測圖像與標記圖像完全重合[21]，具體計算公式如下：

(7)

(8)

式中：TP(True positive)表示被模型預測為正的正樣本；TN(True negative) 表示被模型預測為負的負樣本；FN(False negative) 表示被模型預測為正的負樣本；FP(False positive) 表示被模型預測為負的正樣本；A為人工標記結果得到的面積，B為算法結果得到的圖像面積。

圖8給出僅利用深度學習技術進行分割時精確率、交并比2個指標與訓練輪次的關系。精確率隨著訓練輪次的提升總體呈上升趨勢，訓練300輪次后精確率保持在97%左右，交并比也達到92.5%。

圖8 深度學習訓練300輪次對應的精確率與交并比情況Fig.8 Accuracy and IoU of 300 rounds of deep learning training

文獻[9]在手機端計算葉片幾何參數的方法比較方便，但是精確率較低，速度相對較慢。文獻[7]中使用的方法是首先把圖像的RGB顏色空間轉化為HIS顏色空間；然后挑選較好的顏色空間分量，使用Otsu自適應閾值實現圖像的二值化；最后根據Matlab中自帶的函數進行計算幾何參數，但計算葉片長軸長度的方法是手動的，本研究使用自動計算的方式，相對于文獻[7]更加的節(jié)省時間，避免重復性的繁瑣操作，而且手動測量的誤差較大。因此本研究算法適用于測量數據集較大的葉片圖像，對葉片的幾何參數計算較為準確，速度相對較快。

表3給出本研究算法得到的平均精確率與交并比以及計算單張圖像幾何參數需要的時間數值，并與文獻[7]的試驗結果和文獻[9]的試驗結果進行了對比。數據顯示，本試驗得到的174種平均精確率與交并比數值高于文獻[7]和文獻[9]試驗辦法得到的平均精確率與交并比數值。

表3 不同算法的平均精確率、交并比和計算速度數據對比Table 3 Comparison of average accuracy, IoU and computational speed data of different algorithms

圖9示出第74類50幅波8(蘋果類型)蘋果葉片圖像的客觀對比數據，本研究使用的方法優(yōu)于文獻[7]算法得到的蘋果葉片精確度和交并比結果。由圖9能夠明顯看出，每張圖片的精確率和交并比都在98.5%左右，并且精確率和交并比結果都相對穩(wěn)定。與文獻[7](核心算法為大津法Otsu)進行對比，其上下幅度較大，如第25幅圖像所示，精確度和交并比結果都相對較低，而本研究試驗結果并未出現那么大浮動的現象，結果比較穩(wěn)定。

圖9 第74類波8蘋果葉片分割結果數據對比Fig.9 Segmentation results data comparison of the 74th Bo 8 apple leaves

3 結束語

本研究結合深度學習和引導濾波技術，提出了一種蘋果葉片圖像分割的新算法，在包含174種大規(guī)模數據集上進行訓練和試驗。試驗結果表明，該算法可以完整、準確、快速的分割蘋果葉片圖像，精確率為98.99%、交并比98.82%，可以為后續(xù)的形狀參數提取、蘋果葉片分類與識別提供數據支撐。深度學習通過樣本可以很好的提取分割所需的特征。本研究結果表明，將深度學習應用于蘋果葉片分割是可行的，但仍有一些誤差存在，需要利用非學習方法進行輔助分割。本研究實現了對標準蘋果葉片圖像的分割，對非標準的生態(tài)蘋果葉片圖像分割將是下一步研究的方向。