袁芊芊,鄧洪敏,王曉航
(四川大學(xué)電子信息學(xué)院,成都 610065)
(*通信作者電子郵箱hm_deng@scu.edu.cn)
柑橘是世界第一大果樹品種[1],在世界范圍內(nèi)都廣泛種植。作為一種多年生植物,柑橘不僅對環(huán)境保護起著重要作用,并且具有很多優(yōu)勢,既是一種食品的來源,又是很多工農(nóng)業(yè)的原材料[2]。作為食品的柑橘富含維生素C,口感香甜,受到了廣大消費者喜愛。然而,近年來柑橘的生產(chǎn)普遍受到病蟲害的影響。諸如柑橘潰瘍病、黃龍?。℉uanglongbing,HLB)、炭疽病等病害和黑刺粉虱、橘蚜、惡性葉甲等蟲害嚴重抑制了柑橘的生長,大幅降低了柑橘的產(chǎn)量和品質(zhì),使得柑橘在很多地區(qū)供不應(yīng)求。
一棵普通的柑橘樹大約有兩萬多片葉子,通常只有很少的葉子會表現(xiàn)出癥狀[3]。對柑橘作物大面積盲目地使用農(nóng)藥、殺蟲劑、殺菌劑等不僅會增加經(jīng)濟成本,更會對環(huán)境造成污染。如何準確辨別各類柑橘類病癥,及時隔離病株并采取針對性措施是避免重大損失的有力手段。傳統(tǒng)的人工檢測方法需要專家觀察柑橘病癥進行分類和治療,且已經(jīng)治愈的植株也存在復(fù)發(fā)的風(fēng)險,因此需要長期密切監(jiān)測,費時費力。近年來,研究人員致力于從圖像處理的角度尋找新的基于計算機的柑橘病癥早期識別的解決方案。這是一種快速、實用、有發(fā)展?jié)摿Φ姆椒ā?/p>
柑橘病變斑的檢測和分類主要包括預(yù)處理、分割、特征提取和分類四個步驟[4]。其中,圖像分割往往是許多實際應(yīng)用中最重要、最困難的問題之一,它的目的是簡化或改變圖像的表現(xiàn)形式,使其更有意義,更容易分析[5]。圖像分割類算法大致分為兩類:無監(jiān)督圖像分割和有監(jiān)督圖像分割。相比神經(jīng)網(wǎng)絡(luò)等依賴樣本數(shù)量和標簽的有監(jiān)督圖像分割方法,聚類、活動輪廓模型、分水嶺變換(Watershed Transform,WT)、隱馬爾可夫隨機域(Hidden Markov Random Field,HMRF)和模糊熵等無監(jiān)督圖像分割方法更簡單。
針對柑橘黃龍?。℉LB),Li 等[6]分別于2007 年和2010 年獲取了柑橘林機載光譜圖像,開發(fā)了多種HLB 檢測算法,達到了29%~95%的檢測精度。Deng 等[7]則探討了一種基于可見光譜圖像處理與成本支持向量分類(Cost-Support Vector Classification,C-SVC)的HLB 檢測方法。他們對采集到的不同類別的柑橘葉片可見光圖像進行預(yù)處理后,提取其灰度和HIS 顏色空間的紋理和直方圖,然后基于C-SVC 進行特征建模,識別HLB 的存在。該方法識別成本低,但由于HLB 陽性葉片與營養(yǎng)不良的HLB 陰性葉片相似度很大,加上樣本的匱乏,僅有91.3%的識別率。Weng 等[8]成功利用最小二乘支持向量機(Least Squares-Support Vector Machine,LS-SVM)分類器來分析健康、HLB 感染(無癥狀和有癥狀)及營養(yǎng)缺乏葉片的高光譜圖像,結(jié)果發(fā)現(xiàn),在冬季、夏季和總體的分類正確率分別是90.2%、96.0%和92.6%。2014 年,Kim 等[9]介紹了一種利用高光譜成像技術(shù)識別柑橘黑斑?。–itrus Black Spot,CBS)的方法。他們采用光譜角映射(Spectral Angle Mapper,SAM)和光譜信息發(fā)散(Spectral Information Divergence,SID)將水果樣本分為CBS 和非CBS 類,分別得到了97.9%和97.14%的準確率。2017 年,Ali 等[10]提出了一種使用顏色直方圖和紋理描述符進行基于癥狀的柑橘疾病自動檢測方法。他們首先采用ΔE色差算法進行病害影響區(qū)域的分割,然后利用顏色、方向梯度直方圖(Histogram of Oriented Gradient,HOG)和紋理特征進行分類,其精度和ROC 曲線下面積(Area Under ROC Curve,AUC)都有較好表現(xiàn)。2018 年,Sharif 等[11]提出了一種基于優(yōu)化加權(quán)分割和特征選擇的農(nóng)業(yè)柑橘病害檢測與分類方法。針對病變斑點的分割,他們首先采用頂帽濾波和高斯函數(shù)相結(jié)合的方法增強輸入圖像,然后利用卡方距離和閾值函數(shù),采用有效的加權(quán)分割方法提取增強后柑橘上的病斑。
目前,大多數(shù)對柑橘病害的研究中都未涉及柑橘蟲害,且多數(shù)用于研究的柑橘圖像都是需要專業(yè)儀器拍攝收集的光譜圖像。針對柑橘圖像數(shù)據(jù)少,其病蟲害區(qū)域難以自動分割的問題,本文提出了一種基于超像素快速模糊C 均值聚類(Superpixel Fast Fuzzy C-Means Clustering,SFFCM)與支持向量機(Support Vector Machine,SVM)相融合的分割方法。首先利用改進SFFCM 將柑橘病蟲害圖像進行初分割,二值化后得到前景(病蟲害區(qū)域)和背景區(qū)域;由于區(qū)域間可能會有邊緣混雜,利用形態(tài)學(xué)中的腐蝕和膨脹操作對二值化后的圖像進行處理,分別從中隨機選取50 個正類訓(xùn)練樣本(前景點)和負類訓(xùn)練樣本(背景點);最后利用SVM 對選取的樣本點進行訓(xùn)練,將訓(xùn)練結(jié)果應(yīng)用于整幅待分割圖像。SVM 具有良好的學(xué)習(xí)分類能力,用它來進行圖像分割其實就是分類問題,但這種監(jiān)督學(xué)習(xí)的方式通常需要人工選擇和標記樣本,自適應(yīng)性差。SFFCM 能獲得較好的局部空間鄰域信息,在一般的圖像前景自動分割方面有較快、較好的應(yīng)用效果,但對柑橘病蟲害的分割不是很準確。本文方法結(jié)合兩者優(yōu)勢,在柑橘病蟲害分割方面取得了較好的效果。
SFFCM 是一種快速、魯棒的彩色圖像聚類分割算法[12]。該算法首先定義一個多尺度形態(tài)學(xué)梯度重構(gòu)(Multiscale Morphological Gradient Reconstruction,MMGR)操作,經(jīng)過WT獲得一個輪廓精確的超像素圖像;接著,在獲得的超像素圖像的基礎(chǔ)上,對每個超像素區(qū)域內(nèi)所有像素顏色求平均,以此作為每個超像素區(qū)域的顏色,進而可以計算出超像素圖像的顏色直方圖;最后,利用直方圖參數(shù)對超像素圖像進行模糊C均值聚類(Fuzzy C-means Clustering,F(xiàn)CM),得到最終的分割結(jié)果。整個SFFCM算法框架如圖1所示。
圖1 SFFCM算法框架Fig.1 SFFCM algorithm framework
1)梯度圖像。
梯度圖像grad包含豐富的目標邊緣信息,明暗對比度鮮明,非常適用于分水嶺變換算法的分割,由式(1)得到。
其中:l、a、b分別代表輸入圖像f的Lab 色彩模式的三個通道圖像;S(l)、S(a)和S(b)分別代表對這三個通道圖像進行垂直和水平方向的Sobel算子邊緣特征提取。
2)MMGR。
對梯度圖像直接進行分水嶺變換算法的分割會造成嚴重的過分割現(xiàn)象,形態(tài)學(xué)梯度重構(gòu)(Morphological Gradient Reconstruction,MGR)在克服過分割方面有一定效果。但是MGR 的結(jié)構(gòu)元素(Structuring Element,SE)尺寸是單一的,無法自適應(yīng)地滿足不同圖像的需求。因此SFFCM 融合了多尺寸SE 值重構(gòu)的梯度圖像,即MMGR,從而消除了分割結(jié)果對SE值的依賴,用RMC定義為:
這里的SE 設(shè)置為“disk”結(jié)構(gòu)B,其半徑為r,r1、r2分別代表r的最小、最大值,即r1≤r≤r2,r1,r2∈N+;f為輸入圖像,g為標記圖像,∨代表點態(tài)最大值表示形態(tài)學(xué)閉重構(gòu),即在閉運算的基礎(chǔ)上增加了腐蝕重構(gòu),定義為
式中:?為形態(tài)學(xué)閉運算;ε代表腐蝕操作,對應(yīng)的Rε即為腐蝕重構(gòu)。形態(tài)學(xué)閉重構(gòu)是建立在測地學(xué)腐蝕基礎(chǔ)上的,后者的運算為迭代運算,在實際中若滿足終止條件時,其穩(wěn)定的輸出則稱為腐蝕重構(gòu),因此:
式(2)通過計算多幅重構(gòu)圖像的點態(tài)最大值,在保留重要邊緣細節(jié)的情況下去除了大部分無用的局部極小值。r2決定了重構(gòu)結(jié)果中最大區(qū)域的大小,超像素圖像的效果會隨之增大而逐漸趨于穩(wěn)定。在實際應(yīng)用中可用一個最小錯誤閾值η來代替r2,需滿足
SFFCM通過實驗設(shè)置了一個合適的閾值η=10-4。
3)WT。
分水嶺變換(WT)算法是一種通過計算梯度圖像的局部極小值(對應(yīng)圖2 中的A、B點)并搜索相鄰局部極小值之間的分水嶺來實現(xiàn)圖像分割的快速算法?;贛MGR 的WT 能在較短的時間內(nèi)得到較好的分割效果。
4)超像素圖像顏色直方圖。
圖像顏色的量化有助于實現(xiàn)圖像的快速分割,傳統(tǒng)的顏色量化忽略了局部空間信息,量化后的圖像顏色分布仍與原圖像相似。SFFCM通過將MMGR-WT獲得的超像素圖像各區(qū)域顏色求平均,既融入了空間信息,又簡化了顏色特征分布,且MMGR 操作有效避免了直接使用梯度圖進行WT 的過分割現(xiàn)象。以圖3中橘蚜幼蚜為例,直接使用梯度圖進行WT后超像素圖像的顏色直方圖與經(jīng)過MMGR-WT后所得超像素圖像顏色直方圖分別如圖4(a)、(b)所示,圖中橫軸為顏色種類,縱軸為每種顏色像素個數(shù)。明顯可見后者所包含的顏色種類更少,利用其進行后續(xù)FCM能明顯降低計算復(fù)雜度。
圖2 分水嶺算法示意圖Fig.2 Schematic diagram of watershed algorithm
圖3 SFFCM分割結(jié)果Fig.3 Segmentation results of SFFCM
圖4 超像素圖像顏色直方圖對比Fig.4 Color histogram of superpixel image
5)FCM[13]。
基于模糊集合理論的FCM 能較好地處理圖像中存在的模糊、不確定性問題。在圖像分割中,F(xiàn)CM通過迭代最小化目標函數(shù)來確定每個像素的最佳類別,目標函數(shù)為:
式中:n為待聚類樣本數(shù),c為聚類類別數(shù),X={x1,x2,…,xn}為待聚類樣本集合,V={v1,v2,…,vc}為c個聚類中心集合;‖xk-vi‖表示xk與vi間的歐氏距離;U=[uik]為c×n維的模糊隸屬度矩陣,uik為第k個樣本對第i類的隸屬度值,且滿足;m為模糊加權(quán)指數(shù)。
在原始FCM 目標函數(shù)的基礎(chǔ)上,SFFCM 引入了直方圖信息,其目標函數(shù)為:
其中:待聚類樣本數(shù)q對應(yīng)為超像素圖像的區(qū)域數(shù),Sl是第l個區(qū)域Rl的像素個數(shù),xp是經(jīng)過MMGR-WT 操作后得到的超像素圖像中第l個區(qū)域內(nèi)的顏色像素。
將SFFCM 算法應(yīng)用于本文柑橘病蟲害數(shù)據(jù)集進行分割實驗,與圖1對應(yīng)過程示例如圖3所示,為了便于觀察,將梯度和MMGR 圖像進行了反色操作。觀察分割結(jié)果發(fā)現(xiàn),對于蟲害類目標比較大、色彩對比度較強的圖像,SFFCM 分割能得到比較滿意的結(jié)果,但是對于病害類目標比較小且散漫的圖像,其分割效果并不理想。
為解決這一問題,本文在生成的梯度圖像中融入了視覺顯著性特征。Hou 等[14]提出的譜殘差(Spectral Residual,SR)模型是一種簡單的圖像顯著性檢測方法。SR 的主要思想是基于圖像頻譜的log 函數(shù),提取圖像在頻率域的殘余,從而得到圖像的顯著部位。因此在式(1)的基礎(chǔ)上得到本文梯度圖像計算如下:
相比式(1),式(8)增加了SR(f)項,它是將圖像f進行顯著性檢測得到的結(jié)果。融入了SR 前后的梯度圖像如圖5 所示,可以看出,SR操作將圖像顯著性區(qū)域進行了進一步增強。
利用圖5所得的梯度圖像繼續(xù)進行SFFCM 分割得到結(jié)果如圖6 所示。對比圖3 分割結(jié)果可以看出,SR 的加入能更精確地定位到圖像前景,在病、蟲害區(qū)域的分割效果都優(yōu)于原始SFFCM分割。
圖5 融合SR前后梯度特征圖像Fig.5 Gradient feature images before and after fusion
圖6 SFFCM+SR分割結(jié)果Fig.6 Segmentation results of SFFCM+SR
由圖6 的分割結(jié)果可見,雖然SFFCM+SR 能得到一定的效果,但分割依舊不是很精確。實驗發(fā)現(xiàn),利用SVM 進行再分割可以進一步提升精度。SVM 最初應(yīng)用于二分類問題[15],有別于傳統(tǒng)的模式識別學(xué)習(xí)方法,其學(xué)習(xí)樣本是有限的,是一種基于結(jié)構(gòu)風(fēng)險最小化準則的學(xué)習(xí)器。SVM學(xué)習(xí)的基本思想是求解能夠正確劃分訓(xùn)練數(shù)據(jù)集并使幾何間隔最大的分離超平面。
給定訓(xùn)練樣本集[16]D={(x1,y1),(x2,y2),…,(xn,yn)},yi∈{-1,+1},設(shè)存在超平面方程wTx+b=0 將訓(xùn)練樣本按標簽分為兩類,并使任意樣本點到超平面的距離都大于等于1,即滿足
該分類問題即線性可分,參數(shù)w、b分別為超平面的法向量和截距。實際上只需要兩個平行的超平面作為間隔邊界即可判別樣本類別:
間隔邊界上方的樣本為正類,下方的為負類。兩間隔邊界之間的距離被定義為分類間隔,位于間隔邊界上的樣本為支持向量。最優(yōu)分類超平面應(yīng)在正確二分類的情況下同時使分類后的類間距離最大。即應(yīng)滿足
同時,最大化間隔僅需最大化||w||-1,等價于最小化||w||2,因此式(11)等價于:
借助拉格朗日乘子法可得到其“對偶問題”(dual problem)。引入拉格朗日乘子αi≥0,構(gòu)造拉格朗日函數(shù):
其中:α=(α1,α2,…,αn),令L(w,b,α)對w和b的偏導(dǎo)為零并代入式(13)將w和b消去,解出α后再求出w和b即可得到模型
根據(jù)KKT(Karuch-Kuhn-Tucher)條件,可推出最終模型僅與支持向量有關(guān)。又根據(jù)對偶問題是一個凸二次規(guī)劃問題,因此可求出最優(yōu)分類超平面的決策函數(shù)為:
其中:(x?xi)為兩向量內(nèi)積;x為待測樣本,x(ii=1,2,…,n)為所有n個訓(xùn)練樣本中第i個樣本和b*分別為滿足最大分類間隔情況下的α和b。
遇到線性不可分的情況,某些支持向量會落入錯誤的一側(cè),或者位于間隔邊界內(nèi)部,造成分類損失,此時,可以在式(12)中引入松弛項ξ≥0,來允許一部分非正確分類樣本的存在,原優(yōu)化問題從而變?yōu)椋?/p>
其中,C≥0 為一常數(shù),它控制對錯分樣本懲罰的程度。此時的目標函數(shù)綜合考慮了最大化分類間隔和最小化錯分樣本數(shù)。
對于非線性分類問題,SVM 可借助核函數(shù)(Kernel Function)進行空間的非線性轉(zhuǎn)換,在高維空間構(gòu)造決策函數(shù)來實現(xiàn)線性可分。此時,分類超平面的求解函數(shù)為:
其中:φ(x)表示將x映射后的特征向量;κ(?,?)即為核函數(shù),且κ(xi,xj)=φ(xi)Tφ(xj)。常用核函數(shù)有:
1)線性核函數(shù):
2)多項式核函數(shù):
將SVM 應(yīng)用于圖像分割,可以避免閾值選取的問題。針對非線性像素點的圖像分割,可以利用核函數(shù)來避免復(fù)雜的運算。由于SVM 在圖像分割中需要人工選擇樣本點,將其與SFFCM結(jié)合可以實現(xiàn)自動圖像分割。
本文的實驗數(shù)據(jù)集是范振軍[17]收集并整理的農(nóng)作物病蟲害圖像庫。該圖像庫包含馬鈴薯和柑橘兩類作物,都是格式為JPEG(Joint Photographic Experts Group)的彩色圖像。本實驗僅選用其中的柑橘病蟲害圖像庫,其中柑橘病害圖像樣本包含9類共140幅;蟲害圖像樣本包含9類共90幅。病蟲害圖像樣本示例如圖7所示。
首先進行高斯低通濾波,濾除圖像中無用的高頻成分。雖然濾波窗口越大降噪和平滑效果越好,但同時計算時間也會增加,因此選擇合適的窗口大小為5×5,處理結(jié)果如圖8 所示,可見圖像經(jīng)過明顯的平滑處理,去除了部分噪聲,能在一定程度上抑制過分割現(xiàn)象。
接著將RGB 空間轉(zhuǎn)換到Lab 空間,利用式(8)將SR 特征融入邊緣的提取,得到梯度特征如圖9 所示,可見圖像前景的邊緣提取效果顯著。
需要將圖片分割為前景和背景兩類,設(shè)置聚類類別數(shù)c=2,MMGR 的最小結(jié)構(gòu)元素半徑r1=2,控制r2的閾值η=10-4,模糊指數(shù)m=2,F(xiàn)CM算法的終止閾值ξ=10-5,通過改進的SFFCM得到初分割結(jié)果如圖10所示,可見柑橘病蟲害的大部分區(qū)域都被分割出來,有利于后期SVM 樣本點的自動選取。
圖7 柑橘病蟲害圖像庫部分樣本Fig.7 Some samples of citrus disease and insect pest image database
圖8 高斯濾波Fig.8 Gaussian filtering
圖9 梯度特征圖像Fig.9 Gradient feature images
圖10 初分割結(jié)果Fig.10 Initial segmentation results
初分割的結(jié)果中,可以看到噪聲和細密紋理等干擾都能被很好排除,但前景背景部分仍有混雜。為了保證SVM 選取訓(xùn)練樣本的正確性,創(chuàng)建一個半徑為2 的“disk”結(jié)構(gòu)元素,在圖10 的基礎(chǔ)上,將提取前景的模板進行腐蝕,如圖11(a)所示,這樣能盡可能保證在白色區(qū)域內(nèi)提取的樣本點都為前景。類似將前景區(qū)域進行膨脹操作用于背景提取,結(jié)果如圖11(b)所示,在黑色區(qū)域提取背景樣本。
分別在腐蝕后的前景和膨脹后的背景區(qū)域各隨機選取50 個樣本點,前景點標記為°,背景點標記為*,如圖12 所示,可見兩類樣本點的隨機選取比較準確。
利用隨機選取的點作為訓(xùn)練樣本,將背景的標簽設(shè)為0,前景的標簽設(shè)為1,選擇各樣本點在原圖中對應(yīng)R、G、B通道的顏色特征值,描述為作為SVM 訓(xùn)練器的輸入?yún)?shù),借助LIBSVM 工具箱進行SVM 的實現(xiàn)。這里采用一次多項式核函數(shù),即κ(x?xi)=(x?xi)/3+1,用訓(xùn)練好的分類器分割整幅圖像。將分割后的圖像與原始圖像進行一一對應(yīng)元素相乘,從而得到如圖13 所示分割后的彩色圖像。由圖可見,本文方法能較好地分割出前景部分,對病害的星點部位也能實現(xiàn)分割。
圖11 腐蝕、膨脹操作Fig.11 Erosion and dilation operations
圖12 在前景和背景隨機選取樣本點Fig.12 Random sample point selection in foreground and background
圖13 本文方法分割結(jié)果Fig.13 Segmentation results of the proposed method
為分析上述實驗結(jié)果,分別用快速魯棒模糊C 均值聚類(Fast and Robust Fuzzy C-means Clustering,F(xiàn)RFCM)[18]及原始SFFCM 算法進行對比實驗,由于以上三種方法都是無監(jiān)督圖像分割,故將230 張柑橘病蟲害圖像直接進行分割即可,這部分軟件編程環(huán)境為Matlab R2014a。此外,近年來,深度學(xué)習(xí)在圖像分割方面的表現(xiàn)與日俱進,全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Network,F(xiàn)CN)是目前語義分割的基礎(chǔ),邊緣引導(dǎo)網(wǎng)絡(luò)(Edge Guidance Network,EGNet)[19]融合了目標的顯著性與邊緣特征,在不進行任何預(yù)處理和后續(xù)處理的情況下,能在六個廣泛使用的數(shù)據(jù)集上具有當(dāng)時SOTA(State-of-the-Art)表現(xiàn)。故本文采用EGNet 作為對比方法之一,這部分軟件編程環(huán)境為PyCharm,深度學(xué)習(xí)框架為Pytorch。實驗過程中將柑橘病蟲害數(shù)據(jù)集分為訓(xùn)練集180張,測試集50張;所有參數(shù)都為默認設(shè)置,訓(xùn)練50個Epoch。訓(xùn)練過程中需要的原圖、手工標注的圖像標準二值掩碼(Ground Truth,GT)及目標邊緣信息如圖14 所示。整個實驗的硬件環(huán)境為:Intel Core i7-7700K CPU@4.20 GHz;RAM 為16.0 GB;Windows 10;GPU 為GTX1060。
圖14 數(shù)據(jù)準備Fig.14 Data preparation
四種方法測試結(jié)果示例如圖15 所示。圖中第一行為橘蚜幼蚜蟲害。原圖特點是包含一個目標較大的橘蚜蟲,而其周圍還有一些幼蚜。FRFCM 雖然能分割出這些小目標的大體形狀,但丟失了部分信息且混入了一些背景;SFFCM 對背景去除相較FRFCM 更好,僅右上角有小部分背景,但其丟失了左上角的小目標信息;EGNet對目標整體的保留效果很好,但其邊緣依稀可見一些背景連通部分;本文方法能分割出圖中5個目標,且沒有背景干擾。
第二行為氏尖蚧蟲害,雖然其個體目標很小,但因其聚集成片,顏色特征明顯,因此比較容易分割。EGNet分割出的蟲害區(qū)域依舊有背景混雜,且圖像中上部分的蟲害區(qū)域被誤分為了背景;FRFCM、SFFCM 及本文方法都能較好地實現(xiàn)分割,但FRFCM 和SFFCM 將左下角的葉片病斑也誤分割為前景,且SFFCM丟失了左上角的部分前景目標。
第三行為惡性葉甲幼蟲害,因其軀干顏色是與背景相似的嫩綠色,所以是蟲害中較難分割的對象。四種方法都很難完整地分割出整個目標,F(xiàn)RFCM 分割效果最差,無法分割出目標真實位置;SFFCM只分割出了部分軀干信息,而EGNet和本文方法則丟失了部分尾部和頭部信息,但仍能看出蟲害的大體形狀。
第四行為黃龍病,其葉片呈現(xiàn)斑駁性黃化的特征。FRFCM 將各個黃斑區(qū)域都連通地分割出來,總體效果不錯,但黃斑周圍的綠色背景并未去除;SFFCM 也存在綠色背景的干擾,且并未分割到右下角的黃斑;EGNet分割出了完整的病斑區(qū)域,但周圍一圈都是背景干擾,且中間的葉脈也清晰可見;本文方法不僅能分割出黃斑區(qū)域,同時將葉脈周圍的背景部分進行了去除。
第五行為潰瘍病,可以看到其整個果實及病變斑綠色與棕色的混雜效果和果實后的背景很相似,F(xiàn)RFCM、SFFCM 及EGNet 都無法將它們很好地分割開;本文方法雖然也沒能去除左上角的少許背景,但大部分背景已經(jīng)去除,且分割出了大部分病變斑。
第六行為炭疽病,這種病斑因其覆蓋范圍大,顏色對比鮮明而易于分割。四種方法都能完整地分割出整個病變斑,但FRFCM 與SFFCM 的分割結(jié)果圖上方仍有部分背景,EGNet 在整個病變斑邊緣都保留了一小圈背景,而本文方法則不存在這些問題。
分析認為:FRFCM 對背景敏感,最容易將鄰近的背景區(qū)域誤分為前景;SFFCM 利用了超像素的特點,由于具有相似特征的區(qū)域已經(jīng)預(yù)分割為一個整體,所以分割效果視覺上優(yōu)于FRFCM,但一些小目標容易在生成超像素圖像的過程中失去其屬于前景目標的顏色屬性,且因為這些小目標離大目標較遠,故容易被誤分為背景;EGNet的分割結(jié)果表明其分割整體目標的能力不錯,但其在背景去除方面的能力仍需更多樣本數(shù)據(jù)來訓(xùn)練提高;而本文方法保留了更多的邊緣信息,去除了大部分背景的干擾,視覺效果更好。
圖15 不同算法分割效果對比Fig.15 Comparison of segmentation results of different algorithms
本文的分割實驗實際是一個二分類問題,分類結(jié)果混淆矩陣如表1所示,其中正例為圖像前景,反例則為圖像背景。
可用召回率(recall)、精確率(precision)與準確率(accuracy)[10]來定量分析實驗結(jié)果。召回率可衡量算法分割感興趣區(qū)域的能力,精確率指分類結(jié)果為正例中正確部分所占比例,而準確率在正負樣本均衡的情況下可以很好地判斷總的正確率,它們的計算公式分別如下:
表1 分類結(jié)果混淆矩陣Tab.1 Confusion matrix of classification results
表2 列出了四種方法在本文柑橘病蟲害數(shù)據(jù)集上處理得到的召回率、精確率、準確率及運行時間的比較,其中Image_1到Image_6分別對應(yīng)了圖15中的6幅示例圖。
由表2可見,在召回率和耗時方面,EGNet表現(xiàn)最佳,分析認為,由于EGNet融入了區(qū)域邊緣信息和圖像顯著性特征,對感興趣目標的提取能力更強。雖然測試時EGNet 耗時少,但其在訓(xùn)練時花費了25 min,如果樣本更多則會訓(xùn)練更久。由于EGNet 在本文柑橘病蟲害數(shù)據(jù)集上的分割實驗可見,深度學(xué)習(xí)在圖像分割上有著廣闊的應(yīng)用前景,但是這一切都是建立在大量數(shù)據(jù)的基礎(chǔ)上。目前柑橘類病蟲害圖像庫少,多數(shù)研究者都是自建數(shù)據(jù)集,這給深度學(xué)習(xí)在柑橘農(nóng)業(yè)方面的進一步發(fā)展帶來了阻礙。本文中EGNet用于訓(xùn)練的圖像只有一百多張,學(xué)習(xí)還未達到最優(yōu)模型,這也是它其他指標較低的原因。雖然本文方法的平均召回率稍低于EGNet,但是本文方法的平均精確率與準確率卻遠高于EGNet,且召回率只是衡量算法性能的指標之一,需要結(jié)合其他指標進行綜合評價。此外,本文方法屬于無監(jiān)督分割,對單張圖片也能實現(xiàn)較好的分割效果,所以需要的硬件條件也更低。
與FRFCM 及SFFCM 進行比較,本文方法在總體的召回率、精確率和準確率方面都更具優(yōu)勢。通過對各方法在所有病蟲害分割結(jié)果圖的觀察,發(fā)現(xiàn)在蟲害圖像的分割上,本文方法并不具有明顯優(yōu)勢,而在病害圖像的分割上,本文方法各指標普遍高于對比算法。分析認為,本文分割方法是在SFFCM的基礎(chǔ)上進行的,且進一步融入了SR 特征,因此在SVM 樣本點的選取上更加準確,由于SVM 分割有一定容錯能力,故可以進一步保證目標分割的精度;但是分割精度的提高是以耗時的增加為代價的。比較而言,本文方法的耗時最久,且隨著圖像前景分布越復(fù)雜與散漫,時間消耗也越多。例如Image_5圖像前景最散漫,病斑分割的耗時也最多。
表2 不同方法在不同圖像上的實驗結(jié)果對比Tab.2 Comparison of experimental results of different methods on different images
本文將彩色圖像快速分割算法SFFCM 與SVM 算法有機結(jié)合,綜合了前者包含空間區(qū)域信息與后者泛化性能好的優(yōu)點,在不需要任何先驗知識和人工干預(yù)的情況下,實現(xiàn)了柑橘病蟲害區(qū)域的自動分割。將本文方法與FRFCM、SFFCM 和EGNet 在柑橘病蟲害圖像庫上進行對比實驗,發(fā)現(xiàn)本文方法可以達到0.937 1 的平均召回率、0.941 8 的平均精確率和0.930 3的平均準確率,在本文數(shù)據(jù)集上有相對更好的分割效果。但是,實驗中發(fā)現(xiàn),對于圖7(f)、(h)中的繡線菊蚜、惡性葉甲幼蟲等前景與背景顏色過于相近的圖像,本文分割方法依舊不能取得良好效果。解決這類問題的方法是,在用SVM進行特征提取時,應(yīng)提取除像素點RGB 信息外更多的特征,例如紋理信息等,這將在后期進一步改善。