何婷婷姚繼超張鐘莉莉蘆天罡岳煥芳

(1. 山西農(nóng)業(yè)大學(xué),山西 太谷 030801;2. 北京市農(nóng)林科學(xué)院智能裝備技術(shù)研究中心,北京 100097;3. 山東省聊城市水利事業(yè)發(fā)展和保障中心,山東 聊城 252000;4. 北京市數(shù)字農(nóng)業(yè)農(nóng)村促進(jìn)中心,北京 100101;5. 北京市農(nóng)業(yè)技術(shù)推廣站,北京 100029)

表面缺陷是決定番茄品質(zhì)分級的重要因素,準(zhǔn)確檢測出番茄表面的缺陷區(qū)域,對于保障番茄品質(zhì)分級工作具有重要的意義。對番茄的表面損傷檢測中國仍然以人工檢測為主,不僅檢測效率低而且會對番茄果實造成二次損傷,此外,由于人的主觀差異帶來的分級不穩(wěn)定的情況同樣值得關(guān)注。在此背景基礎(chǔ)下,基于機器視覺的無接觸檢測方法在番茄表面損傷的定位與識別工作中具有廣泛的應(yīng)用前景。

采用閾值分割技術(shù)提取缺陷的方法在果蔬表面缺陷檢測上的應(yīng)用較為普遍[1-2],但分割后的圖像存在花萼與莖疤、高亮區(qū)域與缺陷區(qū)域共存的現(xiàn)象。為了更準(zhǔn)確地提取樣本表面的損傷區(qū)域,在進(jìn)行缺陷區(qū)域分割前進(jìn)行花萼與莖疤檢測[3-4]和表面亮度矯正[5-6]等處理是必要的。經(jīng)過花萼與莖疤檢測和亮度矯正后的圖像表面缺陷區(qū)域與正常區(qū)域的顏色和紋理有較明顯的差異[7],可采用圖像分割方法對處理后的樣本圖像進(jìn)行缺陷分割。Cao[8]使用Otsu分割方法對蘋果表面的腐爛區(qū)域進(jìn)行識別,但由于缺陷邊緣與其相鄰正常區(qū)域的對比度較低,導(dǎo)致缺陷提取不完整且缺陷區(qū)域存在“毛邊”。燕紅文[9]使用區(qū)域生長算法對番茄的損傷區(qū)域進(jìn)行分割,但需要根據(jù)試驗結(jié)果不斷調(diào)整種子像素值和相似閾值以獲取準(zhǔn)確的損傷區(qū)域,試驗步驟繁瑣且耗時較長。此外,基于圖像分割的缺陷區(qū)域提取方法無法完整提取連續(xù)大面積分布的缺陷區(qū)域,故部分學(xué)者提出使用基于圖像局部像素差異的方法來提取果蔬表面的缺陷區(qū)域。Hassan等[10]通過遍歷圖像像素,計算各像素與其±0°,±45°,±90°,±135°角上相鄰像素的差值來判定橄欖的缺陷區(qū)域。Beyaz等[11]通過使用每個像素周圍的局部一階圖像統(tǒng)計選擇的局部自適應(yīng)閾值來對橄欖圖像進(jìn)行二值化,以確定缺陷的位置。遍歷圖像像素進(jìn)行缺陷區(qū)域判斷可以準(zhǔn)確定位缺陷區(qū)域,但是耗時長。針對此問題,馬大國等[12]將木材圖像進(jìn)行分塊,對每一塊圖像進(jìn)行多方向多尺度Gabor變換并統(tǒng)計其系數(shù)的均值和方差作為特征,實現(xiàn)了木材表面缺陷的準(zhǔn)確定位與識別。郭慧等[13]將刨花板灰度圖像劃分成若干圖像塊,使用灰度共生矩陣參數(shù)對各圖像的紋理進(jìn)行表征,通過分層聚類算法將不同紋理特征的區(qū)域區(qū)分開。根據(jù)已發(fā)表的文獻(xiàn),這種基于圖像分塊技術(shù)的局部特征統(tǒng)計方法目前主要應(yīng)用于木材表面缺陷的檢測。

研究擬以番茄為研究對象,采用圖像分塊技術(shù)將番茄圖像劃分為若干個互不重疊的圖像塊,計算每個圖像塊的像素方差用于表征該區(qū)域的像素變化,以此來定位番茄表面缺陷的位置,通過計算缺陷面積占番茄圖像總面積的比例作為特征,使用SVM模型進(jìn)行缺陷檢測,以期實現(xiàn)番茄表面缺陷的準(zhǔn)確、高效的識別。

1 材料與方法

基于機器視覺的果蔬缺陷檢測通?；?個步驟來實現(xiàn),如圖1所示。試驗從圖像采集開始,采集的圖像經(jīng)過圖像處理操作以便進(jìn)行分析,果蔬缺陷檢測的精度通常取決于缺陷區(qū)域的顏色或紋理特征提取結(jié)果。

圖1 試驗流程

1.1 圖像采集

番茄樣本采摘于北京市大興區(qū)宏福農(nóng)業(yè)科技有限公司的連棟溫室,品種為Cappricia,其果面缺陷的類型包括刺傷、病斑、裂紋和臍腐等。試驗所用的番茄圖像均由圖2所示的圖像采集裝置捕獲。選擇不同成熟度的健康和缺陷番茄的圖像共500張作為訓(xùn)練集進(jìn)行缺陷檢測訓(xùn)練,另準(zhǔn)備健康和缺陷番茄圖像各50張用于驗證。

1. 背景框架 2. 光源 3. 相機支架 4. 相機與鏡頭 5. 番茄樣本 6. 計算機

1.2 圖像處理

番茄圖像的背景、花萼與莖疤以及表面高亮區(qū)域都可能影響缺陷區(qū)域提取結(jié)果,因此在進(jìn)行缺陷檢測前,剔除這些干擾因素是必要的。通過顏色空間轉(zhuǎn)換來增強番茄果實顏色強度,而后根據(jù)番茄果體與其他干擾區(qū)域的像素差異,采用閾值分割方法提取干擾區(qū)域進(jìn)行相應(yīng)的剔除或矯正操作。

1.2.1 背景去除 在試驗設(shè)置的圖像采集條件下,番茄目標(biāo)與背景能夠明顯區(qū)分,使用簡單閾值分割方法就可以將番茄目標(biāo)與背景分離。為了突出番茄輪廓并降低背景像素,將RGB圖像轉(zhuǎn)換至與設(shè)備無關(guān)的HSV和LAB顏色空間下進(jìn)行顯示,使用S+L圖像進(jìn)行Otsu分割,實現(xiàn)番茄目標(biāo)提取。

1.2.2 花萼與莖疤檢測 由于番茄的花萼和莖疤與缺陷的顏色和紋理相似,因此在進(jìn)行缺陷區(qū)域檢測和提取時,有必要將花萼和莖疤與檢測區(qū)域分離,以檢測真實的缺陷。為了準(zhǔn)確檢測并剔除花萼和莖疤,采用1.5G—R法來增加番茄紅色果體與花萼和莖疤的對比度,分割閾值由式(1)計算。

(1)

式中:

T——分割閾值,像素;

μmxr——圖像中重復(fù)次數(shù)最多的像素值;

μmean——圖像像素均值。

1.2.3 高亮區(qū)域矯正 在基于顏色和紋理的水果表面缺陷檢測研究中,水果表面的高亮區(qū)域同樣會造成健康或缺陷區(qū)域的誤識別,因此有必要對番茄表面的高亮區(qū)域進(jìn)行亮度矯正。亮度矯正的前提是實現(xiàn)高亮區(qū)域的準(zhǔn)確定位和提取,對番茄圖像的B分量圖進(jìn)行簡單閾值分割以獲取其表面的高亮區(qū)域,分割閾值為B分量的圖像直方圖的中值。完成高亮區(qū)域提取后,采用Telea[14]提出的圖像快速修復(fù)方法來矯正番茄圖像中高亮區(qū)域的亮度,該方法通過將高亮區(qū)域鄰近的像素鄰域中所有已知像素的歸一化加權(quán)和代替原區(qū)域像素的方法來矯正高亮區(qū)域亮度。在選擇權(quán)重時,對于靠近待矯正點的像素、靠近邊界的法線和位于邊界輪廓上的像素,給予更多的權(quán)重。

圖像處理的流程和每個步驟的處理結(jié)果如圖3所示。可以看出,所用的圖像處理方法在背景去除、花萼與莖疤檢測和高亮區(qū)域亮度矯正3個處理階段均取得較好的效果。

而后,將處理后的番茄圖像劃分成若干子區(qū)塊,計算每個子區(qū)快的像素方差與設(shè)定閾值進(jìn)行比較,大于閾值的區(qū)域像素被設(shè)置為1,否則設(shè)為0,遍歷所有子區(qū)塊,得到所有包含缺陷區(qū)域的圖像塊。

1.3 缺陷區(qū)域提取

研究提出一種基于圖像局部方差的缺陷區(qū)域分割方法來定位番茄表面的缺陷區(qū)域。該方法將圖形劃分為互不重疊的固定大小的矩形塊,通過統(tǒng)計分析所有矩形塊內(nèi)的像素方差和紋理變化,進(jìn)而確定缺陷的具體位置[15]。

為了方便選擇子區(qū)域塊的大小以及統(tǒng)計缺陷區(qū)域面積等特征,在劃分子區(qū)塊前,將圖像大小統(tǒng)一設(shè)置為512×512,并將番茄圖像劃分成若干子區(qū)塊,計算每個子區(qū)塊的方差作為分類特征,大于指定閾值的子區(qū)塊被提取出來,否則舍棄,具體步驟:

(1) 將番茄圖像劃分為m×n個區(qū)塊,其大小根據(jù)缺陷區(qū)域大小進(jìn)行選擇,按式(2)計算每個矩形塊的方差σ2。

(2)

式中:

σ2——矩形塊的方差;

i——子區(qū)塊內(nèi)每個像素點的灰度值;

μ——子區(qū)塊的平均灰度值,μ=ΣiPi;

Pi——像素值i在子區(qū)塊內(nèi)出現(xiàn)的概率,Pi=Ni/N;

Ni——子區(qū)塊內(nèi)i的像素個數(shù);

N——子區(qū)塊的像素總數(shù)。

(2) 建立空白圖像I(512,512),并將其劃分成m×n個矩形塊與番茄圖像的子區(qū)塊位置一一對應(yīng),將方差σ2大于設(shè)定閾值σ0的子區(qū)塊內(nèi)的像素指定為1,否則,指定像素為0。

(3) 遍歷所有子區(qū)塊,將圖像I作為缺陷區(qū)域分割的掩膜圖像與原始圖像進(jìn)行按位與處理,就可以提取出番茄表面的缺陷區(qū)域。

分割閾值σ0的確定方法為,尋找番茄輪廓的最大內(nèi)接圓,確定其圓心和半徑R,將R分成M份,從圓心開始以K×R/M(1≤k≤M)的半徑向外畫圓,分別計算各圓環(huán)區(qū)域的圖像方差,以M個方差的平均值作為最終的缺陷分割閾值。

1.4 缺陷識別模型與評價指標(biāo)

采用支持向量機(Support vector machine, SVM)對番茄表面缺陷進(jìn)行檢測,SVM本質(zhì)上是一個二分類器,包括線性、多項式、sigmoid和高斯4個常見核函數(shù),能夠處理多種分類問題,且適用于小樣本的分類[16-17]。試驗以每張番茄圖像提取的表面缺陷區(qū)域面積占番茄圖像總面積的比例為SVM模型的輸入來檢測番茄是否存在表面缺陷,將番茄分為健康番茄與缺陷番茄兩類,使用50個健康番茄和50個缺陷番茄來驗證所提方法的適用性。

1.5 試驗工作平臺

試驗工作平臺包括硬件與軟件平臺兩個部分,硬件配置為英特爾酷睿 i5-11400H CPU處理器,內(nèi)存為16.0 GB,RTX 3050顯卡。軟件開發(fā)平臺為Windows 11 64 位操作系統(tǒng)下,整個試驗基于OpenCV 3.4.2.16開源軟件庫實現(xiàn),編程語言為 Python,特征數(shù)據(jù)使用Excel進(jìn)行處理與分析。

2 結(jié)果與討論

2.1 缺陷區(qū)域提取可視化分析

采用圖像局部像素方差法分別對亮度矯正前后的番茄圖像進(jìn)行缺陷區(qū)域提取,結(jié)果如圖4所示。從圖4可以看出,由于高亮區(qū)域與番茄缺陷在顏色上具有較強的相似性,因此在未進(jìn)行高亮區(qū)域亮度矯正時,表面存在小面積高亮區(qū)域的番茄圖像能夠提取出比較完整的缺陷區(qū)域,而表面分布有大面積高亮區(qū)域的番茄圖像存在部分高亮區(qū)域被誤分割為缺陷的情況。經(jīng)過高亮區(qū)域亮度矯正后,番茄表面的缺陷區(qū)域被完整地分割出來,且結(jié)果圖中的非缺陷區(qū)域非常少,可忽略不計。將基于亮度矯正的缺陷區(qū)域提取算法應(yīng)用于50幅缺陷番茄圖像進(jìn)行驗證(圖5),該算法在未進(jìn)行矯正的番茄圖像集上準(zhǔn)確率和均方根誤差(RMSE)分別為61.47%和27.34,精度較低;而在經(jīng)過亮度矯正的圖像上分別獲得了89.21%的準(zhǔn)確率和9.13的RMSE,相對于亮度矯正前,準(zhǔn)確率提高了27.74個百分點,RMSE降低了18.21。

圖4 番茄表面缺陷區(qū)域提取結(jié)果

為了驗證所提方法對番茄表面缺陷提取的準(zhǔn)確度,將所提方法的缺陷提取結(jié)果分別與全局閾值分割、動態(tài)閾值分割和區(qū)域生長算法進(jìn)行比較(圖5)?？梢钥闯?全局閾值分割方法對番茄表面的缺陷區(qū)域的分割效果最差,由于缺陷區(qū)域和正常區(qū)域的對比度明顯小于番茄果體和黑色背景,故該方法無法將對比度較小的缺陷和正常區(qū)域區(qū)分開?；趧討B(tài)閾值的分割方法能夠基本確定番茄表面的缺陷位置,但無法提取與健康區(qū)域顏色接近的缺陷,并且會忽略番茄輪廓邊緣位置處與健康顏色差異明顯的缺陷。相對而言,基于區(qū)域生長算法的分割方法能夠更準(zhǔn)確地分割缺陷區(qū)域,然而對于顏色和紋理較淺的缺陷區(qū)域,該方法仍不能準(zhǔn)確檢測并完整地分割出來。從圖5可以看出,相比傳統(tǒng)的圖像分割算法,基于圖像局部方差的缺陷區(qū)分割方法不僅能夠準(zhǔn)確檢測出顏色、紋理與正常區(qū)域相似的小面積缺陷,并且可以完整地提取番茄表面存在連續(xù)分布的多區(qū)域缺陷。

2.2 缺陷識別精度分析

使用SVM模型對番茄表面缺陷檢測的結(jié)果如表1所示?？梢钥闯?4個SVM對番茄表面缺陷檢測的平均準(zhǔn)確率按照線性-SVM<多項式-SVM

表1 缺陷檢測結(jié)果

3 結(jié)論

針對基于顏色的閾值分割方法難以提取與果體顏色差異不明顯和連續(xù)分布有大面積缺陷的問題,提出一種考慮亮度矯正下基于圖像局部方差的番茄表面缺陷檢測方法。采用閾值分割和圖像快速修復(fù)方法對番茄圖像進(jìn)行圖像處理,以去除可能會對缺陷檢測造成干擾的背景、花萼與莖疤以及高亮區(qū)域等因素。

經(jīng)過亮度矯正,缺陷區(qū)域的提取準(zhǔn)確率比亮度矯正前提高了27.74%。以缺陷區(qū)域面積占比為輸入的高斯-SVM模型在缺陷檢測方面的性能最優(yōu),其平均檢測準(zhǔn)確率為96%,對健康和缺陷番茄的檢測準(zhǔn)確率均超過90%。結(jié)果表明,該方法可以用于番茄產(chǎn)后檢測過程中對表面缺陷的識別。