高 輝馬國峰劉偉杰

(1. 鄭州鐵路職業(yè)技術(shù)學(xué)院人工智能學(xué)院，河南 鄭州 451460； 2. 河南工業(yè)大學(xué)機電工程學(xué)院，河南 鄭州 450001)

缺陷檢測是水果等級劃分的重要組成部分，而水果缺陷多樣復(fù)雜，所以水果缺陷的快速檢測一直是研究的熱點問題[1]。目前，中國蘋果分揀仍以手工為主，成本高、效率低。隨著計算機視覺技術(shù)的不斷發(fā)展，在農(nóng)產(chǎn)品的檢測中應(yīng)用越來越廣泛。機器視覺工作模式更加主動，質(zhì)量判斷標(biāo)準(zhǔn)更加客觀具體，具有較強的可執(zhí)行性和非接觸工作模式[2]。

近年來，國內(nèi)外的研究人員對水果缺陷檢測技術(shù)進(jìn)行了大量研究，并取得了許多優(yōu)異的成果，但很少有研究能夠快速檢測出水果缺陷。項輝宇等[3]使用基于Halcon的圖像處理方法對蘋果的大小、顏色和缺陷進(jìn)行研究，完成了水果輪廓的提取及面積的計算。結(jié)果表明，該算法對蘋果大小、缺陷等檢測效果較好。薛勇等[4]提出了一種基于Google Le Net的深度遷移模型來檢測蘋果缺陷，并將Google Le Net與淺層卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)機器學(xué)習(xí)技術(shù)進(jìn)行了比較。結(jié)果表明，與常用的蘋果缺陷檢測算法相比，該方法具有更好的泛化能力和魯棒性。李紅娟等[5]將混沌多空間算法應(yīng)用于蘋果的缺陷檢測，利用邏輯映射對個體進(jìn)行混沌優(yōu)化，利用改良的Otsu算法分割蘋果的缺陷區(qū)域。經(jīng)試驗驗證該算法對蘋果表面缺陷檢測效果清晰，各種缺陷檢測準(zhǔn)確率高。劉云等[6]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于蘋果缺陷檢測中，背景分割算法基于RGB顏色分量，并使用漸進(jìn)學(xué)習(xí)方法確定訓(xùn)練樣本的數(shù)目。經(jīng)試驗驗證該算法的檢測速度為5次/s，準(zhǔn)確率高達(dá)97.3%。上述研究為基于機器視覺的快速缺陷檢測技術(shù)提供了理論依據(jù)，但存在分級過程復(fù)雜、效率低等缺點。

基于上述研究，文中擬提出一種基于機械視覺的蘋果缺陷快速檢測方法，采用自動亮度校正技術(shù)消除蘋果表面亮度的不均勻性，根據(jù)缺陷候選區(qū)域的數(shù)量對蘋果進(jìn)行初步判斷，并使用加權(quán)相關(guān)向量機進(jìn)一步對有缺陷的蘋果進(jìn)行判斷，以期為蘋果缺陷檢測技術(shù)的發(fā)展提供依據(jù)。

1 機器視覺系統(tǒng)概述

為了解決手動分類精度差的問題，國內(nèi)外制造商已開始使用機器視覺對蘋果質(zhì)量進(jìn)行分類。機器視覺技術(shù)具有高速、高精度和性能穩(wěn)定等優(yōu)點[7]。在醫(yī)學(xué)和農(nóng)業(yè)等領(lǐng)域應(yīng)用廣泛，并取得了巨大的經(jīng)濟效益。

常規(guī)識別中，首先通過照相機捕獲樣本圖像，然后將圖像發(fā)送到處理單元(例如計算機)。通過數(shù)字處理可以掌握目標(biāo)區(qū)域的顏色、紋理、大小和形狀等特征[8]。然后通過一系列判斷條件獲得識別結(jié)果，從而實現(xiàn)機器視覺系統(tǒng)的識別功能。機器視覺系統(tǒng)通常由相機、光源、計算機和圖像處理軟件等組成。圖1為系統(tǒng)結(jié)構(gòu)圖。

2 缺陷檢測

缺陷檢測過程[9]如圖2所示。

2.1 圖像預(yù)處理和背景分割

缺陷檢測的正確性除了取決于特征選擇，還取決于圖像質(zhì)量。在圖像處理前采用3×3高斯濾波器降低噪音對特征提取和選擇的影響[10]。為了提高處理速度和降低環(huán)境干擾，得到了蘋果圖像的掩模圖像，掩模圖像僅包含蘋果本身，背景被分割并移除。由于試驗圖像背景為黑色，背景亮度低于蘋果區(qū)域的亮度[11]?？紤]到NIR圖像中背景和蘋果區(qū)域亮度對比度明顯，將蘋果NIR圖像進(jìn)行二值化(閾值28)，構(gòu)建蘋果掩模圖像。同時，使用形態(tài)填充算法來消除背景分割的缺陷區(qū)域。在試驗過程中，<500像素的連接區(qū)域被視為較小的連接區(qū)域，這些區(qū)域被填充。

通過式(1)可以得到NIR蘋果圖像的背景分割。

(1)

式中：

IMGBgr(x,y)——背景移除圖片；

IMGOrg(x,y)——原始彩色圖像；

1. 相機 2. 光源 3. 被檢測物體 4. 輸送結(jié)構(gòu)

IMGMask(x,y)——掩膜圖像。

2.2 亮度校正

蘋果可以近似地看成朗伯體。根據(jù)朗伯反射定律，蘋果表面任意一點的亮度ID為入射光的強度IL與點法向量和光源形成的角θ余弦值乘積，如式(2)所示[12]。

ID=IL×cosθ。

(2)

在機器視覺系統(tǒng)中，蘋果入射光強度近似相等，夾角θ為蘋果表面亮度不均勻的最主要原因。亮度校正方法如圖3所示。蘋果表面不同區(qū)域的點是不同的，蘋果邊緣區(qū)域的點θ值小于中心區(qū)域。因此，邊緣的亮度低于中心亮度。這與蘋果圖像中心亮度高、邊緣亮度低的現(xiàn)象是一致的。以朗伯體頂部中心為圓心，半徑r和寬度Δr的圓環(huán)A內(nèi)近似的認(rèn)為所有元素的亮度相同。

因此，可以根據(jù)式(3)計算出環(huán)A中所有像素的平均亮度[13]。

圖2 缺陷檢測流程

圖3 亮度校正方法

(3)

式中：

IM——圓中所有像素的平均強度；

Ii——圓A中第i個元素的亮度值；

N——圓A中像素的總個數(shù)。

環(huán)A中像素的亮度校正通過式(4)計算[14]。

(4)

式中：

IRi——第i個像素通過校正的亮度值。

當(dāng)Ii>IM時IRi=255，當(dāng)Ii

2.3 初步分類

校正后，缺陷、花梗和萼片這些區(qū)域亮度較低，正常區(qū)域亮度增加。試驗過程中，將真正的蘋果、果梗和花萼等作為蘋果初步分類的候選區(qū)域。采用單閾值分割算法可以輕松地從修改后的圖像中分割出候選缺陷區(qū)域[15]。

根據(jù)從蘋果圖像分割的缺陷候選區(qū)域的數(shù)量可以預(yù)測蘋果是否存在缺陷。如果候選缺陷數(shù)量為2個或更多，該蘋果存在缺陷；如果候選缺陷數(shù)量為1個，則無法確定蘋果是否存在缺陷。

為了將缺陷候選區(qū)域與實際缺陷、果梗和花萼區(qū)分開，需要提取特征進(jìn)行訓(xùn)練，文中選擇6個平均顏色特征、1個R通道圖像統(tǒng)計特征和5個紋理特征。

從樣品的彩色RGB圖像中，通過直接或顏色空間轉(zhuǎn)換可以得到缺陷候選區(qū)域的6個顏色特征(R、G、B、H、S、I分量的平均值)。可以從對應(yīng)像素的RGB分量中得到H分量的值，如式(5)所示[16]。

(5)

θ通過式(6)求得。

(6)

飽和度分量S通過式(7)求得[17]。

(7)

強度分量I通過式(8)求得。

(8)

候選區(qū)域的統(tǒng)計特征選擇與缺陷候選區(qū)域相對應(yīng)的R分量的標(biāo)準(zhǔn)偏差，特征統(tǒng)計量如式(9)所示。

(9)

式中：

ti——缺陷候選區(qū)域?qū)?yīng)的通道圖像中第i個像素的灰度值；

M——缺陷候選區(qū)域中的像素數(shù)。

在R通道圖像中，通過灰度共生矩陣提取紋理特征。包括熵、能量、相關(guān)性、轉(zhuǎn)動慣量和局部平穩(wěn)性。

2.4 進(jìn)一步分類

文中選擇相關(guān)向量機為缺陷候選區(qū)域分類算法。相關(guān)向量機(Relevance Vector Machine，RVM)是由Michael E. Tipping在貝葉斯模型基礎(chǔ)上提出的監(jiān)督式機械學(xué)習(xí)算法[18]。

ti=y(xi;w)+εi。

(10)

則目標(biāo)值遵循高斯概率分布，如式(11)所示。

p(ti|x)=N(ti|y(xi；w),σ2)，

(11)

式中：

N(ti|y(xi;w),σ2)——正態(tài)分布函數(shù)，其分布由ti、y(xi;w)以及方差σ2決定；

y(xi;w)——核函數(shù)確定的值，核函數(shù)由訓(xùn)練樣本Φi(x)≡K(x,xi)確定，如式(12)所示[19]。

(12)

假設(shè)ti彼此獨立，在w和σ2條件下目標(biāo)值t的完整概率如式(13)所示。

(13)

式中：

t=[t1,t2,…,tN]T——目標(biāo)函數(shù)向量；

w——wi組成的權(quán)向量，w=[w1,w2,…,wN]T；

Φ——N×N的設(shè)計矩陣，Φ=[Φ(x1),Φ(x2),…,Φ(xN)]T。

(14)

對于每個權(quán)重，式(14)都有一個獨立的分布參數(shù)，可以降低先前分布的復(fù)雜度。

式(13)中，為了與最終函數(shù)匹配，需要在超參數(shù)α中加入噪聲函數(shù)σ2。該函數(shù)滿足如式(15)所示的伽馬分布比例函數(shù)。

(15)

為了保證這些參數(shù)無先驗知識，通常將其定為a=b=0。遵循基于貝葉斯定理的樣本先驗和似然分布，可以通過式(16)獲得w后驗概率分布。

(16)

式中：

Σ=(σ-2ΦTΦ+A)-1；

μ=σ-2ΣΦTt；

Ω=σ-2I+ΦA(chǔ)-1ΦT；

A=diag(α0,α1,…,αN)。

RVM算法中的模型權(quán)值的最大后驗估計依賴于參數(shù)α和方差σ2，通過最大似然邊界分布得到α∧和σ2∧。最優(yōu)權(quán)值的不確定性可以表示模型預(yù)測中的不確定性。預(yù)測目標(biāo)值如式(17)所示。

(17)

在此，需要通過最大后驗估計來預(yù)測α和σ2，如式(18) 所示[20]。

(αMAP,σ2MAP)=argmaxα,σ2p(t|α,σ2)，

(18)

式中：

通過將獲得的參數(shù)α和σ2估計值引入公式中，可以獲得如式(19)所示的目標(biāo)值。

p(t*|t)=N(t*|y*,σ2*)，

(19)

式中：

y*=μTΦ(x*)；

3 試驗結(jié)果與分析

為了驗證校正與分割的效果，以不同尺寸、形狀和外觀缺陷不同的蘋果為例，驗證了亮度校正和候選缺陷分割算法的有效性。校正與分割圖如圖4所示。

從圖4(a)可以看出，試驗樣品存在不同的缺陷位置和數(shù)量，并且蘋果姿勢是隨機分布的。邊緣也有缺陷存在且接近正常表皮的亮度，使其難以直接分離。

為了對亮度效果進(jìn)行加強，直接在R中使用閾值分割方法，未校正即從通道圖像中提取缺陷候選區(qū)域，結(jié)果如圖4(b)所示。由于蘋果圖像的亮度分布不均，通常無法檢測出蘋果圖像邊緣區(qū)域的缺陷。并且很容易被錯誤地判定為缺陷。

從圖4(c)可以看出，即使對亮度進(jìn)行了校正，缺陷、果柄和花萼的亮度仍然較低，缺陷與正常果皮對比度增加。特別是在邊緣區(qū)域，對比度更大，這在提取缺陷候選區(qū)域方面是有利的。

圖4(d)為亮度校正后蘋果圖像中缺陷候選區(qū)域的分割結(jié)果。相比之下，該方法可以準(zhǔn)確地識別出果實、果梗和花萼，可以很好地識別出蘋果邊緣缺陷，不會誤分割果實的邊緣。

先對缺陷候選區(qū)域進(jìn)行分割，然后對缺陷候選區(qū)域的數(shù)量進(jìn)行計數(shù)，標(biāo)記為N。將蘋果樣品可分為3類：正常水果(N=0)，缺陷水果(N≥2)和待處理水果(N=1)。這3種典型形式，以及原始RGB圖像、亮度校正和分割結(jié)果如圖5所示。從圖5可以看出，經(jīng)過校正和分割后，蘋果圖像第一列中的候選區(qū)域數(shù)量為0。即在相機的視場中沒有真實的缺陷、果梗、花萼等低亮區(qū)域，初步判斷樣品正常。

圖4 校正與分割

第2列和第3列分割缺陷候選區(qū)域后，分割的候選區(qū)域數(shù)N=1，缺陷可以為實際缺陷、果梗、花萼等。因此，不可能預(yù)先確定這種蘋果是否有缺陷或正常。因此，需要進(jìn)一步的判斷。在蘋果圖像的第4列中，經(jīng)過亮度校正和缺陷候選區(qū)域分割。分割出的候選區(qū)域的數(shù)量為N=2。

考慮到果梗和花萼不能在相機的同一視野中出現(xiàn)。蘋果樣品可以初步確定為有缺陷的水果。選擇區(qū)域數(shù)≥2的蘋果樣本也可以初步判斷為缺陷果。果梗和花萼在同一視野中無法同時出現(xiàn)。經(jīng)證實，蘋果樣品是有缺陷的水果。

為了檢驗算法的性能，分別測試了500個無缺陷蘋果、250個只有一個缺陷的蘋果和250個不同缺陷數(shù)量的蘋果。每個蘋果采集一個圖像，然后人為控制水果的位置和姿勢。測試結(jié)果見表1。根據(jù)候選區(qū)域數(shù)N=0，在算法的初始識別階段，將照相機視場內(nèi)的所有(250個)無果梗和花萼的蘋果正確判定為正常水果。當(dāng)N≥2時，所有(250個)缺陷蘋果均被判定為有缺陷的水果。當(dāng)N=1時，進(jìn)一步判斷250個僅在相機視野中具有果柄或花萼的蘋果，其中，有246個為正常果實，有4個被判定為有缺陷蘋果。該檢測算法還確定了相機視野中的250個缺陷蘋果，其中245個是缺陷水果，5個誤判為正常水果。在1 000個樣本中，有991個被正確分類，總體識別準(zhǔn)確率達(dá)到99.1%。

圖5 品質(zhì)初步判斷

表1 檢測結(jié)果

4 結(jié)論

將自動亮度校正技術(shù)和加權(quán)矢量機相結(jié)合，實現(xiàn)了基于機器視覺的蘋果缺陷快速檢測。該檢測方法對1 000個測試樣本的識別準(zhǔn)確率為99.1%。表明該方法對蘋果缺陷檢測效果較為清晰，各種缺陷檢測準(zhǔn)確率比較高?？紤]到試驗裝置和數(shù)據(jù)的規(guī)模，這項研究仍處于起步階段。后續(xù)將不斷改進(jìn)和完善基于機器視覺的蘋果缺陷快速檢測方法。