龔中良 楊張鵬 梁力

摘要：針對(duì)柑橘人工分類強(qiáng)度高、效率低、精度差的問(wèn)題，為實(shí)現(xiàn)快而準(zhǔn)確的柑橘缺陷檢測(cè)，提出一種基于機(jī)器視覺(jué)技術(shù)的缺陷檢測(cè)方法。在VS2013環(huán)境下利用開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)OpenCV進(jìn)行開(kāi)發(fā)，根據(jù)柑橘的顏色與形狀特點(diǎn)，將圖像顏色模型由RGB轉(zhuǎn)換為HSV，利用HSV圖像進(jìn)行背景去除后，在HSV顏色模型下利用V分量灰度圖邊緣檢測(cè)與形態(tài)學(xué)處理的方法以提取柑橘表面的缺陷特征。結(jié)果表明，柑橘表面缺陷檢測(cè)的總體識(shí)別率為92%，所用方法能有效地識(shí)別柑橘表面的缺陷。

關(guān)鍵詞：柑橘;缺陷檢測(cè);機(jī)器視覺(jué);HSV;邊緣檢測(cè)

中圖分類號(hào)： TP391.41 ?文獻(xiàn)標(biāo)志碼： A ?文章編號(hào)：1002-1302（2019）07-0236-03

柑橘是我國(guó)產(chǎn)量最大的水果之一，也是重要的外貿(mào)果品，但由于采摘后水果產(chǎn)品化處理技術(shù)落后，造成我國(guó)上市的柑橘品質(zhì)等級(jí)混雜、良莠不齊，商品價(jià)值受到影響。目前，國(guó)內(nèi)柑橘的分選主要采用人工分選方法，缺點(diǎn)是工作量大、效率低、準(zhǔn)確性差，無(wú)法達(dá)到統(tǒng)一的質(zhì)量標(biāo)準(zhǔn)。而機(jī)器視覺(jué)技術(shù)處理水果的方法具有效率高、速度快、無(wú)損性等特點(diǎn)，已在水果表面缺陷檢測(cè)領(lǐng)域獲得了廣泛運(yùn)用[1]，國(guó)內(nèi)的機(jī)器視覺(jué)技術(shù)在缺陷檢測(cè)方面還不是很成熟，因此研究基于機(jī)器視覺(jué)柑橘表面缺陷檢測(cè)的方法迫在眉睫。

近20年來(lái)，國(guó)內(nèi)外學(xué)者對(duì)機(jī)器視覺(jué)在水果產(chǎn)后缺陷檢測(cè)中的應(yīng)用進(jìn)行了較深入的研究。Leemans等采用K均值聚類的方法提取RGB圖像中蘋果缺陷的特征，然后采用二次判別分析的方法實(shí)現(xiàn)缺陷區(qū)域的檢測(cè)[2]。Whitelock等通過(guò)提取缺陷和形狀等特征對(duì)蘋果進(jìn)行分級(jí)檢測(cè)，但提取缺陷特征算法單一，不能提取多種缺陷，同時(shí)沒(méi)有考慮蘋果的球形特點(diǎn)而導(dǎo)致光照不均勻的問(wèn)題，因此識(shí)別效果欠佳[3]。Blasco等開(kāi)發(fā)了一個(gè)范圍定向分段算法檢測(cè)柑橘果面缺陷，并在HIS顏色空間通過(guò)使用傳統(tǒng)機(jī)器視覺(jué)系統(tǒng)的準(zhǔn)確度達(dá)到95%[4];應(yīng)義斌等以黃花梨為研究對(duì)象，根據(jù)表面缺陷區(qū)域與非缺陷區(qū)域的顏色特征差異，提出利用R分量與G分量在缺陷與非缺陷區(qū)的突變，求出可疑受損點(diǎn)，再運(yùn)用區(qū)域增長(zhǎng)法確定黃花梨的整個(gè)受損面，試驗(yàn)表明該方法可較準(zhǔn)確地識(shí)別黃花梨的缺陷區(qū)域[5]。馮斌等利用CCD攝像機(jī)和平面鏡對(duì)靜態(tài)采集的圖像進(jìn)行傅里葉變換，從水果的三維空間結(jié)構(gòu)特征中識(shí)別缺陷[6]。朱偉華等提出了基于模糊顏色聚類的缺陷分割方法，構(gòu)建了顏色模糊集，并將該方法應(yīng)用于西紅柿的缺陷分割[7]。趙杰文等在HIS顏色空間下提取H均值與均方差作為紅棗的顏色特征值，并采用支持向量機(jī)識(shí)別缺陷紅棗[8]。劉靜等利用面積標(biāo)定法獲取芒果的缺陷圖像，并采用線性回歸分析的方法確定測(cè)量值與真實(shí)值的相關(guān)性，結(jié)果表明，該方法具有較高準(zhǔn)確率與穩(wěn)定性[9]。李江波等提出一種在線水果圖像的表面亮度均一化校正的方法，利用一個(gè)簡(jiǎn)單的閾值對(duì)亮度校正后的圖像進(jìn)行缺陷分割，總體檢測(cè)準(zhǔn)確率超過(guò)99%[10]。還有一些學(xué)者在RGB顏色模型下利用分量R、G、B對(duì)水果的缺陷進(jìn)行識(shí)別，但涉及的特征參數(shù)過(guò)多，在一定程度上影響檢測(cè)系統(tǒng)的實(shí)時(shí)性。

目前，水果表面缺陷檢測(cè)難題主要是如何高效快速地檢測(cè)缺陷區(qū)域并且能保證有較高的經(jīng)濟(jì)性。本研究以冰糖柑為研究對(duì)象，通過(guò)CCD工業(yè)相機(jī)采集圖像，采用基于形態(tài)學(xué)處理柑橘圖像V分量圖像的分割方法，快速地提取柑橘的缺陷特征，并且通過(guò)判斷缺陷的形狀來(lái)區(qū)分柑橘的果梗與缺陷，識(shí)別柑橘表面缺陷區(qū)域，從而實(shí)現(xiàn)柑橘快速缺陷檢測(cè)。

1 材料與方法

1.1 試驗(yàn)裝置與材料

柑橘圖像獲取裝置如圖1所示。該裝置主要包括CCD工業(yè)相機(jī)、圖像采集卡、光源、光照箱。圖像采集區(qū)域在密封的光照箱內(nèi)進(jìn)行，果杯及水果拍攝背景布置為黑色，這樣不僅能夠區(qū)分水果與背景，還能避免光照形成的陰影對(duì)圖像后續(xù)處理造成的影響。光源采用光線柔和的熒光燈，安裝在光照箱的兩側(cè)，使得光線均勻以防影響檢測(cè)結(jié)果。為盡可能采集柑橘表面更多信息從而達(dá)到缺陷檢測(cè)的目的，采用互為120°安裝雙相機(jī)進(jìn)行圖像采集，CCD工業(yè)相機(jī)采用德國(guó)Basler工業(yè)相機(jī)（型號(hào)為：acA750-30gc/gm），其分辨率為752×480，像素位深8 bit，jpg格式存儲(chǔ)，相機(jī)曝光時(shí)長(zhǎng)、焦距、光照強(qiáng)度及圖像采集大小均保持一致。當(dāng)步進(jìn)電機(jī)驅(qū)動(dòng)傳動(dòng)鏈將水果以恒定速度運(yùn)動(dòng)至圖像采集區(qū)域時(shí)，光電傳感器產(chǎn)生上升沿信號(hào)觸發(fā)工業(yè)相機(jī)拍攝，拍攝后的圖像由圖像采集卡存儲(chǔ)至計(jì)算機(jī)進(jìn)行圖像分析與處理后，將判斷結(jié)果輸送給分選裝置進(jìn)行分選。整個(gè)圖像處理軟件在VS2013環(huán)境下用VC+ +結(jié)合Opencv視覺(jué)庫(kù)進(jìn)行編寫。

試驗(yàn)樣品為長(zhǎng)沙當(dāng)?shù)夭少?gòu)的50個(gè)洪江冰糖柑，其中有25個(gè)是完好的，25個(gè)表面帶有缺陷的，表面缺陷包括黑斑、蟲(chóng)咬、壓傷等缺陷類型。

1.2 柑橘缺陷特征檢測(cè)方法

1.2.1 圖像預(yù)處理 首先進(jìn)行圖像預(yù)處理是為了去除噪點(diǎn)及背景，為后續(xù)缺陷特征提取做準(zhǔn)備。采集到的柑橘圖像中背景部分對(duì)檢測(cè)影響雖然較弱，但為了更高效地進(jìn)行圖像分割并較好地去除背景，首先對(duì)圖像進(jìn)行灰度線性變換，能凸顯感興趣區(qū)域并削弱或去除不必要的信息，使得處理結(jié)果更有利于后續(xù)圖像分析[11]。線性變換可突出感興趣灰度區(qū)間內(nèi)的圖像細(xì)節(jié)，抑制不感興趣區(qū)域，增大圖像對(duì)比度并提高圖像質(zhì)量，其表達(dá)式為g（x，y）=a×f（x，y）+b，其中參數(shù)a表示圖像對(duì)比度變化;b表示圖像亮度變化[12]，本試驗(yàn)中參數(shù)a選取為1.2，參數(shù)b選取為40。將變換后的圖像轉(zhuǎn)換為灰度圖像再經(jīng)過(guò)中值濾波以去除噪點(diǎn)，并且保證其邊緣輪廓較清晰，之后提取RGB顏色模型下的灰度直方圖（圖2-a），發(fā)現(xiàn)柑橘表面與背景對(duì)比并不是很明顯，并沒(méi)有呈現(xiàn)明顯的雙峰，而柑橘的缺陷部分通常與正常色澤有很大區(qū)別，將柑橘圖像由RGB顏色模型轉(zhuǎn)換為HSV顏色模型后，作其灰度直方圖（圖2-b），在HSV顏色模型下柑橘前景與背景能夠很好地區(qū)分，易于去除背景以提取目標(biāo)果實(shí)圖像。

在去除噪聲之后，將二值化圖像作為掩模，并設(shè)置背景為白色以獲得背景分割后的圖像，背景分割后的圖像如圖2-d所示。

3.2 基于形態(tài)學(xué)處理的柑橘缺陷提取

柑橘缺陷常見(jiàn)類型主要包括潰瘍果、蟲(chóng)傷果、裂傷果，缺陷區(qū)域的主要顏色為灰色、深褐色，針對(duì)缺陷顏色偏暗的特點(diǎn)，利用亮度V分量灰度圖對(duì)柑橘缺陷進(jìn)行檢測(cè)。由于柑橘為近似球體的形狀，即使在柔和光照條件下，柑橘邊緣處的灰度值也比較低，極易將邊緣區(qū)域誤判為缺陷，因此需排除邊緣對(duì)檢測(cè)的干擾，采用形態(tài)學(xué)處理的方法去除邊緣以獲得缺陷特征圖像，整個(gè)流程如圖3所示。

從背景分割后的圖像分別提取H、S、V分量圖像如圖4所示，其中V分量圖最能體現(xiàn)出水果的缺陷特征，可作為后續(xù)檢測(cè)缺陷的依據(jù)。為獲取柑橘的缺陷部分，采用固定閾值化與OTSU閾值化分割并不能達(dá)到很好的效果，采用自適應(yīng)閾值化分割的方法，處理效果較好。自適應(yīng)閾值化是通過(guò)圖像像素領(lǐng)域塊的分布特征來(lái)自適應(yīng)確定區(qū)域的二值化閾值，保證圖像中各個(gè)像素的閾值隨著周圍領(lǐng)域塊變化而變化[12]。由于某些柑橘表面會(huì)存在一些細(xì)小斑點(diǎn)，閾值分割處理后會(huì)形成許多小黑點(diǎn)，而這些小斑點(diǎn)并不能作為缺陷看待，因此采用形態(tài)學(xué)閉運(yùn)算來(lái)消除這些小黑點(diǎn)。由于柑橘邊緣處的灰度值較低，處理后的圖像中黑色部分包括缺陷部分與邊緣部分，因此須處理邊緣部分，將預(yù)處理得到的二值化圖像用canny算子獲取其邊緣圖像，再用形態(tài)學(xué)膨脹的方法對(duì)邊緣圖像進(jìn)行處理，得到邊緣膨脹圖像，其中邊緣膨脹部分為白色，然后將閾值分割后的邊緣及缺陷圖與邊緣膨脹圖像相加，最終得到柑橘缺陷部分的圖像（圖3-h）。

3.3 缺陷與果梗的區(qū)分及缺陷果的判定

由于柑橘本身的果梗顏色較暗，其形態(tài)與缺陷部分相似，在缺陷提取的過(guò)程中，往往容易造成誤判，將果梗識(shí)別為缺陷，從而影響識(shí)別率，因此需要將果梗面積剔除，排除果梗對(duì)缺陷面積的影響。在RGB與HSV顏色模型下，利用各個(gè)分量參數(shù)來(lái)區(qū)分果梗與缺陷都不能達(dá)到很好的效果，而采用分量組合計(jì)算較為復(fù)雜，影響實(shí)時(shí)性。柑橘的缺陷大多數(shù)是不規(guī)則形狀，而自身的果梗基本上近似于圓形，考慮到這一點(diǎn)，本研究采用檢測(cè)輪廓圓形度的方法來(lái)去除果梗面積以排除果梗對(duì)缺陷識(shí)別的干擾。

3 結(jié)果與分析

采集到的原始圖像經(jīng)過(guò)計(jì)算機(jī)圖像處理與分析后，得到每個(gè)水果的檢測(cè)結(jié)果，若P<0.031，則認(rèn)為是完好果;若P>0.031，則認(rèn)為是缺陷果，應(yīng)將其剔除。通過(guò)試驗(yàn)，得到的缺陷分類準(zhǔn)確率如表1所示。結(jié)果表明，對(duì)于正常果的檢測(cè)準(zhǔn)確率為100%，對(duì)于缺陷果的檢測(cè)準(zhǔn)確率為92%。試驗(yàn)中產(chǎn)生的幾個(gè)誤判的柑橘主要原因有：個(gè)別柑橘表面的某些缺陷形狀近似圓形，圓形度較高的缺陷被當(dāng)做果梗去除，因此將缺陷果誤判為完好果;柑橘的缺陷部分恰好位于拍攝邊緣，此時(shí)缺陷部分可能會(huì)被相機(jī)重復(fù)拍攝或是本身產(chǎn)生幾何畸變，導(dǎo)致檢測(cè)的面積結(jié)果與實(shí)際面積結(jié)果相差較大，導(dǎo)致誤判。系統(tǒng)檢測(cè)缺陷結(jié)果基本穩(wěn)定，能夠保證較高的準(zhǔn)確率。

4 結(jié)論

本研究在VS2013環(huán)境下利用開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)OpenCV進(jìn)行開(kāi)發(fā)，將RGB顏色模型轉(zhuǎn)換為HSV顏色模型后對(duì)柑橘圖像進(jìn)行背景分割，分割采用OTSU自動(dòng)化閾值分割，通過(guò)分析和試驗(yàn)驗(yàn)證，利用V分量圖結(jié)合形態(tài)學(xué)處理的方法能有效地提取柑橘缺陷部分。

運(yùn)用檢測(cè)圓形度的方法來(lái)區(qū)分柑橘的果梗與缺陷，只涉及1個(gè)參量，計(jì)算較為簡(jiǎn)便，同時(shí)區(qū)分效果較好;根據(jù)缺陷總像素與柑橘總像素的比值來(lái)判斷表面完好的柑橘準(zhǔn)確率為100%，判斷表面有缺陷的柑橘準(zhǔn)確率為92%，該方法具有較高的準(zhǔn)確率，能有效地識(shí)別柑橘表面的缺陷。

參考文獻(xiàn)：

[1]應(yīng)義斌，饒秀勤，趙 勻，等. 機(jī)器視覺(jué)技術(shù)在農(nóng)產(chǎn)品品質(zhì)自動(dòng)識(shí)別中的應(yīng)用（Ⅰ）[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2000，16（1）：103-108.

[2]Leemans V，Magein H，Destain M F. Defects segmentation on ‘Golden Delicious apples by using colour machine vision[J]. Computers and Electronics in Agriculture，1998，20（2）：117-130.

[3]Whitelock D P，Brusewitz G H，Stone M L. Apple shape and rolling orientation[J]. Applied Engineering in Agriculture，2006，22（1）：87-94.

[4]Blasco J，Aleixos N，Molto E. Computer vision detection of peel defects in citrus by means of a region oriented segmentation algorithm[J]. Journal of Food Engineering，2007，81（3）：535-543.

[5]應(yīng)義斌. 機(jī)器視覺(jué)技術(shù)在黃花梨尺寸和果面缺陷檢測(cè)中的應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，1999（1）：197.

[6]馮 斌，汪懋華. 計(jì)算機(jī)視覺(jué)技術(shù)識(shí)別水果缺陷的一種新方法[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2002，7（4）：73-76.

[7]朱偉華，曹其新. 基于模糊彩色聚類方法的西紅柿缺陷分割研究[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2003，19（3）：133-136.

[8]趙杰文，劉少鵬，鄒小波，等. 基于支持向量機(jī)的缺陷紅棗機(jī)器視覺(jué)識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2008（3）：113-115，147.

[9]劉 靜，黃勇平，章程輝. 視覺(jué)系統(tǒng)開(kāi)發(fā)模塊在芒果果面缺陷檢測(cè)中的應(yīng)用[J]. 食品與機(jī)械，2009，25（2）：82-85.

[10]李江波，饒秀勤，應(yīng)義斌. 基于照度-反射模型的臍橙表面缺陷檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27（7）：338-342.

[11]馮 斌. 計(jì)算機(jī)視覺(jué)信息處理方法與水果分級(jí)檢測(cè)技術(shù)研究[D]. 北京：中國(guó)農(nóng)業(yè)大學(xué)，2002.

[12]朱 偉，趙春光，歐樂(lè)慶，等. OpenCV圖像處理編程實(shí)例[M]. 北京：電子工業(yè)出版社，2016.

[13]陳兵旗，孫 明. 實(shí)用數(shù)字圖像處理與分析[M]. 北京：中國(guó)農(nóng)業(yè)大學(xué)出版社，2007.焦德志，曹 瑞，姜秋旭，等. 石油污染對(duì)蘆葦幼苗生長(zhǎng)及生理特性的影響[J]. 江蘇農(nóng)業(yè)科學(xué)，2019，47（7）：239-242.