張 錚 熊盛輝 王孫強(qiáng) 胡凌輝

(湖北工業(yè)大學(xué)機(jī)械工程學(xué)院，湖北 武漢 430068)

由于多種果蔬在成熟后果肉較軟，在采集、運(yùn)輸過(guò)程中極易損傷果肉，果肉發(fā)生物理?yè)p傷后極易導(dǎo)致變質(zhì)。對(duì)果肉缺陷檢測(cè)的傳統(tǒng)方法一般采用肉眼對(duì)表皮的紋理顏色進(jìn)行判別，但該方法主觀性強(qiáng)且誤差較大。機(jī)器視覺(jué)與圖像處理作為一種無(wú)損檢測(cè)方法[1]，對(duì)果蔬的紋理、顏色、大小、形狀具有較高效率的檢測(cè)識(shí)別。楊濤等[2]根據(jù)HSV顏色模型與圖像投影面積法對(duì)草莓的質(zhì)量進(jìn)行評(píng)估，在采用加權(quán)法計(jì)算質(zhì)量與形狀評(píng)級(jí)分對(duì)草莓等級(jí)進(jìn)行精準(zhǔn)劃分，其準(zhǔn)確率高達(dá)90%。項(xiàng)輝宇等[3]采用基于Halcon的圖像處理方法，依據(jù)RGB顏色模型，利用模板匹配法，實(shí)現(xiàn)對(duì)蘋(píng)果的缺陷檢測(cè)以及顏色識(shí)別。李國(guó)進(jìn)等[4]提出了一種基于計(jì)算機(jī)視覺(jué)技術(shù)和極限學(xué)習(xí)機(jī)神經(jīng)網(wǎng)絡(luò)對(duì)芒果品質(zhì)的分級(jí)方法。李江波[5]以臍橙為研究對(duì)象，采用RGB成像技術(shù)、熒光高光譜技術(shù)和可見(jiàn)近高光譜技術(shù)對(duì)臍橙常見(jiàn)缺陷的檢測(cè)方法進(jìn)行了探討。對(duì)于果蔬的視覺(jué)檢測(cè)已成為機(jī)器視覺(jué)領(lǐng)域的重要研究?jī)?nèi)容。

目前基于視覺(jué)的香蕉成熟度分析與缺陷檢測(cè)已有一定的研究。胡孟晗等[6]以青香蕉為研究對(duì)象，利用計(jì)算機(jī)視覺(jué)對(duì)香蕉在成熟過(guò)程中的果皮顏色和紋理進(jìn)行檢測(cè)，結(jié)果表明在香蕉成熟期的第6階段前的果皮狀況可用R、B均值的變化進(jìn)行描述，第6階段后的果皮狀況可用共生矩陣的均勻度和對(duì)比度進(jìn)行描述。趙文鋒等[7]以Matlab圖像處理技術(shù)為基礎(chǔ)，分割出香蕉圖像并進(jìn)行圖像處理，最后根據(jù)香蕉果皮色素組成對(duì)香蕉成熟度進(jìn)行檢測(cè)分級(jí)。綜上，多數(shù)研究者都是基于視覺(jué)對(duì)香蕉表皮進(jìn)行檢測(cè)識(shí)別，而沒(méi)有進(jìn)一步對(duì)香蕉內(nèi)部果肉的品質(zhì)缺陷進(jìn)行預(yù)測(cè)分析。研究擬利用機(jī)器視覺(jué)技術(shù)獲取香蕉表皮與果肉圖像，經(jīng)圖像處理后，獲取有關(guān)缺陷的相關(guān)信息，將獲取到的信息通過(guò)函數(shù)擬合進(jìn)行分析比對(duì)，以期在不剝開(kāi)香蕉皮情況下對(duì)香蕉內(nèi)部果肉缺陷進(jìn)行快速、準(zhǔn)確的等級(jí)劃分。

1 基于機(jī)器視覺(jué)的圖像特征參數(shù)分析

1.1 圖像識(shí)別的材料與儀器

香蕉樣本來(lái)自農(nóng)副產(chǎn)品市場(chǎng)，在購(gòu)置香蕉中隨機(jī)挑選40個(gè)果皮有不同程度黑斑的香蕉，其中20個(gè)作為訓(xùn)練樣本，另外20個(gè)作為預(yù)測(cè)樣本。

利用機(jī)器視覺(jué)技術(shù)對(duì)圖像進(jìn)行采集，機(jī)器視覺(jué)系統(tǒng)組成如圖1所示。采用型號(hào)為MV-CH089-10UC?？低暪I(yè)相機(jī)，獲取圖像像素為4 096×2 160，幀率為32 Hz，曝光時(shí)間為1/100 s，信噪比38 dB，對(duì)相機(jī)閃光燈選擇禁用狀態(tài)。相機(jī)鏡頭25mmZX-SF2520C，垂直位于樣品正上方40 cm處。光源采用ZX-LA7000環(huán)形光源，功率為10 W。對(duì)20個(gè)訓(xùn)練樣本分別在4個(gè)不同方向進(jìn)行圖像采集，采集到的一對(duì)典型香蕉表皮與果肉圖像如圖2所示。

圖1 機(jī)器視覺(jué)系統(tǒng)組成

圖2 采集的原始圖像

1.2 基于機(jī)器視覺(jué)的圖像處理

由于采集到的原始圖像黃色成分大于其他成分，黃色RGB值分布為225，225，0，因此通過(guò)強(qiáng)調(diào)紅色與綠色成分、抑制藍(lán)色成分的方法將原始圖像轉(zhuǎn)化為灰度圖像。具體方法如式(1)所示。

(1)

式中：

R、G、B——點(diǎn)(x，y)在原始圖像中紅、綠、藍(lán)的值；

pixel——點(diǎn)(x，y)處理結(jié)果后在灰度圖像中的灰度值；

K——灰度圖像對(duì)比值，可根據(jù)不同光照條件來(lái)取值。

將得到的灰度圖像進(jìn)行平滑處理(或去噪聲)，采用均值濾波算法，用3×3的領(lǐng)域模板對(duì)灰度圖像進(jìn)行卷積運(yùn)算，去除尖銳噪聲，如圖3所示。

圖3 灰度圖像與濾波效果圖

采用雙閥值二值化[8-9]處理方法，根據(jù)式(2)對(duì)圖像進(jìn)行二值化處理，將果皮圖像、果肉圖像、果皮黑斑、果肉缺陷進(jìn)行提取。

(2)

式中：

g(x，y)——處理后的圖像在點(diǎn)(x，y)處的灰度值；

f(x，y)——處理前的圖像在點(diǎn)(x，y)處的灰度值；

t1、t2——雙閥值。

將圖像分割后，為減少后續(xù)特征參數(shù)與計(jì)算的誤差，對(duì)圖像分割區(qū)域進(jìn)行形態(tài)學(xué)分析[10-11]。腐蝕與膨脹是形態(tài)學(xué)處理的基礎(chǔ)，為避免香蕉莖對(duì)香蕉果皮的特征參數(shù)提取造成干擾，且考慮到香蕉在成熟后會(huì)有少量黑色素形成黑斑(這些小黑斑并不表示香蕉果肉會(huì)有缺陷)，需對(duì)香蕉果皮圖像以及果皮黑斑圖像根據(jù)式(3)進(jìn)行腐蝕運(yùn)算：通過(guò)結(jié)構(gòu)元素對(duì)二值圖像中的每一個(gè)像素點(diǎn)進(jìn)行掃描，掃描過(guò)程中將結(jié)構(gòu)元素與被覆蓋的像素點(diǎn)做“與”計(jì)算，如果計(jì)算結(jié)果均為1，則該圖像像素值為1，否則該值為0。圖像最后處理結(jié)果如圖4所示。

圖4 圖像處理效果圖

(fΘb)(s,t)=min{f(s+x,t+y)+b(x,y)(s+x,t+y)∈Df,(x,y)∈Db}，

(3)

式中：

f(x，y)——輸入圖像；

b(x，y)——結(jié)構(gòu)元素。

1.3 圖像特征參數(shù)的提取與計(jì)算

試驗(yàn)中圖像面積通過(guò)像素點(diǎn)的總和來(lái)表示。對(duì)20個(gè)訓(xùn)練樣本通過(guò)圖像采集、圖像處理后，提取其中各圖像像素點(diǎn)數(shù)量，并將4個(gè)不同方向的圖像像素點(diǎn)數(shù)進(jìn)行相加，進(jìn)行相加后的值分別作為香蕉的果皮總面積、果肉總面積、果皮黑斑總面積與果肉缺陷總面積，通過(guò)提取出來(lái)的果皮與果肉特征參數(shù)計(jì)算出訓(xùn)練樣本香蕉的黑斑度與缺陷度，見(jiàn)表1。其中香蕉果皮黑斑度通過(guò)果皮的黑斑面積與果皮的整體面積之比來(lái)表示，香蕉缺陷度通過(guò)果肉的缺陷面積與果肉的整體面積之比來(lái)表示，缺陷度越大，表示香蕉果肉損傷越嚴(yán)重。根據(jù)農(nóng)業(yè)部行業(yè)標(biāo)準(zhǔn)(NY/T 3193—2018)對(duì)香蕉等級(jí)規(guī)格的分類(lèi)，可得出不同缺陷度范圍香蕉果肉等級(jí)的劃分，見(jiàn)表2。

表1 訓(xùn)練樣本中香蕉圖像像素點(diǎn)的統(tǒng)計(jì)、計(jì)算與等級(jí)劃分

表2 香蕉果肉等級(jí)缺陷度統(tǒng)計(jì)范圍

2 果肉缺陷預(yù)測(cè)模型

2.1 果肉缺陷預(yù)測(cè)的數(shù)學(xué)模型

(4)

式中：

a0，a1，a2，a3——多項(xiàng)式系數(shù)。

求出a0，a1，a2，a3，擬合出多項(xiàng)式：

(5)

原始函數(shù)圖形與擬合函數(shù)如圖5所示。由圖5可知，原始圖像與擬合圖像差距較小。為了進(jìn)一步精確評(píng)估原始函數(shù)圖形與擬合函數(shù)的差距，繼續(xù)對(duì)擬合函數(shù)進(jìn)行殘差分析：

圖5 訓(xùn)練樣本函數(shù)圖像與擬合函數(shù)圖像

(6)

式中：

ei——第i個(gè)觀測(cè)值殘差；

yi——第i個(gè)觀測(cè)值；

訓(xùn)練樣本殘差圖如圖6所示。由圖6可知：訓(xùn)練樣本殘差分布在值域[-1.0×10-3，1.5×10-3]，殘差值分布區(qū)間較小，整體擬合范圍也呈現(xiàn)出均勻擴(kuò)散狀態(tài)，訓(xùn)練樣本殘差值與其變量黑斑度不相關(guān)且相鄰殘差不具有自相關(guān)性(當(dāng)前殘差值無(wú)法預(yù)測(cè)到下一個(gè)殘差值)。分析可知此擬合函數(shù)模型較為準(zhǔn)確。

圖6 訓(xùn)練樣本殘差圖

2.2 果肉缺陷預(yù)測(cè)的準(zhǔn)確率分析

根據(jù)1.2節(jié)的圖像處理與1.3節(jié)的特征參數(shù)提取計(jì)算，將采集到的預(yù)測(cè)樣本通過(guò)擬合函數(shù)進(jìn)行缺陷度的預(yù)測(cè)，根據(jù)預(yù)測(cè)結(jié)果對(duì)香蕉進(jìn)行等級(jí)劃分，如表3所示。

表3 預(yù)測(cè)樣本數(shù)據(jù)

將預(yù)測(cè)樣本進(jìn)行等級(jí)劃分并計(jì)算出準(zhǔn)確率，見(jiàn)表4。由表4可知：通過(guò)預(yù)測(cè)模型對(duì)香蕉等級(jí)劃分，總準(zhǔn)確率達(dá)到88.9%，其整體分類(lèi)準(zhǔn)確性較高。分別對(duì)每個(gè)等級(jí)預(yù)測(cè)準(zhǔn)確率分析可知，一等品的預(yù)測(cè)準(zhǔn)確率為91.7%，二等品的預(yù)測(cè)準(zhǔn)確率為100.0%，三等品的預(yù)測(cè)準(zhǔn)確率為75.0%，三等品的預(yù)測(cè)準(zhǔn)確率低于一等品與二等品，這是因?yàn)槿绕废憬豆さ暮诎叻植驾^廣且較為密集，在進(jìn)行圖像處理時(shí)對(duì)果皮黑斑像素提取產(chǎn)生誤差，造成試驗(yàn)數(shù)據(jù)的線(xiàn)性度較差，從而對(duì)預(yù)測(cè)的準(zhǔn)確率造成一定的影響。

表4 預(yù)測(cè)樣本等級(jí)劃分準(zhǔn)確率

以相同的20個(gè)預(yù)測(cè)樣本為研究對(duì)象，基于文獻(xiàn)[7]中對(duì)香蕉成熟度分析的研究，將圖像處理后的香蕉，提取出香蕉果皮色素直接對(duì)香蕉進(jìn)行等級(jí)劃分，計(jì)算出總準(zhǔn)確率為82.5%，對(duì)比由果肉缺陷的預(yù)測(cè)值進(jìn)行等級(jí)劃分，其準(zhǔn)確率低了6.4%。在缺少對(duì)香蕉果肉缺陷的預(yù)測(cè)情況下，無(wú)法對(duì)香蕉果肉進(jìn)行一個(gè)良好的評(píng)估，從而導(dǎo)致等級(jí)劃分的準(zhǔn)確率較低。

3 結(jié)論

(1) 基于機(jī)器視覺(jué)對(duì)香蕉果皮表面進(jìn)行圖像處理，提取訓(xùn)練樣本中香蕉果皮與果肉的表面特征參數(shù)，計(jì)算出果皮的黑斑度與果肉的缺陷度；將黑斑度作為函數(shù)輸入，缺陷度作為函數(shù)輸出，根據(jù)多項(xiàng)式擬合尋找出數(shù)據(jù)的最佳函數(shù)匹配，建立預(yù)測(cè)模型。

(2) 通過(guò)匹配結(jié)果進(jìn)行殘差分析，殘差圖中各點(diǎn)分布具有恒定均勻擴(kuò)散性，殘差與變量黑斑度不具有相關(guān)性且相鄰殘差之間不具有自相關(guān)性，該擬合函數(shù)可以對(duì)香蕉果肉的缺陷度進(jìn)行準(zhǔn)確的預(yù)測(cè)判斷。通過(guò)果肉缺陷的預(yù)測(cè)值，對(duì)香蕉果肉品質(zhì)進(jìn)行等級(jí)劃分，避免了人工選擇的主觀性。基于文獻(xiàn)[7]中對(duì)香蕉成熟度分析的研究，僅提取果皮色素直接對(duì)香蕉進(jìn)行等級(jí)劃分，試驗(yàn)基于香蕉內(nèi)部果肉的缺陷預(yù)測(cè)值，其等級(jí)劃分更為精準(zhǔn)高效，將總準(zhǔn)確率提高了6.4%，達(dá)到88.9%。

(3) 后續(xù)研究中，可進(jìn)一步結(jié)合香蕉果皮表面其他特征參數(shù)，如紋理特征反映的方向性、規(guī)則性、粗糙度等特征類(lèi)型，進(jìn)行權(quán)重分布分析，進(jìn)一步提高對(duì)果肉缺陷程度的精準(zhǔn)預(yù)測(cè)。