阮子行，黃 勇，王 夢(mèng)，史 強(qiáng)，張金玲

（1.新疆工程學(xué)院機(jī)電工程學(xué)院 烏魯木齊 830023；2.新疆農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院 烏魯木齊 830052）

新疆一直被稱為水果之鄉(xiāng)，種植的番茄等水果具有獨(dú)特的天然優(yōu)勢(shì)：晝夜溫差大并且晝長(zhǎng)夜短，雨水較少，十分有利于番茄生長(zhǎng)與抵抗病蟲害。獨(dú)特的環(huán)境氣候?yàn)榇笠?guī)模番茄種植、加工創(chuàng)造了有利的條件，番茄加工產(chǎn)業(yè)也是新疆獨(dú)特的“風(fēng)景”[1]。由于現(xiàn)代機(jī)械自動(dòng)化設(shè)備的快速發(fā)展，圖像處理技術(shù)早已應(yīng)用在水果種植、采摘、加工等一系列過程中。將圖像處理技術(shù)應(yīng)用在水果質(zhì)量分揀過程中[2-4]，代替?zhèn)鹘y(tǒng)的人工方式，可以更好地解放生產(chǎn)力，降低生產(chǎn)成本，并且避免人工長(zhǎng)時(shí)間工作導(dǎo)致分揀質(zhì)量不一致而影響產(chǎn)品質(zhì)量的情況。圖像采集過程中，圖像質(zhì)量與環(huán)境有著密切的關(guān)系，特別是環(huán)境光照成為影響機(jī)器視覺應(yīng)用成功的關(guān)鍵因素之一。

在生活中，由于環(huán)境光照不均勻，會(huì)使得番茄表面出現(xiàn)塊狀高光亮斑，高光會(huì)一定程度地掩蓋物體本身的顏色、紋理等視覺特征，可能會(huì)導(dǎo)致算法將高光的區(qū)域誤判成缺陷或其他特征，降低圖像識(shí)別、目標(biāo)檢測(cè)以及場(chǎng)景判斷的精確度和魯棒性，給后期處理帶來無法忽視的阻礙。鄭利華等[5]在HSV空間修正高光區(qū)域，通過多項(xiàng)式修正V 值，直方圖修正H 值，低于閾值的S 分量在動(dòng)態(tài)范圍內(nèi)壓縮，從而實(shí)現(xiàn)高光區(qū)域的消除，這是一種比較簡(jiǎn)單常用的修正方式，效果也十分明顯。Yang 等[6]通過采集多視角的圖像，利用多張圖像合成的方式去除引起高光的鏡面反射分量。Feng 等[7]提出了一種基于固有分解和二色反射模型將不飽和像素與色散聯(lián)系起來的無監(jiān)督k-means 聚類方法來恢復(fù)不飽和高光。同時(shí)，設(shè)計(jì)了一種自適應(yīng)方向方法以及高斯概率分布模型來恢復(fù)飽和高光。王祎璠等[8]通過顯著性模型，檢測(cè)物體上的高光區(qū)域，利用改進(jìn)算法將高光圖像的鄰域和邊緣像素信息，對(duì)檢測(cè)出的高光區(qū)域進(jìn)行修復(fù)。

筆者提出一種結(jié)合圖像分割、圖像濾波和圖像融合的高光去除方法。設(shè)計(jì)思路為首先分析高光特性，選擇合適的顏色空間提取番茄表面高光區(qū)域，其次使用圖像均值濾波的方式處理高光區(qū)域，最后將處理后的高光區(qū)域和原圖像中非高光區(qū)域進(jìn)行圖像融合，研究結(jié)果可為番茄的檢測(cè)、識(shí)別相關(guān)算法提供一定的技術(shù)支持。

1 材料與方法

1.1 高光提取

1.1.1 高光性質(zhì) 根據(jù)雙色反射模型[9]，反射分為兩類，一類是為漫反射，如圖1 中左圖所示，當(dāng)光線照射到不平整的物體表面時(shí)，光線會(huì)向著各個(gè)方向發(fā)射，光線均勻分散，不會(huì)出現(xiàn)局部光線過于強(qiáng)烈。另一類則是鏡面反射，如圖1 中右圖所示，當(dāng)光線照射到平整的表面時(shí)，光線朝著一個(gè)方向傳播，就會(huì)一定程度導(dǎo)致光線過于強(qiáng)烈，出現(xiàn)高強(qiáng)度白色亮斑，稱之為高光。

圖1 漫反射（左）和鏡面反射（右）

1.1.2 試驗(yàn)環(huán)境 筆者試驗(yàn)所用的所有番茄樣本均采集于新疆烏魯木齊番茄市場(chǎng)，品種為里格爾87-5 和石番15 號(hào)，采用一加8 手機(jī)完全隨機(jī)采集3張番茄圖片并進(jìn)行3 次重復(fù)試驗(yàn)求平均值。試驗(yàn)時(shí)間為2021 年7－9 月，試驗(yàn)地點(diǎn)為新疆工程學(xué)院實(shí)驗(yàn)室。所用試驗(yàn)環(huán)境如下：電腦操作系統(tǒng)為64位Win10 家庭版，圖像處理軟件平臺(tái)采用Matlab2020a，圖像分析軟件采用Image-Pro Plus6.0，采用三星16 G 內(nèi)存、三星512 G 固態(tài)硬盤。

1.1.3 顏色空間選擇 顏色空間的選擇對(duì)精準(zhǔn)分割出番茄表面的高光區(qū)域至關(guān)重要。圖2 中番茄表面出現(xiàn)的白色斑點(diǎn)則為高光亮斑。

圖2 番茄高光圖片展示

根據(jù)統(tǒng)計(jì)發(fā)現(xiàn)白色亮斑處亮度值高或飽和度低。選擇在RGB、HSV、HSI、YIQ 等常見顏色空間進(jìn)行特征獲取，在RGB、HSV、HSI、YIQ 的顏色空間中，RGB 空間中圖像亮度信息是由R、G、B 值三者共同決定的，光線亮度變化對(duì)R、G、B 3 個(gè)值影響是顯著的[5]，無法將亮度信息從RGB 模型中單獨(dú)分離出來，所以在RGB 模型空間中完成高光去除，其算法的魯棒性也較差。

在HSV 空間、HSI 空間、YIQ 空間中，亮度參數(shù)獨(dú)立于顏色特征，在HSV 空間、HSI 空間中，顏色主要由色調(diào)參數(shù)H 決定，YIQ 空間中顏色由I（色彩從橙色到青色）、Q（色彩從紫色到黃綠色）參數(shù)共同決定。HSV 空間的飽和度S 和明度V，HSI 空間的飽和度S 和亮度I，以及YIQ 空間的亮度Y 分量都將決定亮度特征[10-11]。故將以上3 個(gè)空間作為高亮區(qū)提取的待選空間。在圖2 中截取局部高光區(qū)域，分析番茄表面高光與非高光區(qū)域的參數(shù)區(qū)別，選擇與高光更相近的青番茄果實(shí)區(qū)域?yàn)楸尘?，更便于發(fā)現(xiàn)高光區(qū)域與背景的特征參數(shù)區(qū)別。

根據(jù)Image-pro plus 6.0 軟件獲得高亮區(qū)與背景在各個(gè)空間參數(shù)。由圖3 可以看出，在HSI 空間的飽和度S 和亮度I，HSV 空間的飽和度S 和明度V 以及YIQ 空間的Y 值在高光區(qū)與非高光區(qū)均有明顯的幅度變化，說明通過這些變量分割高光區(qū)與非高光區(qū)存在可行性。

圖3 番茄高光區(qū)各空間分量值分布

根據(jù)軟件統(tǒng)計(jì)可以得到圖2 中番茄的高亮區(qū)數(shù)據(jù)范圍，得到相對(duì)應(yīng)的閾值，在HSV 空間中的V值分布在200～255，S 值分布在0～165，HSI 空間I值分布在165～255，S 值分布在0～165，YIQ 空間中的Y 值分布在195～255，通過3 個(gè)空間相關(guān)分量的閾值范圍將高光區(qū)分割出來。

使用分割函數(shù)將區(qū)域分割出，函數(shù)模型定義為：

式中T為各空間最優(yōu)閾值。

在這3 個(gè)不同的空間中進(jìn)行試驗(yàn)，試驗(yàn)結(jié)果見圖4。通過3 個(gè)空間中的分量的閾值范圍，將高光區(qū)分割出來，圖像高光區(qū)被分割出后，高光區(qū)以亮度值0 賦予，此刻高光區(qū)域顯示為黑色，非高光區(qū)保持番茄原來的樣貌。如圖4 所示，高光區(qū)是一個(gè)非規(guī)則的區(qū)域。通過YIQ 空間中的Y 分量分割，很多高光區(qū)并未分割出來，而青果上出現(xiàn)部分過度分割的現(xiàn)象，整體效果不如HSV 空間和HSI 空間的雙閾值分割的效果。HSV 空間和HSI 空間進(jìn)行分割的效果對(duì)比中，HSV 空間將更多的細(xì)微的高光區(qū)域分割出來，視覺效果相對(duì)更好。

圖4 番茄高光區(qū)對(duì)應(yīng)HSV、HSI 和YIQ 空間處理效果

分別統(tǒng)計(jì)YIQ、HSI 和HSV 3 個(gè)空間分割出的高光區(qū)像素?cái)?shù)目與手工標(biāo)記出的像素?cái)?shù)目并進(jìn)行對(duì)比，取圖2（像素?cái)?shù)4000×3008）得到對(duì)應(yīng)統(tǒng)計(jì)數(shù)據(jù)（表1）。

表1 不同空間效果對(duì)比

通過MATLAB 計(jì)算出不同空間分割方法的像素?cái)?shù)占比，由表1 可見，相對(duì)YIQ 空間和HSI 空間，在HSV 空間的錯(cuò)檢率分別下降0.13%和0.01%，漏檢率也分別下降0.25% 和0.11%，高光像素的錯(cuò)檢率和漏檢率都相對(duì)較低，說明選擇在HSV 空間分離高光分量的精確度更高。

1.2 高光去除

番茄外形主要為類似橢圓的形狀，凸起的弧面使得表面高光區(qū)域主要分布在相對(duì)靠近形狀的中心位置，且呈現(xiàn)狹長(zhǎng)的形狀分布。由于一般圖像都具有局部連續(xù)性，這些都為均值濾波實(shí)現(xiàn)高光消除提供了前提。

如果把一個(gè)二維的數(shù)字圖像當(dāng)作一個(gè)二維函數(shù)f（x，y），函數(shù)中x值和y值便是每個(gè)像素所在的空間位置坐標(biāo)，故稱為空間域。在此空間實(shí)行的濾波稱之為空間域?yàn)V波。濾波的過程就是模板中心點(diǎn)在圖像f（x，y）中依次移動(dòng)，當(dāng)模板中心點(diǎn)與圖像f（x，y）的像素點(diǎn)（x，y）重合時(shí)，濾波器在此處進(jìn)行數(shù)學(xué)邏輯計(jì)算[12]，計(jì)算邏輯是根據(jù)模板中的內(nèi)容，通過事先給定的函數(shù)關(guān)系R進(jìn)行計(jì)算[13]，當(dāng)模板采用3×3 的模板W時(shí)公式如下：

根據(jù)高光區(qū)的像素值由臨近非高光區(qū)像素值代替，實(shí)現(xiàn)高光消除為思路，為此采用均值模板進(jìn)行掩膜濾波。均值模板要求參與決定新像素g（x，y）的所有領(lǐng)域的像素值的權(quán)重均為1，則在領(lǐng)域中每個(gè)像素的貢獻(xiàn)值都相同，即要保證整個(gè)模板系數(shù)相同并且系數(shù)和為1，故在計(jì)算后需要除以參與計(jì)算的像素?cái)?shù)目[14]，使得新圖像的灰度值與原來圖像保持一致，這里采用一個(gè)（2K+1）×（2K+1）的正方形模板SE，模板公式如下：

其中，2K+1 表示濾波核的大小，K為正整數(shù)。

設(shè)定模板SE大小時(shí)，模板過小，會(huì)出現(xiàn)高光像素周圍不存在非高光像素的情況，則無法進(jìn)行有效的全部消除高光；模板過大就會(huì)造成不必要的像素模糊。為了避免出現(xiàn)以上2 種情況，保證圖片的整體質(zhì)量，需要使得模板SE掩蓋在高光區(qū)時(shí)，模板僅存在較少的像素在非高光區(qū)，進(jìn)行高光消除的同時(shí)圖像的模糊程度得到控制。

通過圖5 可見，均值模板濾波后的圖像與原圖像進(jìn)行對(duì)比可以發(fā)現(xiàn)高光區(qū)域已經(jīng)被周圍非高光區(qū)填補(bǔ)，但是整個(gè)圖片高頻細(xì)節(jié)也隨之消失，使得整幅圖模糊不清。

圖5 均值濾波效果

1.3 融合算法

平均模板濾波也是一種減少和抑制噪聲的數(shù)字圖像處理手段，整幅圖進(jìn)行濾波后會(huì)造成非高光區(qū)域的高頻率細(xì)節(jié)信息特征丟失，使得整體模糊不清。所以將圖片進(jìn)行濾波，高光區(qū)域填補(bǔ)后，再次分割出高光區(qū)域如圖6-A 所示，該區(qū)域由周圍像素填充。濾波填充后高亮區(qū)域A 圖與原非高亮區(qū)域B 圖進(jìn)行疊加融合，綜合2 幅輸入圖像的信息，與融合前的2 幅圖像相比，獲得更高質(zhì)量的輸出圖像，得到一張去除高光且保留非高光細(xì)節(jié)的圖像，如圖6-C 圖所示。

圖6 番茄高光區(qū)融合

2 結(jié)果與分析

2.1 高光消除的定性與定量分析

通過高光提取、高光消除和圖像融合實(shí)現(xiàn)番茄表面的高光消除。并以此方法進(jìn)行3 組示例試驗(yàn)，對(duì)比表面高光消除前后的效果，如圖7 所示。

圖7 中3 個(gè)示例中高光消除前后對(duì)比，可以看到通過該方法高光區(qū)域得到了明顯的去除，定性表明該方法在番茄表面具有較好的去除高光效果。圖8 依次為圖7 中的灰度值結(jié)果，可以看出，圖8-A即示例1 中處理前灰度值在210～250 之間的像素、圖8-B 即示例2 中處理前灰度值在180～250 之間的像素和圖8-C 即示例3 中處理前灰度值在170～250 之間的像素值在處理后均已消失。此范圍也就是高光區(qū)域所在范圍，由此可以定量證實(shí)該方法去除高光的可行性。

圖8 高光處理前后灰度值對(duì)比

2.2 圖片品質(zhì)分析

前兩組試驗(yàn)是對(duì)多個(gè)番茄重疊集中的圖片進(jìn)行分析，高光區(qū)呈現(xiàn)的形狀主要是零散的狹長(zhǎng)光斑，高亮區(qū)相對(duì)不明顯。采用該試驗(yàn)方法對(duì)單顆番茄進(jìn)行試驗(yàn)，結(jié)果如圖7-C 即示例3 所示，效果依舊明顯，番茄高亮區(qū)呈圓形，且高亮區(qū)數(shù)目較少但占整個(gè)番茄比重較大，目標(biāo)背景存在枝葉的情況復(fù)雜。由處理前后的圖片對(duì)比可以看出高光區(qū)域被很好地消除，灰度直方圖也顯示高光區(qū)域被去除，說明該方法在此類情況下效果依舊較好。為進(jìn)一步評(píng)價(jià)高光去除后的圖像品質(zhì)，在其中引入了峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）2 種全參考的圖像品質(zhì)評(píng)估指標(biāo)。

峰值信噪比由于便于計(jì)算和理解被普遍使用，單位為dB。結(jié)構(gòu)相似性主要從圖像的亮度、對(duì)比度、像素結(jié)構(gòu)3 個(gè)角度來對(duì)比2 幅圖像的相似程度。筆者試驗(yàn)中的3 幅圖的峰值信噪比值（PSNR）和結(jié)構(gòu)相似性（SSIM）統(tǒng)計(jì)結(jié)果如表2 所示。

表2 質(zhì)量評(píng)價(jià)指標(biāo)數(shù)據(jù)

筆者的算法與其他算法的峰值信噪比值（PSNR）和結(jié)構(gòu)相似性（SSIM）對(duì)比結(jié)果如表3 所示。與參考文獻(xiàn)7 中的方法相比，筆者的算法對(duì)應(yīng)的峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）兩個(gè)指標(biāo)相對(duì)參考文獻(xiàn)7 中方法有大幅度提高，可見筆者的方法在視覺上和圖像質(zhì)量數(shù)據(jù)分析上均具有良好的有效性。

表3 質(zhì)量評(píng)價(jià)指標(biāo)數(shù)據(jù)對(duì)比

3 討論與結(jié)論

目前對(duì)番茄表面的高光消除的研究并不多，筆者提出一種基于顏色空間的番茄表面高光消除方法，該方法利用HSV 空間的S 和V 分量進(jìn)行高光區(qū)域分割，利用均值濾波去除高光，并試驗(yàn)證明該方法的可行性。鄭利華等[5]、王中任等[15]均通過在顏色空間進(jìn)行直方圖均衡化和多項(xiàng)式調(diào)校，實(shí)現(xiàn)高光區(qū)域的消除，其優(yōu)勢(shì)是方法簡(jiǎn)單效果明顯，但是控制的變量較多。Yang 等[6]通過多視角圖像合成的方式去除高光分量，在實(shí)際情況下多視角圖片通常不易采集。

李明悅[16]將高光稀疏性與帶有稀疏性約束的非負(fù)矩陣分解問題相結(jié)合，從而實(shí)現(xiàn)高光消除。Feng等[7]提出了一種基于固有分解和二色反射模型將不飽和像素與色散聯(lián)系起來的無監(jiān)督k-means 聚類方法。兩者均將高光問題轉(zhuǎn)為數(shù)學(xué)模型求解高光分量實(shí)現(xiàn)高光的消除，該方法相對(duì)較為復(fù)雜，不方便操作。王祎璠等[8]通過顯著性模型，對(duì)檢測(cè)出的高光區(qū)域進(jìn)行修復(fù)。筆者的方法對(duì)顏色空間的閾值進(jìn)行分割，不影響非高光區(qū)的信息特征，僅針對(duì)高光區(qū)域進(jìn)行處理，對(duì)圖片整體信息影響較小。筆者的研究針對(duì)番茄表面高光的消除方法，相比其他方法更加簡(jiǎn)單方便且實(shí)時(shí)性更強(qiáng)，但是當(dāng)出現(xiàn)大面積高光時(shí)存在高光中心區(qū)域的像素值偏差較大的問題。該方法在單個(gè)番茄和多個(gè)番茄聚集高光面積較小的情況下都有較好的去高光效果，在番茄識(shí)別檢測(cè)領(lǐng)域具有一定的應(yīng)用前景。