林剛 魏欣 呂哲 余志堅 胡思親

摘要：針對陶瓷、塑料和玻璃等材質(zhì)在較為復(fù)雜的曲面形狀下容易產(chǎn)生多區(qū)域、大面積的過飽和高光反射以及光照不均等現(xiàn)象，傳統(tǒng)基于局部區(qū)域的高光去除方法存在工作量大且效果不佳的問題，難以達到預(yù)期目標(biāo)。因此，本文提出一種基于多角度光源采集的多幅圖像，結(jié)合整體圖像融合和同態(tài)濾波方法，實現(xiàn)高光圖像整體去除，極大緩解光照不均的問題，提高圖像整體質(zhì)量。為了驗證此方法的普適性和魯棒性，使用此方法分別對手機外殼、礦泉水瓶、塑料袋、金屬零件、玻璃瓶和陶瓷盤等六種不同材質(zhì)或空間形狀進行高光去除實驗。實驗結(jié)果表明，本文提出的高光去除方法能有效去除圖像的所有高光區(qū)域，顯著緩解圖像光照不均問題，增強圖像對比度，特別是對存在大面積高光或暗影區(qū)域的圖像的質(zhì)量改善具有顯著作用。

關(guān)鍵詞：高光去除；圖像融合；同態(tài)濾波

中圖分類號：TP18? ? ? ? 文獻標(biāo)識碼：A

文章編號：1009-3044（2024）08-0020-04

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）

0 引言

隨著科學(xué)技術(shù)的高速發(fā)展，機器視覺的理論和實踐也在不斷完善和走向成熟，在工業(yè)界也得到了越來越廣泛的應(yīng)用。將機器視覺用于檢測金屬、玻璃、皮質(zhì)、陶瓷等低紋理材料的曲率、尺寸、裂痕缺陷等，這些材料往往具有光滑曲面和無紋理的特性，并且經(jīng)常需要被加工成各種復(fù)雜的曲面形狀，從而產(chǎn)生高光區(qū)域和光照不均現(xiàn)象，可能會覆蓋有效的紋理信息，甚至是導(dǎo)致局部紋理信息完全丟失。機器視覺用于檢測物體缺陷的第一步便是采集到對比度高、光照均勻的高質(zhì)量圖像，這是機器視覺運用在工業(yè)檢測的起始點。因此，多年來，圖像的高光去除和光照不均的解決一直都是圖像處理領(lǐng)域的關(guān)鍵點和難點所在。

目前，基于高光去除的圖像修復(fù)技術(shù)按照輸入圖像數(shù)量分為單幅和多幅圖像處理方法兩大類。前者最早由Shafer[1]提出，他提出物體表面光線由鏡面反射和漫反射兩部分構(gòu)成的雙色反射模型，奠定了基于光譜分析和顏色統(tǒng)計的高光去除方法的基礎(chǔ)。按照處理方法的不同，可以細(xì)分為顏色空間分析、像素空間領(lǐng)域分析和其他方法三大類，分離出圖像的高光反射分量（specular component） 和漫反射分量（diffuse component） 。在顏色空間分析方面，Klinker等[2]人根據(jù)漫反射像素和高光區(qū)域像素的T型分布規(guī)律，將顏色矢量進一步分離成物體表面本身和光源本身的顏色矢量，從而達到高光去除的目的。在像素空間領(lǐng)域分析方面，Tan等[3]利用高光區(qū)域周圍像素的顏色和紋理信息，基于補色理論去除高光區(qū)域。在其他方法方面，Pesal等[4]利用主成分分析法和直方圖均衡化實現(xiàn)高光去除。

另外一類是多幅圖像的處理方法，這里又可以細(xì)分為多光源法和多視角法兩種。在多光源法方面，Lin 等[5]通過不同角度光源采集的兩張圖像，并基于線性基底函數(shù)去除非透明物體表面高光；Feris 等[6]利用四個閃光燈獲取四張彩圖圖像，使用中值梯度圖來進行復(fù)原，弱化高光區(qū)域；Agrawal等[7]基于相干圖和梯度向量場復(fù)原圖像去除高光。在多視角法方面，Lee[8]最早在1992年通過對高光區(qū)域周圍的紋理特征的分析，對多幅不同視角圖像進行匹配融合處理，復(fù)原高光區(qū)域的同時，盡可能保留原始紋理信息，這也是基于多視角下高光去除方法主要理論指導(dǎo)；汪鋮杰[9]通過匹配融合不同視角塑料薄膜圖像的特征輪廓去除其高光區(qū)域；何嘉林[10]使用ORB方法進行特征點匹配，基于泊松融合的思想實現(xiàn)不同視角圖像的高光去除。

綜上所述，目前兩種高光去除方法在不同的方面存在一些問題。對于基于單幅圖片的方法，存在一些共同的局限性。1） 無法區(qū)分高光和白色物體表面。2） 物體表面材質(zhì)必須滿足雙色反射模型。3） 只能解決不飽和高光區(qū)域。因此，這些方法對物體材質(zhì)和光照條件都有著相當(dāng)苛刻的要求。在多幅圖片的方法，多視角方法通常存在立體視覺匹配問題，基于SURF[11]特征描述子等方法，用于解決多幅圖像的坐標(biāo)匹配問題，但對于陶瓷等物體來說，由于無紋理的客觀條件，導(dǎo)致特征匹配效果極差，甚至把不同視角的圖像中的高光區(qū)域進行錯誤的匹配，會嚴(yán)重影響后續(xù)的高光去除效果；而多光源方法，雖然不用考慮不同圖像之間的匹配問題，但是后續(xù)的高光區(qū)域的檢測和復(fù)原步驟中，則可能出現(xiàn)高光區(qū)域提取不準(zhǔn)確、復(fù)原算法復(fù)雜、適應(yīng)性較差等問題。針對以上兩種方法存在的問題，考慮到陶瓷胚盤等材質(zhì)物體高光去除的特點和難點，本文基于多光源和多視角相結(jié)合的思想，采用多光源方法采集高光不重疊的多幅圖像，在對應(yīng)位置最小灰度值方法取代多視角方法中較為復(fù)雜的圖像融合方法，然后將融合后的圖像從RGB空間變換到HSV空間中，使用同態(tài)濾波算法處理V通道圖像，將處理后的V通道圖像與之前的H和S通道圖像重新組合，最后重新轉(zhuǎn)換回到RGB空間。這種方法在保持圖像顏色信息的同時，解決了融合算法導(dǎo)致圖像整體偏暗、對比度偏低和光照不均勻等問題。

1 圖像采集

針對多幅圖像的配準(zhǔn)和變換矩陣的問題，本文采用多光源方法，在特定位置分別布置多個光源（此處選取三個）達到獲取多幅圖像的目的，如圖1所示，詳細(xì)步驟如下：

1） 按圖1所示場景布置整個采集系統(tǒng)，固定相機和陶瓷產(chǎn)品的位置，并且整個采集系統(tǒng)使用黑布遮蓋。

2） 使三個光源相對于相機和物體分布在同一高度，三個光源各自相距120度，同時，保持同樣大小型號和功率的光源，并保持初始狀態(tài)下只有其中一個光源開啟，其他兩個光源處于閉合狀態(tài)。

3） 拍攝初始光源的圖像，然后關(guān)閉此光源，依次開啟和關(guān)閉其他兩個光源，得到另外兩張圖像，總共得到三張多光源圖像以進行后續(xù)流程。

4） 拍完第三張圖像之后，不關(guān)閉此光源，把此光源當(dāng)作下一個物體的初始光源，讓2、3步驟依次反復(fù)進行，得到一系列所需的多幅圖像。

經(jīng)過本文設(shè)計的圖像采集系統(tǒng)的步驟得到的3幅圖像，因為相機和物體固定的原因，就保證了3幅圖像的視角相同，焦距相同，前景目標(biāo)的位置也相同，只有高光區(qū)域的位置不同。這樣就可以省去比較復(fù)雜的圖像配準(zhǔn)得到變換矩陣的步驟，可以降低算法復(fù)雜度和提高整體的圖像處理效率。

2 MIF-HF方法高光去除

2.1 多光源圖像融合

多光源圖像融合方法通過分別開啟各角度光源，控制相機拍攝圖像。將光源開啟下所拍攝的多張灰度圖像利用具有某種準(zhǔn)則的融合算法，合成一張新的圖像，從而避免因為鏡面反射等因素所造成的日用陶瓷成像不佳的問題，降低后續(xù)圖像處理的難度。為了降低拍攝系統(tǒng)的復(fù)雜性，本算法采用3個角度光源進行圖像融合。

考慮到陶瓷材質(zhì)的強反射特性，在成像時，會產(chǎn)生較大面積和較為強烈的高光區(qū)域，高光去除難度較大。因此，在有了3幅高光區(qū)域不重疊圖像的前提下，使用基于最小灰度值的方法進行圖像融合。具體的計算公式如下：

[Inewu，v=minIRu，v，IGu，v，IBu，vu∈1，m;v∈1，n] （1）

式中，m和n分別為圖像的寬和高，[IRu，v，IGu，v，IBu，v]為采集的三張圖像分別在RGB三通道對應(yīng)[u，v]坐標(biāo)位置的灰度值，[Inewu，v]是融合后的新圖像。

根據(jù)上述融合算法公式，可以對采集的多光源圖像進行融合處理。融合后的圖像可以完全去除高光區(qū)域，高光去除前后的對比如圖2所示。

在圖2中，（a）、（b）、（c）和（e）、（f）、（g）分別為兩組高光去除前的圖像，（d）和（h）為去除高光后的圖像。通過對比，可以看出此圖像融合方法能夠很好地去除高光區(qū)域。然而，去除高光后圖像的亮度和對比度偏低，因此需要使用圖像增強技術(shù)進行調(diào)整。

2.2 同態(tài)濾波增強

針對前面高光去除算法帶來的亮度和對比度偏低的問題，可以采用同態(tài)濾波[12]方法進行圖像增強，同態(tài)濾波最大的優(yōu)點在于可以消除不均勻照度的影響而又不過分損失圖像細(xì)節(jié)紋理信息。根據(jù)照射-反射模型[13]，一幅圖像[fx，y]可以表示為其照射分量[ix，y]和反射分量[rx，y]的乘積，反射模型為：

[fx，y=ix，y?rx，y]? （2）

式中，[f（x，y）]為原圖像; [i（x，y）]為照射分量；[r（x，y）]為反射分量。將公式（2）兩邊取對數(shù)，得到：

[fx，y=Inix，y+Inrx，y] （3）

將公式（3） 做傅立葉變換：

[Fx，y=Ix，y+Rx，y]? （4）

用頻域增強傳遞函數(shù)[H（x，y）]處理[F（x，y）]，得到：

[Fx，y?Hx，y=Ix，y?Hx，y+Rx，y?Hx，y]? （5）

式中，[H（x，y）]為同態(tài)濾波傳遞函數(shù)，這里取高頻增強濾波器，非常接近于高斯高通濾波器，公式為：

[Hx，y=H-L?1-exp-k?D2x，y2?D20+L]? （6）

式中，[H]為高頻增益，[L]為低頻增益，[D0]為截止頻率，[k]為銳化系數(shù)，以點 [（x0，y0）]為濾波中心的頻域距離計算公式為：

[Dx，y=x-x02+y-y0212]? （7）

將頻域增強后的圖像變換到空域中，得到：

[f*（x，y）=i*（x，y）*r*（x，y）]? ?（8）

將上式兩邊取指數(shù)進行還原，得到：

[expf*（x，y）=expi*（x，y）*expr*（x，y）]? （9）

通過如下公式：

[f**（x，y）=expf*（x，y）i**（x，y）=expi*（x，y）r**（x，y）=expr*（x，y）] （10）

可以得到：

[f**（x，y）=i**（x，y）*r**（x，y）] （11）

本文選取同態(tài)濾波系數(shù)中的H=2.5，L=0.5，k=1，D0=500，截止頻率D0為經(jīng)驗值和反復(fù)調(diào)試后的結(jié)果。原始圖像[fx，y]經(jīng)過上述步驟同態(tài)濾波處理后，得到亮度均衡且對比度較高的高質(zhì)量增強圖像[f**（x，y）]。然而，同態(tài)濾波只能處理單通道圖像。如果將原始RGB三通道圖像轉(zhuǎn)換成灰度圖像進行同態(tài)濾波，最后得到的也是灰度圖像，會丟失原本豐富的顏色細(xì)節(jié)，若對RGB三通道圖像拆分后，分別進行同態(tài)濾波增強，最后重新合并后的三通道圖像效果很差。針對這兩種處理方法，筆者已經(jīng)進行了多次嘗試，但存在一定問題。因此，本文采用將原始圖像從RGB空間轉(zhuǎn)換到HSV空間，HSV是一種比較直觀的顏色空間。在HSV空間中，H代表色調(diào)（Hue） ，S代表飽和度（Saturation） ，V代表明度（Value） ，我們可以改變明度，而不影響色調(diào)和飽和度，可以盡可能保留原始的顏色細(xì)節(jié)。這種特性剛好解決了本文的問題。只對明度通道進行同態(tài)濾波，色度和飽和度保持不變。再將同態(tài)濾波增強后的明度通道和原始的色度和飽和度合并，最后轉(zhuǎn)換到RGB顏色空間中，就能較好地解決此問題。

對陶瓷樣本進行同態(tài)濾波增強前后的圖像如圖3所示。

圖3中，（a）和（b）為同態(tài)濾波前的圖像，（c）和（d）為同態(tài)濾波后的圖像?？梢钥吹?，經(jīng)過同態(tài)濾波后的圖像，亮度和對比度都明顯提高。

3 實驗及分析

本文實驗采用的硬件配置包括CPU 3.60 GHz （R） W-2133、RAM 64G、Windows 10 64位操作系統(tǒng)。編譯軟件為Python 3.6.0和OpenCV 3.4.2.16。采集設(shè)備為鋁合金制作的暗室，配備一臺大恒圖像的工業(yè)相機和三個LOTS樂視機環(huán)形光源。本文利用圖1中的圖像采集系統(tǒng)分別采集了其他6種不同材質(zhì)的物品圖像，包括手機充電器、手機套背面、金屬套筒、玻璃燒杯、塑料袋和礦泉水瓶。具體實驗對象分布如表1所示，旨在驗證本文方法的通用性和適應(yīng)性。

3.1 定性分析

定性分析是通過人眼主觀感受來觀察高光去除方法處理前后結(jié)果的直觀視覺效果，以判斷亮度是否更加均衡，圖像質(zhì)量是否更高。本文選取了手機外殼、礦泉水瓶、塑料袋、金屬零件、玻璃瓶和日用陶瓷盤等6種不同材質(zhì)和空間形狀的圖像作為實驗對象，圖4展示了同態(tài)濾波處理前后的效果。

從圖4中可以觀察到，同態(tài)濾波處理前的圖像雖然成功去除了高光區(qū)域，但整體偏暗，且在曲率較大的地方出現(xiàn)了光照不均勻的問題，紋理信息也不明顯。特別是金屬零件和玻璃瓶由于物體本身的空間形狀導(dǎo)致了較大面積的高光和暗影區(qū)域，影響了圖像的觀感和質(zhì)量，也不利于后續(xù)的圖像處理操作。

而經(jīng)過同態(tài)濾波處理后的圖像，則克服了上述問題，使得6種材質(zhì)圖像的整體亮度適中，光照不均問題得到了緩解，紋理信息變得更加明顯。特別是金屬零件和玻璃瓶處理后的效果尤為顯著。本文方法處理后的圖像具有更好的視覺效果，亮度適中，對比度也顯著提高。

3.2 定量分析

在定量分析方面，通常使用常見的圖像評價指標(biāo)參數(shù)，如峰值信噪比、信息熵、平均相似度等。然而，本文提出的方法不僅可以解決物體成像中較大面積高光和暗影區(qū)域的問題，還可以去除圖像的高光區(qū)域，同時調(diào)整圖像整體的對比度，使圖像的亮度更加均勻，是一種全局的圖像增強方法。這種方法不可避免地會較大程度地改變原始圖像的灰度值，導(dǎo)致這些評價指標(biāo)很難完全反映本文方法的優(yōu)越性和有效性。因此，在這里只使用對比度作為客觀評價指標(biāo)。

對比度[14]是反映圖像紋理等特征清晰度的指標(biāo)。對比度越大，表明圖像的紋理特征越清晰；相反，對比度越小，表明圖像的紋理越模糊。對比度的計算公式如下：

[C=δδ（i，j）2Pδ（i，j）] （12）

式中，[δi，j]為相鄰像素間的灰度差值，[Pδi，j]為相鄰像素間灰度差為[δ]的像素分布概率。

實驗結(jié)果如表1所示，我們可以看出，6種不同材質(zhì)物體的實驗結(jié)果表明，所有實驗樣本圖像經(jīng)過同態(tài)濾波處理后，平均亮度和對比度兩個指標(biāo)都有了顯著的提高。

綜上所述，本文提出的方法不僅能有效去除圖像高光區(qū)域，同時還能極大地改善物體光照不均勻現(xiàn)象。通過定量和定性的觀察分析，結(jié)果表明本文提出的方法對高光圖像進行處理后，圖像紋理更加清晰，效果更好，質(zhì)量更高。

4 結(jié)束語

為了解決光滑曲面材質(zhì)形成的鏡面反射導(dǎo)致的高光和光照不均問題，本文提出了一種將圖像融合與同態(tài)濾波相結(jié)合的圖像處理方法。首先構(gòu)建了不同光源角度下的多幅圖像采集裝置，確保不同角度下圖像高光區(qū)域位于不同位置。使用基于最小像素值方法對多幅圖像進行融合，徹底消除圖像的高光區(qū)域。融合后的圖像雖然去除了高光區(qū)域，但隨之而來的是圖像整體亮度偏低，對比度偏低的問題。為了解決這一問題，首先將融合后的圖像從傳統(tǒng)的RGB空間轉(zhuǎn)換到HSV空間，對亮度通道V進行同態(tài)濾波處理，調(diào)整其亮度值和對比度。然后將處理后的V通道圖像重新組合，重新轉(zhuǎn)換到RGB空間，完成整個高光去除過程，得到處理后的RGB三通道圖像。這種方法不僅去除了圖像的高光，還極大地改善了圖像的亮度不均等問題，顯著提高了圖像的整體質(zhì)量，是一種全局的圖像處理方法。

在整個處理過程中，關(guān)于同態(tài)濾波算法中截止頻率的選擇，本文通過大量的實驗驗證，不同的截止頻率對實驗中的六種不同實驗組的影響非常小。最重要的是圖像采集過程，通過不同角度光源采集的多幅圖像，雖然設(shè)置了嚴(yán)格的實驗條件，如亮度相同、角度和高度均勻分布，但在實際操作中，往往無法確保圖像采集條件與理論情況完全一致。本文在實際的圖像采集階段也只能盡量確保實驗條件接近理想情況，并通過實驗驗證了本文提出的算法對實際圖像采集條件具有較大的適應(yīng)性和通用性。唯一需要注意的是，要盡可能保證均勻分布的光源使得不同光源角度下的圖像光源位于不同的區(qū)域位置，才能更好地使用本文算法達到最理想的處理效果。

參考文獻：

[1] SHAFER S A.Using color to separate reflection components[J].Color Research & Application，1985，10（4）：210-218.

[2] KLINKER G J，SHAFER S A，KANADE T.The measurement of highlights in color images[J].International Journal of Computer Vision，1988，2（1）：7-32.

[3] TAN R T，IKEUCHI K.Separating reflection components of textured surfaces using a single image[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（2）：178-193.

[4] Pesal K， Markku H K.， Jussi， P. Highlight removal from single image [J]. Advanced Concepts for Intelligent Vision Systems， 2009， 58（7）： 176-187..

[5] LIN S，SHUM H Y.Separation of diffuse and specular reflection in color images[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.CVPR 2001.Kauai，HI，USA.IEEE Comput.Soc，2001：341-346.

[6] FERIS R，RASKAR R，TAN K H，et al.Specular reflection reduction with multi-flash imaging[C]//Proceedings.17th Brazilian Symposium on Computer Graphics and Image Processing.Curitiba，Brazil.IEEE Comput.Soc，2004：316-321.

[7] AGRAWAL A，RASKAR R，NAYAR S K，et al.Removing photography artifacts using gradient projection and flash-exposure sampling[J].ACM Transactions on Graphics，2005，24（3）：828-835.

[8] LEE S W，BAJCSY R.Detection of specularity using color and multiple views[M].Computer Vision - ECCV'92.Berlin，Heidelberg：Springer Berlin Heidelberg，1992：99-114.

[9] 汪鋮杰.基于多視角的去高光技術(shù)及應(yīng)用[D].上海：上海交通大學(xué)，2014.

[10] 何嘉林，唐露新，林永強.基于融合技術(shù)的圖像去高光方法[J].科學(xué)技術(shù)創(chuàng)新，2018（6）：90-92.

[11] SONG Z L，ZHANG J P.Remote sensing image registration based on retrofitted SURF algorithm and trajectories generated from lissajous figures[J].IEEE Geoscience and Remote Sensing Letters，2010，7（3）：491-495.

[12] 朱志勛，趙磊，李恒，等.基于改進的同態(tài)濾波與Canny算法的磁瓦表面缺陷檢測算法研究[J/OL].激光與光電子學(xué)展，2021：1-12.（2021-08-05）[2022-07-04].https：//kns.cnki.net/kcms/detail/31.1690.tn.20210804.1202.040.html.

[13] GONZALEZRC， WOODSRE. DIGITAL image processing[J]. Prentice Hall International ， 2008， 28（4）： 484-486

[14] 蔡文婷，趙書河，王亞梅，等.結(jié)合Sentinel-2光譜與紋理信息的冬小麥作物茬覆蓋度估算[J].遙感學(xué)報，2020，24（9）：1108-1119.

【通聯(lián)編輯：唐一東】