李曉宇， 呂進來， 郝曉麗

(太原理工大學信息與計算機學院， 晉中 030600)

智能監(jiān)控是當前煤礦安全生產(chǎn)系統(tǒng)中的重要組成部分，為工作人員的安全及設備的正常運作提供了有力的保障。目前，礦井視頻監(jiān)控依然主要依靠人工監(jiān)測，由于礦井下工作環(huán)境的特殊性，監(jiān)控采集到的視頻圖像存在光照分布不均勻、對比度低、過亮及過暗區(qū)域細節(jié)丟失等特點，從而導致成像質量差，極大地影響了人眼視覺觀測的效果，所以如何減弱光照影響、增強圖像的細節(jié)信息、為后期井下視頻的分析提供有力的依據(jù)，已成為當前該領域的研究熱點。

應用于礦井圖像增強的算法通常有直方圖類，基于模型類和基于Retinex類等，其中基于直方圖的增強算法[1-2]通過重新分配圖像中像素的灰度值來增強對比度，運算速度快，但由于礦井圖像光照不均勻，全局均衡會使得具體的增強結果不易控制，還可能會過多地合并輸出圖像的灰度級，進而導致圖像細節(jié)信息丟失；基于模型的算法[3-4]利用了低照度圖像的反向圖與霧天圖像的相似性，借助大氣物理散射模型，將去霧算法應用于低照度圖像增強，保持了增強結果的自然性，但由于模型的復雜度高，導致算法的計算量較大，實用性較低；基于Retinex的增強算法[5-6]通過將圖像分解為照度分量和反射分量，去除光照成分從而實現(xiàn)增強，一般而言具有顏色保真、克服噪聲的優(yōu)勢，在霧天、夜晚等惡劣環(huán)境下的圖像有較強的增效效果，但也存在以下問題：①傳統(tǒng)Retinex算法利用高斯濾波實現(xiàn)照度分量和反射分量的分離，由于高斯函數(shù)的各向同性，會導致增強結果出現(xiàn)噪聲放大、對比度下降等現(xiàn)象；②由于礦井圖像顯著的光照非均勻性，通過去除照度分量實現(xiàn)增強，會由于不可避免的估計誤差，使得增強后的圖像常存在高亮區(qū)域范圍擴大即過增強的問題。

針對問題①，劉曉陽等[7]使用雙邊濾波代替高斯濾波進行照度分量的估計，以克服噪聲及光暈現(xiàn)象，但是算法的時間復雜度較高，且存在色彩失真現(xiàn)象。王星等[8]將引導濾波結合到Retinex算法中，能夠實現(xiàn)與雙邊濾波相當?shù)谋＿呅Ч倚瘦^高，但出現(xiàn)了光暈模糊的問題，且過增強現(xiàn)象依然明顯。針對過增強問題，智寧等[9]提出結合多尺度引導濾波的Retinex改進算法，提出照度和細節(jié)調整系數(shù)的思想，能夠較好地均衡照度的影響，圖像邊緣細節(jié)也得到了較好的保護，但算法較為復雜，需手動設置許多參數(shù)，且光暈模糊現(xiàn)象仍然存在。

上述改進算法均在一定程度上實現(xiàn)礦井圖像的有效增強，但仍未解決增強過程中的光暈及過增強問題，所以現(xiàn)提出一種改進Retinex的礦井圖像增強方法(improved mine image enhancement algorithm based on Retinex，IMIEAR)，采用轉換彩色空間的思想保持增強結果的色彩，有以下兩點創(chuàng)新：①針對光暈問題，在估計照度分量時，提出使用改進的引導濾波器，根據(jù)各個窗口的不同紋理信息自適應改變權重值，期望達到消除模糊的目的；②針對過增強現(xiàn)象，提出一種“S”形照度均衡曲線，提升低亮區(qū)域的同時適當?shù)囊种聘吡羺^(qū)域，以符合礦井圖像的特點，實現(xiàn)合理有效的增強。

1 改進的Retinex礦井圖像增強算法

針對傳統(tǒng)Retinex及其改進算法在處理礦井圖像時存在的過增強及光暈模糊等問題，提出一種改進的Retinex礦井圖像增強算法，算法流程如圖1所示。①首先將待處理圖像從RGB空間轉至HSV空間，并提取表示亮度的V分量進行后續(xù)處理，以達到保護圖像色彩的目的；②為避免光暈及模糊現(xiàn)象的出現(xiàn)，對V分量使用改進的自適應引導濾波進行照度估計，并在對數(shù)域中計算得到反射分量；③根據(jù)Retinex理論，照度分量主要包含圖像的低頻信息，反映了入射到物體上的光源能量，對其進行均衡調整以改善礦井圖像的不均勻性；④而反射分量表示了圖像的高頻細節(jié)部分，對其進行非線性拉伸，以解決礦井圖像細節(jié)丟失的現(xiàn)象；⑤將處理后的兩分量融合得到新的V分量，可以避免因估計誤差對增強效果造成影響，最后，新的V分量與原H、S分量融合并轉回RGB空間后，得到增強結果。接下來，將對算法的主要步驟進行詳細介紹。

圖1 算法流程Fig.1 Flow chart of algorithm proposed

1.1 彩色空間轉換

由于礦井下環(huán)境復雜，圖像整體較暗且不均勻性明顯，若在RGB空間分別對3個通道進行Retinex處理后在融合，不僅加大了計算量，往往還會導致色彩失真。故將待處理圖像轉至HSV空間，只處理表示亮度的V分量，保護分別表示色調、飽和度的H、S分量，達到避免色彩失真的目的。將提取到的V分量表示為IV(x,y)。

RGB空間到HSV空間的轉換公式為

V=max(R,G,B)

(1)

(2)

(3)

1.2 基于自適應引導濾波的照度估計

引導濾波由He等[10]在2010年提出，由于其運算較快，具有邊緣保持特性，且不具有梯度反轉效應等優(yōu)勢，自提出以來在圖像增強領域得到了廣泛的應用，其核心為假定引導圖像和濾波輸出圖像存在局部線性關系，即在以像素k為中心的窗口ωk中存在如下線性關系：

qi=akIi+bk,?i∈ωk

(4)

式(4)中：Ii為引導圖像的像素；qi為輸出圖像的像素；ak、bk為濾波窗口ωk的線性系數(shù)。依據(jù)式(5)所示的輸入輸出圖像的最小代價模型，可獲得線性系數(shù)ak和bk，如式(6)、式(7)所示。

(5)

式(5)中：ε為一個防止ak過大的正則化系數(shù)；pi為輸入圖像的像素值。

(6)

bk=pk-akμk

(7)

(8)

但其對于所有區(qū)域的局部窗口而言，在代價函數(shù)中都使用相同的且固定的正則化參數(shù)，從而對所有窗口內平滑力度的約束均相等，雖在一定程度上可以彌補部分區(qū)域平滑力度不足的問題，但是并沒有考慮當前窗口是否處于邊緣區(qū)域或非邊緣區(qū)域，若對邊緣區(qū)域過度平滑，就會引起光暈和模糊現(xiàn)象，因此考慮不同窗口內紋理信息的差異性是必要的。

故此處選擇引入梯度信息設計權值參數(shù)，由于在圖像的邊緣區(qū)域可以得到較大的梯度響應幅值，將其作為懲罰項即可得到較小的正則化系數(shù)，以減弱平滑力度；而對于非邊緣區(qū)可得到較小的響應幅值，進而使用較大的正則化系數(shù)來減小誤差，最終實現(xiàn)根據(jù)當前窗口所在區(qū)域，自適應調整正則項，達到減弱光暈，避免邊緣模糊的目的。

圖像的梯度及幅值通過2×2鄰域的一階偏導有限差分來計算，計算公式為

(9)

式(9)中：Px[i,j]和Py[i,j]分別為x和y方向上的梯度信息；M[i,j]為梯度幅值；I[i,j]為待處理圖像。

定義歸一化幅值響應為

(10)

式(10)中：ΔMi表示歸一化結果；|Mi|表示圖像的梯度響應幅值。

然后，利用指數(shù)函數(shù)定義權重因子為

(11)

式(11)中：A和σ為固定參數(shù)，進一步加強權重因子的效果。

(12)

則式(6)就修改為

(13)

將此自適應引導濾波作用于IV(x,y)，估計出照度分量LV(x,y)，表達式為

LV(x,y)=IV(x,y)⊕G(K,r)

(14)

式(14)中：?G(K,r)表示作用于IV(x,y)的自適應引導濾波，K表示引導圖像，r表示濾波器的尺度。

為了簡化計算，加快運行速度，將引導圖像和輸入圖像都進行1/s的降采樣，得到輸出圖像后，再進行s倍的雙線性插值上采樣得到最終的照度分量。

根據(jù)Retinex理論，反射分量可由照度分量和原始圖像計算得出，為計算方便，通常在對數(shù)域進行，即

lnRV(x,y)=lnIV(x,y)-lnLV(x,y)

(15)

式(15)中：RV(x,y)表示反射分量。

1.3 照度均衡

光照的不均勻性是礦井圖像的主要特點之一，由于井下大多使用人工照明，會使得圖像呈現(xiàn)出整體照度低、光源及光源附近的區(qū)域照度高的現(xiàn)象。常見的照度調整方法如直方圖均衡、灰度拉伸等均可以實現(xiàn)對圖像的整體亮度進行調整，但用于非均勻照度圖像會造成過增強現(xiàn)象，即無法抑制光源周圍等高亮區(qū)域，使得增強后的高亮區(qū)域范圍擴大。

所以，對于礦井下非均勻照度環(huán)境的圖像，有必要合理設計照度均衡函數(shù)，使其在提升圖像整體亮度的同時，抑制高亮區(qū)域，避免出現(xiàn)過增強現(xiàn)象。

針對非均勻照度圖像整體亮度低、光源附近小部分區(qū)域亮度高的特點，提出一種“S型”函數(shù)對照度分量進行調整，表達式為

(16)

式(16)中：I(x,y)為待處理圖像；G(x,y)為照度均衡后的輸出圖像；a和γ為調整系數(shù)。圖2和圖3分別為當系數(shù)γ和系數(shù)a取不同值時的函數(shù)曲線。

圖2 γ取不同值時函數(shù)曲線Fig.2 Function curve when γ takes different values

可以看出，曲線大致呈現(xiàn)“S”形，系數(shù)γ控制函數(shù)的變化率。曲圖3可知，各曲線大致以x=0.55為拐點，x∈[0,0.55]時，曲線是凸函數(shù)，x∈(0.55,1]時，曲線為凹函數(shù)，在照度調整時分別表現(xiàn)為像

圖3 a取不同值時函數(shù)曲線Fig.3 Function curve when a takes different values

素值的提升和抑制，當系數(shù)γ越大時，函數(shù)圖像在直線y=x兩側都表現(xiàn)為越“陡峭”，相應的調整效果也越明顯。而系數(shù)a則控制函數(shù)曲線與直線y=x的交點的位置，a越大，交點越靠近點(1,1)，凸函數(shù)的區(qū)間越大，凹函數(shù)的區(qū)間越小，體現(xiàn)在圖像的照度調整中為提升范圍越大，抑制范圍越小。

故通過調整該函數(shù)中的系數(shù)，作用于照度分量LV(x,y)，得到均衡后的照度分量LVA(x,y)為

(17)

可以實現(xiàn)應對礦井圖像的非均勻特性，實現(xiàn)合理的照度調整的目的。

1.4 細節(jié)增強

此外，礦井圖像還存在過亮或過暗區(qū)域細節(jié)丟失的現(xiàn)象，也是影響視覺觀測效果和后續(xù)處理任務的主要問題，因此增加細節(jié)增強策略，將有助于實現(xiàn)圖像的有效增強。

圖像的反射分量中包含了圖像高頻的細節(jié)部分，也稱作圖像的細節(jié)層，可以看作引導濾波的輸出和輸入圖像之間的差異。增加細節(jié)增強處理過程，可以很好地抑制噪聲，同時使得結果圖中包含更多的細節(jié)信息。

使用式(18)所示的Sigmoid函數(shù)對反射分量進行非線性拉伸。

RVout=

(18)

式(18)中：參數(shù)u和β分別設置為3和0.6。

根據(jù)Retinex理論，將處理后的照度分量和反射分量合成為新的V分量I′V(x,y)，如式(19)所示，并將其與原H、S分量進行融合，得到最終的增強結果。

lnI′V(x,y)=lnRVout(x,y)+lnLVA(x,y)

(19)

2 實驗結果及分析

為驗證所提IMIEAR算法對真實礦井圖像的有效性，選取了礦井下的工作面、巷道等真實場景的彩色圖像，通過MATLAB進行了仿真實驗，所用的PC機操作系統(tǒng)為Windows10，CPU為Intel 3.6 GHz 的i7處理器，運行內存為4 G，編程環(huán)境版本為MATLAB2017b。并且將IMIEAR算法的增強結果與具有代表性的受限自適應直方圖均衡化算法[11](contrast limited adaptive histogram equalization，CLAHE)，具有色彩恢復的多尺度Retinex算法[12](multi-scale Retinex with color restoration, MSRCR)算法，以及智寧等[9]提出的基于照度調整的非均勻圖像增強算法(enhancement algorithm base on illumination ajustment，EAIA)進行對比實驗，其參數(shù)均按照相關文獻的推薦進行改進設置。

2.1 參數(shù)設置

在實驗過程中，式(16)中的系數(shù)對實驗結果有重要的影響，該照度調整函數(shù)能夠在提升整體亮度的同時，抑制高亮區(qū)域，而系數(shù)γ則影響了提升或抑制效果的強度。圖4所示為γ取不同值時對增強效果的影響，其中系數(shù)a固定為0.3?？梢钥闯?，γ越大，對圖像的調整程度越強，但過大的γ會導致增強后的圖像對比度有所降低，通過多次實驗對比，建議將γ設定為4。

圖4 不同γ的增強效果對比Fig.4 Contrast of enhancement effect when γ takes different values

而系數(shù)a則控制圖像像素的提升或抑制范圍的大小，a越小，對低亮度區(qū)域的提升范圍越大，對高亮區(qū)域的抑制范圍越小，經(jīng)過多次實驗后，建議a的取值范圍為[0.1,0.5]。圖5所示為a取不同值時對增強效果的影響，其中系數(shù)γ固定為4?？梢钥闯?，a取值越大，圖像的整體亮度會降低。由于礦井圖像大部分區(qū)域亮度較低，故將系數(shù)a設定為0.3。

圖5 不同a的增強效果對比Fig.5 Contrast of enhancement effect when a takes different value

2.2 主觀評價

圖6所示為各算法對所選取的兩幅礦井圖像增強后的效果對比，可以看出，圖像的整體亮度和對比度都有所提高。CLAHE算法的運算簡潔，運行速度較快，但處理結果的整體亮度較低，如圖6(c)中巷道深處經(jīng)增強后依然亮度很低，圖6(d)中高亮度區(qū)域范圍擴大，出現(xiàn)過增強現(xiàn)象；MSRCR算法處理過的圖像整體對比度較低，如圖6(e)、圖6(f)所示，圖像泛白，表面像蒙著一層粉塵，且出現(xiàn)顏色失真的現(xiàn)象；EAIA算法和IMIEAR算法都能在增強圖像整體亮度和對比度的同時避免高亮區(qū)域過增強，但相比較而言，經(jīng)IMIEAR算法處理的圖像進一步克服了邊緣光暈和模糊，且色彩保持得更加豐富，表現(xiàn)出了IMIEAR算法的有效性和優(yōu)越性。圖7所示為IMIEAR算法對其他礦井場景做增強后的效果展示。

圖6 礦井圖像增強效果對比Fig.6 Contrast of enhancement results of mine image

圖7 本文算法增強效果Fig.7 Enhancement results of algorithm proposed in this paper

2.3 客觀評價

為避免因主觀因素導致評價不可靠，選擇局部標準差平均值(average local standard deviation，ALSD)、信息熵(entropy)和平均梯度(average gradient，AD)3種指標來從客觀角度對增強結果進行進一步驗證。

(1)局部標準差平均值將圖像分塊，取各分塊的標準差的平均值作為評價結果(選擇分塊尺寸為20×20)，用來評價圖像的對比度，值越高，對比度越強。標準差計算公式為

(20)

式(20)中：M、N分別表示分塊的高和寬；P(i,j)表塊內第i行、第j列的像素；μ表示均值。

(2)信息熵在一定程度上可以反映圖像信息的豐富程度，信息熵越大，圖像包含的信息量越大，表達式為

(21)

式(21)中：p(i)表示像素i在圖像中的概率。

(3)平均梯度可以反映圖像的細節(jié)，值越大，細節(jié)內容越豐富，圖像越清晰，表達式為

(22)

對圖6、圖7所示的6幅圖像采用上述評價指標對各算法的增強結果圖進行評價，評價結果如表1～表3所示(最優(yōu)數(shù)據(jù)加粗表示)?？梢钥闯?，經(jīng)CLAHE、MSRCR、EAIA及IMIEAR算法處理后的圖像標準差平均值、信息熵、平均梯度都較原圖像有所提高，且IMIEAR算法在3個方面均能取得較好的結果，大部分均優(yōu)于其他對比算法，增強后圖像的標準差平均值、信息熵和平均梯度較原圖而言分別平均提高了144.58%、118.65%、19.94%。

表1 各算法處理結果的局部標準差平均值對比Table 1 The comparison of ALSD of each algorithm

表2 各算法處理結果的信息熵對比Table 2 The comparison of entropy of each algorithm

表3 各算法處理結果的平均梯度對比Table 3 The comparison of AD of each algorithm

3 結論

通過實驗得出以下結論。

(1)考慮礦井圖像的特點，在傳統(tǒng)Retinex算法的基礎上，提出分別處理照度分量和反射分量再融合的改進思路。

(2)提出改進的自適應引導濾波進行照度估計，避免了使用原始引導濾波導致的光暈模糊現(xiàn)象。

(3)針對礦井圖像的光照不均勻性，使用一種“S”形的函數(shù)進行照度調整，實現(xiàn)提升低量區(qū)域的同時抑制高亮區(qū)域的目的，避免過增強現(xiàn)象。

(4)本文算法能夠在有效提升圖像對比度和亮度的同時，避免光暈模糊和過增強現(xiàn)象，且較其他對比算法而言增強效果有明顯提升。未來的研究工作將著重于算法精簡，使其滿足實際生產(chǎn)應用的需求。