顧振飛陳 燦陳 勇孔令民趙 冉

(1.南京信息職業(yè)技術(shù)學(xué)院網(wǎng)絡(luò)與通信學(xué)院，江蘇 南京 210023；2.南京龍淵微電子科技有限公司，江蘇 南京 210000；3.南京郵電大學(xué)物聯(lián)網(wǎng)學(xué)院，江蘇 南京 210003；4.中國人民解放軍94826 部隊，上海 200020)

在弱光照環(huán)境下采集的圖像易于呈現(xiàn)紋理模糊、色彩失真、信噪比下降和對比度不足等負面效應(yīng)，而上述效應(yīng)嚴重干擾了機器視覺系統(tǒng)對被測物體的特征提取，從而導(dǎo)致模式識別、目標(biāo)定位、視覺測量與檢測等主流應(yīng)用的有效性大幅下降[1-3]。因此，對弱光照圖像進行增強處理，使其具備與在理想光照條件下所采集的清晰圖像相似的主觀視覺特征和客觀評價指標(biāo)，已經(jīng)成為機器視覺領(lǐng)域的研究熱點之一，具有一定的理論研究與實際應(yīng)用價值。

Retinex 模型[4]是弱光照圖像增強領(lǐng)域的重要理論基礎(chǔ)之一，即圖像可以被建模為入射光分量和反射特性分量乘積的形式，且物體的真實色彩不受入射光照干擾而具有恒常性。當(dāng)前，基于Retinex 模型的弱光照圖像增強處理核心流程基本相似，即首先估計出弱光照圖像的入射光分量圖，進而依據(jù)模型在弱光照圖像中剝離入射光分量，并以抽取出的圖像反射特性分量圖作為增強后的弱光照圖像。據(jù)此可知，基于Retinex 模型的弱光照圖像增強方法的核心之處在于對弱光照圖像的入射光分量進行準(zhǔn)確估計。然而，針對圖像入射光分量的估計問題，研究者通常僅利用了入射光的空間平滑性假設(shè)，但單一的約束條件必然導(dǎo)致此類欠定問題的估計結(jié)果缺乏魯棒性[5]。針對上述缺陷，基于Retinex 模型的改進策略[6-8]被相繼提出，如提高濾波層級并通過考慮各色彩通道分量之間的比例關(guān)系以提高增強效果的色彩保真性，但此類策略并不能實質(zhì)約束光照分量的自由度，因而無法完全避免局部失效問題。通過以能量泛函形式表達Retinex 模型，變分Retinex 模型[5]可以引入更多的圖像統(tǒng)計規(guī)律作為附加約束條件對入射光分量進行估計，并將入射光分量的估計轉(zhuǎn)化為二次規(guī)劃問題進行求解?；谧兎諶etinex 模型，文獻[9]因引入了多種面向梯度分量的圖像先驗知識而具備了較好的紋理細節(jié)增強能力，文獻[10]利用圖像結(jié)構(gòu)先驗對所估計出的圖像入射光分量進行約束，可以實現(xiàn)保持細節(jié)恢復(fù)能力的同時大幅改善增強后圖像的邊緣結(jié)構(gòu)。然而，約束條件增多必然導(dǎo)致模型復(fù)雜度增加，并進而導(dǎo)致相關(guān)增強方法受制于較高的計算復(fù)雜度[11]。總體而言，Retinex 模型復(fù)雜度低但卻因難以有效約束模型參數(shù)的自由度而導(dǎo)致難以對入射光分量進行準(zhǔn)確估計，變分Retinex 模型能夠通過增加模型約束項來提高估計準(zhǔn)確率，但較高的計算復(fù)雜度使得相關(guān)增強方法普遍缺乏實時性。

近年來，隨著機器學(xué)習(xí)技術(shù)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被引入了機器視覺領(lǐng)域，如模式識別、霧霾圖像增強、圖像超分辨率等。在弱光照圖像增強領(lǐng)域，文獻[12]結(jié)合了Retinex 模型和卷積神經(jīng)網(wǎng)絡(luò)提出了LNET，該方法利用卷積神經(jīng)網(wǎng)絡(luò)估計弱光照圖像所對應(yīng)的入射光分量圖，并使用導(dǎo)向濾波對估計結(jié)果進行優(yōu)化處理。文獻[13]依據(jù)Retinex理論，使用卷積神經(jīng)網(wǎng)絡(luò)對弱光照圖像的入射光分量圖進行調(diào)整，并進而利用模型得到增強后的圖像。文獻[14]利用了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像去噪框架，提出了一種基于深度自編碼器的從低光圖像中識別信號特征并自適應(yīng)增亮圖像的方法，證明了堆疊稀疏去噪自編碼器可以通過自主學(xué)習(xí)對弱光照圖像進行增強處理。文獻[15]提出了一種基于雙向生成對抗網(wǎng)絡(luò)的框架，該方法可以賦予輸入圖像給定的特征，因此也具備了弱光照圖像增強能力。上述方法中，結(jié)合圖像增強模型和卷積神經(jīng)網(wǎng)絡(luò)的方法通常具有較好的增強能力，但對入射光分量圖的后期優(yōu)化處理一定程度上增加相關(guān)方法的計算復(fù)雜度，而不涉及圖像增強模型的方法則受制于復(fù)雜的前期預(yù)處理或增強力度不足。

據(jù)此，本文結(jié)合明亮通道先驗和Retinex 模型，提出了一種弱光照圖像增強網(wǎng)絡(luò)。相較于現(xiàn)有方法，所提方法結(jié)合Retinex 模型基本定義和圖像先驗知識進行弱光照圖像入射光分量估計，克服了單純依據(jù)空間平滑性假設(shè)所導(dǎo)致的弱魯棒性；通過對入射光分量進行多尺度估計再基于卷積神經(jīng)網(wǎng)絡(luò)進行融合的方式進一步提高了魯棒性。

1 背景知識

1.1 基于明亮通道先驗的Retinex 入射光分量估計

Retinex 模型[4]具有較為簡潔的數(shù)學(xué)表達，即依據(jù)該模型可以將待增強弱光照圖像分解為入射光分量圖和反射光分量圖的乘積形式，具體如下所示:

式中:I是待增強弱光照圖像，L和R分別是I所對應(yīng)的入射光分量圖和反射光分量圖。

文獻[16]提出的明亮通道先驗表明:在理想光照條件下所采集的清晰圖像中的像素在以其為中心的圖像鄰域中至少存在一個像素的某色彩通道的強度等于(或接近)為1，其數(shù)學(xué)表達形式如下:

式中:IHD是在理想光照條件下所采集的清晰圖像，c∈{R，G，B}是圖像的RGB 色彩通道索引，Ω(x，y)是以像素(x，y)為中心的圖像鄰域。

基于Retinex 模型和明亮通道先驗的基本定義，反射光分量圖R可以被視為增強后的圖像，因而其必然符合明亮通道先驗，以及入射光分量必然具有一定的局部相似性，文獻[19]給出了入射光分量的估計方法如下:

1.2 研究動機分析

通過對公式(3)的觀察可知，基于明亮通道先驗和Retinex 模型，可以對弱光照圖像的入射光分量圖進行快速估計。然而，公式(3)的有效性需要明亮通道先驗和入射光分量的局部相似性在相同的鄰域半徑下同時成立，因而其有效性存在一定的不確定性。產(chǎn)生上述不確定性的原因在于:(1)明亮通道先驗如需成立，則需要確保圖像中的每個像素在其一定范圍的鄰域中存在至少一個像素的某色彩通道的強度近似為1，因而鄰域Ω(x，y)的尺度越大則明亮通道先驗的魯棒性越好；(2)入射光分量的局部相似性如需成立，則需要大幅抑制鄰域Ω(x，y)的尺度，因為入射光照在較大范圍內(nèi)必然難以保證一致性。據(jù)此可知，基于公式(3)的弱光照圖像的入射光分量圖估計準(zhǔn)確性取決于鄰域半徑，而真實圖像中入射光照的復(fù)雜性勢必導(dǎo)致無法確定出適用于所有圖像的鄰域半徑。

為驗證上述推論，在圖1 中選取一幅弱光照圖像，在鄰域半徑3 至30 時分別利用公式(3)對其入射光分量圖進行快速估計，并依據(jù)文獻[19]方法獲得增強效果。通過對圖1 的觀察可以發(fā)現(xiàn)，在不同的鄰域半徑下，弱光照圖像的增強效果之間存在較大差異，當(dāng)鄰域半徑較小時，僅有入射光分量的局部相似性條件得以滿足，因此增強效果獲得了較強的紋理增強效果，而在明亮通道先驗條件不能充分滿足的區(qū)域卻導(dǎo)致了嚴重的色偏和光暈偽影。當(dāng)鄰域半徑較大時，僅有明亮通道先驗條件得以滿足，因此增強效果獲得了較好的色彩保真性，但因入射光分量的局部相似性條件未能充分滿足而導(dǎo)致了增強力度顯著不足。

圖1 不同鄰域半徑時基于明亮通道先驗的Retinex 方法增強效果對比圖

2 基于明亮通道先驗和Retinex 模型的弱光照圖像增強網(wǎng)絡(luò)

基于上述分析，本文設(shè)計了一個端到端的網(wǎng)絡(luò)框架，該網(wǎng)絡(luò)的作用是激活輸入的待增強弱光照圖像，并直接輸出增強后的弱光照圖像。如圖2 所示，網(wǎng)絡(luò)架構(gòu)由3 個子模塊組成，包括入射光分量多尺度估計模塊、多尺度入射光分量融合模塊和增強效果生成模塊。其中，入射光分量多尺度估計模塊將在不同的鄰域半徑下對輸入的待增強弱光照圖像進行入射光分量估計，并將其作為輸入傳遞至多尺度入射光分量融合模塊；入射光分量融合模塊將其學(xué)習(xí)的清晰圖像的基本特征映射到入射光分量估計結(jié)果中，將融合后的入射光分量圖作為增強效果生成模塊的輸入；增強效果生成模塊基于Retinex 模型，該模塊將依據(jù)輸入的入射光分量圖對待增強弱光照圖像進行逐像素的像素強度調(diào)節(jié)，并輸出反射光分量圖作為增強后的弱光照圖像。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)框圖

2.1 入射光分量多尺度估計模塊

基于公式(3)對弱光照圖像進行入射光分量圖估計具有計算復(fù)雜度低的優(yōu)勢，但估計結(jié)果的有效性取決于鄰域半徑選擇的準(zhǔn)確性，而圖像中入射光照的復(fù)雜性決定了并不存在一個適用于所有圖像的鄰域半徑。針對相似的問題，文獻[17]使用實驗方法大致確定出了實用性較好的鄰域半徑范圍，但并不能實質(zhì)上解決上述問題。

因此，本文在設(shè)計入射光分量多尺度估計模塊時采用了一種綜合利用不同鄰域半徑下入射光分量估計結(jié)果中的有效增益的策略。依據(jù)上述思路，針對輸入的待增強弱光照圖像，自鄰域半徑3 起，逐次遞增鄰域半徑1，直至鄰域半徑30 截止，共進行28次入射光分量估計，并將估計結(jié)果分別傳遞至多尺度入射光分量融合模塊。

2.2 多尺度入射光分量融合模塊

將28 次入射光分量估計結(jié)果獨立作為各層分量輸入多尺度入射光分量融合模塊后，通過下式獲得融合后的入射光分量圖:

式中:Li=1，…，28表示作為各層獨立分量的28 次入射光分量估計結(jié)果，Wi=1，…，28是各層獨立分量所對應(yīng)的融合權(quán)重?；诠?4)，設(shè)計多尺度入射光分量融合模塊如圖3 所示。多尺度入射光分量融合模塊由多個自適應(yīng)權(quán)重融合模塊組成，每個模塊由2 個卷積層組成，分別采用Relu 和Softmax 作為激活函數(shù)。為了進一步增強自適應(yīng)性，該網(wǎng)絡(luò)在卷積層采用可變卷積[20]取代了傳統(tǒng)卷積。多尺度入射光分量融合模塊在訓(xùn)練后能夠?qū)W習(xí)到在理想光照條件下所采集的清晰圖像的基本特征，并將學(xué)習(xí)到的清晰圖像特征映射到入射光分量多尺度估計模塊所傳遞來的入射光分量多尺度估計結(jié)果中，并最終生成入射光分量圖。

圖3 多尺度入射光分量融合模塊結(jié)構(gòu)圖

2.3 增強效果生成模塊

增強效果生成模塊基于Retinex 模型設(shè)計，該模塊的主要作用是依據(jù)入射光分量圖對待增強弱光照圖像進行逐像素式的強度調(diào)節(jié)，從而生成弱光照圖像的反射光分量圖。相較于文獻[18]，本文所提方法僅需對入射光分量圖進行一般性的邊緣保持平滑處理，也可以直接將增強效果生成模塊所生成的反射光分量圖視為增強后的弱光照圖像，有效避免了由人為假設(shè)或圖像先驗知識所引入的特定圖像特征。

3 實驗結(jié)果與分析

由于沒有專門針對弱光照圖像增強的標(biāo)準(zhǔn)數(shù)據(jù)集，本文利用文獻[18]的方法構(gòu)建包含3 000 個樣本的數(shù)據(jù)集。將數(shù)據(jù)集隨機劃分為訓(xùn)練集(80%)，驗證集(10%)和測試集(10%)。由于GPU 顯存的限制，批量大小設(shè)置為32。采用均方誤差作為損失函數(shù)；采用Adam 優(yōu)化器來訓(xùn)練網(wǎng)絡(luò)框架；遍歷數(shù)設(shè)置為5 000；學(xué)習(xí)率設(shè)置為0.000 1。實驗硬件環(huán)境為:NVIDIA Titan XP GPU；軟件環(huán)境為:Tensorflow 2.0。為驗證本方法的有效性和魯棒性，將本文方法與以下現(xiàn)有主流方法進行定性和定量對比:自適應(yīng)直方圖均衡類的文獻[21]方法、基于多尺度Retinex模型的文獻[6]方法、基于先驗知識的文獻[19]方法、基于全變分Retinex 模型的文獻[10]方法。

3.1 客觀比較

客觀實驗采用了3 個廣泛使用的客觀評價指標(biāo)，包括新增可見邊緣比e、對比度恢復(fù)質(zhì)量r和圖像清晰度D。由文獻[22]可知，新增可見邊緣比可以測量增強后圖像中出現(xiàn)的新增邊緣的比率，對比度恢復(fù)質(zhì)量驗證了增強后圖像的平均能見度提升度。由文獻[23]可知，圖像清晰度可以測量基于人眼視覺特征的圖像可視性。通常，新增可見邊緣比和對比度恢復(fù)質(zhì)量的數(shù)值越高，對應(yīng)增強方法的效果越好；而圖像清晰度的數(shù)值越低表示圖像清晰度越高?？陀^比較實驗并基于測試集展開，本文所提方法和上述四類對比方法針對測試集所取得的客觀評價指標(biāo)平均值如表1 所示。

表1 客觀實驗結(jié)果

綜合新增可見邊緣比e和對比度恢復(fù)質(zhì)量r均值可知，本文所提方法具有較好的紋理細節(jié)增強能力，且不會為了獲得較高紋理增強結(jié)果而產(chǎn)生一定的噪聲放大效應(yīng)。此外，本文所提方法未產(chǎn)生顯著的色彩偏離現(xiàn)象，因此對比度恢復(fù)質(zhì)量具有較好的可信度。由圖像清晰度D可知，本文所提方法在圖像可視性增強方面具有一定的比較優(yōu)勢，而這一點也和主觀比較的結(jié)果是一致的。由文獻[23]可知，圖像清晰度值能夠以較為接近人眼視覺效果的方式綜合判斷圖像的清晰度增強效果，因此上述結(jié)果證明本文所提方法能夠?qū)W(xué)習(xí)到的清晰度圖像特征映射到最終的增強效果中。

3.2 主觀比較

受篇幅限制，從測試結(jié)果中挑選了四幅具有挑戰(zhàn)性的弱光照圖像的實驗主觀對比用于展示，具體如圖4 至圖7 所示。通過對比可以發(fā)現(xiàn)，改進的直方圖均衡類增強方法仍然具有一定的結(jié)構(gòu)盲目性而呈現(xiàn)出了弱魯棒性，圖4 和圖7 因全局光照較弱而均未得到有效增強，僅有圖5 和圖6 因自身具有一定的動態(tài)調(diào)整范圍而具備了一定的增強效果；基于多尺度Retinex 模型的增強方法需要提取并利用待增強圖像中原有的各層頻域分量，因而在處理頻域分量層次豐富的圖像(如圖4)時具有一定優(yōu)勢，但在處理頻域分量相對較為單一的圖像(如圖7)時增強力度不足且易于引入模糊現(xiàn)象；文獻[19]方法基于單尺度明亮通道先驗而魯棒性不足，因而在明亮通道先驗在特定的鄰域半徑內(nèi)失效的圖像時明顯效果不佳(如圖4)，且后續(xù)的各項優(yōu)化處理易于產(chǎn)生噪聲放大現(xiàn)象(見圖6 和圖7 的增強效果)；文獻[10]方法基于變分Retinex 模型大幅提高了光照分量的估計準(zhǔn)確性，整體增強效果較好，但無法完全抑制過曝光和色偏現(xiàn)象(如圖4 有局部過曝，圖5 整體偏紅而圖6 偏藍)。相較而言，本文所提方法具有更好的紋理細節(jié)增強效果和色彩保真度，且未出現(xiàn)過曝光、過增強或光暈偽影等負面視覺效應(yīng)。

圖4 增強效果比較實驗1

圖5 增強效果比較實驗2

圖6 增強效果比較實驗3

圖7 增強效果比較實驗4

為進一步展示本方法的增強效果，選取兩幅典型的弱光照圖像(全局弱光照圖像如圖8(a)所示，局部弱光照圖像如圖9(a)所示)，依據(jù)本方法對其進行增強處理，并在圖8 和圖9 的(b)列中展示了相應(yīng)的增強效果。

通過對比增強前后的圖像可以發(fā)現(xiàn)，本方法可以有效提升弱光照圖像的整體視覺效果并恢復(fù)其中的紋理細節(jié)，消除了因像素強度不足所導(dǎo)致的色彩偏移、對比度不足等負面視覺效應(yīng)，且未出現(xiàn)局部增強力度不足或過增強現(xiàn)象，以及光暈偽影、邊緣畸變等現(xiàn)象。此外，在圖8 和圖9 的(c)列中展示了增強處理后紅色通道的像素強度增益空間分布(因為綠色和藍色通道的增益與紅色通道基本相似)，通過觀察可以發(fā)現(xiàn)本文所提方法能夠有效增強弱光照圖像，并使其呈現(xiàn)出近似清晰圖像的視覺效果。

圖8 全局弱光照圖像及其增強效果

圖9 局部弱光照圖像及其增強效果

4 結(jié)論

本文提出了一種基于明亮通道先驗和Retinex模型的弱光照圖像增強網(wǎng)絡(luò)。所提方法結(jié)合Retinex 模型基本定義和圖像先驗知識進行弱光照圖像入射光分量估計，克服了單純依據(jù)空間平滑性假設(shè)所導(dǎo)致的弱魯棒性；通過對入射光分量進行多尺度估計，再基于卷積神經(jīng)網(wǎng)絡(luò)進行融合的方式進一步提高了魯棒性。