王滿利 ，張 航 ，李佳悅 ，張長(zhǎng)森

（河南理工大學(xué) 物理與電子信息學(xué)院, 河南 焦作 454000）

0 引 言

隨著煤炭科學(xué)開(kāi)采理論的發(fā)展[1]，智能化無(wú)人開(kāi)采技術(shù)穩(wěn)步推進(jìn)，越來(lái)越多的數(shù)字圖像、視頻設(shè)備應(yīng)用于礦井下，用來(lái)進(jìn)行煤炭識(shí)別、危險(xiǎn)行為識(shí)別和災(zāi)害警報(bào)等重要任務(wù)，但是由于這些設(shè)備需要依賴(lài)良好的正常光輸入圖像，而礦井下環(huán)境復(fù)雜，光照條件差，這些都可能會(huì)導(dǎo)致采集的圖像對(duì)比度低、細(xì)節(jié)損失嚴(yán)重，嚴(yán)重影響了數(shù)字圖像、視頻設(shè)備的工作可靠性，為提高礦井下圖像的質(zhì)量，圖像增強(qiáng)成為建設(shè)智慧礦山需要攻克的關(guān)鍵環(huán)節(jié)。目前低光照?qǐng)D像增強(qiáng)領(lǐng)域研究的熱點(diǎn)主要包括基于模型的傳統(tǒng)增強(qiáng)方法和基于深度機(jī)器學(xué)習(xí)的增強(qiáng)網(wǎng)絡(luò)。

基于模型的方法主要集中在直方圖均衡化和基于Retinex 理論的方法。直方圖均衡化的方法容易引起圖像過(guò)增強(qiáng)，影響圖像的視覺(jué)質(zhì)量，隨著理論與技術(shù)的不斷發(fā)展，研究熱點(diǎn)逐漸轉(zhuǎn)移至基于Retinex 理論的方法。Retinex 理論認(rèn)為成像設(shè)備采集到的圖像可分為光照分量和反射分量，反射分量由物體本身的反射性質(zhì)決定的，實(shí)現(xiàn)圖像增強(qiáng)就是通過(guò)去除圖像的場(chǎng)景光照信息，消除光照分量的干擾，獲取反射圖像分量。GUO 等[2]基于Ritinex 理論提出LIME 算法，選取輸入圖像各像素通道中的最大值，對(duì)光照?qǐng)D初始化處理，再用結(jié)構(gòu)化的先驗(yàn)知識(shí)對(duì)光照?qǐng)D進(jìn)行處理，將反射圖的輸出作為增強(qiáng)結(jié)果，但容易出現(xiàn)過(guò)增強(qiáng)的現(xiàn)象。SHU 等[3]提出名為NPE 的算法，在增強(qiáng)圖像對(duì)比度的同時(shí)保持了照明的自然度，但沒(méi)有考慮不同場(chǎng)景中照明的關(guān)系。CHULWOO 等[4]提出一個(gè)用于低光照?qǐng)D像增強(qiáng)的多曝光融合框架，采用雙曝光融合算法，來(lái)提供準(zhǔn)確的對(duì)比度和照度增強(qiáng)，但增強(qiáng)結(jié)果亮度較低。LI 等[5]基于Retinex 理論，提出RRM 算法，它采用基于增廣Lagrange 乘子的ADM 算法代替對(duì)數(shù)變換，考慮噪聲的影響，提出Robust Retinex 模型，首次對(duì)噪聲進(jìn)行預(yù)測(cè)，同時(shí)估計(jì)反射圖和分段平滑的照明圖來(lái)進(jìn)行圖像增強(qiáng)，但增強(qiáng)結(jié)果不夠清晰?；谌レF的算法[6]利用了光照不足的圖像與有霧環(huán)境下圖像之間的反向聯(lián)系來(lái)達(dá)到低光照?qǐng)D像增強(qiáng)的效果。

雖然傳統(tǒng)的增強(qiáng)算法在圖像增強(qiáng)領(lǐng)域取得了良好的成效，但隨著機(jī)器學(xué)習(xí)的快速發(fā)展，基于深度學(xué)習(xí)的網(wǎng)絡(luò)在圖像增強(qiáng)視覺(jué)任務(wù)中表現(xiàn)出更為優(yōu)越的性能。其中，文獻(xiàn)[7]在去噪自編碼的基礎(chǔ)上提出一種堆疊式去噪自編碼來(lái)實(shí)現(xiàn)低光照?qǐng)D像增強(qiáng)和去噪功能，但只針對(duì)單通道灰度圖。文獻(xiàn)[8]提出的MBLLEN 網(wǎng)絡(luò)，通過(guò)CNN 卷積層將圖像豐富的特征提前到不同的層次，使用多個(gè)子網(wǎng)同時(shí)進(jìn)行增強(qiáng)，最后將多分支輸出的結(jié)果融合成最終的增強(qiáng)圖像，但算法的運(yùn)行時(shí)間過(guò)長(zhǎng)。文獻(xiàn)[9]提出的TBEFN 網(wǎng)絡(luò)，估計(jì)了兩個(gè)分支的一個(gè)傳遞函數(shù)，可以得到兩個(gè)增強(qiáng)結(jié)果，然后采用一種簡(jiǎn)單的平均方法對(duì)兩幅圖像進(jìn)行融合，并通過(guò)一個(gè)細(xì)化單元進(jìn)一步細(xì)化結(jié)果，但網(wǎng)絡(luò)的訓(xùn)練過(guò)程較為復(fù)雜。文獻(xiàn)[10]提出的GLAD 網(wǎng)絡(luò)，首先基于全局先驗(yàn)和原始輸入圖像，再采用卷積網(wǎng)絡(luò)進(jìn)行細(xì)節(jié)重建，得到增強(qiáng)結(jié)果，但增強(qiáng)結(jié)果的清晰度不夠。Retinex-Net 網(wǎng)絡(luò)[11]是基于Retinex 理論深度學(xué)習(xí)網(wǎng)絡(luò)模型在低光照?qǐng)D像增強(qiáng)領(lǐng)域的首次嘗試，通過(guò)一個(gè)分解網(wǎng)絡(luò)將圖像分解成光照?qǐng)D和反射圖，然后對(duì)光照?qǐng)D單獨(dú)進(jìn)行增強(qiáng)，但增強(qiáng)結(jié)果容易出現(xiàn)顏色失真的現(xiàn)象。同樣受Retinex 理論的啟發(fā)，文獻(xiàn)[12]提出了一種新穎的漸進(jìn)式Retinex 網(wǎng)絡(luò)框架，而后文獻(xiàn)[13]又在此基礎(chǔ)上對(duì)反射模塊進(jìn)行改進(jìn)。文獻(xiàn)[14]受到Retinex 模型和信息熵理論的啟發(fā)，提出一個(gè)基于Retinex 的最大熵模型(DLN)，來(lái)分解光照度和反射率，但增強(qiáng)后的圖像容易出現(xiàn)細(xì)節(jié)損失。由于礦井下成像環(huán)境光照條件差，導(dǎo)致目前的多數(shù)增強(qiáng)網(wǎng)絡(luò)不能在提升圖像對(duì)比度的同時(shí)保持良好的紋理細(xì)節(jié)。

盡管有很多優(yōu)越的低光照增強(qiáng)算法被提出，但由于礦井下環(huán)境的復(fù)雜性、圖像的特殊性，以及缺少相應(yīng)的數(shù)據(jù)集，未能出現(xiàn)一種效果顯著的針對(duì)礦井下圖像增強(qiáng)的模型。

鑒于以上分析，提出一種基于深度神經(jīng)網(wǎng)絡(luò)的礦井下低光照?qǐng)D像增強(qiáng)算法模型，該模型包含有3個(gè)子網(wǎng)絡(luò)，分別為分解網(wǎng)絡(luò)、光照調(diào)整網(wǎng)絡(luò)和反射重構(gòu)網(wǎng)絡(luò)。分解網(wǎng)絡(luò)將輸入的煤礦井下圖像分解為對(duì)應(yīng)的光照?qǐng)D和反射圖；光照調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)利用深度可分離卷積有效減少了模型的參數(shù)，強(qiáng)化了網(wǎng)絡(luò)的特征提取能力，從而對(duì)光照?qǐng)D進(jìn)行更好的亮度調(diào)整；此外，引入MobileNet 網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)一步使光照調(diào)整網(wǎng)絡(luò)輕量化，并保持其特征提取精度，有效實(shí)現(xiàn)光照分量對(duì)比度調(diào)整；反射重構(gòu)網(wǎng)絡(luò)加入了殘差網(wǎng)絡(luò)結(jié)構(gòu)，提升了網(wǎng)絡(luò)特征學(xué)習(xí)性能與反射分量紋理細(xì)節(jié)恢復(fù)能力。最后，將處理過(guò)后的光照?qǐng)D和反射圖基于Retinex 理論進(jìn)行融合，來(lái)實(shí)現(xiàn)礦井下圖像的對(duì)比度提高和細(xì)節(jié)的增強(qiáng)，克服了現(xiàn)有增強(qiáng)算法存在的增強(qiáng)圖像細(xì)節(jié)丟失、邊緣模糊、對(duì)比度和清晰度不足的問(wèn)題，算法在提高增強(qiáng)圖像的對(duì)比度情況下，充分保留增強(qiáng)圖像的細(xì)節(jié)與邊緣信息。

1 模型原理

1.1 總體網(wǎng)絡(luò)結(jié)構(gòu)

由于礦井下的復(fù)雜環(huán)境，導(dǎo)致礦井下圖像容易出現(xiàn)光照不足的問(wèn)題和退化現(xiàn)象，為了解決這些問(wèn)題，構(gòu)建出一種如圖1 所示的基于深度神經(jīng)網(wǎng)絡(luò)的圖像增強(qiáng)模型，該網(wǎng)絡(luò)主要由2 個(gè)分支組成，分別是光照分量分支和反射分量分支，其中，光照分量分支由分解網(wǎng)絡(luò)模塊(Decomposition Module)、光照調(diào)整網(wǎng)絡(luò)模塊(Illumination Adjustment Module)構(gòu)成，反射分量分支由分解網(wǎng)絡(luò)模塊和反射重構(gòu)網(wǎng)路模塊(Reflection Restoration Module)構(gòu)成。輸入的礦井下圖像進(jìn)入分解網(wǎng)絡(luò)模塊，分解為光照?qǐng)D和反射圖，再分別通過(guò)光照調(diào)整網(wǎng)絡(luò)模塊和反射重構(gòu)模塊進(jìn)行亮度調(diào)整和細(xì)節(jié)增強(qiáng)。該網(wǎng)絡(luò)在光照調(diào)整網(wǎng)絡(luò)模塊中引入了深度可分離卷積，以便進(jìn)行更好地提取特征；在反射重構(gòu)網(wǎng)絡(luò)模塊使用了殘差結(jié)構(gòu)，更好地保存了原圖的紋理細(xì)節(jié)。

圖1 礦井下增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Underground mine enhancement network structure

Retinex 理論認(rèn)為人們觀測(cè)到的圖像可以分解成光照分量和反射分量：

其中：S(x,y)為 原始圖像；R(x,y)為反射分量，描述了觀測(cè)圖像的固有信息，可以被視為常量，與光照無(wú)關(guān)；L(x,y)為光照分量，描述了觀測(cè)圖像的不同光照程度。由于沒(méi)有真實(shí)圖像的光照信息和反射信息作為參考，這就導(dǎo)致了分解結(jié)果的不確定性，因此在分解網(wǎng)絡(luò)模塊中正確使用先驗(yàn)正則化因子是很重要的。假設(shè)圖像沒(méi)有退化現(xiàn)象，那么按照Retinex 理論，相同場(chǎng)景下所拍攝圖像的反射圖應(yīng)相同，不同光照條件則導(dǎo)致了光照?qǐng)D有很大的差別，但它們的結(jié)構(gòu)仍應(yīng)具有一致性，且相對(duì)簡(jiǎn)單。所以，我們使用正常光照條件下圖像作為網(wǎng)絡(luò)中各個(gè)模塊的學(xué)習(xí)對(duì)象，從成對(duì)的低光照和普通光照?qǐng)D像中自動(dòng)學(xué)習(xí)參數(shù)。

1.2 分解模塊

分解網(wǎng)絡(luò)模塊存在于2 個(gè)分支之中，用來(lái)提取光照?qǐng)D和提取反射圖，其中用來(lái)提取反射圖的結(jié)構(gòu)是由經(jīng)典的U-Net 結(jié)構(gòu)[15]和一個(gè)1×1 的卷積層加Sigmoid 激活函數(shù)組成；用來(lái)提取光照?qǐng)D的結(jié)構(gòu)是由一個(gè)Conv+ReLU 層[16]和一個(gè)Conv 層組成，最后加上一個(gè)Sigmoid 層[17]，總體結(jié)構(gòu)如圖2 所示。由于使用了配對(duì)的低光照和正常光照的圖像[Sl,Sh]做出參考，同一場(chǎng)景的不同光照?qǐng)D像的反射圖[Rl,Rh]一致，而分解出來(lái)的[Ll,Lh]應(yīng)該是分段平滑的。

此模塊的損失函數(shù)設(shè)計(jì)為

其中，Sl和Sh分別為礦井下和正常光照條件下的圖像；Rl、Rh、Ll和Lh分別為礦井下和正常光照下的圖像分解出的反射分量和光照分量； //·//1為采取的是l1損失，重構(gòu)誤差函數(shù)約束了分解產(chǎn)生的反射分量和光照分量重構(gòu)之后盡量和分解前保持一致。

分解網(wǎng)絡(luò)訓(xùn)練時(shí)初始學(xué)習(xí)率大小設(shè)置為 10-6，訓(xùn)練輪數(shù)設(shè)置為100，批處理圖像數(shù)量為48，訓(xùn)練時(shí)損失函數(shù)曲線如圖3 所示。由圖5 可知，網(wǎng)絡(luò)訓(xùn)練至60 輪時(shí)，損失值趨于穩(wěn)定，達(dá)到收斂狀態(tài)。

圖3 分解網(wǎng)絡(luò)損失函數(shù)曲線Fig.3 Loss function graph of decomposition network

1.3 光照調(diào)整模塊

光照調(diào)整網(wǎng)絡(luò)模塊網(wǎng)絡(luò)結(jié)構(gòu)采用了MobileNet 結(jié)構(gòu)[18]，它擁有更小的體積，更少的計(jì)算量，更高的精度，在輕量級(jí)神經(jīng)網(wǎng)絡(luò)中擁有極大的優(yōu)勢(shì)。其采用了深度可分離卷積(Depthwise separable convolution)[19]構(gòu)成的卷積層作為特征提取網(wǎng)絡(luò)結(jié)構(gòu)，深度可分離卷積結(jié)構(gòu)如圖4 所示，它相較于普通卷積，大幅減少了模型的參數(shù)，并加深了特征提取網(wǎng)絡(luò)的深度，整個(gè)MobileNet 模塊結(jié)構(gòu)如圖5 所示，其中的depthwise conv block 就是分層卷積，之后會(huì)經(jīng)過(guò)Batch normalization 層和ReLU 激活函數(shù)層，在之后添加一個(gè)1×1 的卷積進(jìn)行通道處理。而光照調(diào)整模塊采用MobileNet 網(wǎng)絡(luò)進(jìn)行5 個(gè)特征層的提取，然后再分別進(jìn)行上采樣和特征層的融合，最終通過(guò)Sigmoid 激活函數(shù)輸出，總體結(jié)構(gòu)如圖6 所示。此模塊的損失函數(shù)設(shè)計(jì)為

圖4 深度可分離卷積塊結(jié)構(gòu)Fig.4 Deeply separable convolutional block structure

圖5 MobileNet 模塊結(jié)構(gòu)Fig.5 MobileNet module structure

圖6 光照調(diào)整模塊網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Illumination adjustment module network structure

其中，Lk為L(zhǎng)l或Lh，L?為 光照調(diào)整模塊的輸出，EMS為均方誤差，它是預(yù)測(cè)值f(x) 與 目標(biāo)值y之間差值平方和的均值，其計(jì)算公式為

1.4 反射重構(gòu)模塊

基于Retinex 理論，從數(shù)學(xué)的角度出發(fā)，退化的低光照?qǐng)D像可以表示為

反射重構(gòu)網(wǎng)絡(luò)模塊利用更清晰的反射率作為混亂反射率的參考，類(lèi)似于層分解子網(wǎng)中更深層次的反射分支。退化在反射上的分布復(fù)雜，且強(qiáng)烈依賴(lài)于照明分布，將光照信息和退化的反射一起引入到恢復(fù)網(wǎng)絡(luò)中，可以解決顏色失真的問(wèn)題，進(jìn)而去除黑暗區(qū)域的退化，實(shí)現(xiàn)圖像細(xì)節(jié)的重構(gòu)。針對(duì)礦井下環(huán)境的特殊性，圖像紋理信息較弱，容易出現(xiàn)對(duì)比度低、細(xì)節(jié)損失，邊緣信息丟失等問(wèn)題，并提升網(wǎng)絡(luò)的特征表達(dá)能力，在網(wǎng)絡(luò)結(jié)構(gòu)中加入了殘差層模塊，具體結(jié)構(gòu)如圖7 所示，它使得網(wǎng)絡(luò)層空置不會(huì)使得網(wǎng)絡(luò)性能下降，然而實(shí)際上的輸出特征存在一定的數(shù)值，使網(wǎng)絡(luò)在除輸出特征外還能學(xué)到新的特征，在圖像重建的過(guò)程中利用底部細(xì)節(jié)，提升了對(duì)網(wǎng)絡(luò)的細(xì)節(jié)處理能力。采用了LN(Layer Normalization)的歸一化方法，使每一層的維度分布更穩(wěn)定并起到了正則化的作用，使得模型不容易出現(xiàn)過(guò)擬合的現(xiàn)象。最后通過(guò)Swish 激活函數(shù)獲得輸出結(jié)果。反射重構(gòu)網(wǎng)絡(luò)總體結(jié)構(gòu)如圖8 所示。

圖7 殘差塊結(jié)構(gòu)Fig.7 Residual block structure

圖8 反射重構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)Fig.8 Reflection reconfiguration network structure

激活函數(shù)的選取十分關(guān)鍵，因?yàn)樗巧疃葘W(xué)習(xí)的核心單元，即使激活函數(shù)只有少量的提升，但它也會(huì)因?yàn)榇罅康氖褂枚@得極大的收益?，F(xiàn)在深度神經(jīng)網(wǎng)絡(luò)中常用的激活函數(shù)為Sigmoid 激活函數(shù)，它可以把輸入的連續(xù)實(shí)值變換為0～1 間的輸出，具有單調(diào)連續(xù)的特點(diǎn)。但它存在一定的缺陷，在深度神經(jīng)網(wǎng)絡(luò)中梯度反向傳導(dǎo)時(shí)，可能會(huì)出現(xiàn)梯度爆炸和梯度消失的現(xiàn)象，其中梯度爆炸發(fā)生的概率較小，而梯度消失發(fā)生的概率比較大。而且Sigmoid 函數(shù)不是關(guān)于原點(diǎn)中心對(duì)稱(chēng)的，這會(huì)導(dǎo)致后面一些網(wǎng)絡(luò)層的輸入也不是以0 為中心的，從而對(duì)梯度下降的運(yùn)作產(chǎn)生影響。同時(shí) Sigmoid 函數(shù)需要進(jìn)行指數(shù)運(yùn)算，計(jì)算耗時(shí)較長(zhǎng)?？紤]到上述原因，選取Swish 來(lái)取代Sigmoid 作為網(wǎng)絡(luò)的激活函數(shù)。

Swish 激活函數(shù)為一種復(fù)合的激活函數(shù)，它的表達(dá)式為

其中， σ(x)為Sigmoid 激活函數(shù)，因?yàn)镾igmoid 函數(shù)的飽和性，會(huì)導(dǎo)致梯度消失的發(fā)生，當(dāng)x非常大時(shí)，就有f(x)趨 近于x，但當(dāng)x趨于- ∞ 時(shí) ，則f(x)趨于0，從而解決了梯度消失的問(wèn)題。同時(shí)，Swish函數(shù)的有助于防止慢速訓(xùn)練期間，梯度逐漸趨近于0導(dǎo)致飽和，它的優(yōu)勢(shì)在于無(wú)上界有下界、非單調(diào)且平滑的特性，在模型的優(yōu)化和泛化中起到重要作用，并在深層模型上的效果表現(xiàn)較好。

此模塊的損失函數(shù)設(shè)計(jì)為

其中，R︿為恢復(fù)后的重構(gòu)圖；SSIM[21]為低光照?qǐng)D像增強(qiáng)后與對(duì)應(yīng)的正常光圖像之間的SSIM 值。

2 數(shù)值試驗(yàn)

由于礦井下采集的低光照?qǐng)D像沒(méi)有對(duì)應(yīng)正常光照?qǐng)D像，無(wú)法直接獲得低光照-正常光照成對(duì)數(shù)據(jù)集，經(jīng)過(guò)大量試驗(yàn)發(fā)現(xiàn)，利用多種杰出的低光照?qǐng)D像增強(qiáng)算法增強(qiáng)礦井低光照?qǐng)D像，根據(jù)NIQE 評(píng)價(jià)指標(biāo)，選取NIQE 指標(biāo)最優(yōu)圖像與礦井原低光照?qǐng)D像構(gòu)成訓(xùn)練數(shù)據(jù)集對(duì)，可近似獲得礦井低光圖像成對(duì)數(shù)據(jù)集（Mine-data），作為網(wǎng)絡(luò)的訓(xùn)練集與驗(yàn)證集。試驗(yàn)中選用的杰出算法包括：LIME 、RRM、MBLLEN、Retinex-Net[11]、KinD[12]、DLN 與KIND_plus，經(jīng)過(guò)測(cè)試，NIQE 指標(biāo)最佳的圖像主要分布于3 種算法，分別是KIND、DLN、KIND_plus，占比大致分別為23%、22%、11%。制作的Mine 數(shù)據(jù)集由大小為600×400 的近似正常光照?qǐng)D像和低光照?qǐng)D像對(duì)組成，數(shù)據(jù)集包含240 組圖像對(duì)。

試驗(yàn)中網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)置為1 0-6，訓(xùn)練輪數(shù)設(shè)置為3 000，批量大小設(shè)置為16。試驗(yàn)采用Python編寫(xiě)算法代碼，使用Adam 作為優(yōu)化器，基于Tensorflow 框架實(shí)現(xiàn)，在NVIDIA GeForce RTX 3090 GPU下進(jìn)行訓(xùn)練。

為了驗(yàn)證算法的有效性與實(shí)用性，進(jìn)行了礦井下圖像增強(qiáng)效果的對(duì)比；為了驗(yàn)證制作的煤礦井下圖像數(shù)據(jù)集的有效性，分別進(jìn)行了不同數(shù)據(jù)集測(cè)試圖像的主觀視覺(jué)效果對(duì)比與客觀指標(biāo)對(duì)比；為了驗(yàn)證算法的適應(yīng)性與可行性，進(jìn)行了各算法在不同數(shù)據(jù)集中增強(qiáng)圖像的指標(biāo)對(duì)比；為了驗(yàn)證每部分網(wǎng)絡(luò)結(jié)構(gòu)的必要性，進(jìn)行了相關(guān)的消融試驗(yàn)；為了驗(yàn)證算法的實(shí)時(shí)性，進(jìn)行了各算法耗時(shí)性的對(duì)比。

2.1 礦井下圖像的增強(qiáng)效果對(duì)比

通過(guò)將此網(wǎng)絡(luò)的增強(qiáng)結(jié)果和目前最先進(jìn)的低光照增強(qiáng)算法進(jìn)行比較來(lái)說(shuō)明該網(wǎng)絡(luò)的有效性和實(shí)用性，比較算法包括：BIMEF、GLAD、MBLLEN、RRM、DLN、 Retinex-Net、 LIME 和KinD。 采 用PSNR、SSIM、NIQE 和LOE 作為圖像質(zhì)量評(píng)價(jià)指標(biāo)。其中峰值信噪比PSNR 和結(jié)構(gòu)相似度SSIM 這兩個(gè)指標(biāo)，是廣泛使用的2 種圖像質(zhì)量指標(biāo)，都需要有對(duì)應(yīng)的正常圖像作為參考，值都是越大越好；自然圖像質(zhì)量評(píng)估器NIQE，用于評(píng)估真實(shí)圖像恢復(fù)，不需要其他圖像作為參考，值越小越好；亮度順序誤差LOE，表示增強(qiáng)后圖像自然度的亮度順序誤差，LOE 值越小，說(shuō)明該圖像亮度順序保持得越好，也就是說(shuō)該圖像的質(zhì)量越高。

對(duì)礦井下低照度圖像進(jìn)行測(cè)試，在由礦井下低照度圖像組成的MI 數(shù)據(jù)集中隨機(jī)抽取T1、T2、T3圖像增強(qiáng)效果如圖9 所示。

圖9 礦井下測(cè)試圖像增強(qiáng)效果Fig.9 Image enhancement effect of underground test in mine

圖9a、圖9b、圖9c 中的第1 行從左到右依次對(duì)應(yīng)輸入的礦井下低照度圖像，BIMEF，GLAD，MBLLEN，RRM 增強(qiáng)圖像；第2 行從左到右依次對(duì)應(yīng)DLN、LIME、Retinex-Net、KinD 與本文算法對(duì)應(yīng)的增強(qiáng)圖像。

視覺(jué)分析圖9a 可以看出，增強(qiáng)T1 時(shí)，傳統(tǒng)的增強(qiáng)算法中，LIME 相較于BIMEF、RRM 視覺(jué)效果表現(xiàn)較好，但它增強(qiáng)過(guò)后燈光處的明亮區(qū)域被過(guò)度增強(qiáng)，BIMEF 增強(qiáng)后的圖像的飽和度和對(duì)比度過(guò)強(qiáng)，導(dǎo)致圖像整體偏暗，地板的黑暗處并沒(méi)有得到很好的增強(qiáng)。RRM 對(duì)低光照?qǐng)D像的亮度改善有所欠缺，墻上部分細(xì)節(jié)模糊。而深度學(xué)習(xí)算法中，Retinex-Net增強(qiáng)后，整張圖像出現(xiàn)了較為嚴(yán)重的顏色失真；GLAD 增強(qiáng)后的圖像中地板和墻壁周?chē)源嬖谠肼?，部分區(qū)域的顏色和邊緣也出現(xiàn)了一定的失真現(xiàn)象；MBLLEN 增強(qiáng)過(guò)后的圖像對(duì)比度過(guò)強(qiáng)，亮度增強(qiáng)的效果不明顯，尤其是在圖像中的角落等黑暗處；KinD的結(jié)果在邊緣存在偽影，會(huì)影響了增強(qiáng)效果的視覺(jué)美感；DLN 對(duì)圖像色調(diào)的恢復(fù)程度較高，但對(duì)圖像色彩的恢復(fù)程度較低。算法增強(qiáng)后的圖像較為清晰，并且增強(qiáng)圖的整體色調(diào)和細(xì)節(jié)恢復(fù)程度較為理想。

視覺(jué)分析圖9b 知，增強(qiáng)T2 時(shí)，LIME 算法在視覺(jué)上的增強(qiáng)效果仍然是最好的，但它增強(qiáng)過(guò)后的強(qiáng)光區(qū)域仍會(huì)出現(xiàn)過(guò)度增強(qiáng)的現(xiàn)象，而其他的傳統(tǒng)算法BIMEF、RRM 增強(qiáng)后的圖像效果相近，圖像整體偏暗，增強(qiáng)效果不明顯。而基于深度學(xué)習(xí)的Retinex-Net 網(wǎng)絡(luò)對(duì)圖像的色彩恢復(fù)程度明顯比較弱，一定程度上引起了圖像的顏色出現(xiàn)不均與失真；從圖中放大區(qū)域看出，GLAD 增強(qiáng)后的圖像仍存在噪聲，對(duì)比度提升不明顯；MBLLEN 增強(qiáng)過(guò)后的圖像仍然出現(xiàn)了亮度增強(qiáng)的效果不明顯的情況；由局部放大圖可知，KinD 增強(qiáng)后結(jié)果在圖9b 的通道右側(cè)出現(xiàn)偽影，對(duì)視覺(jué)效果產(chǎn)生影響；DLN 增強(qiáng)后的圖像存在色差，飽和度提升不明顯。由圖8b 的局部放大圖可看出，本文算法增強(qiáng)后的圖像紋理細(xì)節(jié)更加豐富，增強(qiáng)效果較為理想。

視覺(jué)分析圖9c 可以看出，傳統(tǒng)的增強(qiáng)算法中，LIME 在圖9c 的明亮區(qū)域出現(xiàn)了明顯的過(guò)增強(qiáng)現(xiàn)象，對(duì)視覺(jué)效果產(chǎn)生一定的影響，但增強(qiáng)效果比BIMEF與RRM 增強(qiáng)后的圖像的效果好，BIMEF 和RRM 增強(qiáng)后的圖像整體偏暗。在深度學(xué)習(xí)算法中，由圖9c中局部放大圖可知，Retinex-Net 對(duì)圖像的色彩恢復(fù)能力較差，容易出現(xiàn)顏色失真的現(xiàn)象；GLAD 增強(qiáng)后的圖像噪聲含量大，在圖像邊緣細(xì)節(jié)處較為模糊；MBLLEN 增強(qiáng)過(guò)后的圖像對(duì)比度過(guò)強(qiáng)，亮度增強(qiáng)的效果不明顯；由圖9c 中局部放大圖可知，KinD 增強(qiáng)后的結(jié)果在地面上有仍會(huì)出現(xiàn)偽影，這同樣對(duì)增強(qiáng)效果的視覺(jué)美感產(chǎn)生了影響；DLN 增強(qiáng)后的圖像引起了較大的色差，在強(qiáng)光區(qū)域出現(xiàn)了過(guò)度增強(qiáng)的現(xiàn)象。算法增強(qiáng)后的圖像對(duì)比度、清晰度與紋理細(xì)節(jié)相較KinD 都有不同程度的提高，整體增強(qiáng)效果較為理想。

考察煤礦井下圖像[22]可以發(fā)現(xiàn)，圖像的質(zhì)量與NIQE 指標(biāo)密切相關(guān)，NIQE 指標(biāo)越低的圖像質(zhì)量越好，故這里從各算法的增強(qiáng)結(jié)果中選取NIQE 指標(biāo)最佳的圖像作為正常光參考圖像，組成煤礦井下圖像數(shù)據(jù)集，作為訓(xùn)練集與測(cè)試集。為驗(yàn)證其有效性，從該數(shù)據(jù)集中隨機(jī)抽取了T4、T5 圖像進(jìn)行測(cè)試，并將它們與其他8 種算法的結(jié)果進(jìn)行對(duì)比，具體效果如圖10 所示。

從圖10 可以看出各算法在礦井下測(cè)試圖像增強(qiáng)中出現(xiàn)的問(wèn)題，在煤礦數(shù)據(jù)集(Mine-data)中同樣存在，由于Mine-data 選取了各增強(qiáng)算法中NIQE 指標(biāo)最佳的圖像，作為對(duì)應(yīng)的正常光照下的圖像進(jìn)行參考，所以可以計(jì)算出它們的PSNR 和SSIM 值，從圖11 能夠直觀地看出，提出的算法在PSNR 值的對(duì)比中列居首位，在SSIM 值的對(duì)比中列居第2，而排在前位的還有GLAD、KIND、DLN、MBLLEN，而相對(duì)來(lái)說(shuō)結(jié)果不太理想的算法是BIMEF、RRM、LIME和Retinex-Net 算法。

圖11 Mine 數(shù)據(jù)集測(cè)試圖像增強(qiáng)結(jié)果的峰值信噪比和SSIM 值Fig.11 PSNR and SSIM values of the Mine-data test image enhancement results

為了防止抽取圖像的隨機(jī)性和偶然性，這里又將Mine-data 數(shù)據(jù)集中低照度圖像作為測(cè)試圖像，分別計(jì)算出它們的PSNR、SSIM 的值，并與其他8種算法做出比較，通過(guò)不同圖像質(zhì)量指標(biāo)數(shù)據(jù)，來(lái)對(duì)這些算法的增強(qiáng)性能進(jìn)行比較，具體數(shù)據(jù)如見(jiàn)表1。

表1 礦井下圖像質(zhì)量指標(biāo)數(shù)據(jù)比較Table 1 Comparison of underground image quality index data

分析表1 中數(shù)據(jù)可知，提出的算法在PSNR 和NIQE 兩個(gè)指標(biāo)中均位于9 種算法的首位，KinD 算法均排行第2，而在SSIM 指標(biāo)上僅以微弱的差距落后于KinD 算法，在LOE 指標(biāo)上，僅低于MBLLEN算法，而優(yōu)于KinD 算法。綜合分析，提出的算法無(wú)論是從視覺(jué)效果上還是指標(biāo)分析上都表現(xiàn)出很大的優(yōu)勢(shì)。

2.2 不同數(shù)據(jù)集圖像增強(qiáng)對(duì)比

為驗(yàn)證算法的適應(yīng)性與可行性，將LOL 數(shù)據(jù)集作為測(cè)試圖像，分別計(jì)算出它們的PSNR、SSIM、NIQE 和LOE 的值，并與其他8 種算法做出比較，通過(guò)4 個(gè)圖像質(zhì)量指標(biāo)數(shù)據(jù)分析這些算法的增強(qiáng)性能[23]，具體數(shù)據(jù)見(jiàn)表2。

表2 LOL 數(shù)據(jù)集圖像質(zhì)量指標(biāo)比較Table 2 Comparison of image quality indicators in LOL dataset

分析表2 中數(shù)據(jù)可知，提出的算法在SSIM 和NIQE 兩個(gè)指標(biāo)中均位于9 種算法的首位，KinD 算法均排行第2，而在PSNR 指標(biāo)上僅以微弱的差距落后于KinD 算法，在LOE 指標(biāo)上，僅低于MBLLEN算法，而遠(yuǎn)遠(yuǎn)超過(guò)KinD 算法?？傮w看來(lái)，算法在不同客觀指標(biāo)上的綜合表現(xiàn)較好。

對(duì)于LIME、NPE 數(shù)據(jù)集和MI 數(shù)據(jù)集，由于沒(méi)有可用的參考圖像。因此，僅采用NIQE 來(lái)評(píng)估各個(gè)算法的之間的性能差異，試驗(yàn)結(jié)果見(jiàn)表3。

表3 各數(shù)據(jù)集圖像質(zhì)量指標(biāo)數(shù)據(jù)比較Table 3 Comparison of image quality index data among different datasets

分析表3 數(shù)據(jù)可知，在NIQE 指標(biāo)的對(duì)比中，本文所提出的算法位列首位，GLAD 算法排名第2，對(duì)于NPE 數(shù)據(jù)集，排名僅次于GLAD 算法，對(duì)于MI 數(shù)據(jù)集，排名第1 的是GLAD 算法，DLN 排名第2，本文提出的算法排名第3。

綜上分析，提出的算法在不同數(shù)據(jù)集上表現(xiàn)良好，從而證實(shí)了此算法的適應(yīng)性、可行性與優(yōu)越性。

2.3 消融試驗(yàn)

文中的網(wǎng)絡(luò)結(jié)構(gòu)中加入了Mobile-Net 與殘差塊等結(jié)構(gòu)，為體現(xiàn)每部分網(wǎng)絡(luò)結(jié)構(gòu)對(duì)最終生成增強(qiáng)圖像的影響，進(jìn)行了相關(guān)的消融試驗(yàn)，來(lái)驗(yàn)證每部分網(wǎng)絡(luò)結(jié)構(gòu)的必要性和有效性，所選測(cè)試質(zhì)量指標(biāo)的圖片取自于礦井下低光照?qǐng)D像數(shù)據(jù)集（Mine-data）中的部分圖像，消融試驗(yàn)每種情況下的數(shù)值質(zhì)量指標(biāo)對(duì)比結(jié)果見(jiàn)表4。

表4 消融試驗(yàn)指標(biāo)對(duì)比Table 4 Comparison of alation experiments

從表4 中的數(shù)據(jù)可以直觀看出，缺少網(wǎng)絡(luò)的任一部分都會(huì)對(duì)最終增強(qiáng)圖像的指標(biāo)質(zhì)量產(chǎn)生不同程度的影響，這也證明了每一部分網(wǎng)絡(luò)結(jié)構(gòu)的必要性和有效性。

2.4 算法耗時(shí)性分析

為比較9 種增強(qiáng)算法的平均耗時(shí)，分別使用9種算法增強(qiáng)50 幅600×400 的測(cè)試圖像，統(tǒng)計(jì)其增強(qiáng)單幅圖像的平均耗時(shí)，具體數(shù)據(jù)比較結(jié)果見(jiàn)表5。

表5 各算法耗時(shí)性比較Table 5 Time consuming comparison of all algorithms

由表5 數(shù)據(jù)可知，本文算法平均計(jì)算速度0.237 s，略低于DLN、Retinex-Net、GLAD，位居第四，算法運(yùn)行速度較好。

3 結(jié) 論

1）該網(wǎng)絡(luò)為雙分支結(jié)構(gòu)，分別與Retinex 理論的光照分量和反射分量相對(duì)應(yīng)，在光照分量網(wǎng)絡(luò)分支和反射分量網(wǎng)絡(luò)分支分別實(shí)施光照分量調(diào)整和反射分量重構(gòu)。

2）光照調(diào)整網(wǎng)絡(luò)利用深度可分離卷積強(qiáng)化輪廓特征提取能力；反射重構(gòu)網(wǎng)絡(luò)利用殘差網(wǎng)絡(luò)結(jié)構(gòu)強(qiáng)化紋理細(xì)節(jié)信息提取，提升重構(gòu)反射分量紋理細(xì)節(jié)清晰度。

3）試驗(yàn)表明，文中針對(duì)礦井圖像紋理細(xì)節(jié)弱特征，構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)模型，相比目前公認(rèn)8 種圖強(qiáng)增強(qiáng)方法，更加適合礦井下低光照?qǐng)D像的增強(qiáng)，本文模型增強(qiáng)圖像在細(xì)節(jié)信息增強(qiáng)、對(duì)比度提高方面具有一定的優(yōu)勢(shì)。