葉 豐, 周 軍, 皇攀凌, 歐金順, 林樂(lè)彬

1(山東大學(xué) 機(jī)械工程學(xué)院, 濟(jì)南 250061)

2(山東大學(xué)高效潔凈機(jī)械制造教育部重點(diǎn)實(shí)驗(yàn)室, 濟(jì)南 250061)

3(山東大學(xué) 機(jī)械工程國(guó)家級(jí)實(shí)驗(yàn)教學(xué)示范中心, 濟(jì)南 250061)

圖像增強(qiáng)技術(shù)是數(shù)字圖像處理的一個(gè)重要分支.然而復(fù)雜的工業(yè)環(huán)境會(huì)影響到圖像采集的質(zhì)量, 特別是光照環(huán)境或物體表面反光等原因造成圖像整體光照不均. 因此引入圖像增強(qiáng)技術(shù)平衡整個(gè)圖像的受光問(wèn)題, 同時(shí)也能突出圖像中目標(biāo)物的特征信息, 進(jìn)而得到一種更加實(shí)用的圖像或者轉(zhuǎn)換成一種更適合人或機(jī)器進(jìn)行分析處理的圖像[1]. 圖像增強(qiáng)現(xiàn)已在諸多的領(lǐng)域中得到應(yīng)用, 如: 自動(dòng)駕駛、智能監(jiān)控系統(tǒng)、工業(yè)檢測(cè)系統(tǒng)以及航天航空領(lǐng)域等

傳統(tǒng)的圖像增強(qiáng)方法可粗略分為3 類分別為: 空域、頻域以及混合域. 其中, 以直方圖均衡[2]、伽馬變換[3]為主的空域方法主要是直接對(duì)圖像像素值進(jìn)行處理; 以小波變換[4]為例的頻域方法是在某種變換域內(nèi)進(jìn)行操作;將空域和頻域的一些方法結(jié)合就構(gòu)成了混合域. 傳統(tǒng)的方法所取得效果不是很理想, 一方面是采用的方法過(guò)于簡(jiǎn)單, 另外是沒(méi)有結(jié)合圖像中的上下文信息等.

近年來(lái), 卷積神經(jīng)網(wǎng)絡(luò)在圖像超分辨率[5]、去模糊[6]、去霧[7]、降噪[8]和圖像增強(qiáng)等許多低層次計(jì)算機(jī)視覺(jué)任務(wù)中取得了長(zhǎng)足的進(jìn)步. 與傳統(tǒng)方法相比, 一些基于CNN 的方法顯著提高了圖像增強(qiáng)的質(zhì)量[9]. 大多數(shù)現(xiàn)有訓(xùn)練方法都依賴配對(duì)數(shù)據(jù)去學(xué)習(xí)原始圖像與目標(biāo)圖像的映射關(guān)系, 得到最終的增強(qiáng)圖像[10].

而文章基于對(duì)Zero-DCE-Net 圖像增強(qiáng)網(wǎng)絡(luò)算法的研究[11]. 該網(wǎng)絡(luò)相比于同類研究的優(yōu)勢(shì)是消除了配對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練, 實(shí)現(xiàn)了零參考, 同時(shí)通過(guò)設(shè)計(jì)一組損失函數(shù)來(lái)避免過(guò)擬合的風(fēng)險(xiǎn)[12]. 此外該網(wǎng)絡(luò)模型考慮到像素值的范圍、單調(diào)性和可微性, 因此特別設(shè)計(jì)了曲線估計(jì), 通過(guò)將低光像素迭代至高階曲線, 首次實(shí)現(xiàn)像素級(jí)的動(dòng)態(tài)調(diào)整. 從而在保持增強(qiáng)圖像范圍的同時(shí)也保留了相鄰像素的對(duì)比度. 整個(gè)網(wǎng)絡(luò)由7 層全卷積組成, 經(jīng)過(guò)每一層卷積后, 噪聲一步步地被消除, 噪聲等級(jí)減小, 圖像內(nèi)容的細(xì)節(jié)也隨之丟失[13].

但隨著深度學(xué)習(xí)在圖像分類和目標(biāo)檢測(cè)的廣泛應(yīng)用[14], 訓(xùn)練需要高質(zhì)量的圖像作為訓(xùn)練集, 同時(shí)檢測(cè)過(guò)程光線影響也是非常大. 而檢測(cè)和分類就是依靠圖像的細(xì)節(jié)特征[15], 因此不僅需要對(duì)低光照?qǐng)D像增強(qiáng), 并且增強(qiáng)后的圖像應(yīng)該保留大部分的細(xì)節(jié)信息[16], 這有助于提升圖像分類準(zhǔn)確性以及目標(biāo)檢測(cè)的精度.

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 Zero-DCE 網(wǎng)絡(luò)結(jié)構(gòu)

原Zero-DCE 圖像增強(qiáng)網(wǎng)絡(luò)由對(duì)稱級(jí)聯(lián)的7 個(gè)卷積層的普通CNN, 前6 層卷積層由Conv 和ReLU 函數(shù)組成, 最后一層卷積層由Conv 和tanh 函數(shù)組成, 其中第1/2/3 層輸出和第4/5/6 層進(jìn)行通道級(jí)聯(lián). 每層卷積的通道數(shù)32, 卷積核大小3×3, 最后輸出R/G/B 三個(gè)通道8 次迭代的值, 因此是24 通道, 網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1.

圖1 Zero-DCE 網(wǎng)絡(luò)結(jié)構(gòu)

1.2 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)后的網(wǎng)絡(luò)核心架構(gòu)由7 層卷積和3 層反卷積組成, 此外增加兩個(gè)殘差塊. 第4/5/6 層為增加的反卷積層[17], 實(shí)現(xiàn)對(duì)圖像細(xì)節(jié)丟失的補(bǔ)償, 2 層殘差塊實(shí)現(xiàn)每層反卷積后與2/3 層求差, 通過(guò)去學(xué)習(xí)一個(gè)殘差值來(lái)平衡圖像細(xì)節(jié)信息, 達(dá)到降噪和提升圖像的清晰度[18].1/2/3/7/8/9 層由Conv 和ReLU 函數(shù)組成, 最后一層由Conv 和tanh 函數(shù)組成, 反卷積層和卷積層的通道數(shù)為互相對(duì)應(yīng)的, 都為32, 卷積核大小3×3, 最后輸出R/G/B三通道是經(jīng)過(guò)了10 次迭代后的值, 輸出通道為30. 改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示. 為方便書(shū)寫(xiě), 改進(jìn)后的網(wǎng)絡(luò)命名為IMZD-DevRd.

圖2 IMZD-DevRd 網(wǎng)絡(luò)結(jié)構(gòu)

2 網(wǎng)絡(luò)功能實(shí)現(xiàn)

零參考深度曲線估計(jì)網(wǎng)絡(luò)主要通過(guò)設(shè)計(jì)一組可微分的非參考損失來(lái)實(shí)現(xiàn)將深度網(wǎng)絡(luò)與光增強(qiáng)作為圖像特定曲線估計(jì)任務(wù), 從而對(duì)給定的圖像實(shí)現(xiàn)更精準(zhǔn)的動(dòng)態(tài)調(diào)整, 改進(jìn)網(wǎng)絡(luò)總體實(shí)現(xiàn)過(guò)程如圖3 所示. 零參考深度曲線估計(jì)網(wǎng)絡(luò)由3 個(gè)部分組成: LE-curve (光增強(qiáng)曲線)、DCE-Net (估算最佳擬合的光增強(qiáng)曲線)、Loss(損失函數(shù))[19].

圖3 改進(jìn)后網(wǎng)絡(luò)功能實(shí)現(xiàn)流程

2.1 光增強(qiáng)曲線

第1 部分LE-curve (光增強(qiáng)曲線)設(shè)計(jì)的非線性映射曲線有3 個(gè)點(diǎn)[20]: 1)為了避免由于截?cái)嘁绯龆鴮?dǎo)致圖像信息的丟失, 需將待處理圖像的每個(gè)像素歸一到[0, 1]范圍內(nèi); 2)為使得相鄰像素保留原有的差異性,光增強(qiáng)曲線需為單調(diào)的; 3)在梯度反向傳播過(guò)程中, 該曲線的形式盡可能簡(jiǎn)單并可微. 為了實(shí)現(xiàn)這3 個(gè)目標(biāo),設(shè)計(jì)了一個(gè)二階曲線, 表示如下:

其中,x為像素坐標(biāo),LE(I(x);α)為輸入圖像I(x)的增強(qiáng)結(jié)果, α ∈[?1,1]為可訓(xùn)練的曲線參數(shù), 并且所有操作都是像素級(jí)的并且每個(gè)像素都需要?dú)w一化到[0, 1]范圍內(nèi). 使用時(shí), 將LE 曲線分別應(yīng)用到RGB 三通道, 可以保留固有色彩并減少過(guò)擬合風(fēng)險(xiǎn).

通過(guò)式(1)的光增強(qiáng)曲線迭代后, 可以使得調(diào)整變得更靈活, 從而使模型能夠適應(yīng)各種弱光條件.

2.2 深度曲線估計(jì)網(wǎng)絡(luò)

第2 部分主要為深度曲線估計(jì)網(wǎng)絡(luò), 也是文章提出的改進(jìn)地方, 將一幅弱光圖像輸入, 會(huì)得到一組像素級(jí)曲線參數(shù)映射所對(duì)應(yīng)的高階曲線作為輸出, 網(wǎng)絡(luò)采用由1/2/3 和7/8/9 層具有對(duì)稱連接的卷積網(wǎng)絡(luò),4/5/6 層殘差層平衡圖像的細(xì)節(jié)信息, 輸入圖像首先在1/2/3 層卷積后, 然后通過(guò)殘差塊將2/3 層的輸出和4 層進(jìn)行整合輸入到第5 層反卷積層中, 依次往后推一層.

2.3 損失函數(shù)設(shè)計(jì)

第3 部分為損失函數(shù)的設(shè)計(jì), 原網(wǎng)絡(luò)損失函數(shù)由空間一致性損失[21]、曝光控制損失[22]、色彩恒常性損失[23]和光照平滑損失[24]4 部分組成. 改進(jìn)后的損失函數(shù)增加了內(nèi)容損失[25], 主要用于每次迭代生成后的圖像與上一次圖像進(jìn)行歐式距離計(jì)算, 保留圖像的語(yǔ)義信息, 最后疊加一個(gè)總的損失函數(shù).

(1)空間一致性損失(Lspa)

為保持圖像的空間一致性, 通過(guò)調(diào)整輸入圖像與增強(qiáng)圖像相鄰區(qū)域的梯度, 通過(guò)計(jì)算兩個(gè)圖像三通道均值, 得到兩個(gè)灰度圖像, 將其分解成若干個(gè)4×4 的塊,最后計(jì)算每個(gè)塊內(nèi)中心像素與相鄰像素的插值并求其均值. 其公式如下:

其中,K為局部區(qū)域的數(shù)量, Ω(i)是以區(qū)域i為中心的4 個(gè)相鄰域(上、下、左、右),Y和I分別為增強(qiáng)圖像和輸入圖像的局部區(qū)域平均強(qiáng)度值, 這個(gè)值根據(jù)經(jīng)驗(yàn)設(shè)置為4×4 大小, 如果設(shè)置為其他大小, 損失函數(shù)將變得穩(wěn)定.

(2)曝光控制性損失(Lexp)

為了抑制曝光不足或過(guò)度曝光區(qū)域, 所以設(shè)計(jì)了曝光控制性損失函數(shù)來(lái)控制曝光水平. 曝光損失控制是指局部區(qū)域的平均強(qiáng)度值與良好曝光級(jí)別E之間的距離[26]. 按照現(xiàn)有慣例,E為三原色空間的灰度級(jí)別,在本實(shí)驗(yàn)中將取E=0.6. 將圖像增強(qiáng)轉(zhuǎn)化為灰度圖, 分級(jí)為若干16×16 個(gè)塊, 計(jì)算每塊內(nèi)的均值[27]. 公式如下:

其中,M為大小16×16 的不重疊局部區(qū)域的數(shù)量,Y為增強(qiáng)圖像中局部區(qū)域的平均強(qiáng)度值.

(3)色彩恒常性損失(Lcol)

根據(jù)灰色世界顏色恒常性假設(shè)[28], 即將每個(gè)傳感器通道的顏色平均到整個(gè)圖像, 通過(guò)色彩恒常性損失來(lái)糾正增強(qiáng)圖像中潛在的顏色偏差, 并建立三通道之間的聯(lián)系, 盡可能使得增強(qiáng)后的顏色相關(guān). 函數(shù)設(shè)計(jì)如下:

其中,Jp代表增強(qiáng)圖像通道p的平均強(qiáng)度, (p,q)代表一對(duì)通道.

(4)光照平滑損失(LtvA)

在每個(gè)曲線參數(shù)映射中添加光照平滑損失以保持相鄰像素之間的單調(diào)關(guān)系, 這樣所有通道、迭代次數(shù)A(網(wǎng)絡(luò)輸出)的水平、垂直方向梯度平均值應(yīng)該很小.光照損失函數(shù)如下:

其中,N為迭代次數(shù), ?x、 ?y分別代表水平和垂直方向的梯度操作.

(5)內(nèi)容損失(Lcontent)

分別將每次迭代增強(qiáng)后的圖像與上一次迭代生成的圖像輸入到預(yù)訓(xùn)練好VGG 網(wǎng)絡(luò)[29]中提取特種, 然后計(jì)算像素之間的歐式距離來(lái)判別增強(qiáng)前后的差異性,可用來(lái)保持圖片的語(yǔ)義信息[30]. 其公式如下:

其中, ?j為VGG 網(wǎng)絡(luò)j層激活后的特征,Fw(Io)為每次迭代生成的增強(qiáng)圖像,It為上一次迭代生成的圖像.

總的損失Ltotal公式如下:

其中,wcol和wtvA分別為權(quán)值和損失值.

3 網(wǎng)絡(luò)評(píng)估與分析

實(shí)驗(yàn)設(shè)備: CPU 為Intel Xeon(R)W-2155, GPU 為GeForce RTX 2080 Ti/PCle/SSE2, 內(nèi)存64 GB 的臺(tái)式電腦. 實(shí)驗(yàn)數(shù)據(jù): 訓(xùn)練采用3 022 張不同曝光程度圖片,如圖4 所示, 其大小為512×512. 所有的程序都是在Linux系統(tǒng)下進(jìn)行編譯、鏈接與運(yùn)行, 其中網(wǎng)絡(luò)訓(xùn)練在PyTorch平臺(tái)上, 圖像質(zhì)量評(píng)估在Matlab 上進(jìn)行的測(cè)試.

圖4 不同曝光圖片

在得到訓(xùn)練好的權(quán)重后, 首先對(duì)部分低光照?qǐng)D像進(jìn)行了增強(qiáng)處理, 對(duì)比網(wǎng)絡(luò)改進(jìn)前后的圖像, 結(jié)果如圖5所示.

圖5 改進(jìn)網(wǎng)絡(luò)前后圖像對(duì)比

增強(qiáng)后的圖像無(wú)法僅僅通過(guò)肉眼去判別好壞, 因此通過(guò)在PSNR 和SSIM 兩種圖像質(zhì)量評(píng)估方法[31]中進(jìn)行了測(cè)試, 此外對(duì)傳統(tǒng)的拉普拉斯、直方圖均衡化、Retinex-Net[32]和Enlighten-GAN[33]作為對(duì)比. 測(cè)試結(jié)果如表1 所示.

通過(guò)表1 發(fā)現(xiàn), 改進(jìn)后的圖像質(zhì)量相比原來(lái)提升是比較明顯的. 另外通過(guò)對(duì)改進(jìn)前后的圖像進(jìn)行傅里葉變換[34]來(lái)驗(yàn)證改進(jìn)后圖像細(xì)節(jié)是否增加. 如圖6所示.

表1 幾種圖像增強(qiáng)方法的圖像質(zhì)量評(píng)估結(jié)果

傅里葉譜主要將圖像的時(shí)域轉(zhuǎn)成頻域, 圖像邊緣的灰度值變換快, 就對(duì)應(yīng)這頻率高, 即高頻顯示圖像邊緣, 而圖像細(xì)節(jié)處也就是屬于灰度值急劇變化的區(qū)域,正是因?yàn)榛叶戎档募眲∽兓艜?huì)出現(xiàn)細(xì)節(jié). 因此對(duì)改進(jìn)先后的圖片做傅里葉變換, 分析改進(jìn)先后圖像細(xì)節(jié)信息是否增加

由于改進(jìn)后的網(wǎng)絡(luò)在原網(wǎng)絡(luò)的基礎(chǔ)上, 增加了3 層反卷積和兩層殘差, 因此計(jì)算量勢(shì)必會(huì)有所增加,為了清晰的了解網(wǎng)絡(luò)改進(jìn)前后的一個(gè)時(shí)間開(kāi)銷, 本實(shí)驗(yàn)通過(guò)表2 記錄了改進(jìn)網(wǎng)絡(luò)前后訓(xùn)練以及測(cè)試耗時(shí)對(duì)比.

表2 網(wǎng)絡(luò)改進(jìn)前后的訓(xùn)練以及測(cè)試耗時(shí)對(duì)比

通過(guò)對(duì)比發(fā)現(xiàn), 改進(jìn)后的網(wǎng)絡(luò)后計(jì)算量明顯增加,訓(xùn)練時(shí)間也相應(yīng)增加, 但是在測(cè)試上面耗時(shí)不是相差很大, 對(duì)于應(yīng)用在大多的工業(yè)領(lǐng)域還是基本能夠滿足它的速度要求, 同時(shí)增加的圖像細(xì)節(jié)信息也能提高檢測(cè)的精度.

通過(guò)圖6(i) (原圖傅里葉譜減去Zero-DCE 的傅里葉譜)和圖6(j) (原圖傅里葉譜減去IMZD-DevRd 傅里葉譜)可以看出, 圖6(j)中的低頻部分是高于圖6(i)的,說(shuō)明原圖中高頻部分和改進(jìn)后增加的高頻部分抵消了,從而說(shuō)明改進(jìn)后的網(wǎng)絡(luò)確實(shí)可以增加圖像的細(xì)節(jié)信息.圖6(i)和圖6(l) (原圖傅里葉譜減去去原圖噪后的傅里葉譜, 即認(rèn)為噪聲)可以說(shuō)明Zero-DCE 的去噪效果, 此外通過(guò)圖6(k)可以說(shuō)明改進(jìn)后的也達(dá)到了和原網(wǎng)絡(luò)去噪的效果.

圖6 圖像傅里葉變換對(duì)比

此外, 通過(guò)比較目前主流的幾種圖像增強(qiáng)方法后圖像的視覺(jué)感知[35], 如圖7 所示. 主要對(duì)室內(nèi)和室外兩種環(huán)境進(jìn)行比對(duì), 可以發(fā)現(xiàn)改進(jìn)后的算法在室內(nèi)和室外視覺(jué)感知是優(yōu)于其他方法的, 其他幾種方法增強(qiáng)后圖像會(huì)出現(xiàn)失真、模糊和偽影的現(xiàn)象.

圖7 視覺(jué)感知對(duì)比

最后為了檢驗(yàn)改進(jìn)后的算法是否能提高目標(biāo)檢測(cè)的精度, 其中目標(biāo)檢測(cè)算法采用SSD, 數(shù)據(jù)集為VOC 2017 和VOC2012, 基于上述環(huán)境和配置中訓(xùn)練的網(wǎng)絡(luò)模型.

在目標(biāo)檢測(cè)和圖像分類訓(xùn)練中最主要是根據(jù)圖像的細(xì)節(jié)特征來(lái)分類訓(xùn)練得到所對(duì)應(yīng)的目標(biāo)網(wǎng)絡(luò)權(quán)重,進(jìn)而檢測(cè)和分類的圖像細(xì)節(jié)信息應(yīng)盡可能多與之對(duì)應(yīng).具體檢測(cè)效果如圖8 所示.

圖8 改進(jìn)前后目標(biāo)檢測(cè)情況

通過(guò)圖8 結(jié)果所示, 明顯改進(jìn)后對(duì)于目標(biāo)檢測(cè)的精度提高了很多, 這可以應(yīng)用在很多方面.

4 結(jié)論與展望

在對(duì)Zero-DCE-Net 圖像增強(qiáng)網(wǎng)絡(luò)的研究基礎(chǔ)上,針對(duì)卷積后圖像細(xì)節(jié)信息的丟失問(wèn)題, 提出了結(jié)合反卷積和小殘差網(wǎng)絡(luò)解決該問(wèn)題, 最后對(duì)改進(jìn)后的網(wǎng)絡(luò)進(jìn)行測(cè)試, 首先通過(guò)在圖像質(zhì)量評(píng)估方法PSNR 和SSIM中證實(shí)了改進(jìn)后的圖像質(zhì)量是優(yōu)于原網(wǎng)絡(luò)的, 其次通過(guò)傅里葉變換和目標(biāo)檢測(cè)驗(yàn)證了改進(jìn)后的網(wǎng)絡(luò), 不僅可以達(dá)到對(duì)圖像的增強(qiáng), 同時(shí)圖像細(xì)節(jié)信息也能得到補(bǔ)償, 這有助于在目標(biāo)檢測(cè)、圖像分類和圖像修復(fù)領(lǐng)域的廣泛應(yīng)用.