張新怡，端木春江

(浙江師范大學(xué)物理與電子信息工程學(xué)院，浙江 金華 321004)

0 引言

現(xiàn)今計(jì)算機(jī)視覺(jué)領(lǐng)域的基本任務(wù)如檢測(cè)、識(shí)別、分類(lèi)、分割等，已經(jīng)在一定條件下達(dá)到了較高的準(zhǔn)確率。然而，現(xiàn)有技術(shù)大多只能在特定條件下進(jìn)行圖像處理，例如常有指定的光照、背景和目標(biāo)姿態(tài)等要求。其中，陰影對(duì)圖像的進(jìn)一步處理造成較嚴(yán)重的阻礙。通常的解決辦法是在數(shù)據(jù)采集的源頭上避免陰影的產(chǎn)生。然而在真實(shí)世界中，背景信息的龐雜導(dǎo)致各種不可避免的陰影，這非?？简?yàn)各類(lèi)算法的魯棒性。圖像陰影去除，對(duì)各類(lèi)計(jì)算機(jī)視覺(jué)任務(wù)的預(yù)處理階段有幫助，有一定的研究?jī)r(jià)值和現(xiàn)實(shí)意義。

1 相關(guān)工作

隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的圖像去陰影研究以其無(wú)需手動(dòng)標(biāo)記的全自動(dòng)特性逐漸展現(xiàn)出較強(qiáng)的優(yōu)勢(shì)。Qu等人提出Deshadow-Net[1]網(wǎng)絡(luò)模型，該方法不需要對(duì)陰影進(jìn)行預(yù)測(cè)，而是直接去除比傳統(tǒng)方法有性能上的提升。Wang等人提出的ST-CGAN[2]網(wǎng)絡(luò)模型聯(lián)合進(jìn)行陰影檢測(cè)和陰影去除。ST-CGAN之后，涌現(xiàn)出了一批利用生成對(duì)抗網(wǎng)絡(luò)(GAN)進(jìn)行陰影去除的網(wǎng)絡(luò)模型，具有代表性的如Hu 等人提出的Mask-ShadowGAN[3]模型。除此之外，Hu 等人提出DSC[4]方法，利用方向感知上下文來(lái)改進(jìn)陰影檢測(cè)及去除；Le 等人提出SP+M-Net[5]模型，從陰影分解的角度提出了新的陰影去除方法；Fu[6]等人提出從圖像融合角度提出新的陰影去除的方法。

2 基于多曝光融合與超分辨率的耦合反饋網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)模型

去陰影網(wǎng)絡(luò)總體由兩部分構(gòu)成，多重曝光網(wǎng)絡(luò)與多曝光融合與超分辨率耦合反饋網(wǎng)絡(luò)，其兩部分構(gòu)成關(guān)系如圖1所示。

圖1 網(wǎng)絡(luò)模型

圖1 中，網(wǎng)絡(luò)輸入為陰影圖像與其對(duì)應(yīng)的掩膜圖像。這樣成對(duì)的陰影-掩膜圖像作為網(wǎng)絡(luò)的共同輸入，首先送入多重曝光網(wǎng)絡(luò)，對(duì)陰影圖像做多次過(guò)曝光處理，輸出生成多幅過(guò)曝光圖像，曝光后圖像的陰影區(qū)域與原圖像的非陰影區(qū)域有相同的顏色以及亮度，此后其共同作為下一模塊的輸入。此時(shí)的問(wèn)題轉(zhuǎn)化成如何把陰影圖像的非陰影區(qū)域與多重過(guò)曝光圖像的陰影區(qū)域結(jié)合成統(tǒng)一模式，本文提出多曝光融合與超分辨率耦合反饋網(wǎng)絡(luò)SR-MEF-net，利用圖像融合的方式對(duì)多重曝光圖像進(jìn)行融合，同時(shí)用超分辨率方法，降低融合過(guò)程中圖像的退化程度。

2.2 SR-MEF-net

本文提出一種多曝光融合級(jí)聯(lián)超分辯率模塊的耦合反饋的神經(jīng)網(wǎng)絡(luò)，旨在充分利用圖像融合以及超分辨率之間的交互與協(xié)作，以一對(duì)陰影與其對(duì)應(yīng)的掩膜圖像生成一幅高分辨率的去陰影圖像。其模塊化網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 SR-MEF-net網(wǎng)絡(luò)結(jié)構(gòu)

提取的初級(jí)特征送入超分辨率模塊（SRB），提取圖像的更多高級(jí)特征Gi，為后續(xù)的融合模塊提供支持。此時(shí)圖像高級(jí)特征為初始高級(jí)特征

此時(shí)取高分辨率特征直接送入重建模塊（R），能夠得到對(duì)應(yīng)的超分辨率殘差，并與低分辨率圖像的上采樣進(jìn)行加和，即可生成原低分辨率陰影圖像的超分辨率重建圖像ISR。

G和的目的在于，提供互補(bǔ)信息用來(lái)提高融合性能。然而經(jīng)過(guò)單個(gè)MCFB 不能令圖像之間的特征充分得到反饋而收集到足夠的融合信息，所以在模型種設(shè)置T 個(gè)MCFB，每個(gè)MCFB 的輸出是具有更高融合特征的，此時(shí)的得到充分的反饋信息：

經(jīng)過(guò)T個(gè)MCFB輸出充分融合后的融合高分辨率特征。融合高分辨率特征送入重建模塊（R），得到對(duì)應(yīng)的融合超分辨率殘差圖像，并與LR 圖像的上采樣級(jí)聯(lián)，即可生成對(duì)應(yīng)具有融合特征的超分辨率圖像：

為具有融合特征的高分辨率圖像。得到N 個(gè)具有高度融合特征的超分辨率圖像后，進(jìn)行加權(quán)融合后，得到最終的陰影去除圖像Iout：

ωi為各自對(duì)應(yīng)的權(quán)重，Iout為最終輸出的陰影去除后的超分辨率重建圖像。

2.3 損失函數(shù)

陰影去除網(wǎng)絡(luò)的損失函數(shù)由三部分構(gòu)成：①在多重曝光網(wǎng)絡(luò)中，生成一系列多重過(guò)曝光圖像Ii與地面真實(shí)圖像Ifree之間的損失，以均方誤差作為損失函數(shù)。②在SR-MEF-net 中，地面真實(shí)圖像Ifree與其未經(jīng)融合的超分辨率重建圖像ISR與之間的損失，以平均結(jié)構(gòu)差異指數(shù)度量作為損失函數(shù)。③在SR-MEF-net 中，地面真實(shí)圖像Ifree與經(jīng)過(guò)SR-MEF-net 曝光融合過(guò)后的超分辨率重建去陰影圖像Iout之間的損失，以L1 損失作為損失函數(shù)。

由于網(wǎng)絡(luò)是端到端訓(xùn)練的，三種損失配以各自的權(quán)重，其和為本陰影去除網(wǎng)絡(luò)的總損失函數(shù)。通過(guò)最小化損失函數(shù)實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的訓(xùn)練。

3 實(shí)驗(yàn)結(jié)果與分析

與其他去陰影研究保持一致，采用RMSE 作為評(píng)價(jià)陰影去除網(wǎng)絡(luò)性能的指標(biāo)，包括陰影區(qū)域，非陰影區(qū)域以及整體圖像的RMSE。采用峰值信噪比PSNR和結(jié)構(gòu)相似度SSIM 作為評(píng)價(jià)SR 性能的指標(biāo)。對(duì)于公開(kāi)去陰影模型，選取DSC[4]、Fu et.al[6]、SP+M+D-net[5]；對(duì)于超分辨率重建模型，選取EDSR[7]、RCAN[8]、SRFBN[9]進(jìn)行對(duì)照。表1、表2為ISTD+數(shù)據(jù)集上放大因子為×2時(shí)，描述超分辨率性能和去陰影性能的數(shù)據(jù)指標(biāo)。

表1 ISTD+數(shù)據(jù)集上放大因子為×2時(shí)，描述超分辨率性能的指標(biāo)

表2 ISTD+數(shù)據(jù)集上放大因子為×2時(shí)，描述去陰影性能的指標(biāo)RMSE

可以發(fā)現(xiàn)，本文模型較其他方法有一定的性能提升，在SR 表現(xiàn)上，本文方法比次優(yōu)方法PSNR 提高了2.333dB，SSIM 提高了0.0318。在陰影去除表現(xiàn)上，本文方法比次優(yōu)方法RMSE-Shadow 降低了8.0730，RSME-Non降低了4.041，RMSE-All降低了5.3393。

圖3 為ISTD+數(shù)據(jù)集上放大因子為×2 時(shí)不同方法的陰影去除超分辨率重建圖像?？梢杂^察到，本文方法能夠在有效去除陰影的同時(shí)，最大程度地保持圖像質(zhì)量。其他方法或不能完全去除陰影，或在陰影去除過(guò)程中產(chǎn)生了不理想的模糊和噪聲。

圖3 放大因子為×2視覺(jué)對(duì)比

4 總結(jié)與展望

本文提出一種基于圖像融合與圖像超分辨率重建相結(jié)合的方法用于圖像陰影去除。通過(guò)LR 多重過(guò)曝光圖像作為網(wǎng)絡(luò)輸入，以耦合反饋的方法將多重圖像進(jìn)行融合生成無(wú)陰影圖像，同時(shí)能有效減少圖像失真，最終輸出無(wú)陰影的超分辨重建圖像。在公共數(shù)據(jù)集上得到驗(yàn)證，并證明優(yōu)于部分方法。受計(jì)算資源的限制，本文訓(xùn)練集較小，在今后的工作中，可以選用更大的數(shù)據(jù)集，提高泛化能力。