張淑萍，吳 文，萬 毅

（1. 新疆理工學院信息工程系，新疆阿克蘇843100； 2. 溫州大學電氣與電子工程學院，浙江溫州325035）

0 引言

陰影廣泛存在于圖像中，它可以為圖像深度預估等計算機視覺研究工作提供諸多重要信息，但也會大幅度增加物體檢測、目標跟蹤等任務的難度。因此，圖像陰影去除一直是圖像處理領域的一個研究熱點。陰影具有較多形狀與類型，而其類型可分為全影和半影：全影位于陰影內(nèi)部，其光源被全部遮擋，僅在環(huán)境光的影響下，其亮度較低，顏色偏黑；半影位于全影至非陰影區(qū)域之間，其光源照射逐漸恢復正常，在環(huán)境光和光源的綜合影響下，其亮度逐漸變強，顏色逐漸恢復正常。

陰影去除方法通常先后需要進行陰影定位和陰影去除。在陰影定位過程中，文獻［1-3］中使用的是陰影檢測的方法：其中文獻［1］的方法是基于統(tǒng)計學習的方法，但該方法過度依賴自定義的陰影特征；文獻［2］中基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）進行陰影檢測，但因受到數(shù)據(jù)集規(guī)模的限制與塊處理機制的影響，該方法一方面不具有較好的泛化能力，另一方面還需要額外的全局優(yōu)化步驟以保證圖像的全局連貫性。文獻［4-6］中使用的人工標記方法雖能準確地定位陰影，但需要大量的額外標注工作。在陰影去除過程中，傳統(tǒng)的陰影去除方法可分為光照遷移法［4-6］、梯度域去除法［7-10］以及顏色域去除法［1-2，4，11-12］。文獻［4-6］中基于光照遷移法為陰影區(qū)域中的圖像塊找到最佳匹配的非陰影塊后進行光照信息填充，但因為需要進行圖像分割、聚類等一系列預處理，效率有待提高；文獻［8-9］中基于梯度域去除法僅僅只改變半影的梯度變量，因此對于全影的光照變量并不適用；顏色域去除法［2，12］中，文獻［2］中使用貝葉斯公式提取蒙版圖像以去除圖像中的陰影，而文獻［12］中使用強度表面恢復法去除陰影。

近年來，端到端的陰影去除方法［13-17］以其運算效率迅速成為主流，該類方法可分為本征分解法［13］和深度學習法［14-17］。文獻［13］中基于本征分解繞開了陰影檢測環(huán)節(jié)，但該方法會改變非陰影區(qū)域的顏色，違背了陰影去除的初衷?；谏疃葘W習的諸多陰影去除方法［14-17］中：文獻［14］中基于CNN，結(jié)合圖像中陰影的外表與語義信息為陰影圖像生成蒙版以得到陰影去除結(jié)果；文獻［15］中使用兩個條件生成對抗網(wǎng)絡（conditional Generative Adversarial Networks，cGANs）分別進行陰影檢測和陰影去除；文獻［16］中基于cGANs 構(gòu)建陰影圖像衰減器以生成多樣的圖像樣本從而提高模型的泛化能力。其中文獻［14-16］均使用陰影圖像和對應的無陰影圖像作監(jiān)督學習訓練，而數(shù)據(jù)采集的過程是使用相機先拍攝陰影圖像，然后撤去不同形狀的遮擋物拍攝對應的無陰影圖像。此類方法構(gòu)建的數(shù)據(jù)集存在一個較大的問題：在拍攝陰影圖像和對應的無陰影圖像時，由于攝像機曝光和姿勢以及環(huán)境光照已經(jīng)發(fā)生改變，導致陰影圖像和對應無陰影圖像組成的圖像對在顏色信息、光照信息或空間位置上不一致。這將造成模型無法精確地學習陰影和非陰影之間的內(nèi)在聯(lián)系，從而形成陰影恢復區(qū)域與非陰影區(qū)域的顏色、光照信息不連貫的現(xiàn)象。

為了得到更好陰影去除結(jié)果，本文首先結(jié)合多任務學習方法對陰影圖像進行陰影檢測和蒙版生成，其中陰影檢測任務旨在標識出不同類型陰影的位置，而蒙版生成任務則是模擬陰影像素和非陰影像素之間的內(nèi)在聯(lián)系。在此基礎上，分別為不同類型的陰影設計不同的模塊分階段地去除全影和半影，以得到邊界過渡自然的去陰影結(jié)果。

1 多階段生成對抗網(wǎng)絡

生成對抗網(wǎng)絡（Generative Adversarial Network，GAN）［18］中的生成器可以生成一幅逼真的圖像，而判別器旨在判斷該圖像的真假。在訓練過程中，生成器G 的目標是盡量生成真實的圖像欺騙判別器D，而D旨在把G生成的圖片和真實的圖片區(qū)分開來，二者構(gòu)成一個動態(tài)的“博弈過程”。cGANs［19］進一步拓展了GAN［18］，它允許在生成器和判別器中引入額外的條件信息，該信息常常為類別信息。文獻［20］中基于cGANs［19］使用圖像作為條件信息，訓練生成器生成另一幅圖像；而文獻［21］中將蒙版圖像作為條件信息，較為簡單地將cGANs應用到陰影去除領域，該方法旨在讓生成器生成蒙版，然后使用式（1）計算得到無陰影圖像。

根據(jù)文獻［12，14，22］的研究可知，若陰影圖像為x ∈ [0，1]p×q×3，無陰 影 圖像為 y ∈ [0，1]p×q×3，則存在蒙 版s ∈ [0，1]p×q×3滿足式（1），其中s表示陰影尺度因子。通過大量的實驗，筆者發(fā)現(xiàn)文獻［21］中的方法并不能為陰影圖像生成一幅合理的蒙版圖像。相較于生成一幅普通的圖像，為一幅陰影圖像生成一幅逼真且能詳細反映光照衰減效應的蒙版圖像將更加具有挑戰(zhàn)性。原因在于訓練樣本中同一場景的陰影圖像與無陰影圖像，因可用數(shù)據(jù)集中缺乏固定拍攝裝置、陰影圖像與真實無陰影圖像拍攝間隔過久等原因，會導致訓練樣本產(chǎn)生較大的誤差，從而影響文獻［21］方法的處理結(jié)果。展示兩幅不同場景下文獻［21］方法的結(jié)果如圖1 所示，其中：圖1（a）為陰影圖像；圖1（b）為標簽（Ground Truth，GT）蒙版；圖1（c）為文獻［21］方法生成的蒙版；圖1（d）為文獻［21］方法的陰影去除結(jié)果；圖1（e）為圖1（d）中矩形區(qū)域的放大細節(jié)。文獻［21］方法直接使用生成器為陰影圖像生成蒙版圖像，然后使用式（1）完成陰影去除。該類方法存在以下兩個問題：1）受到訓練集誤差的諸多限制，生成的蒙版圖像在全局范圍內(nèi)均存在值（見圖1（c）），這將導致最終的陰影去除圖像在非陰影區(qū)域也會發(fā)生改變（見圖1（d）），這違背了陰影去除的初衷；2）陰影存在不同的類型，采用統(tǒng)一的去除策略將會使結(jié)果存在明顯的陰影邊界（見圖1（e））。

對于第1）個問題，本文使用陰影檢測結(jié)果正確地引導蒙版的作用范圍，從而減小其對非陰影區(qū)域的影響；對于第2）個問題，本文將設計不同的模塊應對不同類型的陰影。為了準確地標識全影、半影以及非陰影區(qū)域，本文方法不再使用陰影二值掩膜［15-17］簡單地標記陰影和非陰影區(qū)域。文獻［1］中基于陰影檢測的結(jié)果對陰影圖像運用摳圖的思路來區(qū)分不同的陰影類型，本文則將該思路遷移到深度神經(jīng)網(wǎng)絡中，提出使用Alpha matting 技術［23］預先處理訓練樣本以得到相應的陰影掩膜M。訓練樣本中M 的元素Mi的值存在三種情況：Mi= 1用于標識陰影掩膜中第i個元素為全影像素；Mi= 0標識非陰影像素，Mi∈ (0，1)標識半影像素。

圖1 文獻［21］方法的陰影去除結(jié)果Fig.1 Shadow removal results of method in literature［21］

圖2 詳細展示了本文方法的生成器內(nèi)部結(jié)構(gòu)：陰影檢測子網(wǎng)生成陰影掩膜M^，蒙版生成子網(wǎng)生成蒙版s^。兩個不同的模塊用于處理不同類型的陰影。全影模塊根據(jù)陰影掩膜和蒙版之間的約束關系僅僅只修復全影，得到全影去除結(jié)果y′；半影模塊基于小規(guī)模圖像復原的構(gòu)想生成邊界復原結(jié)果r。最后，使用式（2）結(jié)合y′與r 就能得到過渡自然的陰影去除結(jié)果y^。

1.1 多任務驅(qū)動的生成器

多任務驅(qū)動的生成器包含陰影檢測任務和蒙版生成任務。其中陰影檢測子網(wǎng)為輸入圖像生成陰影掩膜M^，通過M^的值可以標識不同的陰影類型；而蒙版生成子網(wǎng)試圖學習陰影圖像到非陰影圖像之間的內(nèi)在聯(lián)系，從而生成蒙版s^。對于整個生成器而言，這兩個部分的功能相對獨立，為了避免因網(wǎng)絡復雜導致訓練無法收斂，對兩個子網(wǎng)進行預訓練，可以大幅度減少訓練時間。陰影檢測子網(wǎng)和蒙版生成子網(wǎng)的預訓練損失函數(shù)分別如式（3）、（4）所示：

其中：N 表示訓練樣本圖像的個數(shù)；M 是真實的陰影掩膜，而M^ 表示網(wǎng)絡生成的陰影掩膜；s是真實的蒙版，而s^表示網(wǎng)絡生成的蒙版。

圖2 生成器結(jié)構(gòu)Fig. 2 Architecture of generator

1.1.1 全影模塊

陰影檢測任務和蒙版生成任務完成之后，根據(jù)檢測結(jié)果對蒙版進行切分。面對大面積的全陰影區(qū)域，全影模塊旨在去除內(nèi)部陰影而不更改非陰影區(qū)域的像素，所以僅需要在陰影掩膜中Mi= 1 的區(qū)域提取相應的全影蒙版s^ u = M^ · s^；面對小面積的半陰影區(qū)域，為了得到更自然的邊界過渡結(jié)果，在半陰影模塊的處理過程中將不再使用蒙版輔助完成去除任務，而是使用圖像修復的思路修復陰影邊界。理論上，僅僅只需要提取陰影掩膜中Mi∈(0，1)的區(qū)域作為圖像的待修復區(qū)域；對于Mi= 0的非陰影區(qū)域，在與對應區(qū)域的蒙版進行像素級乘法運算之后，便不會對非陰影區(qū)域產(chǎn)生影響。

但在實際網(wǎng)絡推算過程中，陰影檢測子網(wǎng)無法100%確定某個像素是否屬于陰影。經(jīng)過超參數(shù)分析實驗（見2.4 小節(jié)），設置 0.25 ＜ Mi＜ 0.85、Mi≤ 0.25、Mi≥ 0.85 分別作為半影、非陰影以及全影區(qū)域的判定標準。

全影模塊的內(nèi)部邏輯如圖3 所示，其輸入為陰影掩膜M^、蒙版s^ 以及陰影圖像x。根據(jù)全影模塊的需求，提取掩膜中Mi≥0.85 的區(qū)域相應的全影蒙版s^u，將其與陰影圖像x 進行運算得到全影去除圖像y′。而對于Mi≤0.25的非陰影區(qū)域和0.25 ＜Mi＜0.85的半陰影區(qū)域，暫時保留其像素不進行處理，具體見式（5）。

其中：M^i、s^ui、xi、y^i為M^、s^u、x、y′對應矩陣中的第 i個元素。

圖3 全影模塊Fig. 3 Umbra module

1.1.2 半影模塊

若不區(qū)分陰影的類型，采用一致性的策略處理所有類型的陰影將導致最終結(jié)果存在明顯的陰影邊界［14-17，21］，這會極大地影響圖像的觀賞性與機器理解過程。為此，半影模塊結(jié)合感知損失，以高層語義信息為引導，在小范圍修復陰影邊界區(qū)域的同時實現(xiàn)陰影邊界處的友好過渡。半影模塊受到式（2）與最終目標函數(shù)的約束，旨在修復半影掩膜M^p對應的圖像區(qū)域，其內(nèi)部結(jié)構(gòu)如圖4所示。

圖4 半影模塊Fig. 4 Penumbra module

圖4 中半影模塊的輸入為陰影掩膜M^ 以及全影去除圖像y′。根據(jù)半影模塊的需求，提取半影掩膜M^p，基于圖像修復的思想，將M^p作為圖像y′的待修復區(qū)域。與陰影檢測子網(wǎng)和蒙版生成子網(wǎng)一樣，其功能相對獨立，對其進行預訓練以使得最終的整體網(wǎng)絡在訓練時可以較好地達到收斂。其網(wǎng)絡輸入為三通道的y′以及單通道的M^p構(gòu)成的四通道圖像；其輸出為三通道的陰影去除圖像。邊界復原子網(wǎng)預訓練目標函數(shù)如式（6）所示。

其中：N為訓練樣本的個數(shù)；y為真實無陰影圖像的標簽數(shù)據(jù)；R(·)為邊界復原子網(wǎng)的輸出。邊界修復子網(wǎng)旨在縮小修復區(qū)域與GT圖像在邊界半陰影區(qū)域M^p上的像素差異。

受到文獻［22］方法的啟發(fā)，若模型僅僅使用式（6）中的像素差異作為優(yōu)化目標，這種基于像素的優(yōu)化方式會忽略圖像的全局相似性，導致陰影邊界修復的半陰影區(qū)域視覺效果較差。本文結(jié)合感知損失函數(shù)［22］最小化陰影去除圖像與真實無陰影圖像在圖像語義層面的差異，見式（7）。不同的是，本文不再使用預先訓練好的深度網(wǎng)絡提取GT 圖像和陰影去除圖像y^ 的特征，而使用后續(xù)的判別器提取二者的高級語義特征，同時大大降低了模型的復雜度。

其中：n 為判別器的總層數(shù)，y^ 為前后經(jīng)歷兩個模塊處理得到的無陰影結(jié)果，y 為真實的無陰影圖像；Di是判別器的第i 層，Ci是第i層對應的通道數(shù)，Hi和Wi是第i層特征圖的長和寬。

1.1.3 判別器

本文網(wǎng)絡中的判別器與文獻［20］中類似，本文的判別器旨在判斷生成器為陰影圖像生成的陰影去除圖像是否為真，本質(zhì)上該階段為一個圖像二分類問題。判別器包含多個卷積塊，每個卷積塊中，卷積層都緊跟著批標準化［24］和泄露修正線性單元（Leaky Rectified Linear Unit，LReLU）。判別器的最后一層為一個Sigmoid函數(shù)，其輸出為某對圖像為真的概率值。

1.2 組合損失函數(shù)

本文網(wǎng)絡的損失函數(shù)由最小均方損失為主導，輔以平均絕對誤差損失和復原損失組合而成，其加權(quán)形式如式（8），其作用是在多個子網(wǎng)預訓練之后，朝著額外的約束進行最后的優(yōu)化，因此其構(gòu)成不包含預訓練的損失函數(shù)項。

其中：E表示求期望運算；x，y～Pdata(x，y)表示x和y均源自于真實的訓練數(shù)據(jù)集，屬于同一數(shù)據(jù)分布。而x表示輸入的陰影圖像，y表示真實無陰影圖像，y^ 為全影去除圖像，D(·)為判別器，例如D(x，y^ )旨在判斷生成器生成的陰影去除圖像是否為真，其輸出為一個0到1的概率值。

此外，式（10）中的平均絕對誤差損失則鼓勵生成的結(jié)果與真實無陰影圖像更為貼近。

其中，N表示訓練樣本的個數(shù)。式（10）旨在求得一個平均誤差。

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)集

將客觀數(shù)據(jù)集 SRD［14］和 ISTD［15］合并為綜合數(shù)據(jù)集。其中，SRD［14］包含 3 088 組陰影和無陰影圖像，ISTD［15］包含 1 870組陰影、陰影二值掩膜和無陰影圖像。受到文獻［16］的啟發(fā)，使用像素的均方根誤差（Root Mean Square Error，RMSE）計算綜合數(shù)據(jù)集中陰影圖像和真實無陰影圖像在非陰影區(qū)域的誤差，選取誤差較少且場景多樣的1 500 組圖像。然后，將這1 500組圖像中的陰影圖像和無陰影圖像相減，在三個通道上設置閾值為20，再進行形態(tài)學濾波和人工調(diào)整錯誤的陰影像素標簽，為數(shù)據(jù)集得到相應的陰影二值掩膜。

如圖5 所示，基于綜合篩選數(shù)據(jù)集中的陰影二值掩膜（圖5（b）），使用文獻［23］中的摳圖方法得到陰影Alpha 掩膜，如圖5（b）所示；使用式（1）將圖5（d）除以圖5（a）得到圖5（c）中的樣本蒙版；圖5（a）和圖5（b）用于預訓練陰影檢測子網(wǎng)，圖 5（a）和圖 5（c）用于預訓練蒙版生成子網(wǎng)，而圖 5（a）和圖5（d）用于訓練本文網(wǎng)絡中的生成器與判別器。最后，抽取綜合篩選數(shù)據(jù)集中80%的數(shù)據(jù)用于本文網(wǎng)絡的訓練，剩余的20%用于可行性檢驗。

2.2 訓練過程與網(wǎng)絡結(jié)構(gòu)

基于 Tensorflow［26］使用 Python 在 Ubuntu 18.04 下完成編程實驗，硬件內(nèi)存為16 GB，八核Inter CPU I7，圖像處理器（GPU）采用 NVIDIA GTX 1080Ti。網(wǎng)絡中，LReLU 的斜率設置為0.25，使用Adam 作為目標函數(shù)的梯度下降方法。與傳統(tǒng)的cGANs［19］一樣，訓練時，生成器與判別器交替更新參數(shù)，在600 個循環(huán)后停止訓練，其中卷積層和反卷積層的權(quán)重按均值為0、方差為0.2的正態(tài)分布進行初始化。數(shù)據(jù)增大方法采用常規(guī)的剪切、翻轉(zhuǎn)和旋轉(zhuǎn)等方法至256 × 256大小。設置超參數(shù)λ1= 0.5，λ2= 0.3，λ3= 0.2。本文網(wǎng)絡的生成器采用文獻［15］中的UNet結(jié)構(gòu)，UNet結(jié)構(gòu)由一個收縮通道和一個擴張通道組成，其中收縮通道用于提取語境特征，而與其對稱的擴張通道則用于圖像上采樣以得到一幅生成圖像。判別器的結(jié)構(gòu)同樣與文獻［15］一致，包含多個卷積塊，每個卷積塊中，卷積層都緊跟著批標準化［24］和激活函數(shù)LReLU。判別器的最后一層為一個Sigmoid 函數(shù)，其輸出為某對圖像為真的概率值。

圖5 綜合篩選數(shù)據(jù)集示例Fig. 5 Samples of comprehensively filtered dataset

2.3 客觀評價指標

使用平衡誤差率（Balanced Error Rate，BER）作為陰影檢測的衡量指標，計算方法如式（11）所示。

1.6 旺樹養(yǎng)分回流引起萎蔫 根據(jù)調(diào)查，果實萎蔫的樹普遍偏旺，立秋后甲口愈合養(yǎng)分回流萎蔫多。這是由于甲口愈合后，根系為了滿足恢復生長，調(diào)運大量養(yǎng)分，果實營養(yǎng)不足引起萎蔫。

其中：TP、TN、FP和FN分別表示正確生成的陰影像素、正確生成的非陰影像素、錯誤生成的陰影像素以及錯誤生成的非陰影像素。

使用RMSE（式（12））和結(jié)構(gòu)相似性（Structural SIMilarity index，SSIM）（式（13））作為陰影去除衡量指標。其中RMSE衡量陰影去除圖像和真實無陰影圖像之間的誤差，而SSIM 反映了結(jié)構(gòu)信息，更符合人類視覺對圖像的感知。

其中：I和I′分別代表陰影去除之前和之后的圖像，由R、G、B三通道組成；n為輸入圖像的像素點個數(shù)。

其中：μx是x的平均值，μy是μx的平均值；是x的方差是y的方差，σxy是x和y的協(xié)方差；c1=(k1L)2，c2=(k2L)2是用來穩(wěn)定的常數(shù)，其中L是像素值的動態(tài)范圍，而k1= 0.01，k2=0.03。結(jié)構(gòu)相似性的范圍是0 到1，當兩張圖像一模一樣時，SSIM的值等于1。

2.4 可行性分析

在可行性分析環(huán)節(jié)，本文先后針對不同陰影類型概率閾值的選取以及不同種類損失函數(shù)的組合進行分析。首先，在篩選數(shù)據(jù)集上使用網(wǎng)格搜索參數(shù)調(diào)優(yōu)法進行陰影檢測的BER分析。劃分參數(shù)范圍區(qū)間，設置多組不同的閾值后，將M^ 對比標簽陰影檢測圖像M，分析不同閾值帶來的平衡誤差率。如表1所示，選取幾組參數(shù)及其對應各區(qū)域的BER作為展示。

表1 超參數(shù)分析Tab. 1 Analysis of hyperparameters

通過先驗知識非陰影區(qū)域和陰影區(qū)域中的像素為陰影的概率往往趨向0和1，結(jié)合表1中的參數(shù)網(wǎng)格分析，設置0.25 ＜Mi＜ 0.85 可以很好地覆蓋半陰影區(qū)域M^p，而Mi≤ 0.25、Mi≥0.85分別作為非陰影和全陰影區(qū)域的判定標準。而繼續(xù)擴大半陰影區(qū)域的取值范圍會增大待修復邊界的面積，從而導致陰影去除結(jié)果失真，評估誤差增大。

其次，選取不同組合方式的損失函數(shù)，對其結(jié)果進行RMSE 和SSIM 分析，如表2 所示。實驗結(jié)果表明，與常規(guī)的對抗損失函數(shù)La［19］不一樣，使用最小均方損失Ll［25］為主導可以得到更好的結(jié)果。此外，感知損失Lp與平均絕對誤差損失Lm均可以進一步提高去陰影效果。

表2 不同種類的損失函數(shù)的量化評估Tab. 2 Quantitative evaluation of effects of different loss functions

2.5 結(jié)果量化分析

因陰影檢測和陰影去除同屬圖像處理領域中較為熱門的研究方向，又因諸多方法無法兼顧陰影檢測和蒙版生成，本文從陰影檢測、蒙版生成以及最終的陰影去除結(jié)果三個角度采用不同場景的圖像進行實驗對比。

首先，從陰影檢測角度對本文方法、文獻［1］方法與文獻［15］方法進行分析。如圖6 所示，在測試集中選取四幅不同場景的圖像，其包括跨紋理陰影、軟陰影和硬陰影等多種類型的陰影以綜合測試不同方法的檢測性能。其中：文獻［1］方法使用支持向量機（Support Vector Machine，SVM）完成陰影的檢測，然后基于物理光照模型去除陰影；文獻［15］方法基于cGANs 同時進行陰影檢測和陰影去除任務，陰影檢測和陰影去除相互學習、相互促進。

圖6（a）為待處理的陰影圖像；圖6（b）為真實陰影二值掩膜；圖6（c）為文獻［1］方法的陰影檢測結(jié)果；圖6（d）為文獻［15］方法的陰影檢測結(jié)果；圖6（f）為本文方法的結(jié)果。比較圖6（b）和圖6（c），因為缺乏魯棒的陰影特征，傳統(tǒng)特征提取的機器學習方法無法準確地檢測出較淺的陰影，如第二行水泥地面上傘的陰影和第四行草地上人物陰影。相較于傳統(tǒng)的機器學習方法，基于cGANs 的文獻［15］方法和本文方法在這個方面表現(xiàn)得相對較好。比較圖6（d）和圖6（e），因本文使用文獻［23］預處理的Alpha Matting 結(jié)果作為訓練樣本，使得本文方法在陰影邊界處的檢測細節(jié)更加豐富。

圖6 本文方法與文獻［1，15］方法在篩選數(shù)據(jù)集上的陰影檢測結(jié)果Fig. 6 Shadow detection results on filtered dataset by the proposed method and the methods in reference［1，15］

其次，從蒙版生成的角度對本文方法和文獻［14］方法進行比較。如圖7 所示，在測試集中選取四幅不同場景的圖像，其包括跨紋理陰影、軟陰影和硬陰影等多種類型的陰影以綜合測試不同方法的蒙版生成性能。文獻［14］方法基于卷積神經(jīng)網(wǎng)絡VGG-16 構(gòu)建多語境結(jié)構(gòu)，為陰影圖像生成蒙版，其初次將深度學習與蒙版生成結(jié)合到一起，得到了不錯的陰影去除結(jié)果。圖7（a）為待處理的陰影圖像；圖7（b）為真實的蒙版圖像；圖7（c）為文獻［14］方法的蒙版結(jié)果；圖7（d）本文方法的蒙版結(jié)果；圖7（e）、圖7（f）、圖7（g）分別為真實無陰影圖像、文獻［14］方法的無陰影結(jié)果以及本文的無陰影結(jié)果。對比圖7（c）和圖7（d），因全影模塊的特殊設計，陰影掩膜對陰影蒙版進行了區(qū)域限制，使得陰影蒙版幾乎不會對非陰影區(qū)域產(chǎn)生影響，從而得到更加合理的結(jié)果。如圖7（g）所示，因?qū)ｉT設計半影模塊處理陰影邊界區(qū)域，本文方法的陰影邊界相較于文獻［14］方法，過渡更加自然。

如圖8 所示，選取三幅場景多樣的圖像，從陰影去除的角度，將本文方法與文獻［1］方法和文獻［15］方法進行比較。圖8（a）為待處理的陰影圖像；圖8（b）為真實無陰影圖像；圖8（c）為文獻［1］方法的陰影去除結(jié)果；圖8（d）為文獻［15］方法的陰影去除結(jié)果；圖8（e）本文方法的陰影去除結(jié)果。圖8（c）中文獻［1］方法因陰影檢測不精準導致無法得到滿意的陰影去除結(jié)果。圖8（d）中，文獻［15］方法使用深度學習的特征提取能力，相較于文獻［1］方法有了較大的提升。但本文方法無論是篩選后的低誤差訓練數(shù)據(jù)，還是多任務、多模塊驅(qū)動的陰影去除框架都能夠協(xié)助生成器獲得更好的陰影去除結(jié)果。如圖8（e）所示，第一行到第四行中，陰影區(qū)域還原更加準確，陰影邊界過渡更為自然，非陰影區(qū)域幾乎沒有發(fā)生改變。

圖7 本文方法與文獻［14］方法在篩選數(shù)據(jù)集上的蒙版生成與陰影去除結(jié)果Fig. 7 Shadow matte generation and shadow removal results on filtered dataset by the proposed method and the method in reference［14］

圖8 本文方法與文獻［1，15］方法在篩選數(shù)據(jù)集上的陰影去除結(jié)果Fig. 8 Shadow removal results on filtered dataset by the proposed method and the methods in reference［1，15］

如圖9 所示，選取三幅場景多樣的圖像，將本文方法與文獻［14］的改進方法［21］在SRD［14］數(shù)據(jù)集上進行了對比以提高實驗的公平性。與文獻［14］中基于VGG16 完成陰影蒙版的生成方法不一樣的是，文獻［21］方法額外增加了判別器以端到端的形式生成陰影蒙版；但它與文獻［14］方法存在共同的問題是因使用誤差較大的訓練集而導致生成的陰影蒙版并不準確，進而沒有對非陰影區(qū)域的陰影蒙版進行約束導致陰影去除圖像在全局范圍都產(chǎn)生了變化，最后因采用一致性的方法處理不同的陰影類型，導致結(jié)果仍然存在清晰的陰影邊界。

同理，如圖10 所示，將本文方法與文獻［15］方法在ISTD［15］數(shù)據(jù)集上進行了對比。可以清晰地觀察得到，第二行中的圖（a）和圖（b）的陰影圖像和相應的真實無陰影圖像在非陰影區(qū)域存在明顯的亮度差異。與現(xiàn)有的大多陰影去除方法一樣，文獻［15］方法仍然在數(shù)據(jù)集和陰影去除方法上存在不足，導致如圖（c）中的陰影去除區(qū)域與非陰影區(qū)域存在明顯的明暗差異。

在篩選數(shù)據(jù)集［14-15］上，將本文方法與文獻［1］方法、文獻［14］方法、文獻［15］方法進行量化評估，結(jié)果如表3 所示；在SRD［14］數(shù)據(jù)集和 ISTD［15］數(shù)據(jù)集上，分別將本文方法與文獻［21］方法、文獻［15］方法進行量化評估，如表4、5 所示。本文將圖像從陰影區(qū)域、非陰影區(qū)域以及整體區(qū)域進行量化分析。首先，針對陰影檢測性能，表3 中的平衡誤差率越低表示陰影檢測越準確，相較于文獻［15］方法，本文方法可以將圖像整體誤差率進一步降低4.39%。其次，RMSE 越小說明陰影去除圖像與真實無陰影圖像之間的誤差越小，SSIM 越大說明陰影去除圖像從結(jié)構(gòu)上與真實無陰影圖像之間更為相似。根據(jù)表3，在篩選數(shù)據(jù)集［14-15］上，相較于文獻［15］方法，本文方法在RMSE 上降低了13.32%，在結(jié)構(gòu)相似性上提高了0.44%；根據(jù)表4，在SRD［14］數(shù)據(jù)集上，相較于文獻［21］方法，本文方法在RMSE 上降低了18.07%，在結(jié)構(gòu)相似性上提高了0.65%；根據(jù)表5，在ISTD［15］數(shù)據(jù)集上，相較于文獻［15］方法，本文方法在RMSE 上降低了10.57%，在結(jié)構(gòu)相似性上提高了0.21%?？v向比較表 3 與表 5 中文獻［15］方法的 RMSE 和SSIM 的值，同樣可以發(fā)現(xiàn)通過篩選數(shù)據(jù)集降低數(shù)據(jù)集的誤差可以小幅度提升陰影去除的性能。

圖9 本文方法與文獻［21］方法在SRD數(shù)據(jù)集上的蒙版生成和陰影去除效果Fig. 9 Shadow matte generation and shadow removal results on SRD dataset by the proposed method and the method in reference［21］

圖10 本文方法與文獻［15］方法在ISTD數(shù)據(jù)集上的陰影去除結(jié)果Fig. 10 Shadow removal results on ISTD dataset by the proposed method and the method in reference［15］

表3 本文方法與文獻［1，14，15］方法在篩選數(shù)據(jù)集上的評價指標對比Tab. 3 Comparison of evaluation indicators on filtered dataset by the proposed method and the methods in reference［1，14，15］

表4 本文方法與文獻［21］方法在SRD數(shù)據(jù)集上的像素均方根誤差與結(jié)構(gòu)相似性Tab. 4 RMSE and SSIM on SRD dataset by the proposed method and the methods in reference［21］

3 結(jié)語

為了得到陰影邊界過渡自然的陰影去除圖像，基于生成對抗網(wǎng)絡提出一種新穎的多階段去除方法。該網(wǎng)絡中的生成器兼具陰影檢測與陰影去除的能力，陰影檢測子網(wǎng)與蒙版生成子網(wǎng)為全影模塊、半影模塊提供準確的待處理區(qū)域?；谛^(qū)域的圖像復原思路，輔以感知損失降低生成結(jié)果在圖像語義的差異，陰影邊界的過渡將更為自然。未來將研究深度學習方法在面臨新數(shù)據(jù)集時性能下降的問題，實現(xiàn)陰影去除的域遷移（Domain Shift）方法。