李 然，周子淏，張月芳，羅東升，鄧紅霞

(太原理工大學(xué)信息與計算機(jī)學(xué)院，山西 晉中 030600)

1 引言

近年來許多技術(shù)需要對不同時期所拍攝的照片進(jìn)行分割、識別和分析等處理，像蘋果物候期自動檢測技術(shù)等，而受不同天氣所影響，雨天拍攝的照片清晰度下降，嚴(yán)重影響圖像的分析結(jié)果。圖像質(zhì)量降低的主要原因是被雨滴遮擋區(qū)域與清晰區(qū)域相比，包含不同的映象，與不被雨滴覆蓋的區(qū)域不同，雨滴覆蓋區(qū)域是由來自更廣泛環(huán)境的反射光形成的。此外，在大多數(shù)情況下，相機(jī)的焦點(diǎn)都在背景場景上，使得雨滴的外觀變得模糊。圖像去雨的難點(diǎn)在于被雨滴覆蓋區(qū)域未知，封閉未知區(qū)域的信息丟失的問題，因此本文提出自注意多尺度生成對抗網(wǎng)絡(luò)。

為了檢測和去除雨滴，許多人提出了相應(yīng)的解決方案，包括傳統(tǒng)方法[1 -4]、基于非生成對抗網(wǎng)絡(luò)的圖像去雨技術(shù)[5 -8]和基于生成對抗網(wǎng)絡(luò)[9]的圖像去雨技術(shù)。其中,傳統(tǒng)方法包括Huang等[2]提出的一種通過對輸入圖像進(jìn)行上下文約束、構(gòu)造學(xué)習(xí)字典用于重建以及使用稀疏編碼原理，實現(xiàn)自動識別常見雨模式的方法；Tanaka等[3]提出的一種從立體圖像中檢測干擾噪聲的方法，通過對立體圖像測量的視差和立體相機(jī)系統(tǒng)與玻璃表面之間的距離進(jìn)行比較，檢測圖像中雨滴的位置。這些方法可用于檢測雨滴但不能去除雨滴。

基于非生成對抗網(wǎng)絡(luò)的圖像去雨技術(shù)研究有：Tan等[10]提出了一種僅使用馬爾可夫隨機(jī)場框架中的單幅圖像輸入進(jìn)行功能開發(fā)的自動化方法，基于清晰圖像和有雨圖像對比度不同，在馬爾可夫隨機(jī)場的框架下設(shè)計算法實現(xiàn)雨線去除。Li等[11]使用簡單的基于補(bǔ)丁的先驗來處理背景和雨層，這些先驗基于高斯混合模型，能夠適應(yīng)雨條紋的多個方向和尺度，解決了單幅圖像中雨條紋的去除問題。Yang等[12]提出了一種方法，該方法通過層層迭代、循環(huán)和優(yōu)化3個卷積通道，并引入3個損失來實現(xiàn)圖像去雨。Li等[13]提出了基于編解碼器結(jié)構(gòu)的模型，通過引入的生成損失和特征融合實現(xiàn)圖像中雨條紋的去除。非生成對抗網(wǎng)絡(luò)方法更適合于雨線的去除，對大雨滴或濃密雨滴的去除效果欠佳。

基于生成對抗網(wǎng)絡(luò)實現(xiàn)圖像去雨的技術(shù)有：Zhang等[14]提出了一種基于條件生成對抗網(wǎng)絡(luò)的框架,用于改善生成網(wǎng)絡(luò)，生成網(wǎng)絡(luò)的結(jié)構(gòu)為自編碼器，定義了一種新的感知損失函數(shù)，在公共和綜合數(shù)據(jù)集上進(jìn)行了廣泛的實驗，并與現(xiàn)有的先進(jìn)方法進(jìn)行了定性和定量比較，結(jié)果表明該框架提升了去雨效果。Xiang等[15]提出了用于單幅圖像去除雨水的F-SGAN(Feature-Supervised Generative Adversarial Network),生成網(wǎng)絡(luò)進(jìn)行特征監(jiān)督，在去雨過程中，同時提取清晰圖像的特征，通過該特征引導(dǎo)生成網(wǎng)絡(luò)更有效地學(xué)習(xí)雨滴區(qū)域的特征，逐步優(yōu)化該特征監(jiān)督生成對抗網(wǎng)絡(luò)，以實現(xiàn)圖像去雨。這些方法重點(diǎn)關(guān)注局部區(qū)域(雨滴區(qū)域)，而對圖像的整體依賴性關(guān)注不足。與傳統(tǒng)方法和非生成對抗網(wǎng)絡(luò)相比，生成對抗網(wǎng)絡(luò)生成的圖像清晰度更高、更真實。因此，本文在自動編碼器結(jié)構(gòu)中的卷積層之后添加自注意層，以提升圖像的全局依賴性，引入多尺度判別器，以提升圖像的清晰度，實現(xiàn)圖像中雨滴的去除。

2 自注意多尺度生成對抗網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)框架

生成對抗網(wǎng)絡(luò)有2個主要的部分：生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。輸入圖像為附著雨滴的圖像，本文的生成網(wǎng)絡(luò)可生成沒有雨滴接近清晰的圖像。判別網(wǎng)絡(luò)評估生成網(wǎng)絡(luò)的結(jié)果與清晰圖像之間的差異，以驗證去雨圖像是否足夠清晰。經(jīng)過不斷迭代，直到判別網(wǎng)絡(luò)無法判別去雨圖像是否真實即可停止。

Qian等[16]提出了注意力生成對抗網(wǎng)絡(luò)來實現(xiàn)圖像去雨，在生成網(wǎng)絡(luò)中增加了注意-循環(huán)網(wǎng)絡(luò)，以生成注意力分布圖來引導(dǎo)網(wǎng)絡(luò)檢測和去除雨滴區(qū)域。如圖1所示，本文方法在已有的網(wǎng)絡(luò)基礎(chǔ)上針對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了2點(diǎn)(橢圓所圈)改進(jìn)：

(1)在自動編碼器結(jié)構(gòu)中的卷積層之后添加自注意層[17]，以提升圖像的全局依賴性，所添加的自注意層如圖1右上角深色部分中黑色所代表的層。

(2)引入多尺度判別器[18]，圖1中右下角淺灰色部分為判別網(wǎng)絡(luò)部分。

網(wǎng)絡(luò)中生成網(wǎng)絡(luò)右側(cè)自編碼器[19]包含16個conv-ReLu塊和跳躍連接，以及2個自注意層，判別網(wǎng)絡(luò)所用判別器個數(shù)為2個。

2.2 自注意生成網(wǎng)絡(luò)

為解決被雨滴遮擋區(qū)域未知，且背景信息丟失和注意力生成對抗網(wǎng)絡(luò)重點(diǎn)關(guān)注局部區(qū)域(雨滴區(qū)域)，而對圖像的整體依賴性關(guān)注不足的問題，本文在生成網(wǎng)絡(luò)中添加自注意層，并在原自注意層基礎(chǔ)上增加特征疊加細(xì)節(jié)。如圖2所示為添加自注意層的整體結(jié)構(gòu)圖，其中黑色虛線部分是所添加的特征疊加細(xì)節(jié)。自注意層的輸出結(jié)果為上一卷積層與原自注意層輸出特征圖相加(黑色虛線部分)的結(jié)果。

Figure 1 Structure of self-attention multi-scale GAN proposed in this paper圖1 自注意多尺度生成對抗網(wǎng)絡(luò)結(jié)構(gòu)圖

該層首先將上一個卷積層輸出的特征x∈RC×N轉(zhuǎn)換為3個特征空間f，g和h，以獲取注意力信息。

(1)

(2)

Figure 2 Structure of self-attention layer 圖2 自注意層結(jié)構(gòu)

2.3 多尺度判別網(wǎng)絡(luò)

為了進(jìn)一步提升圖像的清晰度，本文引入多尺度判別器[18]，以區(qū)分所生成去雨圖像和清晰圖像之間的差異。多尺度判別器的原理：可以有個數(shù)不同的并行的判別器，這些判別器的構(gòu)成完全一致，區(qū)別在于輸入圖像的大小不同，即對生成網(wǎng)絡(luò)生成的圖像進(jìn)行不同比例的下采樣，并將獲得的不同分辨率的結(jié)果圖像分別作為各個判別器的輸入，整個判別網(wǎng)絡(luò)的判別結(jié)果為各個判別器結(jié)果的加權(quán)和，將該結(jié)果傳回生成網(wǎng)絡(luò)以引導(dǎo)優(yōu)化生成網(wǎng)絡(luò)。

如圖3所示，本文使用的多尺度判別網(wǎng)絡(luò)[20]為2個并行的判別器。判別器D1包含7個卷積層，內(nèi)核大小為(3,3)，全連接層大小為1 024，最后使用Sigmoid激活函數(shù)。圖3中2個判別器的結(jié)構(gòu)完全一致，生成網(wǎng)絡(luò)生成的去雨圖像直接輸入D1，對生成網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行2倍下采樣，所得結(jié)果輸入D2，將D1和D2的判別結(jié)果分別加權(quán)，判別網(wǎng)絡(luò)的最終結(jié)果為加權(quán)后的總和，以該最終 結(jié)果引導(dǎo)優(yōu)化生成網(wǎng)絡(luò)。因此，多尺度判別器可從不同分辨率的輸入圖像角度由粗到細(xì)逐漸優(yōu)化網(wǎng)絡(luò)，以生成更清晰的圖像。

《詩·小雅·正月》：“載輸爾載，將伯助予！ ”《傳》：“將，請；伯，長也?！币庵^車欲墮而請長者幫助。后用作求助或受助的意思?！读凝S志異·連瑣》：“將伯之助，義不敢忘。 ”〔2〕132

Figure 3 Structure of multi-scale discriminator 圖3 多尺度判別器結(jié)構(gòu)圖

2.4 損失

本文方法中包含多尺度損失和感知損失[21]。多尺度損失通過比較不同解碼器層提取的特征以及真實圖像對應(yīng)特征之間的差異，獲取廣泛的上下文信息，如式(3)所示：

(3)

其中，LM(,)表示多尺度損失，M是所選取解碼器層的個數(shù);LMSE(,)表示均方誤差;Si表示從解碼器層中提取的第i個輸出特征;{S}表示從選取的不同解碼器層中提取的特征集合;{Ti}表示與{Si}具有相同尺度的真實特征;{T}表示對應(yīng)各解碼器層相同尺度的真實特征集合;λi是不同尺度的權(quán)重。感知損失可測量自動編碼器輸出的特征與相應(yīng)的清晰圖像之間的總體差異。這些功能可從受過訓(xùn)練的CNN中提取。VGG是預(yù)訓(xùn)練的CNN模型，可生成給定輸入圖像的特征，如式(4)所示：

LP(O,T)=LMSE(VGG(O),VGG(T))

(4)

本文生成網(wǎng)絡(luò)的損失如式(5)所示：

LG=10-2LGAN(O)+LATT({A},M)+

LM({S},{T})+LP(O,T)

(5)

其中，A是注意-循環(huán)網(wǎng)絡(luò)生成的注意力圖，{A}是注意力圖的集合。LATT表示注意力損失。M表示二值掩碼。LGAN(O)=log(1-D(O)),O=g(I)。D(O)是判別網(wǎng)絡(luò)生成的判別概率，I是生成對抗網(wǎng)絡(luò)的輸入噪聲。O是自動編碼器的輸出圖像或者整個生成網(wǎng)絡(luò)的輸出圖像。

3 實驗和結(jié)果分析

3.1 數(shù)據(jù)

去雨實驗過程中，所拍攝的有雨圖像和清晰圖像必須為同一個背景，雨滴區(qū)域所對應(yīng)的背景需完全一致。為了使實驗結(jié)果更加有效，數(shù)據(jù)集中有一個訓(xùn)練集和一個測試集，其中，訓(xùn)練集包含3 600幅有雨圖像和3 600幅清晰圖像，測試集包含清晰圖像和附有雨滴圖像各425幅。各參數(shù)分別設(shè)置如下：學(xué)習(xí)率為0.000 2，批量大小為1。

3.2 評價指標(biāo)

本文采用PSNR和SSIM評價指標(biāo)。PSRN的計算公式如式(6)所示：

(6)

(7)

其中，MSE是當(dāng)前圖像X和參考圖像Y的均方誤差；H和W分別是圖像的高和寬；n是每個像素的比特數(shù)，通常取8，即像素的灰度為256。PSNR是基于誤差敏感性的圖像質(zhì)量評估指標(biāo)，值越大效果越好。

SSIM分別比較了圖像之間的亮度、對比度和結(jié)構(gòu),其計算公式如式(8)所示：

綜上所述，醫(yī)護(hù)人員需要密切關(guān)注氣管插管患者的病情，給與科學(xué)合理精心的護(hù)理，注意基礎(chǔ)護(hù)理、氣管插管之后的濕化，感染的預(yù)防，以及各種并發(fā)癥的護(hù)理等等。同時需要關(guān)注患者的飲食，根據(jù)患者情況給與鼻飼、喂養(yǎng)和自理等，一切依照不同患者的情況選擇不同的方案。應(yīng)該遵循從流食到普食的原則?；颊叩男睦頎顟B(tài)作為新時代的醫(yī)護(hù)人員液應(yīng)關(guān)注，加強(qiáng)同患者的溝通，對于患者和親屬可給與一定適度的相關(guān)知識教育，對于其疑問應(yīng)耐心科學(xué)的解答以及建立隨訪制度。如此多方面綜合的給與患者關(guān)懷，減輕患者痛苦，減輕家庭社會負(fù)擔(dān)，提高其生存率以及生存質(zhì)量。

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)

(8)

(9)

SSIM是完全參考的圖像質(zhì)量評估指標(biāo)，取值為[0,1]，該值越大表示失真越小。

3.3 實驗結(jié)果

(1)定量評估。將本文方法與其他現(xiàn)有方法(Eigen[22]、F-SGAN[15]、IPM CA(Integrating Physics Model and Conditional Adversarial)[23]、Att GAN(Attentive Generative Adversarial Network)[16]、Pix2Pix[24])在不同數(shù)據(jù)集上進(jìn)行了比較。表1給出了定量結(jié)果。表1中的值有效，可看出本文所提方法在雨滴、雨線(稀疏)和雨線(稠密)3個數(shù)據(jù)集上的評價指標(biāo)值均表現(xiàn)出優(yōu)勢。其中針對雨滴數(shù)據(jù)集，網(wǎng)絡(luò)結(jié)構(gòu)中單獨(dú)加入自注意層時，PSNR值為30.84 dB；單獨(dú)加入多尺度判別器時，PSNR值為31.02 dB。而原網(wǎng)絡(luò)測試結(jié)果的PSNR值為31.57 dB，即網(wǎng)絡(luò)中單獨(dú)加入自注意層Att+SA或多尺度判別器Att+MS時，PSNR值沒有提升。這表明本文的方法可以產(chǎn)生更清晰的圖像結(jié)果，在圖像的像素點(diǎn)、亮度、對比度和結(jié)構(gòu)方面都有優(yōu)勢。

Table 1 Quantitative results of different methods表1 定量評估結(jié)果

Figure 4 Rain removal results of different methods圖4 不同方法的去雨結(jié)果

Figure 5 Rain removal results of the method proposed in this paper圖5 本文方法的去雨結(jié)果

(2)定性評估。如圖4所示，在雨滴、雨線(稀疏)和雨線(稠密)3個數(shù)據(jù)集上,與Att GAN[16]、F-SGAN[15]、IPM CA[23]和Pix2Pix[24]相比，自注意多尺度生成對抗網(wǎng)絡(luò)去除雨滴獲得的圖像分辨率更高、更有效。如圖5所示為自對比實驗結(jié)果，包含只引入多尺度判別器(Att+MS)、只添加自注意層(Att+SA)和本文方法。結(jié)果表明，本文方法所生成的去雨圖像的顏色和對比度等方面更接近真實的圖像，圖像更清晰。

如圖6所示為損失值結(jié)果的自對比圖，可以看出，最下方黑色折線(本文方法)的損失值收斂效果更好，損失值更低，更趨近于0。

Figure 6 Self-contrast chart of loss value圖6 損失值自對比圖

4 結(jié)束語

本文提出了一種基于自注意多尺度生成對抗網(wǎng)絡(luò)的圖像去雨方法。該方法基礎(chǔ)框架為注意力生成對抗網(wǎng)絡(luò)，其中生成網(wǎng)絡(luò)由注意-循環(huán)網(wǎng)絡(luò)和自動編碼器組成。本文在自編碼器的卷積層后添加了自注意層，以彌補(bǔ)注意-循環(huán)網(wǎng)絡(luò)對圖像全局信息的關(guān)注不足。判別網(wǎng)絡(luò)引入多尺度判別器，即2個并行判別器，使用生成網(wǎng)絡(luò)的2倍下采樣結(jié)果和原始輸出結(jié)果作為2個判別器的輸入，從而產(chǎn)生更清晰的圖像。相比之下，本文方法效果更好。