趙長(zhǎng)樂，何利力

（浙江理工大學(xué) 信息學(xué)院，杭州 310018）

0 引言

服裝圖像［1］在采集的過程中，受環(huán)境、設(shè)備、人為因素的影響不可避免地會(huì)引入噪聲，導(dǎo)致圖像質(zhì)量降低，從而影響人眼的觀感，對(duì)服裝圖像進(jìn)一步地處理也會(huì)受到一定影響。圖像去噪［2］希望使用圖像自身的信息來去除圖像噪聲，同時(shí)不影響圖像本身的細(xì)節(jié)，以獲取與原始圖像更加接近的去噪圖像。由于服裝圖像紋理的復(fù)雜性和多樣性，對(duì)其進(jìn)行去噪時(shí)需要更加注重細(xì)節(jié)的完整性，因此有必要對(duì)服裝圖像進(jìn)行高質(zhì)量的去噪處理。

空間域圖像去噪算法［3］對(duì)圖像中每個(gè)像素點(diǎn)的灰度值加以處理，以濾波的方式進(jìn)行；均值濾波使用線性平滑技術(shù)，用鄰域窗口中全體像素的平均值代替原有的像素值；中值濾波使用非線性平滑技術(shù)，將每一像素點(diǎn)的值設(shè)置為該點(diǎn)鄰域窗口內(nèi)的所有像素點(diǎn)的中值；高斯濾波則根據(jù)鄰域間像素距離大小的高斯加權(quán)來分配權(quán)重，以鄰域像素值的加權(quán)和代替原有像素值。

變換域圖像去噪算法將圖像經(jīng)過某種變換由空間域轉(zhuǎn)換到變換域，在變換域內(nèi)根據(jù)噪聲分布特征，設(shè)定相應(yīng)的抑制模型對(duì)噪聲進(jìn)行消除，然后通過逆變換復(fù)原圖像。代表性的方法有小波變換［4］、復(fù)小波變換［5］、輪廓波變換［6］等。雖然此類算法能夠較好地去除圖像噪聲，且對(duì)圖像信息損傷較低，但不能很好地對(duì)紋理和噪聲進(jìn)行區(qū)分，導(dǎo)致圖像出現(xiàn)階梯效應(yīng)。

現(xiàn)階段有很多將空間域去噪和變換域去噪相結(jié)合的算法。如，袁明月等［7］將中值濾波算法與小波變換相結(jié)合，利用高斯噪聲來模擬圖像中含有的噪聲，通過對(duì)經(jīng)過中值濾波預(yù)處理后的圖像進(jìn)行二級(jí)小波變換，對(duì)于高頻子帶，通過逐點(diǎn)計(jì)算灰色關(guān)聯(lián)度，并將其與經(jīng)典小波閾值進(jìn)行對(duì)比，來實(shí)現(xiàn)各高頻子帶的濾波，通過小波逆變換得到去噪后的圖像。深度學(xué)習(xí)在圖像去噪領(lǐng)域同樣也取得了良好的進(jìn)展。李傳朋等［8］使用卷積子網(wǎng)和反卷積子網(wǎng)構(gòu)建了一種對(duì)稱式網(wǎng)絡(luò)結(jié)構(gòu)，將噪聲圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，原始圖像作為輸出，經(jīng)過數(shù)據(jù)集的訓(xùn)練，使得卷積子網(wǎng)學(xué)習(xí)圖像特征，反卷積子網(wǎng)可根據(jù)學(xué)習(xí)到的特征恢復(fù)原始圖像，并結(jié)合修正線性單元獲取更多的紋理細(xì)節(jié)?；贑NN 的圖像去噪技術(shù)使用手工構(gòu)造的噪聲圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，在加性高斯白噪聲圖像上表現(xiàn)突出，但在真實(shí)噪聲圖像上表現(xiàn)不佳。

本文結(jié)合圖像灰度共生矩陣［9］中的ASM 能量，通過深度學(xué)習(xí)方法對(duì)圖像進(jìn)行降噪。根據(jù)Ulyanov等［10］所提出的思想，圖像的先驗(yàn)特征可以由網(wǎng)絡(luò)結(jié)構(gòu)表示（結(jié)構(gòu)圖像先驗(yàn)），而非網(wǎng)絡(luò)中的參數(shù)（參數(shù)圖像先驗(yàn)）。對(duì)于一個(gè)圖像生成的卷積神經(jīng)網(wǎng)絡(luò)，以隨機(jī)向量作為輸入，完整圖像作為目標(biāo)輸出，通過對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可生成目標(biāo)輸出圖像。目標(biāo)圖像的ASM能量越低，生成所需要的迭代次數(shù)越多，對(duì)于同樣的網(wǎng)絡(luò)結(jié)構(gòu)，要生成噪聲圖像比生成自然圖像需要更多的迭代次數(shù)。根據(jù)這一特性，將噪聲服裝圖像作為目標(biāo)輸出，在網(wǎng)絡(luò)迭代至ASM能量極大值處停止訓(xùn)練，此時(shí)的網(wǎng)絡(luò)輸出即為去噪后的服裝圖像。

1 灰度共生矩陣與圖像ASM 能量

灰度共生矩陣是1973 年由Haralick等人提出的一種通過研究圖像灰度的空間相關(guān)特性，來描述圖像紋理的常用方法。由于紋理是由灰度分布在空間位置上反復(fù)出現(xiàn)而形成的，因而在圖像空間中相隔某距離的2 像素之間會(huì)存在一定的灰度關(guān)系，即圖像中灰度的空間相關(guān)特性。

灰度直方圖是對(duì)圖像上單個(gè)像素具有某個(gè)灰度進(jìn)行統(tǒng)計(jì)的結(jié)果，而灰度共生矩陣是對(duì)圖像上保持某距離的2 像素分別具有某灰度的狀況進(jìn)行統(tǒng)計(jì)得到的。例如：取大小為N×N的圖像中任意一點(diǎn)（x，y）及偏離其的另一點(diǎn)（x＋a，y＋b），設(shè)該點(diǎn)對(duì)的灰度值為（g1，g2）。令點(diǎn)（x，y）在整個(gè)畫面上移動(dòng)，則會(huì)得到各種（g1，g2）值；設(shè)灰度值的級(jí)數(shù)為k，則（g1，g2）的組合共有k2種。對(duì)于整個(gè)畫面，統(tǒng)計(jì)出每一種（g1，g2）值出現(xiàn)的次數(shù)，并將這些值排列成一個(gè)k × k的方陣P（g1，g2），再對(duì)該方陣進(jìn)行歸一化，最終得到的k × k大小的方陣稱為灰度共生矩陣，記作G（g1，g2）。距離差分值（a，b）取不同的數(shù)值組合，可以得到不同情況下的聯(lián)合概率矩陣，取值要根據(jù)紋理周期分布的特性來選擇，對(duì)于較細(xì)的紋理，選取小的差分值。由于服裝圖像的紋理較為精細(xì)，因此本文選?。?，0）作為差分值，此時(shí)像素對(duì)是水平的，即0 度掃描。這樣，兩個(gè)像素灰度級(jí)同時(shí)發(fā)生的概率，就將（x，y）的空間坐標(biāo)轉(zhuǎn)化為“灰度對(duì)”（g1，g2）的描述，然后對(duì)計(jì)算得到的概率進(jìn)行如下歸一化，就得到了灰度共生矩陣。

從直覺上來說，如果圖像是由具有相似灰度值的像素塊構(gòu)成，則灰度共生矩陣的對(duì)角元素會(huì)有比較大的值；如果圖像像素灰度值在局部有變化，那么偏離對(duì)角線的元素會(huì)有比較大的值。于是產(chǎn)生了一些由灰度共生矩陣所衍生出的標(biāo)量，用以表征灰度共生矩陣的特征，ASM 能量作為這些標(biāo)量中的一種，通過灰度共生矩陣中每個(gè)矩陣元素的平方和來表示：

若灰度共生矩陣中的值集中在某一塊（如接近純色的圖像），則ASM有較大值；若G中的值分布較均勻（如噪聲嚴(yán)重的圖像），則ASM有較小的值。通過ASM值的大小可以反映圖像灰度分布的均勻程度和紋理的粗細(xì)程度。

2 結(jié)構(gòu)圖像先驗(yàn)與圖像去噪方法

2.1 結(jié)構(gòu)圖像先驗(yàn)理論

通常的深度學(xué)習(xí)理論認(rèn)為，圖像的先驗(yàn)分布從大量的數(shù)據(jù)集中獲得，圖像生成網(wǎng)絡(luò)從數(shù)據(jù)集中訓(xùn)練得到的網(wǎng)絡(luò)參數(shù)代表圖像的先驗(yàn)信息。但是，將一切信息來源歸結(jié)于對(duì)數(shù)據(jù)集的訓(xùn)練可能產(chǎn)生災(zāi)難性的后果。如，Zhang等人［11］所述，在圖像分類任務(wù)中，若對(duì)圖像進(jìn)行隨機(jī)標(biāo)注，訓(xùn)練集同樣可以擬合得很好，但是訓(xùn)練集以外的圖像網(wǎng)絡(luò)則無法識(shí)別；Dario等［12］所述，對(duì)于在訓(xùn)練集中未出現(xiàn)的特征，網(wǎng)絡(luò)無法正確識(shí)別；Ulyanov等［10］認(rèn)為，圖像的先驗(yàn)信息可以由網(wǎng)絡(luò)結(jié)構(gòu)所表征，并不需要通過訓(xùn)練從大量的數(shù)據(jù)集獲得先驗(yàn)信息。對(duì)于圖像生成問題，可以直接將未訓(xùn)練的網(wǎng)絡(luò)作用于圖像。若網(wǎng)絡(luò)足夠優(yōu)越，圖像的所有紋理、結(jié)構(gòu)等細(xì)節(jié)特征都能被網(wǎng)絡(luò)結(jié)構(gòu)表示，網(wǎng)絡(luò)的參數(shù)僅僅決定這些特征的強(qiáng)弱。

一個(gè)圖像生成網(wǎng)絡(luò)可以用函數(shù)x＝fθ（z）表示，該函數(shù)將向量z映射到圖像x。其中，θ代表網(wǎng)絡(luò)中需要學(xué)習(xí)的參數(shù)，映射f可視為網(wǎng)絡(luò)結(jié)構(gòu)，可包含如卷積、池化、非線性激活等一系列操作，該方法可以從隨機(jī)分布中生成真實(shí)圖像。對(duì)于圖像生成問題，初始并不知道所要生成的圖像本身，需要通過已知的、有缺陷的圖像x0，使函數(shù)得到x滿足真實(shí)圖像的分布。圖像生成任務(wù)可以用公式表示為：

其中，E（x；x0）為與任務(wù)相關(guān)的數(shù)據(jù)項(xiàng)；x為生成圖像；x0為有缺陷的圖像；R（x）為正則項(xiàng)。對(duì)于以參數(shù)圖像先驗(yàn)為理論基礎(chǔ)的圖像生成任務(wù)，正則項(xiàng)的選擇是一個(gè)難點(diǎn)，通常表示數(shù)據(jù)集中圖像的方差。而對(duì)于以結(jié)構(gòu)圖像先驗(yàn)為理論基礎(chǔ)的圖像生成任務(wù)，由于沒有用于訓(xùn)練的數(shù)據(jù)集，所以可將正則項(xiàng)隱含在網(wǎng)絡(luò)結(jié)構(gòu)中，公式可轉(zhuǎn)化為：

此時(shí)，對(duì)于所有網(wǎng)絡(luò)能生成的圖像R（x）＝0，對(duì)于其它不能生成的圖像R（x）＝∞。

對(duì)于一個(gè)足夠好的網(wǎng)絡(luò)結(jié)構(gòu)而言，若將其作為圖像的先驗(yàn)特征應(yīng)可以擬合所有的圖像，包括隨機(jī)噪聲所形成的圖像，此時(shí)的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)生成的圖像不作任何限制。盡管理論上可以從網(wǎng)絡(luò)中生成任意的圖像，但是圖像的類型決定了該圖像的生成速度。圖2 顯示了將純色圖像、自然服裝圖像、含噪聲的服裝圖像、高斯噪聲圖像分別作為目標(biāo)生成圖像時(shí)，網(wǎng)絡(luò)的迭代次數(shù)與MSE 之間的關(guān)系；圖1 顯示了這4幅圖像的示意圖，以及各圖像對(duì)應(yīng)的ASM 能量值。由此可以看到，ASM 能量值越高的圖像，使用相同網(wǎng)絡(luò)生成，所需要的迭代次數(shù)越少。

圖1 不同圖像對(duì)應(yīng)的ASM 能量值Fig.1 The ASM energy values corresponding to different images

圖2 不同目標(biāo)圖像的迭代曲線Fig.2 Iteration curves of different target images

2.2 圖像去噪方法

為了將結(jié)構(gòu)圖像先驗(yàn)理論應(yīng)用于圖像去噪，設(shè)定圖像去噪的數(shù)據(jù)項(xiàng)為：

式中，x0表示含噪聲的圖像，x表示網(wǎng)絡(luò)生成的圖像。此時(shí)，圖像去噪的目標(biāo)函數(shù)轉(zhuǎn)化為：

以含噪聲的圖像作為目標(biāo)輸出，希望能在網(wǎng)絡(luò)訓(xùn)練的過程中找到合適的參數(shù)θ*，使得網(wǎng)絡(luò)輸出去噪后的圖像。圖5 截取了以含噪聲的服裝圖像作為目標(biāo)輸出進(jìn)行訓(xùn)練，迭代次數(shù)處于100、500、1 000、4 000、10 000時(shí)所生成的圖像。可以看到，生成的圖像由最開始的混亂噪聲，到含有部分特征的圖像，再到自然圖像，最后生成被噪聲污染的圖像。圖3 顯示了使用含噪聲服裝圖像為目標(biāo)圖像進(jìn)行訓(xùn)練時(shí)，所生成圖像與自然服裝圖像的峰值信噪比（PSNR）隨迭代次數(shù)的變化曲線，圖4 顯示了生成圖像的ASM 能量與迭代次數(shù)的關(guān)系曲線。所生成圖像的ASM 能量值先增大后減小，在迭代次數(shù)為4 000附近，ASM 能量處于極大值，兩者的PSNR 同樣在迭代次數(shù)4 000時(shí)處于極大值附近，此時(shí)對(duì)應(yīng)的生成圖像最接近自然服裝圖像。

圖3 PSNR 與迭代次數(shù)關(guān)系曲線Fig.3 Relation curve between PSNR and iteration number

圖4 ASM 與迭代次數(shù)關(guān)系曲線Fig.4 Relation curve between ASM and iteration number

圖5 不同迭代次數(shù)對(duì)應(yīng)的生成圖像Fig.5 Generated images corresponding to different iterations

實(shí)驗(yàn)結(jié)果表明，在圖像生成網(wǎng)絡(luò)訓(xùn)練的過程中，圖像中的低頻特征會(huì)先于高頻特征擬合。以含噪聲圖像為目標(biāo)圖像進(jìn)行訓(xùn)練時(shí)，圖像中的噪聲屬于高頻特征，在迭代后期才會(huì)出現(xiàn)。對(duì)應(yīng)到ASM能量而言，網(wǎng)絡(luò)在迭代的過程中會(huì)先生成一個(gè)ASM能量值較高的圖像，該圖像與自然服裝圖像相近，隨著迭代過程的繼續(xù)進(jìn)行，生成圖像的ASM能量值會(huì)緩慢降低。如果對(duì)一個(gè)圖像生成網(wǎng)絡(luò)能找到合適的迭代次數(shù)，就能生成一幅去噪效果良好的圖像。圖3 曲線中PSNR的極大值點(diǎn)與圖4 曲線中ASM的極大值點(diǎn)對(duì)應(yīng)的迭代次數(shù)接近。在訓(xùn)練過程中當(dāng)ASM能量處于極大值時(shí)對(duì)迭代進(jìn)行截?cái)啵〈藭r(shí)的生成圖像為去噪圖像。

3 實(shí)驗(yàn)結(jié)果

3.1 實(shí)驗(yàn)數(shù)據(jù)與網(wǎng)絡(luò)結(jié)構(gòu)

為驗(yàn)證本文算法的優(yōu)良性能，從網(wǎng)上選擇不同類型的9 張服裝圖像進(jìn)行實(shí)驗(yàn)。所有圖像均裁剪至512×512 大小，如圖6（a）所示。實(shí)驗(yàn)選用了被高斯噪聲污染的原始圖像作為要修復(fù)的目標(biāo)圖像。對(duì)原始服裝圖像添加噪聲強(qiáng)度σ＝25 的高斯噪聲后，圖像的局部如圖6（b）所示。

圖6 實(shí)驗(yàn)使用服裝圖像示意圖Fig.6 Schematic diagram of clothing used in experiment

實(shí)驗(yàn)使用UNet 網(wǎng)絡(luò)結(jié)構(gòu)，包含可訓(xùn)練參數(shù)的網(wǎng)絡(luò)層共有10 層。網(wǎng)絡(luò)中，下采樣通過步長(zhǎng)為2 的跨步卷積實(shí)現(xiàn)，每次下采樣特征圖尺寸減小為之前的一半，上采樣通過最鄰近差值算法實(shí)現(xiàn)，每次上采樣特征圖尺寸增加一倍。所有的卷積核均使用3×3大小。網(wǎng)絡(luò)示意如圖7 所示。

圖7 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.7 Schematic diagram of network structure

實(shí)驗(yàn)選用大小為512×512×4，方差σ＝0.1 的高斯噪聲作為網(wǎng)絡(luò)的輸入，輸出大小為512×512×3 的圖像，噪聲服裝圖像與輸出圖像的MSE作為網(wǎng)絡(luò)的損失函數(shù)。網(wǎng)絡(luò)選用Adam 優(yōu)化算法，學(xué)習(xí)率固定為0.01。算法設(shè)定的停止條件為：當(dāng)前100 次迭代的平均ASM 能量小于前100 次迭代的平均ASM 能量時(shí)，停止迭代。對(duì)生成的圖像使用指數(shù)滑動(dòng)平均提升去噪效果，指數(shù)滑動(dòng)平均的權(quán)重參數(shù)選用0.99，共使用2 次指數(shù)滑動(dòng)平均對(duì)輸出圖像進(jìn)行優(yōu)化。

基于本文算法的所有實(shí)驗(yàn)均在Colab 平臺(tái)上進(jìn)行，實(shí)驗(yàn)使用的GPU為K80，深度學(xué)習(xí)框架選用pytorch。

3.2 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文去噪算法的有效性，將圖7 中的服裝圖像分別使用guided、NL－means（NLM）、CBM3D 與本文提出的去噪算法進(jìn)行比較，使用PSNR衡量各算法的去噪效果。各算法對(duì)9 張測(cè)試圖像進(jìn)行去噪的結(jié)果見表1，去噪后圖像的局部特征對(duì)比如圖8 所示。

圖8 不同算法去噪效果圖Fig.8 Denoising effect diagram of different algorithms

從表1 的結(jié)果中可以看到，本文方法相比guided 和NLM 算法去噪效果更好，略差于CMB3D算法。但CMB3D 算法為非盲去噪，需要估計(jì)圖片中噪聲的強(qiáng)度，若估計(jì)出的噪聲強(qiáng)度與實(shí)際噪聲強(qiáng)度有偏差，則非盲去噪效果會(huì)受到較大影響。本文方法為盲去噪，對(duì)任意噪聲強(qiáng)度均采用統(tǒng)一去噪算法，真實(shí)圖片的噪聲分布未知，盲去噪算法更具有一般性。

表1 不同算法去噪PSNR 比較Tab.1 Comparison of PSNRdenoising with different algorithms

4 結(jié)束語

本文提出了一種基于結(jié)構(gòu)圖像先驗(yàn)與ASM 能量的深度學(xué)習(xí)服裝圖像去噪方法。根據(jù)結(jié)構(gòu)圖像先驗(yàn)理論，卷積神經(jīng)網(wǎng)絡(luò)在生成圖像時(shí)，圖像中復(fù)雜的特征具有更大的阻抗，相較于圖像中簡(jiǎn)單的特征在迭代后期才會(huì)生成。本文通過實(shí)驗(yàn)驗(yàn)證了圖像中特征的復(fù)雜度與圖像的ASM 能量之間具有正相關(guān)性。通過這一特性，可以根據(jù)網(wǎng)絡(luò)生成圖像的ASM 能量大小給定截止條件，即當(dāng)生成圖像的ASM 能量處于極大值時(shí)網(wǎng)絡(luò)停止迭代，此時(shí)的輸出圖像即為去噪圖像。實(shí)驗(yàn)結(jié)果表明，與guided、NLM 圖像去噪算法相比，本文方法有更好的去噪效果，與CBM3D 圖像去噪算法相比，本文方法有更好的實(shí)用性。本文方法相比傳統(tǒng)圖像去噪方法的不足之處在于需要大量的訓(xùn)練時(shí)間，未來工作將致力于設(shè)計(jì)性能更好的網(wǎng)絡(luò)結(jié)構(gòu)，以提高圖片去噪效率與去噪效果。