彭晏飛，王愷欣，梅金業(yè)，桑 雨,訾玲玲

(遼寧工程技術(shù)大學(xué)電子與信息工程學(xué)院，遼寧 葫蘆島 125105)

1 引言

圖像風(fēng)格遷移技術(shù)的發(fā)展可以追溯到圖像紋理生成技術(shù)，由于當(dāng)時(shí)科研水平有限，需要繁瑣的公式和復(fù)雜的數(shù)學(xué)模型來學(xué)習(xí)如何生成紋理，且數(shù)學(xué)模型的建立耗時(shí)耗力，因此圖像風(fēng)格遷移的發(fā)展十分緩慢[1]。Gatys等人[2]在2015年提出了基于神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移算法，該算法是將圖像的內(nèi)容和風(fēng)格分開的算法。算法通過計(jì)算Gram矩陣得到圖像的風(fēng)格特征，再通過卷積神經(jīng)網(wǎng)絡(luò)給圖像的內(nèi)容和紋理建模，然后再計(jì)算圖像的內(nèi)容特征，約束輸入圖像與目標(biāo)域圖像的內(nèi)容特征保持一致。利用梯度下降，通過誤差反向傳播的方式訓(xùn)練輸入的圖像完成圖像的風(fēng)格化，得到經(jīng)過風(fēng)格遷移的圖像，這種算法雖然可以得到輸出，但生成的圖像并不清晰。Gatys等人[2]提出的算法使用一對一映射方法，訓(xùn)練時(shí)需要大量成對圖像，圖像的類型需要涵蓋各個(gè)方面，例如將黑夜的圖像轉(zhuǎn)換為白天的圖像，需要來自相同位置的大量的黑夜和白天的圖像，耗費(fèi)了大量的時(shí)間和精力，輸出的圖像存在噪聲、分辨率低等問題，因此該算法在實(shí)際中應(yīng)用的范圍很窄。基于神經(jīng)網(wǎng)絡(luò)的遷移方法在迭代上也存在問題，每生成1幅質(zhì)量高的圖像需要經(jīng)過多次迭代，程序運(yùn)行速度十分緩慢，占用了極大的內(nèi)存，還可能導(dǎo)致程序崩潰等問題[3]?；谝陨系膯栴},本文使用生成對抗網(wǎng)絡(luò)GAN(Generative Adversarial Networks )[4]來完成圖像風(fēng)格的遷移。

自提出以來，GAN在自然語言處理[5]、文本到圖像的生成[6]、圖像分割[7]、圖像風(fēng)格遷移[8]和圖像超分辨率[9]等領(lǐng)域得到了廣泛應(yīng)用，但還存在訓(xùn)練不穩(wěn)定、梯度消失、模式崩潰問題。Zhu等人[10]結(jié)合GAN和對偶學(xué)習(xí)的思想，提出了循環(huán)生成對抗網(wǎng)絡(luò)CycleGAN(Cycle Generative Adversarial Networks)的無監(jiān)督學(xué)習(xí)方法，其基本思想是使用生成器和判別器完成圖像不同域之間的轉(zhuǎn)換，再添加循環(huán)一致項(xiàng)保留圖像的內(nèi)容信息。L1正則化可以產(chǎn)生稀疏權(quán)值矩陣，即產(chǎn)生一個(gè)稀疏模型，可以用于特征選擇，在一定程度上還可以防止過擬合，因此，Luan等人[11]在CycleGAN中加入L1正則化，進(jìn)一步提高了生成圖像的質(zhì)量。雖然工作取得了一定的進(jìn)展，但也存在提取的圖像內(nèi)容忽略了很多細(xì)節(jié)，輸出的圖像存在噪聲等問題。為了更好地解決以上問題，本文提出了結(jié)合LBP算法和改進(jìn)損失函數(shù)的方法，將LBP算法加入CycleGAN的生成器中，可以更好地提取原圖像的內(nèi)容特征。同時(shí)，本文改進(jìn)了CycleGAN的損失函數(shù)，在損失函數(shù)中加入Total Variation Loss來約束噪聲。實(shí)驗(yàn)結(jié)果表明，本文提出的圖像風(fēng)格遷移方法生成的圖像質(zhì)量更好。

2 相關(guān)理論

2.1 生成對抗網(wǎng)絡(luò)

Goodfellow等人[4]提出的GAN是一種比較好的無監(jiān)督學(xué)習(xí)模型，具有很強(qiáng)的建模能力，可以獲得高維且真實(shí)的數(shù)據(jù)分布。GAN的結(jié)構(gòu)由生成器和判別器組成，其中生成器輸入的是隨機(jī)噪聲，通過隨機(jī)噪聲生成圖像，判別器用來判斷生成器生成的圖像是否和真實(shí)樣本接近或者相似，判斷出的結(jié)果反饋給生成器，然后再訓(xùn)練生成器，使其能生成更好的圖像，達(dá)到以假亂真的效果。生成器提高生成能力，判別器提高判別能力，二者同時(shí)訓(xùn)練，一代一代地進(jìn)化，最后達(dá)到一種動(dòng)態(tài)平衡[12]。具體過程如圖1所示。其中，NN GeneratorVn是一代一代不斷進(jìn)化的生成器，DiscriminatorVn是一代一代不斷進(jìn)化的判別器。

GAN的生成器G與判別器D之間的關(guān)系如式(1)所示：

EZ～PZ(Z){log[1-D(G(Z))]}

(1)

其中，Pdata(x)是真實(shí)數(shù)據(jù)分布，PZ(Z)是用于Z采樣的先驗(yàn)分布。

判別器D的損失函數(shù)如式(2)所示:

JD=-∑x～Pdata(x)[logD(x)]-

EZ～PZ(Z){log[1-D(G(Z))]}

(2)

生成器G的損失函數(shù)如式(3)所示:

JG=-EZ～PZ(Z){logD[G(Z)]}

(3)

Figure 1 Process diagram圖1 過程示意圖

GAN存在訓(xùn)練不收斂、不穩(wěn)定、周期長、訓(xùn)練損失與訓(xùn)練的關(guān)聯(lián)性不強(qiáng)，需要判斷生成器和判別器何時(shí)達(dá)到動(dòng)態(tài)平衡來防止梯度消失等問題。針對這些問題，本文使用比GAN效果更好的模型CycleGAN來完成圖像風(fēng)格遷移。

2.2 CycleGAN

CycleGAN是在2017年由Zhu等人[13]提出的，它是由2個(gè)鏡像對稱的生成對抗網(wǎng)絡(luò)組合形成的環(huán)形網(wǎng)絡(luò)，分別由2個(gè)生成器和2個(gè)判別器組成。CycleGAN的訓(xùn)練過程簡單，采用無監(jiān)督的學(xué)習(xí)方法，只需使用生成器和判別器完成圖像域的轉(zhuǎn)換，然后用循環(huán)一致性來約束和保證圖像的內(nèi)容信息，因此CycleGAN不需要一對一地訓(xùn)練，只需要訓(xùn)練2類圖像就可以訓(xùn)練出1個(gè)模型，應(yīng)用十分廣泛。

Figure 2 Structure of CycleGAN圖2 CycleGAN結(jié)構(gòu)圖

Figure 3 Schematic diagram of LBP principle圖3 LBP原理示意圖

CycleGAN的工作原理如圖2所示，存在2個(gè)域:風(fēng)景圖像所在的域是源域X域，油畫風(fēng)格產(chǎn)生的圖像所在的域是目標(biāo)域Y域。圖2是由X域轉(zhuǎn)換為Y域的X2Y生成對抗模型。其中，Input_X是輸入X域的圖像，Generate_Y是生成的Y域圖像，Cyc_X是循環(huán)一致性生成的圖像；GeneratorGX2Y和GeneratorGY2X分別是生成X域到Y(jié)域和生成Y域到X域圖像的生成器；Discriminator是判別器，Decision[0,1]是判別器的判別結(jié)果。

CycleGAN的作用是實(shí)現(xiàn)圖像不同域的轉(zhuǎn)換，先學(xué)習(xí)從X域到Y(jié)域的一種映射關(guān)系，這個(gè)映射關(guān)系的含義是生成器GX2Y可以將圖像轉(zhuǎn)換為Y域的圖像Generate_Y，生成完圖像后需要把圖像放進(jìn)判別器DY來判斷生成的圖像是否是真實(shí)的圖像。

同理,CycleGAN在訓(xùn)練中也需要把Y域的圖像轉(zhuǎn)換為X域的圖像，過程也與上述描述過程類似，反向工作原理圖也與圖2類似，只需交換X和Y字母。這樣的循環(huán)就形成了一個(gè)環(huán)形的網(wǎng)絡(luò)[14]。

2.3 LBP算法

局部二值模式LBP是由Ojala等人[15]提出的一種提取圖像紋理特征的算法，該算法簡單有效且具有旋轉(zhuǎn)不變性等優(yōu)點(diǎn)。

LBP算法是在3*3的窗口內(nèi)定義的，它以窗口中心像素灰度值為閾值，將其與相鄰的其他8個(gè)像素的灰度值進(jìn)行比較。如果相鄰像素的灰度值小于最中心像素的灰度值，該位置就被標(biāo)記為0；如果相鄰像素值大于中心像素灰度值，該位置就被標(biāo)記為1。運(yùn)用這個(gè)原理可以得到一個(gè)8位的二進(jìn)制數(shù)。然后再將二進(jìn)制數(shù)轉(zhuǎn)換為十進(jìn)制數(shù)，得到LBP值(LBP碼一共有256種)，將得到的LBP值作為3*3窗口中心像素的LBP值，以反映3*3區(qū)域的紋理信息。具體原理示意圖如圖3所示[16]。

因?yàn)長BP算法記錄的是中心像素和與它相鄰的8個(gè)像素的灰度值差值，該值只是固定尺寸區(qū)域內(nèi)的值，所以當(dāng)圖像的尺寸發(fā)生變化時(shí),LBP算法可能出現(xiàn)錯(cuò)誤，不能正確地體現(xiàn)相鄰像素點(diǎn)的紋理信息[17]。因此，本文選擇使用圓形LBP算法來實(shí)現(xiàn)圖像風(fēng)格遷移。

3 本文方法

3.1 圓形LBP算法

為了更好地提取圖像的紋理特征，滿足旋轉(zhuǎn)不變性的要求，Ojala等人[18]對LBP算法進(jìn)行了改進(jìn)，將固定的3*3空間改進(jìn)為任意空間，用圓形來代替?zhèn)鹘y(tǒng)的正方形，改進(jìn)后的LBP算法允許在半徑為R的圓形空間內(nèi)存在多個(gè)像素點(diǎn)。圓形LBP算法特征點(diǎn)如圖4所示，其中,R為采樣半徑，P為采樣數(shù)目。

Figure 4 Feature points of circular LBP algorithm圖4 圓形LBP算法特征點(diǎn)

因?yàn)楣庹?、旋轉(zhuǎn)、噪聲等因素的影響，圓形LBP算法把中心像素和它相鄰像素的差值分成符號分量和梯度分量，即CLBP_S和CLBP_M，再將得到的結(jié)果相乘。CLBP_M分量的值是連續(xù)的，為了與CLBP_S分量的編碼統(tǒng)一，需要將CLBP_M分量計(jì)算出來的值化為二進(jìn)制編碼[19]。CLBP_M編碼如式(4)～式(6)所示：

(4)

(5)

其中，mp為中心像素灰度值，c是自適應(yīng)閾值。這里的c是取整幅圖像的mp的均值。p個(gè)采樣點(diǎn)的坐標(biāo)為：

(6)

Figure 5 Flow chart of circular LBP algorithm圖5 圓形LBP算法流程圖

Figure 6 Generator structure圖6 生成器結(jié)構(gòu)

中心像素代表該局部區(qū)域的灰度級和灰度判別信息，為了使CLBP_M和CLBP_S更好地結(jié)合，對整幅圖像進(jìn)行平均編碼,如式(7)所示：

CLBP_C=t(gc,cI)

(7)

其中，gc表示中心像素的灰度值，cI表示整幅圖像中像素灰度的平均值(通過比較中心像素和整幅圖像平均像素值的大小進(jìn)行二進(jìn)制編碼)[20]。

圓形LBP算法的流程圖如圖5所示，其中LDSMT為局部差分處理器，可以通過串聯(lián)、并聯(lián)或者串并聯(lián)其直方圖的形式來對3個(gè)特征值CLBP_S、CLBP_M和CLBP_C進(jìn)行融合[21]。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

3.2.1 生成器結(jié)構(gòu)

本文的生成器結(jié)構(gòu)如圖6所示，是由LBP算法、4個(gè)卷積層(Conv1～Conv4)、9個(gè)殘差模塊層(ResNet1～ResNet9)和2個(gè)轉(zhuǎn)置卷積層(Deconv1、Deconv2)組成的。生成器的工作步驟：先經(jīng)過LBP算法提取輸入圖像的紋理信息；再經(jīng)過3個(gè)卷積層提取圖像的其它特征，經(jīng)過9個(gè)殘差模塊層進(jìn)行圖像轉(zhuǎn)換，即圖像風(fēng)格的遷移，經(jīng)過1個(gè)轉(zhuǎn)置卷積還原圖像的低級特征 ，再經(jīng)過1個(gè)卷積層生成圖像；最后再輸出圖像。本文生成器輸入和輸出的圖像大小都是256*256像素。

每個(gè)殘差模塊層都由2個(gè)卷積層組成。殘差模塊層的工作就是將上一個(gè)卷積層的一部分輸出作為輸入和一部分經(jīng)過殘差模塊層的輸入一起添加到殘差模塊層的輸出中，具體結(jié)構(gòu)如圖7所示。使用殘差模塊層可以更好地保護(hù)原始圖像信息的完整性，解決傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層越深梯度消失越明顯的問題，網(wǎng)絡(luò)隨深度的增加而不退化，可加快模型的訓(xùn)練速度，改善模型的訓(xùn)練效果[22]。

Figure 7 Structure of residual network layer圖7 殘差模塊層結(jié)構(gòu)

3.2.2 判別器結(jié)構(gòu)

本文的判別器結(jié)構(gòu)如圖8所示，是由5個(gè)卷積層(Conv1～Conv5)組成的。判別器首先用前4個(gè)卷積層提取輸入圖像的特征，然后用第5個(gè)卷積層將其轉(zhuǎn)換為一維特征向量后輸出，實(shí)現(xiàn)判別的目的。

Figure 8 Discriminator structure圖8 判別器結(jié)構(gòu)

生成器和判別器互相博弈，先由判別器訓(xùn)練生成器，目的是訓(xùn)練CycleGAN的生成器使其能生成更清晰且真實(shí)的圖像。然后由生成器訓(xùn)練判別器，目的是讓判別器不斷地提高判別能力,然后再根據(jù)循環(huán)一致性得到的圖像來驗(yàn)證生成器是否能生成更真實(shí)的圖像[23]。

當(dāng)模型訓(xùn)練完成后，輸入1幅圖像，生成器就能提取圖像的特征，生成具有其他風(fēng)格的圖像，也就是將X的圖像風(fēng)格轉(zhuǎn)換成Y的圖像風(fēng)格。CycleGAN是一個(gè)環(huán)形的網(wǎng)絡(luò)，也存在反向的將Y的圖像風(fēng)格還原成X的圖像風(fēng)格的輸出結(jié)果,但出于縮短模型訓(xùn)練時(shí)間等的實(shí)際需要，本文只保存了X向Y轉(zhuǎn)換的輸出結(jié)果。實(shí)驗(yàn)表明，經(jīng)過這樣的循環(huán)，最終能實(shí)現(xiàn)圖像的風(fēng)格遷移。

3.3 損失函數(shù)

CycleGAN的損失函數(shù)由3部分組成：X域到Y(jié)域的損失函數(shù)、Y域到X域的損失函數(shù)和循環(huán)一致性的損失函數(shù)。

Rudin等人[24]發(fā)現(xiàn)受噪聲污染的圖像的總變分比沒有噪聲的圖像的總變分大，最小化Total Variation Loss就可以最小化噪聲，如式(8)所示:

(8)

其中，xi,j為每個(gè)像素的坐標(biāo)，xi,j+1為縱向下一個(gè)像素的坐標(biāo)，xi+1,j為橫向下一個(gè)元素的坐標(biāo)，β為權(quán)值，取值為2.75。通過計(jì)算像素的坐標(biāo)可以得到圖像相鄰像素的差異，這樣就可以降低函數(shù)值，降低Total Variation Loss。

Total Variation Loss可以去除噪聲，使圖像平滑，和其他損失函數(shù)配合使用可以約束噪聲，常用于圖像處理中[25]。因此，本文在CycleGAN的損失函數(shù)中加入了Total Variation Loss來減小生成圖像的噪聲。

對于X域到Y(jié)域的映射,CycleGAN的損失函數(shù)如式(9)所示：

LG(GX2Y,DY,X,Y)=Ey～pdata(y)[logDY(y)]+

Ex～pdata(x)[1-logDY(GX2Y(x))]+RVβ

(9)

其中，X，Y為源域X域和目標(biāo)域Y域；x和y分別是X域圖像和Y域圖像，GX2Y(x)為X域到Y(jié)域映射的生成器 ，DY為判別X域到Y(jié)域生成的圖像判別器。

對于Y域到X域的映射,CycleGAN的損失函數(shù)如式(10)所示：

LG(GY2X),DX,X,Y)=Ey～pdata(x)[logDX(y)]+

Ey～pdata(y)[1-logDX(GY2X(y))]+RVβ

(10)

其中，GY2X(y)為Y域到X域映射的生成器 ，DX為判別Y域到X域的判別器。

CycleGAN同時(shí)訓(xùn)練2個(gè)映射，一個(gè)是X域的圖像x經(jīng)過生成器GX2Y生成Y域圖像，一個(gè)是生成的Y域圖像經(jīng)過反向生成器GY2X能變回X域的圖像x。后一個(gè)映射如式(11)所示：

GY2X(GX2Y(x))≈x

(11)

同理，Y域的圖像y可經(jīng)過生成器GY2X生成X域圖像，生成的X域圖像經(jīng)過反向生成器GX2Y能變回Y域的圖像y，如式(12)所示：

GX2Y(GY2X(y))≈y

(12)

式(11)和式(12)就是CycleGAN中循環(huán)一致性的體現(xiàn)。

循環(huán)一致性的損失函數(shù)如式(13)所示：

Lcyc=(GX2Y,GY2X,X,Y)=

Ex～X[‖GY2X(x)-x‖1]+

Ey～Y[‖GX2Y(y)-y‖1]

(13)

CycleGAN由2組生成器和判別器構(gòu)成(圖2只給出正向X域到Y(jié)域的結(jié)構(gòu)，反向Y域到X域的結(jié)構(gòu)與之類似只需交換X、Y字母)。損失函數(shù)中每組GAN的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的損失類似， 公式相同?？倱p失函數(shù)是整個(gè)網(wǎng)絡(luò)的損失函數(shù)，包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，由生成器的損失函數(shù)(Total Variation Loss在生成器損失函數(shù)內(nèi))、判別器的損失函數(shù)和循環(huán)一致的損失函數(shù)組成。本文方法的總損失函數(shù)如式(14)所示：

L=LG(GX2Y,DY,X,Y)+LG(GY2X,DX,X,Y)+

Lcyc(GX2Y,GY2X,X,Y)

(14)

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)所使用的計(jì)算機(jī)配置：處理器為Intel?CoreTMi7-8565U CPU @ 1.80 GHz，運(yùn)行內(nèi)存為8 GB，顯卡為NVIDIA GeForce MX250。開發(fā)環(huán)境是TensorFlow，數(shù)據(jù)集的處理在PyCharm平臺上實(shí)現(xiàn)。

本文選取的是scenery2painting數(shù)據(jù)集，風(fēng)景圖像和油畫圖像2種類別作為實(shí)驗(yàn)對象，最終使用的風(fēng)景圖像2 000幅，油畫圖像400幅，其中訓(xùn)練集中風(fēng)景圖像1 900幅，油畫圖像300幅，測試集中的風(fēng)景圖像100幅，油畫圖像100幅。

實(shí)驗(yàn)圖像的尺寸均為256*256像素，訓(xùn)練使用Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為0.000 2，保持學(xué)習(xí)率不變的epoch數(shù)量為200。

4.2 主觀評價(jià)

CycleGAN常用于實(shí)現(xiàn)圖像遷移，因此為了驗(yàn)證本文方法的有效性，實(shí)驗(yàn)選取基于CycleGAN的圖像風(fēng)格遷移、在CycleGAN上加入L1正則化的圖像風(fēng)格遷移方法進(jìn)行對比實(shí)驗(yàn)，使用相同的數(shù)據(jù)集，訓(xùn)練和測試的圖像完全相同，對進(jìn)行多次迭代后得出的結(jié)果進(jìn)行比較。

由于油畫圖像數(shù)量有限，風(fēng)景圖像和油畫圖像的數(shù)量不可能相同，所以實(shí)驗(yàn)中如果風(fēng)景圖像的訓(xùn)練圖像數(shù)量大于油畫圖像的訓(xùn)練圖像數(shù)量，就從油畫數(shù)據(jù)集中隨機(jī)選取圖像進(jìn)行訓(xùn)練，實(shí)驗(yàn)結(jié)果如圖9所示。

Figure 9 Contrast diagram before and after style conversion圖9 風(fēng)格轉(zhuǎn)換前后對比圖

由圖9可以看出，CycleGAN雖然完成了圖像風(fēng)格的轉(zhuǎn)換但得到的圖像十分模糊，加入L1正則化的CycleGAN雖然可以得到清晰的圖像輪廓，也能完成基本的圖像風(fēng)格遷移，但是效果不是最好的，而本文方法可以實(shí)現(xiàn)圖像風(fēng)格的轉(zhuǎn)換，效果清晰，質(zhì)量明顯高于其他2種對比方法。

4.3 客觀評價(jià)

為了進(jìn)一步驗(yàn)證本文方法的有效性，客觀評價(jià)CycleGAN、加入L1正則化的CycleGAN與本文方法之間的差異，本文使用對比度、結(jié)構(gòu)相似性SSIM(Structural Similarity Index)、信息熵、峰值信噪比PSNR(Peak Signal to Noise Ratio)和均方誤差MSE(Mean Square Error)進(jìn)行評估。

對比度反映了一幅圖像中明暗區(qū)域之間的不同亮度層級，如式(15)所示：

C=∑δδ2(i,j)Pδ(i,j)

(15)

其中，δ(i,j)=|i-j|，表示相鄰像素之間的灰度差；Pδ(i,j)表示相鄰像素的灰度差為δ的像素的分布概率。對比度值越大代表對比度越大，圖像更生動(dòng)、更豐富。

結(jié)構(gòu)相似性SSIM反映了2幅圖像的相似度，如式(16)所示:

(16)

信息熵是信息含量的量化指標(biāo)，如式(17)所示：

(17)

其中，xi表示第i幅圖像，XC表示圖像的集合；p(xi)表示輸出為xi的概率函數(shù)，n為圖像數(shù)量。信息熵值越大代表包含的信息越多，圖像更生動(dòng)更豐富。

PSNR是圖像處理中信號重建質(zhì)量的測量評價(jià)指標(biāo)，通常會(huì)通過均方誤差(MSE)來定義。MSE是參數(shù)估計(jì)值與參數(shù)真值的差的期望值，如式(18)所示：

(18)

PSNR是峰值信噪比，是信號最大功率和影響信號精度噪聲功率的比值，是到達(dá)噪音比率頂點(diǎn)的信號，如式(19)所示：

(19)

其中，MAXI表示圖像點(diǎn)顏色的最大數(shù)值。PSNR的值越大，說明圖像失真越小，圖像的重建質(zhì)量越好。

評估結(jié)果如表1所示。

Table 1 Evaluation results of each method表1 各方法評估結(jié)果

由表1可以看出,CycleGAN的對比度值最小,說明CycleGAN遷移效果最差；而本文方法的對比度高于其他2種方法的，說明使用本文方法產(chǎn)生的圖像內(nèi)容更生動(dòng)、更豐富。從SSIM來看，本文方法生成的圖像與原圖像的結(jié)構(gòu)最相似，這是因?yàn)楸疚姆椒梢猿浞謱W(xué)習(xí)和融合樣本的有效信息。由信息熵的數(shù)據(jù)可以看出，CycleGAN產(chǎn)生的圖像信息量是最低的，本文方法產(chǎn)生的圖像包含的信息量要高于其他方法的。由PSNR和MSE可以看出，本文方法與CycleGAN相比，PSNR值提高了1.2，MSE值減小了296.3，說明本文方法產(chǎn)生的圖像質(zhì)量高于其他方法的。

通過以上客觀評價(jià)指標(biāo)可以看出，本文方法在圖像風(fēng)格遷移上的各項(xiàng)客觀評價(jià)指標(biāo)的數(shù)據(jù)要優(yōu)于對比方法，產(chǎn)生的圖像優(yōu)于對比方法產(chǎn)生的圖像，驗(yàn)證了本文方法的可行性。

5 結(jié)束語

針對CycleGAN遷移后的圖像紋理不清晰問題，本文提出了在CycleGAN的生成器中加入LBP算法來進(jìn)一步提取圖像的紋理特征的方法。針對生成圖像存在噪聲的問題，本文提出了在損失函數(shù)中加入Total Variation Loss來約束噪聲的方法。實(shí)驗(yàn)的結(jié)果表明，本文方法生成的圖像具有一定的實(shí)用性，可以滿足基本的要求，但也存在訓(xùn)練時(shí)間太長、油畫圖像數(shù)據(jù)集數(shù)量不能滿足風(fēng)景圖像數(shù)據(jù)集的需要等問題。

因此，在未來的工作中，將尋求一種新的算法來提高運(yùn)行速度，采用更多的數(shù)據(jù)集進(jìn)行訓(xùn)練和測試，使產(chǎn)生的圖像內(nèi)容更生動(dòng)、更豐富，質(zhì)量更高。