李本佳

摘要：隨著深度學習浪潮的到來，圖像領域獲得了革命性的突破與發(fā)展，作為圖像領域的重要組成部分，圖像風格遷移技術也開始了新的篇章。生成對抗網(wǎng)絡（Generative Adversarial Networks）作為圖像風格遷移的一種新技術，對該領域帶來了革命性的改變。該文針對非真實感繪制領域，分別對該領域內各種具有代表性的方法進行介紹，并給出相關的實驗結果。同時重點介紹了生成對抗網(wǎng)絡以及其相關分支并給出工業(yè)界的一些相關應用，最后對非真實感繪制技術的發(fā)展趨勢進行展望。

關鍵詞：生成對抗網(wǎng)絡;圖片抽象;圖片融合

中圖分類號：TP3? ? ? ? 文獻標識碼：A? ? ? ? 文章編號：1009-3044（2018）35-0188-03

1 概述

圖像風格遷移技術涉及圖像濾波、非真實感繪制以及圖像融合等多個領域，具有非常廣泛的用途。作為圖像風格遷移技術的重要分支，非真實感繪制技術不僅和計算機技術息息相關，還有助于提高藝術領域的水平，降低藝術創(chuàng)作的門檻。近幾年，隨著深度學習的廣泛應用，圖像領域迎來了一波又一波突破性的變革，作為圖像領域的重要分支，非真實感繪制技術也開啟了新的篇章。

2 傳統(tǒng)非真實感繪制技術

圖像作為我們日常生活中廣泛使用的信息介質，具有多重功能。針對社會各界的不同需求，往往會針對圖像做出各種各樣的改變，然而通過人力顯然是一項龐大的工程。針對這些需求，學者們提出了一系列自動或者半自動的工程來完成圖像風格的轉變。1990年，Saito等人[1]最早提出非真實感繪制技術，其基本思路是從3D場景的幾何屬性中提取數(shù)據(jù)，導入到數(shù)據(jù)緩沖區(qū)并執(zhí)行圖像處理操作。隨著時代的前進，已經(jīng)陸續(xù)開發(fā)了很多非真實感繪制技術。這些方法大多使用圖像過濾或者通過數(shù)據(jù)公式對圖像進行優(yōu)化。在基于圖像過濾的非真實感繪制技術中，最具有代表性的是2006年，Holger等人[2]等人提出的實時抽象方法，該方法使用近似各方向擴散的方法來降低低對比度區(qū)域的對比度，并且在具有高斯邊緣差異的較高對比度區(qū)域中人為地增加對比度。抽象步驟是可擴展的，允許藝術或數(shù)據(jù)驅動的控制?？梢赃x擇使用軟顏色量化來對抽象圖像進行風格化，以產(chǎn)生具有良好時間相干性的類似卡通效果。同時，在基于梯度最小化的非真實感繪制技術中，最典型的方法是Xu[3]等人提出的通過L0梯度最小化的圖像平滑技術來進行圖像風格轉換。該方法主要通過增加過渡的陡度來銳化主要邊緣，同時消除了可控制程度較低的低振幅結構，并利用L0進行梯度最小化。

雖然現(xiàn)有的傳統(tǒng)非真實感繪制技術具有不錯的效果，但是依然具有很多缺陷。傳統(tǒng)的非真實感繪制技術只能簡單而粗略地對圖片進行處理，在具體的轉換風格和圖片細節(jié)方面做得不夠準確。

3 生成對抗網(wǎng)絡技術

2012年，Alex等人[4]在ImageNet分類挑戰(zhàn)賽中贏得了冠軍，其使用的卷積神經(jīng)網(wǎng)絡模型迅速提升了圖像識別性能，產(chǎn)生了重大的影響，開啟了深度學習的浪潮。 2014年，Goodfellow等人[5]提出了模型對抗式的新生成模型架構，命名為生成對抗網(wǎng)絡（Generative Adversarial Networks），該技術在圖像生成、數(shù)據(jù)增強、非真實感繪制技術等多個領域均有廣泛的用途。

3.1 生成對抗網(wǎng)絡

機器學習總共包含兩類模型，一種是判別模型（discrimination model），判別模型由特定的網(wǎng)絡結構的組成，模型會通過模型進行不間斷的訓練來對輸入的種類進行分辨。另一種是生成模型（generative model），其基本思路是通過給定輸入，通過模型的訓練來逼近數(shù)據(jù)的原始概率分布。

生成對抗網(wǎng)絡采用了真實樣本與生成器之間相互博弈，達到均衡的目的來訓練生成網(wǎng)絡。整個網(wǎng)絡主要包含兩個模型，一個是生成模型，另一個是判別模型。這兩個模型是相輔相成的，生成器的輸出反饋給判別模型，而判別器的輸出再反饋到生成的模型。其具體思路是給定輸入數(shù)據(jù)，設定好生成器的概率分布，通過一個噪聲函數(shù)進行控制。這樣就可以通過生成器將輸入映射到一個模仿出的樣本中，將該樣本作為判別模型的輸入。提取生成模型的輸出和真實圖像一起作為判別模型的輸入，看是否滿足判別器的條件，如果不滿足則繼續(xù)進行訓練，知道滿足條件為止。根據(jù)文獻[5]，我們可以看到整個網(wǎng)絡結構：

通過圖1所示的生成對抗網(wǎng)絡模型，我們可以了解到生成對抗網(wǎng)絡的工作流程。首先通過生成器產(chǎn)生fake image，然后將fake image和real image進行混合，并通過判別器進行判斷并進行反饋。GAN的優(yōu)化是real image和fake image相互博弈的問題，最終的目的是生成器的輸出給判別器時很難判斷是真實或者偽造的，即極大化判別器的判斷能力，極小化將生成器的輸出判斷為偽造的概率。由于生成對抗網(wǎng)絡包含兩個網(wǎng)絡，而其輸出和輸入彼此相關，因此生成對抗網(wǎng)絡中的兩個模型訓練的方法是單獨交替迭代訓練，并相互關聯(lián)。

生成對抗網(wǎng)絡具有非常卓越的優(yōu)越性。當真實數(shù)據(jù)具有不確定性時，往往不方便進行具體的計算，而傳統(tǒng)的機器學習模型無法直接應用。但是生成對抗網(wǎng)絡依舊可以運用，這是由于生成對抗網(wǎng)絡引入了內部對抗的訓練機制，能夠逼近一下難以計算的概率分布。更為重要的，深度學習領域專家們一直積極提倡生成對抗網(wǎng)絡在各方面的應用，甚至認為生成對抗網(wǎng)絡是當前最有趣的貢獻，其原因主要是因為生成對抗網(wǎng)絡為無監(jiān)督學習做出了巨大的貢獻，為強人工智能打下了堅實的基礎。

3.2 生成對抗網(wǎng)絡改進模型

基于生成對抗網(wǎng)絡的原理，更多關于生成對抗網(wǎng)絡的變體以及其相關領域的技術如雨后春筍般浮現(xiàn)，短短幾年，相關技術的論文已經(jīng)到達了上百篇。特別是針對圖像風格轉換，出現(xiàn)了許多效果非常棒的模型。

2016年，文獻[6]提出了一種名為Pix2PixGan的技術。普通的生成對抗網(wǎng)絡接收的生成器部分的輸入是隨機向量，輸出是圖像;判別器部分接收的輸入是圖像（生成的或是真實的），輸出是對或者錯[6]?；谶@個原理，生成對抗網(wǎng)絡就可以得到目標作品。但對于圖像翻譯任務來說，它的生成器輸入顯然應該是一張圖x，輸出當然也是一張圖y。但是為了使對比更加明顯，更容易轉換，在新技術中提出了要求，即判別器的輸入應保證生成的圖像和輸入圖像是相互適配的。于是在新技術中，對判別器的輸入部分進行了改進，使其變成一個損失函數(shù)。通過文獻[6]中的實驗結果，可以看出Pix2PixGan的效果圖：

CycleGAN由兩個相互連接的單向生成對抗網(wǎng)絡。兩個單向生成對抗網(wǎng)絡共享兩個生成器，然后各自帶一個判別器。一個單向生成對抗網(wǎng)絡有兩個loss。由于該模型架構組成了一個環(huán)，故命名為CycleGan。CycleGan通過兩個單向生成對抗網(wǎng)絡解決了Pix2PixGan需要兩個圖片相同標準的不足，提高了應用的范圍。CycleGan具有很優(yōu)秀的效果，通過該技術可以應用到各個領域，例如男人圖片變成女人圖片，蘋果變成橘子等等有意思的應用。通過文獻[7]中的實驗結果，可以看出CycleGAN的效果，如圖3所示。

2018年，計算機視覺頂級會議IEEE Conference on Computer Vision and Pattern Recognition接收了一篇名為CartoonGAN[8]的論文，該論文可以自動將真實世界的照片轉換為具有特定作畫風格的漫畫風格。該技術對于畫師來說是非常有幫助的一件事：這可以為他們節(jié)省大量時間，讓他們專注于更有意義和創(chuàng)造性的工作，風格遷移工具也可以為 Instagram 和 Photoshop 等圖像編輯軟件提供新功能[8]。CartoonGan在傳統(tǒng)的生成對抗網(wǎng)絡架構的基礎上，改進了兩種具體的損失函數(shù)，使該網(wǎng)絡架構可以更好地適配出漫畫所存在的細節(jié)和特質。其核心的轉變主要體現(xiàn)在定義了一種名為?1的稀疏正則化的損失衡量標準，同時為了確保漫畫邊緣風格細節(jié)的質感，對圖片進行增強邊緣對抗的處理。通過文獻[8]中的實驗結果，可以看到CartoonGan的效果圖以及與其他相關技術的效果對比：

4 非真實感繪制技術的應用與展望

如今，非真實感知技術已經(jīng)成熟應用于工業(yè)界，帶來了巨大的效益。狹義上來說，非真實感繪制技術可以使廣大用戶方便地將目標圖片轉換成各種其他風格的圖片。同時，不同風格之間的轉換，對于畫師來說更是一項非常有利的工作，因為很多時候存在很多費時費力卻又不得不做的工作。廣義上來說，非真實感繪制技術還可以應用在從低分辨率圖像得到高分辨率圖像的轉換上，場景圖片和標簽圖片之間的相互轉換，環(huán)境的色調轉換，藝術品與真實圖片之間的轉換（油畫與真實圖片的轉換、漫畫與真實圖片的轉換、素描與真實圖片的轉換），黑白照片轉換彩色照片等。

雖然深度學習技術越來越成熟，但是現(xiàn)有方法依然有一些缺陷不可避免?，F(xiàn)有的模型方法大多存在較多的超參數(shù)，不同的超參數(shù)設定會導致很多不同的結果，正因為超參數(shù)的不確定性，導致很多技術復現(xiàn)不了很好的效果。下一步非感知繪制技術的發(fā)展應該進一步減少超參數(shù)的數(shù)量，以更加合理的參數(shù)數(shù)目來提高模型的優(yōu)越性。

5 總結

本文介紹了非真實感繪制技術的發(fā)展歷程，介紹了當前領先的生成對抗網(wǎng)絡，并對其中具有代表性的方法進行了詳盡的介紹和分析。非真實感繪制技術會隨著時代的發(fā)展越來越被社會各界所需要，而其相關的技術也會發(fā)展得越完善。

參考文獻：

[1] Saito T， Takahashi T. Comprehensible rendering of 3-D shapes[C].Conference on Computer Graphics & Interactive Techniques. ACM， 1990：197-206.

[2] Holger Winnem?ller， Olsen S C， Gooch B. Real-time video abstraction[C].AcmSiggraph. ACM， 2006：1221-1226.

[3] Xu L， Lu C， Xu Y， et al. Image smoothing via L0 gradient minimization[C].Siggraph Asia Conference. ACM， 2011：1-12.

[4] Krizhevsky A， Sutskever I， Hinton G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012：1097-1105.

[5] Goodfellow I J， Pouget-Abadie J， Mirza M， et al. Generative Adversarial Networks[J]. Advances in Neural Information Processing Systems， 2014， 3：2672-2680.

[6] Isola P， Zhu J Y， Zhou T， et al. Image-to-Image Translation with Conditional Adversarial Networks[J]. 2016：5967-5976.

[7] Kim T， Cha M， Kim H， et al. Learning to Discover Cross-Domain Relations with Generative Adversarial Networks[J].south korean intelligence information system institute of academic conference， 2017.

[8] YANG C， YU-Kun L，YONG-Jin L. CartoonGAN： Generative Adversarial Networks for Photo Cartoonization[C]. IEEE Conference on Computer Vision and Pattern Recognition，2018.

[通聯(lián)編輯：代影]