宋俊芳

摘要：深度卷積生成對(duì)抗網(wǎng)絡(luò)的超分辨任務(wù)包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)建模過程。實(shí)現(xiàn)分為尋找到低分辨圖與高分辨圖之間的關(guān)系模型和利用量化后的關(guān)系將低分辨圖像通過恢復(fù)生動(dòng)紋理和顆粒細(xì)節(jié)達(dá)到高分辨圖兩步。方法重建的圖像可為高精度的目標(biāo)檢測(cè)提供保障。

關(guān)鍵詞：深度卷積；生成對(duì)抗網(wǎng)絡(luò)；超分辨重建；低分辨圖像；高分辨圖像

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2018）06-0075-01

1 深度學(xué)習(xí)超分辨重建

超分辨任務(wù)是指將同一場(chǎng)景的低分辨圖變?yōu)楦叻直鎴D的過程，任務(wù)的難點(diǎn)是要對(duì)知高分辨圖退化為低分辨圖的機(jī)理，作出合理的假設(shè)（如低分辨率圖完全擁有用于推理預(yù)測(cè)其所對(duì)應(yīng)的高分辨率的部分信息），來逆向（低分辨到高分辨）建模倒逼，尋找這種內(nèi)蘊(yùn)性的表達(dá)。目前比較流行的就是采用深度學(xué)習(xí)的思路訓(xùn)練這樣的網(wǎng)絡(luò)模型，較為經(jīng)典的如基于深度卷積生成式對(duì)抗網(wǎng)絡(luò)的超分辨任務(wù)。它包括兩個(gè)部分，生成網(wǎng)絡(luò)（可用各種深度神經(jīng)網(wǎng)絡(luò)，如卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)等）與判別網(wǎng)絡(luò)（帶有二分類器的各種深度神經(jīng)網(wǎng)絡(luò)）；其中生成網(wǎng)絡(luò)用于將低分辨圖變?yōu)楦叻直鎴D，也稱偽高分辨圖；判別網(wǎng)絡(luò)用于區(qū)分真實(shí)的高分辨圖和偽高分辨圖，進(jìn)而實(shí)現(xiàn)指導(dǎo)生成網(wǎng)絡(luò)的過程；需要注意的是偽高分辨圖與真實(shí)高分辨圖的尺寸是—致的。優(yōu)化時(shí)，需要滿足判別網(wǎng)絡(luò)盡可能以最大的概率判別真?zhèn)?，同時(shí)又需要生成網(wǎng)絡(luò)得到的偽高分辨圖盡可能與真實(shí)的高分辨圖分布特性一致，即判別網(wǎng)絡(luò)以最小的概率將生成的偽高分辨圖判斷為真實(shí)的高分辨圖。當(dāng)生成式對(duì)抗網(wǎng)絡(luò)訓(xùn)練完成后，取出生成網(wǎng)絡(luò)部分怦可實(shí)現(xiàn)低分辨圖到高分辨圖的恢復(fù)；其中的求解仍采用交替迭代，即固定判別網(wǎng)絡(luò)時(shí)，優(yōu)化生成網(wǎng)絡(luò)的參數(shù)；同理，固定生成網(wǎng)路時(shí)，優(yōu)化判別網(wǎng)絡(luò)的參數(shù)。

2 深度卷積對(duì)抗式生成網(wǎng)絡(luò)建模

生成式對(duì)抗網(wǎng)絡(luò)是一個(gè)整體架構(gòu)，其中的生成模型和判別模型可以采用各種深度神經(jīng)網(wǎng)絡(luò)，唯一不一樣的是它包含兩個(gè)網(wǎng)絡(luò)。而深度卷積對(duì)抗生成網(wǎng)絡(luò)模型是將生成模型與判別模型都采用傳統(tǒng)卷起神經(jīng)網(wǎng)絡(luò)的架構(gòu)來實(shí)現(xiàn)。下面分別對(duì)生成模型和判別模型如何用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)的輸入-輸出作出描述。

2.1 生成模型構(gòu)建

假設(shè)模型的輸入噪聲z服從均勻分布下的采樣即：R100～ ，如何利用卷積神經(jīng)網(wǎng)絡(luò)得到穩(wěn)定的輸出（即得到生成圖像，其尺度與自然圖像的尺寸一致），可以將傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)替換為轉(zhuǎn)置卷積神經(jīng)網(wǎng)絡(luò)，其池化操作被轉(zhuǎn)置或者微步卷積層替代，它可以被看作是傳統(tǒng)卷積操作的一種逆向傳遞過程。

2.2 判別模型構(gòu)建

判別模型的輸入是自然數(shù)據(jù)和生成模型的輸出數(shù)據(jù)，輸出是所對(duì)應(yīng)的類標(biāo)1和0；這一部分仍采用傳統(tǒng)的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)，如LetNet5，VGGNet等。改進(jìn)之處是將所有的池化層被卷積操作代替，并且真?zhèn)畏诸惼鞒怂粚油?，所有的隱層使用的非線性函數(shù)修正為線性單元的改進(jìn)版Leaky ReLU。而判別模型中的卷積流、卷積、非線性和批量歸一化保持不變。

3 任務(wù)實(shí)現(xiàn)

超分辨任務(wù)包括兩部分：（1）尋找到低分辨圖與高分辨圖之間的關(guān)系模型；（2）利用量化后的關(guān)系將低分辨圖像通過恢復(fù)生動(dòng)紋理和顆粒細(xì)節(jié)等以達(dá)到高分辨圖的效果。具體過程如圖1所示，輸入為低分辨圖，輸出為重建的相對(duì)高分辨圖，當(dāng)整個(gè)網(wǎng)絡(luò)收斂時(shí)，取出圖中左下腳的虛線部分，并將對(duì)應(yīng)的生成圖像作為最后恢復(fù)的高分辨圖像。

詳細(xì)算法步驟如下：

輸入：采集圖像，人工獲取的高分辨率圖像訓(xùn)練樣本。

輸出：和高分辨率圖像同樣尺寸的生成圖像。

（1）初始化深度卷積網(wǎng)絡(luò)參數(shù)：，通過深度卷積網(wǎng)絡(luò)獲取得到對(duì)應(yīng)的特征圖；初始化深度對(duì)抗網(wǎng)絡(luò)參數(shù)：初始化目標(biāo)函數(shù)參數(shù)：。（2）對(duì)判別模型參數(shù)和生成模型參數(shù)進(jìn)行交替迭代優(yōu)化。（3）取出生成網(wǎng)絡(luò)部分即只關(guān)注生成模型，輸入低分辨圖，通過深度卷積網(wǎng)絡(luò)預(yù)測(cè)其輸出。

4 結(jié)語

將深度卷積生成對(duì)抗式網(wǎng)絡(luò)模型用于圖像的超分辨重建，在生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中都引入深度轉(zhuǎn)置卷積神經(jīng)網(wǎng)絡(luò)，所有的池化層被卷積操作代替，并且真?zhèn)畏诸惼鞒怂粚油?，所有隱層使用的非線性函數(shù)修正為線性單元的改進(jìn)版Leaky ReLU。結(jié)果使得用該方法重建圖像，不僅清晰度變好，且邊緣信息得到了很好的保留，可為高精度的目標(biāo)檢測(cè)與分類識(shí)別提供保障。

參考文獻(xiàn)

[1]張喜升.對(duì)抗樣本和生成對(duì)抗網(wǎng)絡(luò)——深度學(xué)習(xí)中的對(duì)抗方法綜述[D].南開大學(xué)，2016.

[2]虢齊.基于深度學(xué)習(xí)的圖像生成技術(shù)研究與應(yīng)用[D].電子科技大學(xué)，2017.

[3]朱純，王翰林，魏天遠(yuǎn)，等.基于深度卷積生成對(duì)抗網(wǎng)絡(luò)的語音生成技術(shù)[J].儀表技術(shù)，2018，（2）：13-15+20.

[4]滕達(dá)，宋曉，龔光紅，等.深度神經(jīng)網(wǎng)絡(luò)圖像識(shí)別魯棒性增強(qiáng)方法研究[C].中國體視學(xué)與圖像分析學(xué)術(shù)會(huì)議.2015.

Abstract：The super-resolution task of deep convolution generation against network includes generation network and discriminative network modeling process. The realization is divided into finding the relationship model between the low-resolution map and the high-resolution map and using the quantified relationship to achieve the high-resolution map by recovering the low-resolution image through vivid texture and particle details. The reconstructed image can provide high-precision target detection.

Key words：deep convolution； generation of confrontation network； super-resolution reconstruction； low-resolution image； high-resolution image