吳臣桓，楊 欣，李志強(qiáng)

(南京航空航天大學(xué) 自動化學(xué)院，江蘇 南京 211100)

圖像超分辨率重建[1-2]旨在恢復(fù)退化的圖像內(nèi)容，填補(bǔ)缺失的信息.圖像超分辨率重建技術(shù)大致可以分為以下3種：①以雙3次插值、雙線性插值為代表的插值算法，該算法具有速度快的優(yōu)點(diǎn)，但是重建圖像的質(zhì)量往往較低；②基于重建模型的算法，該算法在上采用倍數(shù)較低時(shí)擁有不錯(cuò)的效果，但是隨著上采樣倍數(shù)的增加，重建圖像的質(zhì)量會發(fā)生顯著的降低；③基于學(xué)習(xí)[4-5]的方法，該算法通過大量的高、低分辨率圖像對學(xué)習(xí)圖像從低分辨率到高分辨率的非線性關(guān)系，在近年來的研究中取得了巨大的發(fā)展，成為主流的研究方向.基于學(xué)習(xí)的超分辨率重建算法最開始集中在機(jī)器學(xué)習(xí)領(lǐng)域，比如稀疏字典、隨機(jī)森林等方法被相繼提出.近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，大量的研究轉(zhuǎn)向?yàn)閿?shù)據(jù)驅(qū)動的深度學(xué)習(xí)領(lǐng)域.Dong[3]等最先將神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像的超分辨重建，他們的模型SRCNN只包含了3個(gè)卷積層，但是效果優(yōu)于以前非學(xué)習(xí)的方法.后來的研究利用神經(jīng)網(wǎng)絡(luò)做了大量工作，但性能的提升往往伴隨著計(jì)算成本的急劇上升，計(jì)算效率并沒有得到提高，這也導(dǎo)致高性能超分辨重建算法很難實(shí)際展開應(yīng)用.對此Chu[8]、Guo[9]等開始將神經(jīng)架構(gòu)搜索[10-11]用于高效超分辨率重建的研究.得益于神經(jīng)架構(gòu)搜索超參數(shù)自動調(diào)整，網(wǎng)絡(luò)不依賴人工設(shè)計(jì)，解空間大等優(yōu)點(diǎn)，本文提出了一種基于神經(jīng)架構(gòu)搜索的高效超分辨重建算法，相比于其他人工設(shè)計(jì)的網(wǎng)絡(luò)，本算法在保證重建圖像準(zhǔn)確的同時(shí)擁有了更高的計(jì)算效率.

1 模型結(jié)構(gòu)

1.1 整體結(jié)構(gòu)

圖1 模型總體結(jié)構(gòu)示意圖

1.2 搜索空間

在神經(jīng)架構(gòu)搜索中，搜索空間大致分為鏈狀結(jié)構(gòu)和基于cell的結(jié)構(gòu)，前者代表搜索整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，后者只搜索一些小的結(jié)構(gòu)，通過堆疊、拼接的方法組合成完整的大網(wǎng)絡(luò).采用鏈?zhǔn)浇Y(jié)構(gòu)時(shí)，隨著網(wǎng)絡(luò)深度的增加，搜索空間將按照指數(shù)增長，這顯然很難在實(shí)際中應(yīng)用，因此本算法采用了cell結(jié)構(gòu)，其內(nèi)部由多個(gè)節(jié)點(diǎn)組成，節(jié)點(diǎn)之間相互連接形成邊，每條邊決定節(jié)點(diǎn)間的數(shù)據(jù)采用什么樣的運(yùn)算方式.

考慮到盡可能地使計(jì)算量低，小尺寸的卷積核是至關(guān)重要的，本算法在表1中給出了針對輕量化模型的搜索空間.

表1 輕量化搜索空間

其中，RCAB表示殘差通道注意力模塊，ECA表示高效通道注意力機(jī)制.

1.3 搜索策略

在神經(jīng)架構(gòu)搜索中，常用的搜索策略有隨機(jī)搜索、遺傳算法、貝葉斯算法、強(qiáng)化學(xué)習(xí)等.本算法采用了強(qiáng)化學(xué)習(xí)的方法，將整個(gè)搜索分為宏觀搜索和微觀搜索兩部分.宏觀搜索主要搜索降采樣結(jié)構(gòu)在網(wǎng)絡(luò)中位置，而微觀搜索主要搜索cell結(jié)構(gòu)內(nèi)部節(jié)點(diǎn)之間的連接和運(yùn)算.

1.3.1 宏觀搜索

宏觀搜索定義了降采樣結(jié)構(gòu)的位置關(guān)系，具體來說，假設(shè)在網(wǎng)絡(luò)的主干部分設(shè)置下采樣倍數(shù)為2倍，即只存在一個(gè)下采樣結(jié)構(gòu)，那么對于包含n個(gè)cell結(jié)構(gòu)的網(wǎng)絡(luò)，其位置共有n-1種可能.圖2(a)展示了這一搜索的過程，圖中紅色的箭頭代表某一確定下采樣結(jié)構(gòu)位置的子網(wǎng)絡(luò)，即下采樣結(jié)構(gòu)位于第一個(gè)普通cell結(jié)構(gòu)后，而灰色的箭頭代表了下采樣結(jié)構(gòu)所有潛在的位置.

1.3.2 微觀搜索

微觀搜索定義了cell結(jié)構(gòu)內(nèi)部之間的關(guān)系，cell結(jié)構(gòu)內(nèi)部可以被抽象為由多個(gè)節(jié)點(diǎn)連接而成的有向無環(huán)圖.為了構(gòu)建這個(gè)有向無環(huán)圖，微觀搜索需要建立各節(jié)點(diǎn)之間的連接關(guān)系，并為這些連接分配運(yùn)算操作.對于每個(gè)連接，其可能存在的運(yùn)算操作如表1所示.

1.4 評價(jià)準(zhǔn)則

將神經(jīng)架構(gòu)搜索應(yīng)用于圖像超分辨重建主要想解決的就是平衡計(jì)算量消耗和性能這一矛盾.在本算法中，采用了強(qiáng)化學(xué)習(xí)中的獎勵(lì)用來表示這一矛盾關(guān)系，強(qiáng)化學(xué)習(xí)的直覺是讓獎勵(lì)積累盡可能的多.所以在超分辨重建這一任務(wù)上，獎勵(lì)R由計(jì)算量Mflops和性能衡量指標(biāo)MPSNR共同組成，其數(shù)學(xué)表達(dá)式如公式1所示：

R=0.2MPSNR-0.8Mflops.

(1)

1.5 控制器

循環(huán)神經(jīng)網(wǎng)絡(luò)常常被用作強(qiáng)化學(xué)習(xí)的控制器.本算法采用了和文獻(xiàn)[9]一樣的控制器結(jié)構(gòu)，使用長短期記憶網(wǎng)絡(luò)(LSTM[13])作為宏觀搜索和微觀搜索的控制器.整個(gè)控制器的結(jié)構(gòu)如圖2(b)所示.

1.5.1 微觀搜索控制器

微觀搜索控制器被用來尋找最優(yōu)的有向無環(huán)圖，如圖2(b)左側(cè)所示.在本算法中，共包含2種cell結(jié)構(gòu)，一種是特征圖尺寸不變的普通cell結(jié)構(gòu)，即輸入的特征圖尺寸與輸出特征圖尺寸相同，另一種則是分辨率擴(kuò)大的cell結(jié)構(gòu)，特征圖在經(jīng)過該cell結(jié)構(gòu)后，分辨率放大2倍.在每個(gè)cell結(jié)構(gòu)中，包含2個(gè)輸入節(jié)點(diǎn)，4個(gè)中間節(jié)點(diǎn)以及1個(gè)輸出節(jié)點(diǎn)，每個(gè)中間節(jié)點(diǎn)可以接受任意前面兩個(gè)節(jié)點(diǎn)的輸出作為輸入，因此每個(gè)中間節(jié)點(diǎn)，控制器需要做出2個(gè)決策：①選擇哪些節(jié)點(diǎn)作為輸入；②兩節(jié)點(diǎn)之間形成的邊采用什么樣的運(yùn)算操作.這些決策可以被看成一個(gè)時(shí)間序列，所以LSTM很適合用于去解決這一問題.

圖2 控制器網(wǎng)絡(luò)示意圖

1.5.2 宏觀搜索控制器

宏觀搜索控制器被用來尋找最優(yōu)的降采樣結(jié)構(gòu)位置，如圖2(b)右側(cè)所示，假設(shè)模型包含了n-1個(gè)普通cell，網(wǎng)絡(luò)級控制器被用來選擇在第i個(gè)cell后進(jìn)行降采樣操作(0≤i

2 訓(xùn)練及最優(yōu)結(jié)構(gòu)推斷

2.1 網(wǎng)絡(luò)訓(xùn)練

綜上，在控制器被設(shè)計(jì)好后，對控制器進(jìn)行訓(xùn)練以期望采樣出最優(yōu)子網(wǎng)絡(luò).神經(jīng)架構(gòu)搜索采用參數(shù)共享的方式.假設(shè)子網(wǎng)絡(luò)的采樣次數(shù)為S，首先初始化控制器參數(shù)θ與共享參數(shù)P；然后控制器每一次采樣得到子網(wǎng)絡(luò)α，將該子網(wǎng)絡(luò)在訓(xùn)練集上進(jìn)行訓(xùn)練，利用梯度下降的方式更新參數(shù)P；完成子網(wǎng)絡(luò)訓(xùn)練迭代的次數(shù)后，在驗(yàn)證集上進(jìn)行控制器參數(shù)的更新，控制器參數(shù)更新的公式如式2所示：

(2)

2.2 最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)推理

通過迭代和訓(xùn)練，得到所學(xué)習(xí)的策略π(·)，本算法首先抽樣幾個(gè)候選子網(wǎng)絡(luò)，然后通過驗(yàn)證集選擇一個(gè)圖像質(zhì)量評分最高的子網(wǎng)絡(luò)結(jié)構(gòu).最后，使用該架構(gòu)(包括普通cell和上采樣cell以及降采樣結(jié)構(gòu)的位置)建立SR模型，并將其從頭訓(xùn)練.

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

考慮到計(jì)算量和性能的兼顧，對于上采樣因子為2的超分辨率重建任務(wù)，本算法將降采樣倍數(shù)設(shè)置為2，整個(gè)網(wǎng)絡(luò)包含15個(gè)cell結(jié)構(gòu)(14個(gè)普通cell結(jié)構(gòu)，1個(gè)上采樣cell結(jié)構(gòu))，Batch-size設(shè)置為64.本算法使用Adam優(yōu)化器作為模型訓(xùn)練的優(yōu)化方法，其中參數(shù)β1=0.9，β2=0.999，ε=10-8.當(dāng)進(jìn)行神經(jīng)架構(gòu)搜索時(shí)，學(xué)習(xí)率設(shè)置為2×10-4.完成搜索后進(jìn)行最優(yōu)網(wǎng)絡(luò)訓(xùn)練時(shí)，初始學(xué)習(xí)率被設(shè)置為1×10-4，每迭代2萬次進(jìn)行一次對半的衰減，總迭代次數(shù)設(shè)置為10萬次.訓(xùn)練使用DIV2K作為訓(xùn)練集，在2張Nvidia-2080Ti GPU上完成訓(xùn)練.

3.2 實(shí)驗(yàn)結(jié)果

本算法共采樣了400個(gè)子網(wǎng)絡(luò)，從中選取最優(yōu)結(jié)構(gòu).如圖3所示，隨著控制器參數(shù)的更新，采樣出的子網(wǎng)絡(luò)在驗(yàn)證集上的損失逐漸降低，證明控制器使得采樣的子網(wǎng)絡(luò)往最優(yōu)的方向發(fā)展.

圖3 神經(jīng)架構(gòu)搜索時(shí)子網(wǎng)絡(luò)的損失曲線

在尋找到最優(yōu)子網(wǎng)絡(luò)后，對該網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行重新訓(xùn)練以期望得到更好的性能.圖4展示了本算法所搜索出的普通cell和上采樣cell結(jié)構(gòu)，可以看到其結(jié)構(gòu)是難以通過人工設(shè)計(jì)所得到的.本算法將訓(xùn)練完成的最優(yōu)網(wǎng)絡(luò)同其它深度學(xué)習(xí)算法做了性能的比較，結(jié)果如表2所示，其中Mult-Add表示模型在一幅480×480×3大小的圖片上所消耗的加乘計(jì)算量.和計(jì)算量差別較小的LapSRN相比，本算法在表中所有的測試集的PSNR、SSIM上都取得了不小的優(yōu)勢；CARN、DRRN憑借更大的模型，得到了更好的指標(biāo)，但是本算法的算力消耗不及其10%.

圖4 搜索出的上采樣cell和普通cell結(jié)構(gòu)示意圖

表2 本算法與其他算法性能和計(jì)算量的比較

3.3 視覺效果比較

圖5展示了本算法與其他算法在視覺效果上的比較，相比于SRCNN、VDSR，本算法在邊緣處更加銳利和準(zhǔn)確，紋理清晰自然.

圖5 4倍放大因子下本算法與其他算法的視覺效果比較

4 結(jié)語

本文針對圖像超分辨重建中算力消耗和性能難以平衡這一問題，提出了一種神經(jīng)架構(gòu)搜索高效超分辨率重建算法.首先采用全局殘差連接提高模型收斂性能；其次在模型的主干部分設(shè)計(jì)了下采樣結(jié)構(gòu)用于縮小特征圖尺寸，降低計(jì)算量；然后將搜索分為宏觀搜索和微觀搜索兩部分，宏觀搜索用于搜索特征圖尺寸縮小結(jié)構(gòu)的位置，微觀搜索用于搜索兩種不同cell結(jié)構(gòu)；最后通過實(shí)驗(yàn)比較，證明了該算法的有效性.