陳劍濤

（1.華僑大學(xué)工學(xué)院，泉州362021；2.華僑大學(xué)工業(yè)智能化技術(shù)與系統(tǒng)福建省高校工程研究中心，泉州362021）

0 引言

科技和經(jīng)濟(jì)的進(jìn)步，信息互聯(lián)網(wǎng)時(shí)代的信息以爆炸式的方式增長，而這些信息的主要載體為音頻、視頻和圖像。根據(jù)調(diào)查顯示，人們?nèi)粘Ｉ钪饕男畔碓从谝曈X方面，由于圖像能更加直觀傳遞信息，大約占據(jù)了所有信息獲取途徑的60%，由此可以看出圖像對于信息傳遞具有非常重要的作用。

近些年來，安防、醫(yī)學(xué)、遙感等領(lǐng)域?qū)D像的需求以及質(zhì)量都越來越高。圖像的分辨率是衡量圖像質(zhì)量的重要指標(biāo)之一，如何獲取更分辨率的圖像已經(jīng)成為科學(xué)研究中的重要熱點(diǎn)了。圖像的分辨率指的是，在單位面積中能夠存放的像素點(diǎn)的個(gè)數(shù)，分辨率越高的圖像，表示圖像中存儲的信息量也就越大。一方面，由于硬件設(shè)備的局限性，使得人們通過攝像頭所采集的圖像往往很難獲得更高質(zhì)量的圖像，甚至丟失很多重要的細(xì)節(jié)信息，比如道路安全監(jiān)控圖像。另一方面，在網(wǎng)絡(luò)的傳輸過程中，為了節(jié)約資源，用戶常常會選擇低分辨率圖像儲存或是傳遞信息。為了提高圖像的分辨率，可以對硬件設(shè)備進(jìn)行改進(jìn)升級，但此方法需要大量的成本，難以廣泛應(yīng)用。而通過軟件實(shí)現(xiàn)對圖像像素的放大，提高圖像質(zhì)量則能夠有效解決這類問題，也就是利用圖像超分辨率重建技術(shù)。圖像超分辨率重建技術(shù)可以分為三類：基于插值[1]、基于重建[2]和基于學(xué)習(xí)的方法。

1 基于插值的超分辨率算法

基于插值的超分辨率算法是一種早期提出的圖像放大算法?；诓逯档姆椒梢苑譃榫€性和非線性。插值算法利用待插值位置周圍分布的像素值，通過插值核逼近原始圖像信息。其算法模型較為簡單，計(jì)算量低且實(shí)時(shí)性高，對于硬件的要求低，因此應(yīng)用較為廣泛。但由于缺少引入外部信息的特點(diǎn)，圖像退化后高頻特征的丟失無法恢復(fù)，存在明顯的模糊和振鈴效應(yīng)，圖像失真嚴(yán)重，特別是在色彩豐富、結(jié)構(gòu)復(fù)雜的區(qū)域中。常用的插值算法有最鄰插值算法、雙線性插值算法、雙三次插值算法。為了優(yōu)化圖像的插值效果，提高算法的魯棒性，學(xué)者們提出了自適應(yīng)的插值算法，利用最小二乘法降低了圖像內(nèi)部區(qū)域塊模糊問題。雖然自適應(yīng)插值有效的提高了圖像重建質(zhì)量，但是其計(jì)算復(fù)雜度太高，不易于實(shí)現(xiàn)。

2 基于重建的超分辨率算法

基于重建的超分辨率算法利用圖像的先驗(yàn)知識對圖像的重建過程建立數(shù)學(xué)模型，主要可以分為空域法和頻域法。頻域法根據(jù)消除的頻譜混疊提高圖像的分辨率，由于缺乏引入的空間域先驗(yàn)知識，因此這類分支不是基于重建算法的研究熱點(diǎn)。相反，空域法具備空間域的先驗(yàn)知識，研究應(yīng)用相對廣泛，其經(jīng)典的方法包括：迭代反投影法、凸集投影法和最大后驗(yàn)概率估計(jì)的重建算法[3]?；谥亟ǖ姆椒ㄏ啾然诓逯档姆椒ǎM管提升顯著，但是隨著圖像重建倍數(shù)的增大，此類算法在圖像高頻特征往往出現(xiàn)平滑模糊的問題。

3 基于學(xué)習(xí)的超分辨率算法

基于學(xué)習(xí)的超分辨率算法是現(xiàn)在最為主流的算法，它根據(jù)學(xué)習(xí)成對高低分辨率圖像塊之間的映射關(guān)系，主要分為基于稀疏表示算法和基于深度學(xué)習(xí)算法。其中，稀疏表示法通過訓(xùn)練高、低樣本從而獲得稀疏字典，重建高分辨率圖像。但隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的發(fā)展，2014 年Dong 等人[4]第一次提出基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法SRCNN（Super-Resolution using Convolutional Neural Network），構(gòu)造了一個(gè)三層的端到端網(wǎng)絡(luò)模型，實(shí)現(xiàn)了圖像重建。這三層的卷積層分別對應(yīng)了低分辨率（Low Resolution，LR）圖像的特征提取，建立高分辨率圖像（High Resolution，HR）和低分辨率圖像之間的非線性映射關(guān)系，以及圖像重建的三個(gè)步驟。通過對公式（1）最小化L進(jìn)行模型訓(xùn)練，

其中W={w1,w2,w3,b1,b2,b3,}為模型中的卷積層的權(quán)重值和偏置值，xi和yi分別為成對的HR 圖像塊和LR 圖像塊，N為訓(xùn)練樣本的批次數(shù)。

由于SRCNN 只采用3 層卷積層的結(jié)構(gòu)，參數(shù)量較小，并不能很好地提取出圖像更深層次的特征。為了保證模型的重建能力和一定的訓(xùn)練時(shí)長，提出基于深度特征學(xué)習(xí)的SRCNN 算法，將SRCNN 優(yōu)化為5 層卷積層結(jié)構(gòu)，卷積核參數(shù)統(tǒng)一壓縮為3×3 大小的卷積核，其數(shù)量為64。同時(shí)該改進(jìn)算法引入殘差學(xué)習(xí)，在第一層淺層特征提取層后，增加一條殘差跳躍連接，加到第四層卷積層的輸出位置，提高算法模型的淺層特征利用率。

4 實(shí)驗(yàn)環(huán)境及結(jié)果

實(shí)驗(yàn)采用Windows 10 系統(tǒng)，PyCharm 開發(fā)工具，使用PyTorch 框架，是由Facebook 人工智能研究院推出的一個(gè)開源Python 機(jī)器學(xué)習(xí)庫，版本為PyTorch1.0.0。實(shí)驗(yàn)訓(xùn)練SRCNN 模型以及基于深度特征學(xué)習(xí)的SRCNN 算法，采用BSDS200 數(shù)據(jù)集的200 張圖像作為訓(xùn)練集，測試采用Urban100 數(shù)據(jù)集的100 張圖像作為測試集。

實(shí)驗(yàn)將訓(xùn)練集裁剪成128 大小的圖像塊作為高分辨率圖像訓(xùn)練集，并采用下采樣4 倍的方式獲得相對應(yīng)的低分辨率圖像訓(xùn)練集。實(shí)驗(yàn)使用Adam[5]優(yōu)化器更新權(quán)重參數(shù)，并且設(shè)置學(xué)習(xí)率為0.001，其余參數(shù)保持默認(rèn)設(shè)置。設(shè)置批次batch_size 大小為16，總共訓(xùn)練迭代次數(shù)為100 個(gè)周期。

評價(jià)圖像重建客觀指標(biāo)采用峰值信噪比（Peak Single to Noise Ratio，PSNR），作用在于衡量圖像的失真大小，其計(jì)算公式為：

其中，I1表示原始的高分辨率圖像，I2表示重建后的高分辨率圖像，w和h分別對應(yīng)圖像的寬度和高度。峰值信噪比的值與圖像重建質(zhì)量好壞成正比，數(shù)值越大則表示圖像重建的效果越好。表1 展示了SRCNN 算法和提出的基于深度特征學(xué)習(xí)的SRCNN 算法在Urban100 數(shù)據(jù)集上，4 倍尺度下的測試實(shí)驗(yàn)結(jié)果，其峰值信噪比由26.0231dB 提高到了26.2288dB，上升了0.2057dB。由此可見隨著網(wǎng)絡(luò)模型深度以及參數(shù)量的增加，會有利于重建圖像的質(zhì)量，其客觀指標(biāo)峰值信噪比也相應(yīng)提高。

表1 SRCNN 算法與其改進(jìn)優(yōu)化算法PSNR 比較結(jié)果

圖1 展示出了SRCNN 與其改進(jìn)模型算法重建圖像質(zhì)量比較。從圖中可以看出，在經(jīng)過優(yōu)化后的模型算法能夠生成質(zhì)量更高，邊緣更加清晰的圖像。圖像的細(xì)節(jié)與邊緣更加銳利，降低了模糊效應(yīng)，更有利于重要信息的采集。

圖1 SRCNN算法（左）與改進(jìn)算法（右）重建圖像比較

5 應(yīng)用與展望

圖像超分辨率重建技術(shù)是近幾年來計(jì)算機(jī)視覺任務(wù)重要的分支之一，它不僅具有重要的理論意義，而且對于實(shí)際的工業(yè)應(yīng)用需求也急劇增加。例如在醫(yī)學(xué)診斷領(lǐng)域中，對于CT 圖像和MRI 圖像，可以通過圖像超分辨率重建技術(shù)放大圖像，能夠更加有效輔助醫(yī)生找到病變區(qū)域，診斷病人病情，找到更佳的治療方案。在游戲領(lǐng)域中，許多游戲通過體感等設(shè)備獲取玩家的動作，進(jìn)行人機(jī)交互，超分辨率重建出更高質(zhì)量的圖像，給游戲玩家?guī)砀诱鎸?shí)的游戲體驗(yàn)。在視頻監(jiān)控領(lǐng)域中，超分辨率技術(shù)可以幫助警察交警偵破案件，更有利于找到肇事車輛和犯罪分子，降低犯罪率，維持一個(gè)更加安穩(wěn)的生活環(huán)境。在自動駕駛領(lǐng)域，超分辨率重建可以針對車輛采集到的周圍圖像概況，獲得更加精確的描述，幫助車輛避開障礙與行人。當(dāng)然，隨著超分辨率重建的發(fā)展和成熟，對于科研學(xué)者要求更高，同時(shí)也是一個(gè)不小的挑戰(zhàn)。

6 結(jié)語

超分辨率重建技術(shù)是對于原始圖像復(fù)原上的一種形式，適用于經(jīng)典的圖像復(fù)原任務(wù)存在的領(lǐng)域，同時(shí)也具備更好的效果。雖然具有廣泛的應(yīng)用前景，但是該領(lǐng)域仍然存在許許多多需要解決的問題。例如，需要建立更加復(fù)合實(shí)際生活與應(yīng)用場景的數(shù)據(jù)集。在當(dāng)前的重建任務(wù)公開數(shù)據(jù)集中，研究者們大都采用了具有非常高的峰值信噪比的場景圖，并不適用于在實(shí)際下所采集到的退化場景。其次，基于深度學(xué)習(xí)的超分辨率算法雖然表現(xiàn)突出，但是神經(jīng)網(wǎng)絡(luò)的訓(xùn)練也耗時(shí)巨大，對于在終端設(shè)備上的部署要求也會提高。因此，在研究更加復(fù)雜有效的網(wǎng)絡(luò)模型的同時(shí)，也需要盡可能地降低模型參數(shù)，更加符合于實(shí)際。