練秋生 富利鵬 陳書貞 石保順

傳統(tǒng)的奈奎斯特采樣速率必須達(dá)到信號(hào)帶寬的兩倍以上才能精確重構(gòu)出原始信號(hào).然而隨著科技的不斷進(jìn)步,所處理信號(hào)的帶寬也在不斷地增加,這對傳統(tǒng)的采樣系統(tǒng)提出了挑戰(zhàn).近年來,由Donoho 和Candes 等提出的壓縮感知理論[1?4],突破了這一限制,其主要思想是利用隨機(jī)測量矩陣ΦRm×n對信號(hào)Rn×1進(jìn)行采樣,將x投影到m維的低維空間,并證明這樣隨機(jī)投影的測量值Rm×1(yΦx)中包含了重構(gòu)信號(hào)的足夠信息,通過求解一個(gè)稀疏優(yōu)化問題,利用投影在低維空間的測量信號(hào)可重構(gòu)出原始信號(hào).

在圖像壓縮感知問題中,測量值y的維度m遠(yuǎn)小于原始信號(hào)x的維度n,圖像壓縮感知重構(gòu)本質(zhì)上是求解一個(gè)欠定方程,如何從這個(gè)欠定方程中尋找出最優(yōu)解是重構(gòu)的關(guān)鍵.近年來眾多學(xué)者提出了基于圖像在某種變換域具有稀疏性的圖像重構(gòu)算法,該類算法利用lp(0≤p ≤1)范數(shù)衡量稀疏系數(shù)的稀疏性,通常使用正交匹配追蹤(Orthogonal matching pursuit,OMP)算法[5],迭代硬閾值(Iterative hard-thresholding)算法[6]等求解對應(yīng)的稀疏編碼問題.還有學(xué)者提出利用梯度稀疏性[7]、非局部稀疏性[8]和塊稀疏性[9]作為先驗(yàn)知識(shí)對原始信號(hào)進(jìn)行重構(gòu),基于混合基稀疏圖像表示[10],基于非局部相似性[11]的壓縮感知圖像重構(gòu)算法也被提出.然而這些重構(gòu)算法都需要進(jìn)行復(fù)雜的迭代運(yùn)算,重構(gòu)時(shí)間較長,并且在較低的采樣率下,重構(gòu)圖像質(zhì)量較差.

深度學(xué)習(xí)自提出以來,在計(jì)算機(jī)視覺和圖像處理方面,受到廣泛關(guān)注,如,圖像超分辨率重建[12]、圖像語義分割[13]、圖像去噪[14]等,并且在這些方面都呈現(xiàn)出較好的效果.最近,有學(xué)者將深度學(xué)習(xí)應(yīng)用在壓縮感知上,利用堆降噪自編碼模型[15](Stacked denoiseing auto-encoders,SDA)和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)[16]學(xué)習(xí)一個(gè)端到端的映射,利用測量值,通過網(wǎng)絡(luò)直接重構(gòu)圖像.在文獻(xiàn)[15]中,Mousavi 等利用SDA 訓(xùn)練得到測量值與重構(gòu)圖像的映射,使用該映射利用測量值進(jìn)行圖像重構(gòu).Kulkarni 等在文獻(xiàn)[16]中提出的ReconNet 網(wǎng)絡(luò)將兩個(gè)SRCNN (11-1-7)模型[12]堆疊,在卷積網(wǎng)絡(luò)前級(jí)聯(lián)一個(gè)全連接層,實(shí)現(xiàn)了非迭代圖像壓縮感知重構(gòu),但重構(gòu)質(zhì)量相對較差.Yao 等將ReconNet 網(wǎng)絡(luò)與殘差網(wǎng)絡(luò)[17]結(jié)構(gòu)相結(jié)合提出了DR2-Net[18],網(wǎng)絡(luò)由全連接層和四個(gè)殘差塊(12層卷積層)組成.DR2-Net 相對于ReconNet 網(wǎng)絡(luò)提高了重構(gòu)質(zhì)量,但是由于含有較多的卷積層需要花費(fèi)較長的重構(gòu)時(shí)間.

本文在ReconNet 和DR2-Net 的基礎(chǔ)上提出多尺度殘差重構(gòu)網(wǎng)絡(luò),使用不同尺寸的卷積核組合成多種感受野,捕捉圖像中不同尺度的特征,進(jìn)而重構(gòu)出高質(zhì)量的圖像.在重構(gòu)網(wǎng)絡(luò)中,引入擴(kuò)張卷積(Dilate convolution)[19],僅使用7 層卷積層,重構(gòu)圖像的質(zhì)量優(yōu)于DR2-Net,且重構(gòu)時(shí)間比其短.

1 圖像壓縮感知重構(gòu)

圖像壓縮感知重構(gòu)主要是對圖像進(jìn)行隨機(jī)投影采樣,并利用圖像在某種變換域的稀疏性作為先驗(yàn)知識(shí),從少量測量數(shù)據(jù)中重構(gòu)出原始圖像.對于nW ×H的圖像,將其向量化為Rn×1,取m×n維的測量矩陣Φ 對原始圖像x進(jìn)行采樣得:

當(dāng)時(shí),式(1)是一個(gè)病態(tài)問題,存在無窮多個(gè)解.利用圖像在變換域具有稀疏性的先驗(yàn)知識(shí):

其中,Ψ 中的每一列是變換域的一個(gè)基向量,s是x在變換域Ψ 的稀疏系數(shù)組成的向量.對于式(2)可以通過求解下式的非凸優(yōu)化問題:

式(3)是一個(gè)典型的NP-Hard 問題,一般常用l1范數(shù)代替l0范數(shù)轉(zhuǎn)化為凸優(yōu)化問題即式(4):

求解該問題時(shí)需要多次迭代運(yùn)算,因此重構(gòu)速度較慢.

傳統(tǒng)的優(yōu)化方法基本不能實(shí)現(xiàn)實(shí)時(shí)重構(gòu),如果用m×n的測量矩陣Φ 對圖像nH×W進(jìn)行采樣時(shí)計(jì)算量和存儲(chǔ)量比較大,影響重構(gòu)速度.為了減少存儲(chǔ)量,提高采樣速度,對圖像進(jìn)行分塊采樣[20]重構(gòu).將圖像分成B×B的小塊,用相同的采樣矩陣ΦB對圖像塊進(jìn)行采樣.則每個(gè)小塊對應(yīng)的測量信號(hào)表示為yiΦBxi,其中ΦB是一個(gè)nB×B2的行正交高斯矩陣.

2 重構(gòu)網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖1 所示,受文獻(xiàn)[18]的啟發(fā),本文首先使用線性重構(gòu)網(wǎng)絡(luò)即一個(gè)全連接層對圖像進(jìn)行重構(gòu),得到原始圖像xiRn×1的近似解,再通過多尺度殘差網(wǎng)絡(luò)學(xué)習(xí)與原始圖像xi的殘差di,最終得到高質(zhì)量的重構(gòu)圖像.

圖1 多尺度殘差重構(gòu)網(wǎng)絡(luò)(MSRNet),s-Dconv 表示擴(kuò)張卷積, s 1,2,4Fig.1 Mult-scale residuce recontruction network,s-Dconv denotes s-dilate convolution,here s 1,2 and 4

2.2 線性生成網(wǎng)絡(luò)

在文獻(xiàn)[18]中,使用一層全連接層對圖像進(jìn)行初等的重構(gòu).本文在圖像重構(gòu)過程中也引入這一結(jié)構(gòu).訓(xùn)練集包含N個(gè)訓(xùn)練樣本即{(y1,x1),(y2,x2),···,(yN,xN)},yiRm×1為測量值,yiAxi,Rm×n為隨機(jī)行正交的高斯矩陣,xiRn×1為對應(yīng)的圖像塊,損失函數(shù)使用均方誤差函數(shù)如式(6)所示:

使用Adam (Adaptive moment estimation)[21]方法進(jìn)行訓(xùn)練,優(yōu)化得到WfR1089×m,使得 式(6)最小.Ff(·)表示由一個(gè)全連接層組成的線性映射,網(wǎng)絡(luò)Ff(·)包含1 089 個(gè)神經(jīng)元,訓(xùn)練完成后利用測量值yi通過式(7)重構(gòu)得到xi的近似解.

2.3 多尺度殘差網(wǎng)絡(luò)

線性映射網(wǎng)絡(luò)Ff(·)重構(gòu)出的圖像,圖像質(zhì)量較差,為了提高重構(gòu)圖像的質(zhì)量,引入多尺度殘差網(wǎng)絡(luò)Fmsr(·).

如圖1 所示,線性網(wǎng)絡(luò)的輸出作為多尺度殘差網(wǎng)絡(luò)Fmsr(·)的輸入,通過網(wǎng)絡(luò)輸出大小為33×33的圖像塊.多尺度殘差網(wǎng)絡(luò)有7 層卷積核大小為3×3 的卷積層,除最后一層其他所有卷積層的激活函數(shù)為ReLU (Rectified linear units)[22],第1 層到第6 層輸出64 個(gè)特征圖,第7 層輸出一個(gè)特征圖.網(wǎng)絡(luò)中有3 層多尺度層,分別是第1 層、第3 層和第5 層,每一個(gè)多尺度層由兩種不同擴(kuò)張因子的擴(kuò)張卷積組成,第1 層擴(kuò)張因子s為1 和2,第3、5 層的擴(kuò)張因子s為1 和4,每一種擴(kuò)張卷積輸出32 個(gè)特征圖,然后將每一層輸出的特征圖級(jí)聯(lián),輸出64個(gè)特征圖.為了增大網(wǎng)絡(luò)的感受野,剩下的卷積層也使用擴(kuò)張卷積,第2,4,6,7 層的擴(kuò)張因子s分別為2,4,2,1.

測量值yi作為網(wǎng)絡(luò)的輸入,首先由線性映射層Ff(·)重構(gòu)出一幅中間圖像,再通過多尺度殘差網(wǎng)絡(luò)Fmsr(·)估計(jì)出殘差di,最后由式(8)得到重構(gòu)圖像

將式(6)求解所得的Wf作為式(9)中Wf的初始值,使用Adam 算法更新MSRNet 中的參數(shù)Wf和Wmsr.所使用的損失函數(shù)為均方誤差(Mean squared error,MSE)損失函數(shù),即式(10):

其中,N表示訓(xùn)練集中樣本的數(shù)目,yi為壓縮感知測量值,xi為yi對應(yīng)的圖像塊標(biāo)簽,為網(wǎng)絡(luò)的輸出即重構(gòu)圖像塊.

2.4 多尺度卷積層

卷積神經(jīng)網(wǎng)絡(luò)中的卷積核常常用來提取圖像中的特征,但是相同尺寸的卷積核只能提取同一尺度特征,MSRNet 在同一層使用兩種不同尺寸的卷積核提取圖像中不同尺度的特征,通過級(jí)聯(lián)操作(Concat)將多尺度層的特征信息融合作為下一層的輸入.本算法分別在網(wǎng)絡(luò)的第1 層、第3 層和第5 層使用多尺度層,組合成多種感受野,捕獲圖像中不同尺度的特征,提高圖像的重構(gòu)質(zhì)量.多尺度層如圖2 所示,由一個(gè)卷積層和一個(gè)級(jí)聯(lián)層組成.s1和s2為不同值的擴(kuò)張因子,將3×3 的卷積核擴(kuò)張為不同尺寸大小的卷積核,組成多尺度卷積層.每一個(gè)卷積核輸出32 個(gè)特征圖,再通過級(jí)聯(lián)層將不同尺度的特征融合為64 個(gè)特征圖,作為下一層的輸入.

圖2 多尺度卷積層Fig.2 Multi-scale convolution layer

2.5 使用擴(kuò)張卷積增大網(wǎng)絡(luò)感受野

圖像重構(gòu)過程中,感受野是非常重要的,大的感受野可以捕捉更多的圖像信息,提高圖像重構(gòu)質(zhì)量.在卷積神經(jīng)網(wǎng)絡(luò)中,一般使用大尺寸的卷積核、增加卷積層的層數(shù)和引入池化層(Pooling layer),來增加網(wǎng)絡(luò)的感受野.但是隨著卷積核的增大和網(wǎng)絡(luò)層數(shù)的增加,網(wǎng)絡(luò)的計(jì)算復(fù)雜度也會(huì)增加,使得圖像重構(gòu)時(shí)間變長.池化雖然沒有增加網(wǎng)絡(luò)的計(jì)算復(fù)雜度,但是丟失了許多的信息,導(dǎo)致重構(gòu)圖像質(zhì)量較差.本文引入文獻(xiàn)[19]中的擴(kuò)張卷積來增大網(wǎng)絡(luò)的感受野.擴(kuò)張卷積增大了網(wǎng)絡(luò)的感受野,但不增加網(wǎng)絡(luò)的參數(shù),使得圖像重構(gòu)速度較快.例如,使用擴(kuò)張因子s2 對3×3 的卷積核進(jìn)行擴(kuò)張,得到(2s+1)×(2s+1)即5×5 的卷積核,該卷積核有9 個(gè)位置不為零,其余位置都為零,感受野從原來的3×3 變?yōu)?×5,如圖3 所示,左邊為普通的卷積,右邊為s2 的擴(kuò)張卷積.

在MSRNet 網(wǎng)絡(luò)中引入多尺度卷積核用來提取圖像中不同尺度的特征,提高重構(gòu)圖像的質(zhì)量.本文在第1 層、第3 層和第5 層分別加入多尺度卷積核,使得MSRNet 有多種感受野,其尺寸分別為25×25、27×27、31×31、33×33、37×37 和39×39.網(wǎng)絡(luò)中不同大小的感受野可以捕獲圖像中不同尺度的特征,從而提高重構(gòu)圖像的質(zhì)量.

圖3 擴(kuò)張卷積Fig.3 Dilate convolution

2.6 重構(gòu)過程

在圖像重構(gòu)過程中,給出一幅圖像,對圖像進(jìn)行非重疊取塊,塊大小為33×33.用隨機(jī)行正交高斯矩陣對每一個(gè)圖像塊進(jìn)行采樣,得到的測量值y作為MSRNet 網(wǎng)絡(luò)的輸入,重構(gòu)出高質(zhì)量的圖像塊.由于MSRNet 所重構(gòu)出的圖像塊在測量矩陣上的投影與測量值具有一些誤差,所以本文對重構(gòu)圖像進(jìn)行修正,進(jìn)一步提高圖像的重構(gòu)質(zhì)量.利用式(11)對重構(gòu)圖像進(jìn)行修正:

其中,為修正后的重構(gòu)圖像塊,為網(wǎng)絡(luò)重構(gòu)的圖像塊,A為隨機(jī)行正交的高斯采樣矩陣.在式(11)中,這一項(xiàng)衡量重構(gòu)圖像塊在測量矩陣上投影與測量值的誤差,使得修正后的圖像塊與網(wǎng)絡(luò)重構(gòu)圖像塊更加接近,實(shí)驗(yàn)中令參數(shù)λ1.對式(11)求導(dǎo),令導(dǎo)數(shù)為零,得

其中,I為1 089×1 089 的單位陣.然后使用BM3D[23]去除塊效應(yīng),再通過式(12)進(jìn)行一次修正,最終獲得一幅高質(zhì)量的重構(gòu)圖像.利用式(12)進(jìn)行修正時(shí),(ATA+λI)?1計(jì)算一次即可,因此在修正過程中只需計(jì)算(ATy+)這一項(xiàng),修正過程時(shí)間復(fù)雜度較低.

圖4 顯示了Barbara 重構(gòu)圖像塊修正前后在測量矩陣上投影與測量值誤差的比較,明顯可以看出修正后的圖像塊在測量矩陣的投影與測量值更加接近.誤差Error 為重構(gòu)圖像在測量矩陣的投影與測量值的差的l2范數(shù),N為重構(gòu)圖像塊的序號(hào).

3 網(wǎng)絡(luò)的訓(xùn)練

3.1 訓(xùn)練多尺度殘差網(wǎng)絡(luò)

本文使用和文獻(xiàn)[16]一樣的訓(xùn)練集,共91 幅圖像.將圖像分別放縮到0.75、1、1.25 三個(gè)不同的尺度得到273 幅圖像.不同的顏色空間對圖像分類、圖像分割有一定的影響[24],但對圖像重構(gòu)方面影響較小.為了公平起見,本文采用與ReconNet 和DR2-Net 相同的顏色空間,將RGB 圖像空間變換到Y(jié)CrCb 圖像空間,選取亮度通道,對圖像進(jìn)行取塊操作,塊大小為33×33,取塊步長為14.為了增加訓(xùn)練集中圖像數(shù)量,分塊前對圖像做翻轉(zhuǎn),旋轉(zhuǎn)等操作,最終得到128×5 414 塊圖像塊.再對圖像塊進(jìn)行隨機(jī)投影,將33×33 的圖像塊向量化為1 089×1 維的向量.本文采用4 種不同的采樣率對圖像塊進(jìn)行采樣,分別是0.25、0.1、0.04、0.01,每一個(gè)圖像塊有1 089 個(gè)像素,所以測量值yi的長度分別是272、109、43、10.訓(xùn)練過程中使用圖5 中的圖像作為測試集.使用Tensorflow[25]深度學(xué)習(xí)開源工具訓(xùn)練網(wǎng)絡(luò),所有實(shí)驗(yàn)均在Inter Core i5-7500 CPU,主頻3.4 GHz,內(nèi)存16 GB,顯卡GTX 1080ti平臺(tái)下完成.

圖4 重構(gòu)圖像塊修正前后誤差的比較(Barbara 圖像)Fig.4 The comparison of the error of the reconstructed image block before and after refined (Barbara)

圖5 標(biāo)準(zhǔn)測試集圖像Fig.5 Standard test set images

3.2 網(wǎng)絡(luò)參數(shù)初始化

訓(xùn)練線性生成網(wǎng)絡(luò)Ff(·)時(shí),使用均值為0,方差為0.01 的高斯矩陣初始化權(quán)重,偏置初始化為0.訓(xùn)練多尺度殘差網(wǎng)絡(luò)Fmsr(·)時(shí),所有卷積層的權(quán)重,使用Xavier[26]初始化方法進(jìn)行初始化,偏置初始化為0.

3.3 網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置

網(wǎng)絡(luò)分兩步進(jìn)行訓(xùn)練,首先使用比較大的學(xué)習(xí)率訓(xùn)練子網(wǎng)絡(luò)Ff(·),學(xué)習(xí)率為0.001,最大迭代次數(shù)為1 000 000,每訓(xùn)練200 000 次學(xué)習(xí)率衰減為原來的0.5 倍.子網(wǎng)絡(luò)Ff(·)訓(xùn)練完成后,使用較小的學(xué)習(xí)率對整個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,迭代120 輪、學(xué)習(xí)率為0.0001,每訓(xùn)練40 輪學(xué)習(xí)率衰減為原來的0.5倍.使用Adam[21]方法訓(xùn)練網(wǎng)絡(luò),動(dòng)量因子分別為0.9 和0.999.圖6 為訓(xùn)練期間采樣率為0.10、0.25時(shí),損失函數(shù)隨迭代次數(shù)的衰減曲線.圖中損失函數(shù)的值隨迭代次數(shù)的增加逐漸降低,當(dāng)?shù)?0 輪時(shí),學(xué)習(xí)率衰減為原來的0.5 倍,損失函數(shù)的值會(huì)驟降,迭代到80 輪時(shí),學(xué)習(xí)率繼續(xù)衰減0.5 倍,損失函數(shù)的值變化較小,隨著迭代次數(shù)的增加,曲線趨于平穩(wěn),網(wǎng)絡(luò)收斂.

4 實(shí)驗(yàn)結(jié)果

4.1 重構(gòu)結(jié)果

本文與已有的五種算法進(jìn)行比較,這五種算法分別是TVAL3[27]、NLR-CS[28]、DAMP[29]、ReconNet、DR2-Net.前三種是基于迭代優(yōu)化的算法,后兩種是基于深度學(xué)習(xí)的算法.實(shí)驗(yàn)結(jié)果如表1 所示,在測量值沒有噪聲的情況下,本文算法具有較好的重構(gòu)效果.圖7 顯示,本文提出的算法能夠有效地重構(gòu)出圖像的細(xì)節(jié),在采樣率較大時(shí)重構(gòu)圖像中含有的偽跡較少.

表1 顯示了6 幅測試圖像在不同算法不同測量率下的PSNR 和圖5 中11 幅測試圖像的平均PSNR.TVAL3、NLR-CS 和D-AMP 使用文獻(xiàn)[16]提供的結(jié)果,表中“w/o BM3D”表示未使用BM3D去除塊效應(yīng),“w/BM3D”表示使用BM3D 去除塊效應(yīng),“平均PSNR”表示圖5 中11 幅圖像的平均PSNR.從表1 中看出,多尺度殘差網(wǎng)絡(luò)(MSRNet)的重構(gòu)圖像平均PSNR 最高.在較高的采樣率下,基于深度學(xué)習(xí)的算法ReconNet 重構(gòu)性能低于傳統(tǒng)的優(yōu)化迭代算法TVAL3、NLR-CS、DAMP.但是本文算法和DR2-Net 的重構(gòu)性能優(yōu)于上述三種算法,相比于上述五種算法,本文算法重構(gòu)圖像質(zhì)量較好.例如,在MR0.25 的情況下,平均PSNR 比DR2-Net 高0.82 dB,高于NLR-CS算法1.43 dB.在較低采樣率下,傳統(tǒng)的優(yōu)化迭代算法TVAL3、NLR-CS、D-AMP 基本不能夠重構(gòu)出有意義的圖像,但是基于深度學(xué)習(xí)的算法Recon-Net、DR2-Net、MSRNet 都能重構(gòu)出圖像的大致信息,且本文算法性能優(yōu)于ReconNet 和DR2-Net.

圖6 訓(xùn)練期間的損失Fig.6 The network losses in training phase

圖像重構(gòu)質(zhì)量的評價(jià)也應(yīng)該包含人的視覺效果.結(jié)構(gòu)相似指數(shù)(Structural similarity index,SSIM)是衡量兩幅圖像的相似度.SSIM 越接近于1,表示兩幅圖像越相似.比較結(jié)果如表2 所示,本文算法的平均SSIM 明顯高于其他算法,重構(gòu)圖像質(zhì)量不僅PSNR 值比較高,且有較好的視覺效果.

圖8 顯示了修正前后的Barbara 圖像,從圖中可以看出修正后的圖像塊效應(yīng)明顯減少,與修正前圖像相比細(xì)節(jié)更加清晰.如表3 所示,修正后的重構(gòu)圖像PSNR 和SSIM 均有不同程度的提高,有更好的視覺效果.

4.2 擴(kuò)張卷積對圖像重構(gòu)性能的影響

擴(kuò)張卷積能夠增大網(wǎng)絡(luò)的感受野,本文算法中所有的卷積層都使用擴(kuò)張卷積.為了比較使用擴(kuò)張卷積的網(wǎng)絡(luò)與普通卷積網(wǎng)絡(luò)的重構(gòu)性能,本文設(shè)計(jì)了一組對比實(shí)驗(yàn),訓(xùn)練兩個(gè)網(wǎng)絡(luò),即采用普通卷積的網(wǎng)絡(luò)和采用擴(kuò)張卷積的網(wǎng)絡(luò),分別對BSD500 數(shù)據(jù)集和圖5 中的11 幅圖像進(jìn)行測試.測試結(jié)果如表4、5 所示,在圖5 中測試集上,當(dāng)采樣率為0.25、0.10、0.04 和0.01 時(shí),使用擴(kuò)張卷積網(wǎng)絡(luò)的重構(gòu)圖像平均PSNR 分別高于普通卷積網(wǎng)絡(luò)0.43 dB、0.37 dB、0.18 dB 和0.04 dB.在BSD500 測試集上,使用擴(kuò)張卷積網(wǎng)絡(luò)的重構(gòu)圖像平均PSNR 也都高于普通卷積網(wǎng)絡(luò).結(jié)果表明,使用擴(kuò)張卷積的網(wǎng)絡(luò)重構(gòu)性能優(yōu)于普通卷積網(wǎng)絡(luò).

表1 6 幅測試圖像在不同算法不同采樣率下的PSNRTable 1 PSNR values in dB for six testing images by different algorithms at different measurement rates

圖7 比較幾種算法的重構(gòu)性能(第1 行到第3 行采樣率MR 0.25,0.10,0.04)Fig.7 Comparison of reconstruction performance of various algotithms (MR 0.25,0.10,0.04)

表2 不同算法下11 幅測試圖像平均SSIMTable 2 Mean SSIM values for 11 testing images by different algorithms

圖8 修正前后的重構(gòu)圖像對比(MR 0.25)Fig.8 The comparison of reconstructed images before and after refined (MR 0.25)

4.3 時(shí)間復(fù)雜度

重構(gòu)時(shí)間也是比較的重要標(biāo)準(zhǔn)之一.基于深度學(xué)習(xí)的重構(gòu)算法比傳統(tǒng)的迭代算法快100 多倍[16],所以只比較MSRNet 和其他基于深度學(xué)習(xí)算法的重構(gòu)時(shí)間.為了公平起見,表6 只比較網(wǎng)絡(luò)重構(gòu)圖像所消耗的時(shí)間.如表6 所示,與DR2-Net 相比,本文算法重構(gòu)時(shí)間較短.與ReconNet 相比,重構(gòu)時(shí)間基本相同,但本文算法重構(gòu)性能較好.

4.4 大數(shù)據(jù)集下的評估

為了驗(yàn)證本文算法在大測試集上的泛化能力,比較MSRNet、DR2-Net 和ReconNet 在BSD500(該數(shù)據(jù)集包含500 張圖像)上的重構(gòu)性能.MSRNet、DR2-Net 和ReconNet 的模型參數(shù)都是基于相同訓(xùn)練集訓(xùn)練得到的.如表7 所示(重構(gòu)圖像未經(jīng)修正),本文算法在BSD500 測試集下也表現(xiàn)出較好的重構(gòu)性能.在采樣率為0.25、0.10、0.04 和0.01 時(shí),MSRNet 的重構(gòu)圖像平均PSNR 和SSIM都高于DR2-Net.實(shí)驗(yàn)表明,本文算法在大的測試集中也能表現(xiàn)出較好的重構(gòu)性能.

表3 MSRNet 重構(gòu)圖像修正后11 幅測試圖像的PSNR (dB)和SSIMTable 3 The PSNR (dB)and SSIM of 11 test images of refined MSRNet reconstruction

表4 不同卷積方式在圖5 的測試集中重構(gòu)圖像的平均PSNR (dB)Table 4 Mean PSNR in dB for testing set in Fig.5 by different convolution

表5 不同卷積方式在BSD500 測試集中重構(gòu)圖像平均PSNR (dB)Table 5 Mean PSNR in dB for BSD500 testing set by different convolution

4.5 網(wǎng)絡(luò)的抗噪性能

對圖像測量值添加四種不同水平的高斯噪聲,噪聲強(qiáng)度0.01、0.05、0.10、0.25.使用的MSRNet模型是在無噪測量值下訓(xùn)練得到的.如表8、9 所示(重構(gòu)圖像未經(jīng)修正),在采樣率MR0.25、0.10時(shí)四種不同噪聲強(qiáng)度下,本文算法重構(gòu)圖像的平均PSNR 均高于ReconNet 和DR2-Net,尤其在MR0.25,噪聲強(qiáng)度σ0.25,圖5 中的測試集上重構(gòu)圖像的平均PSNR 比ReconNet 和DR2-Net 分別高4.31 dB 和4.14 dB.在測試集BSD500 上,本文算法在不同噪聲的強(qiáng)度下,對圖像的重構(gòu)性能也優(yōu)于ReconNet 和DR2-Net.因此,本文算法相比ReconNet、DR2-Net 對噪聲具有更好的魯棒性.

表6 重構(gòu)一幅256×256 圖像的運(yùn)行時(shí)間(s)Table 6 Time (in seconds)for reconstruction a single 256×256 image

表7 不同算法在BSD500 測試集的平均PSNR (dB)和平均SSIMTable 7 Mean PSNR in dB and SSIM values for BSD500 testing images by different algorithms

表8 比較ReconNet、DR2-Net 和MSRNet 三種算法對高斯噪聲的魯棒性(圖5 中11 幅測試圖像)Table 8 Comparison of robustness to Gaussian noise among of ReconNet,DR2-Net,MSRNet(11 testing images in Fig.5)

表9 比較ReconNet、DR2-Net 和MSRNet 三種算法對高斯噪聲的魯棒性(BSD500 數(shù)據(jù)集)Table 9 Comparison of robustness to Gaussian noise among of ReconNet,DR2-Net,MSRNet (BSD500 dataset)

5 結(jié)論

本文提出了一種基于深度學(xué)習(xí)的多尺度殘差網(wǎng)絡(luò)結(jié)構(gòu),利用測量值通過網(wǎng)絡(luò)重構(gòu)圖像.網(wǎng)絡(luò)引入多尺度卷積層用來學(xué)習(xí)圖像中的多尺度信息,重構(gòu)網(wǎng)絡(luò)中使用擴(kuò)張卷積增大網(wǎng)絡(luò)中的感受野從而重構(gòu)出高質(zhì)量的圖像.最后,本文算法對網(wǎng)絡(luò)重構(gòu)圖像進(jìn)行了修正,使得重構(gòu)圖像在測量矩陣上的投影更加接近測量值.在常用的11 幅測試圖像和BSD500 測試集的實(shí)驗(yàn)結(jié)果進(jìn)一步表明了本文的算法相比于其他幾種算法在圖像重構(gòu)質(zhì)量和重構(gòu)時(shí)間擁有更好的表現(xiàn),并且對噪聲具有魯棒性.