韋子先，熊正強(qiáng)，毛昱童，孫 濤

武漢大學(xué) 電子信息學(xué)院，武漢 430072

圖像空間分辨率是衡量圖像質(zhì)量的一個(gè)重要指標(biāo)，也是光學(xué)成像技術(shù)的核心競(jìng)爭(zhēng)力。在實(shí)際成像過(guò)程中，受成像傳感器硬件成本、制造工藝、光路傳輸條件等諸多因素限制，呈現(xiàn)在人們眼前的圖像未必都具備足夠的分辨率，由此引出了圖像的超分辨率（super resolution，SR）重建問(wèn)題。

從低分辨率（low resolution，LR）圖像生成高分辨率（high resolution，HR）圖像的過(guò)程是個(gè)逆問(wèn)題，需要建立合適的成像退化模型。由采樣定理可知，多幅不同的高分辨率圖像都可能通過(guò)下采樣得到同一幅低分辨率圖像。因此，圖像超分辨率重建問(wèn)題是一個(gè)非適定的問(wèn)題（ill-posed problem），單純從退化模型出發(fā)估計(jì)得到的求解結(jié)果是不穩(wěn)定的。想要得到魯棒性高且盡可能接近真實(shí)值（ground truth）的求解結(jié)果，往往需要引入其他約束條件。解決這一非適定問(wèn)題的思路有兩種：一種思路是引入先驗(yàn)知識(shí)，借助圖像的先驗(yàn)知識(shí)（例如：機(jī)器學(xué)習(xí)的數(shù)據(jù)訓(xùn)練）去降低退化模型的復(fù)雜度或固定相關(guān)參數(shù)，從而得到穩(wěn)定的解；另一種思路是通過(guò)對(duì)多幅具有互補(bǔ)信息的低分辨率圖像的處理來(lái)重構(gòu)一幅高分辨率圖像。這種解決思路實(shí)際上是通過(guò)增加輸入圖像數(shù)量來(lái)引入病態(tài)問(wèn)題的約束條件，通過(guò)圖像序列間的相互約束關(guān)系來(lái)得到一個(gè)穩(wěn)定解。

超分辨率重建根據(jù)輸入圖像的數(shù)量可以分為基于單張圖像的超分辨率重建方法和基于序列圖像的超分辨率重建方法。本文主要針對(duì)序列圖像的超分辨率重建進(jìn)行討論。

經(jīng)典的空域超分辨率重建算法，如：非均勻插值法[1-2]、迭代后投影法[3]、凸集投影法[4]等，存在求解結(jié)果不唯一的缺陷?；谧畲蠛篁?yàn)（maximum a posterior，MAP）理論框架下的正則化方法[5]利用正則項(xiàng)來(lái)構(gòu)造MAP的求解模型，將SR這一非適定問(wèn)題轉(zhuǎn)化成了最優(yōu)化問(wèn)題，以此獲得重建的唯一解。因此，也成為了近年來(lái)目前多幅SR問(wèn)題研究中的主流方法。

大多數(shù)基于梯度懲罰正則化項(xiàng)的算法，如：Tikhonov法[6]、TV（total variation）法[7]以及BTV（Bilateral-TV）法[8]等，都面臨著保持邊緣、紋理細(xì)節(jié)和抑制圖像噪聲的矛盾。為提升SR 的重建質(zhì)量，必須引入更為精準(zhǔn)的先驗(yàn)?zāi)Ｐ蛠?lái)對(duì)抗噪聲，以實(shí)現(xiàn)抑制噪聲和保留圖像高頻信息的平衡。非局部均值（non-local means，NLM）圖像去噪方法是解決這一問(wèn)題的有效方法，最早由Buades等[9]提出。Protter等[10]將NLM算法的思想拓展到序列圖像SR問(wèn)題中。傳統(tǒng)的基于NLM的超分辨率重建方法需要通過(guò)大量迭代才能獲得最佳的重建結(jié)果，而迭代次數(shù)的選取高度依賴使用者經(jīng)驗(yàn)值，這極大地增加了算法的調(diào)參過(guò)程的復(fù)雜度。此外，由于這類算法屬于典型的多入多出（multiple input multiple output，MIMO）結(jié)構(gòu)，最佳SR 重建結(jié)果的篩選也多依賴于使用者的主觀評(píng)價(jià)，這無(wú)疑降低了算法的魯棒性。

為了解決這兩個(gè)問(wèn)題，本文提出一種基于圖像質(zhì)量評(píng)價(jià)（image quality assessment，IQA）閾值自適應(yīng)迭代的NLM 超分辨重建算法。設(shè)計(jì)了一種SR 重建結(jié)果質(zhì)量評(píng)價(jià)指標(biāo)。將該指標(biāo)引入到NLM 重建算法中：一方面作為閾值，用以確定算法迭代收斂條件，顯著縮短重建過(guò)程的耗時(shí)，解決了NLM重建算法耗時(shí)長(zhǎng)的問(wèn)題；另一方面作為評(píng)價(jià)標(biāo)準(zhǔn)，用以篩選多個(gè)輸出結(jié)果中重建效果最佳的高分辨率圖像。算法分別從頻域和空域評(píng)估重建圖像質(zhì)量作為閾值，實(shí)現(xiàn)了NLM 超分辨率重建算法的自適應(yīng)迭代，解決了NLM 參數(shù)設(shè)置和結(jié)果選取高度依賴經(jīng)驗(yàn)值的缺陷。由于同時(shí)應(yīng)用了有參評(píng)價(jià)和無(wú)參評(píng)價(jià)兩種方式計(jì)算重建結(jié)果質(zhì)量，有效保證了算法的魯棒性。

1 相關(guān)工作

1.1 NLM圖像去噪

NLM圖像去噪方法是一種空域圖像去噪方法。它充分利用了圖像中的冗余信息，能夠在去除噪聲的同時(shí)最大程度的保持圖像中邊緣等高頻信息的完整性。NLM 算法的基本思想是：一幅圖像中包含許多和目標(biāo)像素周圍相似的像素塊，通過(guò)賦予這些相似塊不同大小的權(quán)重后平均對(duì)目標(biāo)像素進(jìn)行濾波操作，從而達(dá)到圖像去噪的目的。

設(shè)在包含噪聲的原始圖像中，目標(biāo)像素點(diǎn)i的灰度值為I(i)，則去噪后目標(biāo)像素點(diǎn)的估計(jì)值為：

其中，Ω表示以目標(biāo)像素點(diǎn)i為中心的搜索區(qū)域；j表示搜索區(qū)域內(nèi)任意一個(gè)像素點(diǎn)；I(j)表示像素點(diǎn)j的像素灰度值；w(i,j)表示像素點(diǎn)j在參與目標(biāo)像素點(diǎn)i重建過(guò)程中的權(quán)重大小，反映了二者的空間相似程度；C表示搜索窗口中所有像素點(diǎn)參與重建過(guò)程的權(quán)重之和。

NLM去噪的窗口搜索過(guò)程如圖1所示，圖中藍(lán)色方框?yàn)辄c(diǎn)i去噪時(shí)的相似像素點(diǎn)搜索窗口，而紅色方框?yàn)楸容^窗口。其中，像素點(diǎn)i所在的比較窗口將和搜索窗口內(nèi)的其他像素比較窗口進(jìn)行比較從而得到不同的權(quán)重，然后進(jìn)行加權(quán)均值濾波去噪。

圖1 NLM去噪示意圖Fig1 Diagram of NLM denoising

非局部均值圖像去噪算法不再簡(jiǎn)單的搜尋像素鄰域內(nèi)的有用信息，而是在圖像全局范圍內(nèi)通過(guò)比較像素塊的相似性決定像素點(diǎn)在參與濾波重建時(shí)的權(quán)重大小。因此，相較于已有的空域圖像去噪算法，NLM具有更好的圖像去噪效果。

1.2 NLM超分辨率重建

超分辨率重建是圖像成像退化過(guò)程的逆過(guò)程，在數(shù)學(xué)上表現(xiàn)為病態(tài)求逆問(wèn)題。解決此類問(wèn)題需要建立適當(dāng)?shù)膱D像退化模型，添加相應(yīng)的約束條件后求解，從而得到高分辨率圖像的一個(gè)可能估計(jì)值。

考慮一般性的圖像獲取過(guò)程，真實(shí)場(chǎng)景發(fā)出的光線經(jīng)過(guò)大氣擾動(dòng)、模糊、降采樣和傳感器噪聲等過(guò)程，最終在接收端得到了多幅低分辨率退化圖像。具體成像模型可以表示為圖2所示。

圖2 圖像退化模型Fig.2 Model of image degradation

序列圖像NLM超分辨率重建將一般多幅圖像超分辨率重建過(guò)程中的圖像配準(zhǔn)和融合合二為一，通過(guò)提取圖像序列間的冗余信息并融合達(dá)到提高圖像空間分辨率的目的。其基本思想可以表述為：由輸入的低分辨率圖像按像素構(gòu)建大小相同的圖像塊；然后選擇其中一幅圖像作為參考，將參考圖像中的每個(gè)圖像塊都與其搜索區(qū)域和其他低分辨率圖像中的圖像塊比較；加權(quán)平均計(jì)算后，得到的圖像塊估計(jì)值插值融合到高分辨率圖像中，即可獲得一張高分辨率的重建結(jié)果。

設(shè)參考圖像為低分辨率圖像序列yt中的圖像G。則圖像G中的像素點(diǎn)i的重建結(jié)果可以表示為公式（3）：

其中Yt0和Yt表示低分辨率圖像yt0和yt對(duì)應(yīng)的高分辨率圖像，h表示濾波參數(shù)，用來(lái)控制比較塊權(quán)重的衰減程度。與NLM圖像去噪算法主要考慮比較塊之間的距離相比，序列圖像NLM 超分辨率重建算法重點(diǎn)關(guān)注比較塊之間的相似程度，從而在復(fù)雜退化模型中獲得更好的重建魯棒性。

2 本文算法

2.1 算法流程

本文所做工作重心在于NLM超分辨率重建算法的迭代收斂條件和最佳重建結(jié)果評(píng)價(jià)，本節(jié)將介紹基于自適應(yīng)閾值迭代和GPU 加速的序列圖像NLM 超分辨率重建算法流程。

從公式（3）可知，基于NLM 的超分辨率重建算法的時(shí)間復(fù)雜度極高，處理十分耗時(shí)。而GPU 作為圖像渲染專用處理器，具有大量可以并發(fā)執(zhí)行的運(yùn)算單元。因此本文將傳統(tǒng)基于CPU 串行執(zhí)行的NLM 超分辨重建算法并行化，借助GPU 的并行運(yùn)算能力加快重建算法的執(zhí)行速度。關(guān)于GPU 的具體分析見(jiàn)本文的2.3 節(jié)。

最終本文提出的自適應(yīng)迭代基于GPU 的序列圖像超分辨率重建算法流程如圖3 所示，具體流程如下所示。

圖3 本文算法流程Fig.3 Proposed algorithm workflow

（1）CPU端初始化：在CPU端讀取輸入的低分辨率圖像序列。使用Lanczos4方法，根據(jù)超分辨率的上采樣倍數(shù)對(duì)每張低分辨率圖像進(jìn)行一對(duì)一的插值操作，得到對(duì)應(yīng)索引位置上的初始高分辨率圖像。對(duì)比原始低分辨率圖像，插值生成的初始高分辨率圖像沒(méi)有利用序列間的冗余信息，未能增加圖像中的信息量。然后對(duì)低分辨率圖像序列和高分辨率圖像序列進(jìn)行圖像鏡像延拓操作。延拓的大小為相應(yīng)尺度上搜索窗口和比較窗口大小之和的一半。

（2）GPU 端初始化：在GPU 端分配合適的現(xiàn)存，用于存儲(chǔ)待處理圖像和處理后的結(jié)果；將目標(biāo)處理圖像和參考圖像從CPU端傳送到GPU端。

（3）根據(jù)圖像的大小設(shè)定數(shù)量合適的線程數(shù)量，發(fā)射GPU端內(nèi)核處理函數(shù)NLM_GPU進(jìn)行并行化的NLM處理。

（4）重復(fù)步驟（1）～（3），直至完成整個(gè)圖像序列的超分辨率重建。

（5）進(jìn)行圖像綜合質(zhì)量評(píng)價(jià)，發(fā)射內(nèi)核函數(shù)NLM_IQA，每個(gè)線程負(fù)責(zé)序列中的一個(gè)重建結(jié)果的質(zhì)量評(píng)價(jià)計(jì)算。等待所有線程計(jì)算完成重建結(jié)果的質(zhì)量評(píng)價(jià)后記錄該次迭代中最佳的重建結(jié)果X(k,Mbest)。

（6）將所有重建結(jié)果從GPU傳回CPU。

（7）根據(jù)整個(gè)本文提出的圖像質(zhì)量評(píng)價(jià)準(zhǔn)則判斷是否滿足收斂條件。若滿足收斂條件則完成計(jì)算；若不滿足則繼續(xù)下一次迭代計(jì)算。

（8）在得到最佳迭代次數(shù)和最佳重建結(jié)果后，完成計(jì)算，保存最佳結(jié)果并顯示。

為避免評(píng)價(jià)誤差影響算法魯棒性，實(shí)際執(zhí)行過(guò)程中，步驟（7）設(shè)定為有50%的以上的圖像連續(xù)兩次迭代后的評(píng)價(jià)結(jié)果不如上次迭代時(shí)，認(rèn)為迭代效果已收斂，后續(xù)迭代均為無(wú)效迭代（即迭代停止）。

2.2 自適應(yīng)迭代閾值

在序列圖像超分辨率重建過(guò)程中，低分辨率圖像序列之間需要包含亞像素級(jí)別的位移。這樣才能夠在在重建過(guò)程中將這些幀間冗余信息進(jìn)行挖掘和融合利用，構(gòu)建出高分辨率的圖像。

對(duì)于NLM 序列圖像超分辨率重建算法，每張圖像的重建過(guò)程都需要在整個(gè)圖像序列中搜尋相似的圖像塊，因此目標(biāo)圖像本身是作為參考圖像存在的。而圖像序列中每張圖像之間是存在一定差異的，這就導(dǎo)致整個(gè)圖像序列的重建結(jié)果是不同的。如圖4 是包含40 張低分辨率圖像超分辨重建的部分結(jié)果。

圖4 圖像重建效果Fig.4 Results of image reconstruction

此外，通過(guò)計(jì)算同一次迭代重建中不同圖像的重建結(jié)果的SSIM和PSNR來(lái)得到分辨率提升程度。具體結(jié)果如表1所示。

從表1 的計(jì)算結(jié)果可以看出，同一次迭代操作中，第9幀的圖像質(zhì)量更好。然而，SSIM和PSNR是兩種有參考的圖像質(zhì)量評(píng)價(jià)方式，在許多實(shí)際超分辨率應(yīng)用場(chǎng)景中，只有低分辨率輸入序列而沒(méi)有高分辨率參考圖像。此時(shí)無(wú)法單獨(dú)使用SSIM和PSNR等有參評(píng)價(jià)方法來(lái)評(píng)估重建圖像質(zhì)量。

表1 不同圖像幀重建效果Table 1 Results of different image frames reconstruction

另一方面，基于NLM 的序列圖圖像超分辨率重建算法需要通過(guò)迭代重建才能夠獲得最佳效果，現(xiàn)有方法通常依賴經(jīng)驗(yàn)值設(shè)置迭代次數(shù)為8、16或32次?；诘亟ǖ姆椒ň嬖谶^(guò)度迭代后出現(xiàn)重建效果下降的情況，這是重建結(jié)果中誤差累積導(dǎo)致的。因此當(dāng)達(dá)到最佳重建結(jié)果后應(yīng)該停止迭代操作，若繼續(xù)進(jìn)行迭代操作將會(huì)導(dǎo)致重建效果的下降。

為解決上述兩個(gè)問(wèn)題，本文結(jié)合無(wú)參考圖像質(zhì)量評(píng)價(jià)和相對(duì)有參考圖像質(zhì)量評(píng)價(jià)方法，設(shè)計(jì)了一種自適應(yīng)迭代閾值QSR，用以判別重建方法的最佳迭代次數(shù)和最佳重建結(jié)果。具體的計(jì)算方式如公式（5）所示：

BRISQUE 從圖像頻域中提取圖像本身的特征，并通過(guò)擬合廣義高斯分布和SVM回歸的方式計(jì)算圖像質(zhì)量；而PSNR 是一種全參考的圖像評(píng)價(jià)方法，通過(guò)計(jì)算圖像的峰值信噪比判斷圖像相似程度。需要特別指出的是，本文實(shí)驗(yàn)環(huán)境中真實(shí)圖像（ground-truth）未知，并非是計(jì)算重建結(jié)果與HR參考圖像的PSNR來(lái)評(píng)價(jià)重建質(zhì)量。本文通過(guò)計(jì)算相鄰兩次迭代結(jié)果的PSNR 來(lái)判斷重建結(jié)果的相似度，以此從一定程度上判斷迭代的收斂程度。

為了避免評(píng)價(jià)誤差影響算法的魯棒性，在實(shí)際實(shí)驗(yàn)過(guò)程中設(shè)定：當(dāng)一次迭代操作過(guò)程中存在50%的圖像在連續(xù)的兩次迭代操作過(guò)程中的最終得分小于零時(shí)，認(rèn)為迭代操作已經(jīng)收斂，后續(xù)的迭代操作為無(wú)效操作，應(yīng)終止迭代。

2.3 GPU重建

近些年，隨著計(jì)算機(jī)軟硬件的發(fā)展，在GPU中進(jìn)行通用計(jì)算成為可能。GPU 在硬件上有著進(jìn)行并行計(jì)算的獨(dú)特優(yōu)勢(shì)：數(shù)量龐大的數(shù)據(jù)運(yùn)算單元和海量數(shù)據(jù)的吞吐能力。

序列圖像的超分辨率算法的計(jì)算量龐大且各個(gè)計(jì)算操作之間并不相關(guān)聯(lián)，屬于十分典型的SIMD數(shù)據(jù)操作。當(dāng)使用GPU 進(jìn)行處理超分辨率重建時(shí)，將會(huì)產(chǎn)生遠(yuǎn)超CPU運(yùn)算的效果。

CUDA（compute unified device architecture），是英偉達(dá)公司于2007 年推出的GPU 通用計(jì)算的語(yǔ)言架構(gòu)。通過(guò)CUDA，開(kāi)發(fā)者可以使用C、C++等語(yǔ)言在英偉達(dá)公司旗下的GPU產(chǎn)品上進(jìn)通用計(jì)算。

從公式（3）可以看到，基于NLM的超分辨率重建算法的時(shí)間復(fù)雜度極高。假設(shè)圖像序列中有t張大小為h×w的低分辨率圖像，搜索窗口和比較窗口的大小分別為b和p，共進(jìn)行n次迭代重建操作，則整個(gè)圖像序列重建的時(shí)間復(fù)雜度為O=n×t×h×w×b2×p2。

分析NLM 超分辨率計(jì)算過(guò)程，每個(gè)像素點(diǎn)的計(jì)算是互相不關(guān)聯(lián)的，因此可以同時(shí)進(jìn)行多個(gè)像素點(diǎn)的重建。假設(shè)可以同時(shí)進(jìn)行計(jì)算的像素點(diǎn)數(shù)量為m，則整個(gè)超分辨率重建的時(shí)間復(fù)雜度變?yōu)镺=n×t×h×w×b2×p2/m。

在實(shí)際進(jìn)行計(jì)算操作時(shí)，能夠同時(shí)進(jìn)行計(jì)算的像素點(diǎn)數(shù)量和線程數(shù)量是相同的，均取決于設(shè)置的線程塊（block）和線程格（grid）的大小。同時(shí)，由于圖像數(shù)據(jù)需要在內(nèi)存空間和顯存空間之間傳遞、同時(shí)發(fā)射的線程在結(jié)束時(shí)需要進(jìn)行線程同步等待以及GPU 運(yùn)算單元的計(jì)算能力遠(yuǎn)不如CPU 等因素的限制，并行化的序列圖像NLM 超分辨率重建算法達(dá)不到理論上的加速效果。

3 實(shí)驗(yàn)分析

3.1 自適應(yīng)迭代閾值實(shí)驗(yàn)

為驗(yàn)證本文提出算法的有效性，本文實(shí)驗(yàn)首先進(jìn)行迭代次數(shù)為16 次的迭代重建，然后對(duì)比人工經(jīng)驗(yàn)篩選和本文提出方法的效果。在呈現(xiàn)實(shí)驗(yàn)結(jié)果時(shí)，為了更直觀地反映重建質(zhì)量的變化趨勢(shì)和變化程度，對(duì)重建結(jié)果的QSR做了一次差分，即用ΔQSR表示本次迭代重建結(jié)果相對(duì)上一次迭代重建結(jié)果的提升程度。當(dāng)ΔQSR為正數(shù)時(shí)表示重建效果有所提升；ΔQSR為負(fù)數(shù)時(shí)表示重建效果出現(xiàn)下降。而ΔQSR的大小則反映了重建提升程度的大小。

實(shí)驗(yàn)1 低分辨率序列圖像數(shù)量為20，單張圖像分辨率為49×57的灰度圖像，超分辨率重建倍數(shù)為3倍。

如圖5所示為實(shí)驗(yàn)1所采用序列中第2張圖像的重建結(jié)果。從結(jié)果可以看出，隨著迭代次數(shù)的增加，圖像的紅色方框中文字逐漸變得清晰。但是，隨著迭代次數(shù)的進(jìn)一步增加，這些文字又逐漸變得模糊。

圖5 實(shí)驗(yàn)1中不同迭代次數(shù)下的ΔQSR(迭代次數(shù)/ΔQSR)Fig.5 ΔQSR of different iterations in test 1（iterations/ΔQSR）

而通過(guò)計(jì)算本文的指標(biāo)分?jǐn)?shù)發(fā)現(xiàn)，隨著迭代次數(shù)的逐漸增加，指標(biāo)分?jǐn)?shù)逐漸變小，但是始終為正數(shù)，說(shuō)明圖像的重建質(zhì)量始終在增加，但是圖像質(zhì)量的增加趨勢(shì)越來(lái)越弱；而當(dāng)?shù)螖?shù)大于6 次時(shí)，分?jǐn)?shù)開(kāi)始變?yōu)樨?fù)數(shù)，說(shuō)明此時(shí)圖像的質(zhì)量在隨著迭代已呈下降趨勢(shì)，后續(xù)的迭代操作將無(wú)法為圖像質(zhì)量增加做出貢獻(xiàn)，為無(wú)效迭代。

實(shí)驗(yàn)2 低分辨率序列圖像數(shù)量為25，單張圖像分辨率為200×100的RGB圖像，上采樣倍數(shù)為3倍。

如圖6 為實(shí)驗(yàn)2 所采用序列中第16 中圖像的重建結(jié)果。和實(shí)驗(yàn)1類似的，當(dāng)?shù)螖?shù)大于6之后，圖像的重建質(zhì)量沒(méi)有繼續(xù)增加反而出現(xiàn)了下降的情況。

圖6 實(shí)驗(yàn)2中不同迭代次數(shù)下的ΔQSR（迭代次數(shù)/ΔQSR）Fig.6 ΔQSR of different iterations in test 2（iterations/ΔQSR）

如圖7 為整個(gè)圖像序列在不同迭代次數(shù)時(shí)的重建效果提升情況。可以看到，整個(gè)圖像序列的指標(biāo)分?jǐn)?shù)的變化情況幾乎是相同的：每張圖像的指標(biāo)分?jǐn)?shù)都經(jīng)歷一個(gè)逐漸變小的過(guò)程。這與重建過(guò)程的現(xiàn)象也是符合的，即圖像的超分辨率重建效果在開(kāi)始迭代時(shí)提升明顯，而隨著迭代次數(shù)的增加提升效果逐漸微弱。

圖7 所有重建結(jié)果ΔQSR 的變化趨勢(shì)Fig.7 Trendency of ΔQSR in all reconstruction results

如圖8 所示為圖像序列在不同迭代次數(shù)時(shí)的正負(fù)情況，紅色表示指標(biāo)分?jǐn)?shù)為正數(shù)，藍(lán)色表示指標(biāo)分?jǐn)?shù)為負(fù)數(shù)。從圖中數(shù)據(jù)可以發(fā)現(xiàn)，隨著迭代次數(shù)的增加，大部分圖像的指標(biāo)分?jǐn)?shù)小于0，圖像的重建質(zhì)量呈現(xiàn)下降趨勢(shì)。而后續(xù)雖然有部分圖像的指標(biāo)分?jǐn)?shù)再次上升，但是經(jīng)過(guò)迭代降質(zhì)后的圖像質(zhì)量依舊是下降的。經(jīng)過(guò)計(jì)算，整個(gè)圖像序列在完成第6次迭代之后出現(xiàn)50%圖像指標(biāo)分?jǐn)?shù)小于0 的情況。在此時(shí)終止迭代符合節(jié)省時(shí)間和篩選最佳迭代次數(shù)的目標(biāo)，而在每次迭代結(jié)束后，通過(guò)對(duì)指標(biāo)分?jǐn)?shù)歷次迭代質(zhì)量進(jìn)行疊加，得到每張圖像重建質(zhì)量的總評(píng)分。在迭代終止后篩選出得分最高的圖像作為最佳的重建結(jié)果。通過(guò)計(jì)算，序列中第12 張圖像在第7 次迭代后得到整個(gè)重建過(guò)程中的最佳重建結(jié)果，如圖8中綠色標(biāo)記位置。而通過(guò)與圖像的真實(shí)值對(duì)比，計(jì)算所有重建結(jié)果的SSIM可知（如圖9所示），圖8中綠色標(biāo)記位置的SSIM最大，為0.987 4，與真實(shí)值最為接近。

圖8 各次重建結(jié)果ΔQSR 的全局分布Fig.8 Distribution of ΔQSR in each reconstruction result

圖9 所有重建結(jié)果的SSIM分布情況Fig.9 Distribution of SSIM in all reconstruction results

從上述兩個(gè)實(shí)驗(yàn)可以看出，隨著迭代次數(shù)的增加，基于NLM的超分辨率重建算法會(huì)出現(xiàn)圖像質(zhì)量下降的情況的，其原因在于計(jì)算過(guò)程中的誤差累積。本文通過(guò)提出的自適應(yīng)閾值，分別從頻域和空域評(píng)估重建圖像質(zhì)量，實(shí)現(xiàn)了NLM超分辨率重建的自適應(yīng)迭代，計(jì)算得出了最佳重建迭代次數(shù)，有效解決了NLM 參數(shù)設(shè)置和結(jié)果選取高度依賴經(jīng)驗(yàn)值的缺陷，同時(shí)通過(guò)判斷迭代收斂終點(diǎn)，避免了迭代計(jì)算過(guò)程中的無(wú)效操作，大幅縮短了超分辨率重建的耗時(shí)。

3.2 GPU加速實(shí)驗(yàn)

根據(jù)第2.3節(jié)的分析，序列圖像NLM超分辨率重建算法的處理時(shí)間受到圖像序列數(shù)量、圖像的分辨率、搜索窗口和比較窗口大小等因素的影響，本文提出的GPU并行加速方法能有效提升算法效率。為了說(shuō)明GPU對(duì)算法加速的效果，本文設(shè)計(jì)了多組對(duì)照實(shí)驗(yàn)，采用不同分辨率的圖像和序列數(shù)量與采用同一組圖像序列而搜索比較窗口的大小不同。

本文實(shí)驗(yàn)環(huán)境為：Intel Core i7-4790K，NVIDIA GTX 780，Visual Studio 2015，OpenCV3.4.5。

為了客觀評(píng)價(jià)相同處理流程在CPU 和CPU+GPU平臺(tái)上運(yùn)行的加速效果，實(shí)驗(yàn)過(guò)程中將會(huì)記錄程序在不同平臺(tái)上運(yùn)行耗時(shí)，并將二者時(shí)間之比作為綜合加速比，具體運(yùn)算方式如公式（6）所示：

其中，TCPU表示程序在CPU平臺(tái)上的處理耗時(shí)；TGPU表示程序在GPU平臺(tái)上的處理耗時(shí)；k表示綜合加速比。

實(shí)驗(yàn)1 采用多組灰度圖像序列，序列之間的分辨率和圖像數(shù)量不相同，但是采用相同大小的搜索窗口和比較窗口進(jìn)行處理。設(shè)置低分辨率圖像的搜索窗口的大小為3，比較窗口的大小為7。表中的數(shù)據(jù)為進(jìn)行一次迭代操作的耗時(shí)。

在表2實(shí)驗(yàn)結(jié)果中，綜合加速比在5到10倍之間浮動(dòng)。同時(shí)，分辨率低的圖像處理耗時(shí)較少；序列圖像數(shù)量較少的圖像序列處理耗時(shí)也較少。但不管是分辨率不同還是序列圖像數(shù)量不同，GPU并行化后的處理時(shí)間都顯著縮短了。

表2 不同圖像序列的加速效果Table 2 Acceleration effects of different image sequences

實(shí)驗(yàn)2 使用同一組RGB 圖像序列，分辨率為200×150，序列圖像數(shù)量為42。實(shí)驗(yàn)時(shí)，使用不同大小的搜索窗口和比較窗口進(jìn)行處理。表中的數(shù)據(jù)為進(jìn)行一次迭代操作的耗時(shí)。

從表3中數(shù)據(jù)可以看出，搜索窗口的大小對(duì)處理時(shí)間的影響十分明顯，在比較窗口大小相同的情況下，搜索窗口為5的處理耗時(shí)是為3的8倍左右。當(dāng)搜索窗口大小不變，比較窗口大小逐漸增大時(shí)，處理時(shí)間雖然有所增加，但是增加的幅度并不明顯。而在使用GPU 對(duì)每個(gè)搜索窗口處理進(jìn)行并行化后，處理時(shí)間顯著減少，加速比在10 到30 之間不等。同時(shí)，當(dāng)處理的數(shù)據(jù)量較大時(shí)，GPU加速的優(yōu)勢(shì)更加顯著。

表3 不同窗口大小的加速效果Table 3 Acceleration effects of different window sizes

上述兩個(gè)實(shí)驗(yàn)表明，本文提出的基于GPU 加速方法，極大地縮短了序列圖像NLM 超分辨率重建算法的運(yùn)行時(shí)間，提升了算法的效率。

4 總結(jié)

本文提出一種基于IQA閾值自適應(yīng)迭代的NLM超分辨率重建算法。算法分別從頻域和空域，通過(guò)有參考評(píng)價(jià)和無(wú)參考評(píng)價(jià)結(jié)合的方式評(píng)價(jià)重建圖像質(zhì)量，并將該指標(biāo)作為自適應(yīng)閾值用以判斷迭代的收斂程度。通過(guò)這種方式，實(shí)現(xiàn)了NLM 超分辨率重建算法的自適應(yīng)迭代，解決了NLM 參數(shù)設(shè)置和結(jié)果選取高度依賴經(jīng)驗(yàn)值的缺陷。實(shí)驗(yàn)結(jié)果表明，本文提出的算法能有效避免超分辨率重建計(jì)算過(guò)程中的誤差累積，在保證算法魯棒性的同時(shí)極大降低了算法的時(shí)間消耗。