程 亮

(內(nèi)蒙古農(nóng)業(yè)大學(xué)教務(wù)處，內(nèi)蒙古 呼和浩特 010020)

1 引言

數(shù)字時代的到來，在信息傳播的潮流中，圖像為其中最為關(guān)鍵的媒介，一直被廣泛應(yīng)用于各種場景。在眾多領(lǐng)域中，人們對于圖像的畫質(zhì)有較高的需求，比如醫(yī)療圖像領(lǐng)域、衛(wèi)星遙感領(lǐng)域等。圖像是最直觀的信息可視化表達(dá)方式，但在實(shí)際應(yīng)用中數(shù)字?jǐn)z影技術(shù)面臨諸多問題，例如拍攝高速運(yùn)動的物體等，在這種特定場景中，大多數(shù)圖像都是模糊圖像，需要進(jìn)行清晰化處理，即圖像重建。目前，針對該領(lǐng)域問題也有很多專家參與討論，得出了很多成果。但這些傳統(tǒng)方法對運(yùn)動模糊圖像進(jìn)行的重建結(jié)果，存在重建效果差、細(xì)節(jié)不清晰等問題，現(xiàn)階段，相關(guān)學(xué)者獲得如下解決方法。

文獻(xiàn)[1]提出基于遙感圖像的MAP超分辨重建方法，該方法構(gòu)建了基于模擬擬合的現(xiàn)實(shí)成像模型系統(tǒng)，利用最大后驗(yàn)概率系統(tǒng)理論，獲取在實(shí)際環(huán)境中運(yùn)動模糊、噪聲等相關(guān)數(shù)據(jù)，基于MAP理論，引入超分辨重建算法。但該方法不能有效提高模糊圖像的質(zhì)量，且應(yīng)用范圍有限。文獻(xiàn)[2]提出基于層次聚類的圖像超分辨率重建方法，該方法對圖像塊進(jìn)行特征層次聚類，利用高斯混合模型聚類方法，將測試圖像裁剪成若干圖像塊，引入K均值聚類方法優(yōu)化圖像，實(shí)現(xiàn)全面重建圖像的目的。但該方法圖像重建效果較差，并且運(yùn)行過程不夠穩(wěn)定。文獻(xiàn)[3]提出基于改進(jìn)超分辨率卷積神經(jīng)網(wǎng)絡(luò)和字典學(xué)習(xí)的圖像超分辨率重建方法，利用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)構(gòu)建圖像超分辨率重建模型，采用字典學(xué)習(xí)模型，補(bǔ)償圖像殘差部分的高頻信息，從而獲得具有更好視覺效果和峰值信噪比的高分辨率圖像。但該方法重建后圖像結(jié)構(gòu)相似度較低，應(yīng)用效果不理想。

針對以上傳統(tǒng)方法存在的不足，本研究提出一種數(shù)字?jǐn)z影運(yùn)動模糊圖像超分辨重建方法。構(gòu)建圖像降質(zhì)退化模型，從根本上控制圖像質(zhì)量。利用超分辨重建中的空域方法，即基本插值法重建圖像。通過實(shí)驗(yàn)對研究方法進(jìn)行驗(yàn)證。結(jié)果顯示所研究方法效果好，細(xì)節(jié)保留完整。

2 數(shù)字?jǐn)z影運(yùn)動模糊圖像分析

2.1 圖像降質(zhì)退化模型構(gòu)建

圖像的退化復(fù)原過程能夠簡化成一個退化函數(shù)與一個復(fù)原濾波[4]。如圖1所示。

圖1 圖像退化復(fù)原具體過程示意圖

圖1中，初始圖像u(x，y)采用退化函數(shù)H后，引入噪聲n(x，y)，構(gòu)成一幅被退化過的圖像g(x，y)。

相對線性移不變的運(yùn)動模糊圖像，其模糊圖像g(x，y)是原圖像f(x，y)與擴(kuò)展函數(shù)h(x，y)的卷積公式

(1)

式中：n(x，y)為可加性噪聲；ξ和η表示原圖像的運(yùn)動參數(shù)；t表示圖像運(yùn)動時間。將上公式的兩邊取傅立葉的變換，即公式為

Gi(u，v)=F(u，v)hi(u，v)+Ni(u，v)

(2)

CCD傳感陣列曝光實(shí)現(xiàn)光電轉(zhuǎn)換以后，會連續(xù)圖像的離散化，即公式為

Gi(m1，m2)=

=F(n1，n2)hi(m1，m2;n1，n2)+Ni(m1，m2)

(3)

為提高表達(dá)效果，利用矩陣的形式進(jìn)行表示

(4)

上式即為圖像降質(zhì)退化模型的構(gòu)建原理，多數(shù)重建方法都是在此模型基礎(chǔ)上構(gòu)建的[5]。

2.2 運(yùn)動模糊本質(zhì)

運(yùn)動模糊圖像的運(yùn)動目標(biāo)與成像系統(tǒng)之間的關(guān)系如圖2所示。

圖2 運(yùn)動個體和成像系統(tǒng)之間的關(guān)系示意圖

圖2中：若圖像f(m，n)相對CCD相機(jī)沿著某個方向做二維均勻直線運(yùn)動，即在x，y的方向上同時做勻速運(yùn)動，就可以說明模糊本質(zhì)在于成像曝光的時間，目標(biāo)圖像點(diǎn)的積分卷積過程，即為CCD圖像上多個像素點(diǎn)灰度值的疊加過程，可以實(shí)現(xiàn)模糊圖像g(m，n)的構(gòu)建。

將圖像沿45度的方向作勻速直線運(yùn)動，f(m，n)選為方形圖像，其目標(biāo)平面為xy，鏡像平面為uv。即它們在x，y的方向上面勻速移動的采樣點(diǎn)個數(shù)是相等點(diǎn)的，將其假設(shè)成N。與此同時假設(shè)圖像的采樣點(diǎn)一公有M×M個，在x，y的方向上分別選取N×N個采樣點(diǎn)。將CCD曝光的時間設(shè)定成T，那么在曝光時間T內(nèi)，將圖像沿著45度方向移動N個像素點(diǎn)。且圖像在運(yùn)動時，每一個采樣點(diǎn)的曝光時間都和運(yùn)動的速度之間成反比，并且運(yùn)動期間的任意一點(diǎn)灰度值都要小于靜止時的灰度值，說明圖像在運(yùn)動的過程中，所有采樣點(diǎn)在CCD內(nèi)的像素點(diǎn)曝光時間均為1/T。即采樣點(diǎn)位置的灰度值是其運(yùn)動距離的倒數(shù)[6]，具體數(shù)值為1/N。

在本文的曝光時間T中可以分成N個等間隔的時間段t0、t1、…、tN-1，即圖像在某一時間段ti，沿著45度的方向所移動一個采樣，即指圖像在x，y的方向中分別移動一個采樣點(diǎn)，將其設(shè)定在t0時刻的xy平面(0，0)處，在tN-1時刻f(N-1，N-1)運(yùn)動至xy平面中(0，0)時，即成像CCD在uv平面像素(0，0)的位置。在曝光時間T中，其CCD在uv平面像素點(diǎn)(0，0)的位置上，不僅接收f(0，0)信息，還有在N采樣位置上的疊加信息[7]，具體公式為

g(0，0)=f(0，0)+f(1，1)+…+f(N-2，N-2)

+f(N-1，N-1)

(5)

考慮所有像素點(diǎn)在CCD上的曝光率，其公式可以具體寫成

+f(N-2，N-2)+f(N-1，N-1)]

(6)

同樣在CCD像素點(diǎn)(1，1)中接收信息公式為

+f(N-1，N-1)+f(N，N)]

(7)

對于CCD上某一像素點(diǎn)(m，n)來說，它的g(m，n)公式為

f(m+N-2，n+N-2)+f(m+N-1，n+N-1)]

(8)

能夠看出，退化模型構(gòu)建的重點(diǎn)為，利用擴(kuò)散函數(shù)PSF獲取退化矩陣H[8]。

2.3 運(yùn)動模糊圖像退化模型構(gòu)建

獲取垂直光軸方向運(yùn)動點(diǎn)光源線擴(kuò)展函數(shù)LSF，采用對線擴(kuò)展函數(shù)，以及一維傅立葉變換得到調(diào)制傳遞函數(shù)[9]。

設(shè)探測器曝光時間te中，x(t)代表目標(biāo)物體和探測器兩者之間的相位位移，其運(yùn)動線擴(kuò)展函數(shù)LSF是x(t)的概率密度函數(shù)。像素點(diǎn)會造成線擴(kuò)展函數(shù)的運(yùn)動，此運(yùn)動能夠利用線擴(kuò)展函數(shù)的概率密度進(jìn)行描述，相對于一個給定位移值x(t)概率，可以敘述為探測器積分響應(yīng)時間中，相對位移x的函數(shù)。說明位移函數(shù)能夠采用時間函數(shù)x=x(t)來表示，用時間t的概率密度fte(t)敘述位移x的概率密度fx(x)。

先利用隨機(jī)變量x的概率密度確定y=g(x)的概率密度，根據(jù)給定的y值，獲取fy(y)?，F(xiàn)階段通過解方程y=g(x)，采用xn來代表它的實(shí)根，即

y=g(x1)=g(x2)=……=g(xn)

其公式為

(9)

式中，g′(x)是g(x)的導(dǎo)數(shù)

所以，在x=x(t)時，采用時間t的概率密度fte(t)描述位移x的概率密度fx(x)，公式為

fx(x)=

(10)

曝光的起始時間是一個隨意變量，且由于時間軸服從均勻分布，因此，所有能夠?qū)崿F(xiàn)給定相對位移x的時間t的概率是相等的，其具體表示是fte(t)，且時間t均勻分布于[0，te]中，因此概率密度的函數(shù)fte(t)=1/te。其公式為

(11)

光學(xué)傳遞函數(shù)公式為

(12)

調(diào)制傳遞函數(shù)公式為

MTF(f)=|OTF(f)|

(13)

因?yàn)閘ogMTF與相位傳遞函數(shù)PTF之間是彼此的Hilbert變換，所以PTF能夠采用MTF表示為

(14)

此時的退化函數(shù)H公式為

H=MTFexp(jPTF)

(15)

3 模糊圖像超分辨重建

信息的提取與融合過程，可以采用空域方法與頻域方法兩種[10]。頻域是利用傅里葉變換將圖像的信息進(jìn)行變換到頻域，再利用其位移的特性來消除頻譜混疊特性，但該方法的退化模型在映射至頻域時會受到限制，通道其自身特性導(dǎo)致很難獲取先驗(yàn)信息。而空域方法可以充分考慮退化模型中的復(fù)雜因素，有效彌補(bǔ)頻域方法的不足。

引入基本插值法，如雙三插值，是通過16個相鄰點(diǎn)來完成三次插值的方法[11]，該方法不僅要考慮相鄰4個點(diǎn)之間的灰度影響，同時還要考慮所有相鄰點(diǎn)之間的灰度值變化率問題，其具體的算法是通過插值基函數(shù)的方式來完成擬合數(shù)據(jù)，插值基函數(shù)是三次多項(xiàng)式S(ω)、ω為輸入?yún)?shù)，S(ω)如下列公式所示

(16)

雙三次的插值所得到的插值結(jié)果公式為

f(i+u，j+v)=[A]×[B]×[C]

(17)

式中：u與v分別代表目標(biāo)像素點(diǎn)對應(yīng)位置(i，j)在橫隊(duì)與縱隊(duì)的偏移值，[A]、[B]、[C]均是矩陣，具體的公式如下所示

[A]=[S(1+v)S(v)S(1-v)S(2-v)]

(18)

(19)

(20)

式中：f(i，j)代表原像素點(diǎn)。通過此方法就可以得到超分辨率重建后的圖像，在此圖像上，將數(shù)值放大到一定的程度，肉眼觀察其具體的效果圖，當(dāng)圖像不會隨著相關(guān)幀的增加而改變時，說明該時刻的運(yùn)動模糊圖像分辨率重建效果達(dá)到最好[12]。

4 實(shí)驗(yàn)分析

實(shí)驗(yàn)平臺選擇在服務(wù)器上安裝Tensor Flow平臺。服務(wù)器為Ubuntu16.04系統(tǒng)，如圖3所示，為服務(wù)器的GPU，且平臺采用SSD硬盤，在SSD緩存中訓(xùn)練數(shù)據(jù)能夠提高訓(xùn)練速度。

圖3 服務(wù)器平臺

4.1 客觀指標(biāo)評價效果測試

本次試驗(yàn)是通過客觀指標(biāo)來驗(yàn)證所提方法性能，對算法的測試主要包含Protter方法、SR方法以及本文方法。

首先選取高分辨率視頻序列的前30幀，進(jìn)行圖像降質(zhì)，即3×3的均勻模糊，接著在垂直與水平方向進(jìn)行3以下的采樣。再對模糊圖像添加標(biāo)準(zhǔn)偏差std為2的噪聲，利用本文方法與SR方法對降質(zhì)序列進(jìn)行重建利用峰值信噪比(PSNR)與均方誤差(MSE)兩種圖像的客觀評價方法的性能。

3種方法的重建30幅圖像的平均PSNR與MSE如表1所示。

表1 不同方法效果參數(shù)對比表格

不同算法的所有幀重建結(jié)果PSNR圖像參數(shù)曲線如圖4所示。

圖4 不同的PSNR的對比

根據(jù)結(jié)果表明，Protter和SR方法下的圖像重建信噪比是更低的，且Protter方法的圖像信噪比是不穩(wěn)定的，說明該方法不具備較好的應(yīng)用性能。SR方法與本次研究方法的信噪比趨勢更相近，但是相比之下，研究所設(shè)計(jì)方法信噪比更高。

4.2 視覺效果測試

測試序列所采用的是分辨率為128×128的實(shí)際視頻序列，具體的實(shí)驗(yàn)取前10幀。圖4給出了第3幀Protter方法、SR方法和本研究方法的重建圖像。

圖5為參考圖像，圖6(a)為利用Protter方法局部重建后圖像，圖6(b)為利用SR方法局部重建后圖像，圖6(c)為利用本文方法局部重建后的圖像。圖7為三種方法的圖像整體重建效果。

圖5 實(shí)驗(yàn)樣本圖像

圖6 局部重建效果

圖7 整體重建效果

通過上述圖像能夠明顯看出，Protter方法重建后的圖像效果較差，表面依舊存在模糊區(qū)域，而SR方法方法與本文方法，都可以對任意動作所產(chǎn)生降質(zhì)嚴(yán)重的區(qū)域進(jìn)行處理，不過本文方法在對圖像模糊重建的同時，還能完成保留圖像中的細(xì)節(jié)和紋理，目標(biāo)特征保存較為完整。

5 結(jié)束語

在實(shí)際拍攝過程中，運(yùn)動圖像模糊問題十分常見，因此國內(nèi)外不少學(xué)者對此進(jìn)行研究，提出圖像重建方法，使圖像重新變得清晰。但是在科技不發(fā)達(dá)時代，就造成了圖像重建技術(shù)效果質(zhì)量差，存在很多的弊端。

1)本次研究提出的數(shù)字?jǐn)z影運(yùn)動模糊圖像超分辨重建方法。對運(yùn)動模糊圖像的本質(zhì)進(jìn)行分析。控制圖像質(zhì)量。根據(jù)基本插值法來完成運(yùn)動模糊圖像的超分辨率重建。

2)為驗(yàn)證研究方法的有效性，進(jìn)行一次實(shí)驗(yàn)。實(shí)驗(yàn)表明：利用客觀指標(biāo)進(jìn)行評價，結(jié)果證明研究方法具有更高的信噪比。整體重建效果對比圖則進(jìn)一步說明了研究方法的優(yōu)勢。

3)雖然研究方法能夠很好的對運(yùn)動模糊圖像進(jìn)行重建，但是處理過程耗時長，且對數(shù)字?jǐn)z影器材要求較高，具有局限性，無法大范圍推廣使用。但是隨著科技的發(fā)展，圖像重建技術(shù)也要隨著科技發(fā)展逐漸被完善。下一步，將嘗試使用人工智能技術(shù)建立新的重建模型，使得圖像在拍攝的同時就完成分辨率重建，大大縮短運(yùn)算時間。