趙喆

遼寧錦州渤海大學(xué)工學(xué)院

多視點視頻的超分辨率重建技術(shù)設(shè)計

趙喆

遼寧錦州渤海大學(xué)工學(xué)院

超分辨率重建技術(shù)是將圖像中時空間信息提取出來，信息提取的過程中應(yīng)用了信息處理的相關(guān)技術(shù)，通過超分辨率重建技術(shù)最終實現(xiàn)單幅高分辨圖像的重建。本文引入了貝葉斯估計的相關(guān)理論，運用了最大后驗概率超分辨率視頻重建的算法。

視頻超分辨率 最大后驗概率 貝葉斯估計

1 超分辨率圖像重建的問題描述

針對目前融合多幅圖像中的退化因素的存在，必須要引入相關(guān)的技術(shù)，其中需要進行處理的部分主要包括了去除圖像視頻中的模糊以及噪聲，并且估計幀間圖像的對應(yīng)運動，在重建超分辨率的時候，常常所獲得的圖像不是清晰的，而且圖像中存在著病態(tài)的模糊算子，這是造成不可以充分獲取圖像觀察信息的因素。因此在具體的應(yīng)用中想得到高分辨率的圖像常常不是很容易的。實際上，關(guān)于超分辨率重建算法是基于正則化理論，然而問題的解決出發(fā)點就是正則化理論。重建圖像超分辨率的前提是確定合理的信息模型，通過該模型從而使得在降質(zhì)圖像以及退化圖像中可以描述地更加準(zhǔn)確，所以要想關(guān)聯(lián)實際和理想中的圖像序列就必須要設(shè)計一種觀測模型。

2 序列圖像超分辨率算法

超分辨率圖像重建的模型如下所示。

解決超分辨率主要是估計HR圖像，估計中需要用到B(k) (Sk)、n(k)和x的先驗知識。有一個問題是無法避免的就是相互的作用始終在序列圖像中存在。同時序列信息本身固定存在的冗余性和互補性特性，在一定程度上揭示了相關(guān)性和豐富性是信息的固有屬性。序列圖像的超分辨方法指的就是根據(jù)信息的多樣性，以及物體中固有的先驗信息進行計算和估算，最終從低分辨率的圖像序列中里面提取出單幅高分辨率的圖像。根據(jù)統(tǒng)計的結(jié)果從而得出空域和頻域方法應(yīng)用很廣泛。

2.1 空域法

重建圖像超分辨率的方法時候，應(yīng)用價值比較高的方法是空域法?？沼蚍梢詰?yīng)用在光學(xué)模糊、采樣不理想場合中，空域法采取的模型是線性空間域模型。重建空間域圖像超分辨率的方法通常有概率論方法、自適應(yīng)濾波方法以及非均勻的間隔采樣內(nèi)插反向投影迭代等。

2.1.1 非均勻間隔采樣內(nèi)插

通過運動補償配準(zhǔn)，低分辨率序列會形成單一的合成圖像，這個圖像需要通過非均勻間隔采樣，采樣選擇的方法是重采樣采樣點和內(nèi)插采樣點，從而最終能夠重建出一幅超分辨率圖像。

2.1.2 反向投影迭代

反向投影迭代的原理是：找出可以投影到高分辨率的圖像中的一個模擬誤差，緊接著按照事先估計的值估計新的值，循環(huán)操作這個步驟以后，會獲得低分辨模擬圖像的值，然后根據(jù)已經(jīng)觀測到的圖像值對前后二者進行差值的運算，從而結(jié)果值即模擬誤差。但是差值指的是在初試估計觀測圖像中獲得的。

2.1.3 自適應(yīng)濾波方法

自適應(yīng)濾波方法指的是在重建超分辨率的時候運用到了反向濾波器，但是因為自適應(yīng)濾波方法不能夠隨便地將先驗約束加入到算法中，因此導(dǎo)致了許多的問題產(chǎn)生，與此同時因為反射濾波器的幅值和頻率響應(yīng)之間的關(guān)系是成正比，從而自適應(yīng)濾波方法對調(diào)頻噪聲很敏感。即使自適應(yīng)濾波方法有許多的缺點，但是在應(yīng)用的相關(guān)技術(shù)而言，對于應(yīng)用層析成像領(lǐng)域中有著重大的應(yīng)用價值。

3 視頻信號編碼框架

現(xiàn)今關(guān)于視頻編碼在國際標(biāo)準(zhǔn)中存在著很多的方法。其中的方法主要包括了DCT變換以及運動補償。不同的情況下所對應(yīng)的方法標(biāo)準(zhǔn)也存在著不同點，所以圖像的質(zhì)量也會不同。然而不管是什么標(biāo)準(zhǔn)都會劃塊原始的圖像。接著針對不同的塊對圖像進行編碼的處理。其中的方法一主要實施該塊的線性變換，接著再完成量化編碼解碼，從而在解碼段中最終得出經(jīng)過壓縮與解壓的估計結(jié)果。方法二指的是在解碼段中存儲經(jīng)過空間偏移處理的編碼圖像塊，接著將計算后的結(jié)果預(yù)測值線性變換，最后進行修改。視頻混合編碼框架圖如圖1所示。

圖1 視頻混合編碼框架圖

4 貝葉斯超分辨率

4.1 并行化設(shè)計

因為標(biāo)準(zhǔn)的MAP超分辨率算法的最大缺點就是運算過大，求解目標(biāo)函數(shù)的時候，需要進行大規(guī)模的迭代求解。運算求解的過程中如果選擇的是單線程的方式，那么這就會造成CPU硬件資源的浪費，特別是在這個信息技術(shù)飛速發(fā)展的科技時代，應(yīng)用多核多線程CPU的領(lǐng)域遍布很廣。因此實現(xiàn)算法的時候，要將并行化的設(shè)計考慮在內(nèi)，CPU單位時間的計算吞量需要提高。設(shè)計并行化以前，應(yīng)該要多次討論超分辨率的降質(zhì)模型。該降質(zhì)模型表明了圖像的降質(zhì)過程指的就是把最初的高分辨率圖像的像素塊通過映射，在LR圖像中產(chǎn)生對應(yīng)的像素。而且從Markov隨機場的概念中知道，圖像像素的相鄰的像素值對圖像像素的取值有直接的影響。

因此當(dāng)圖像先驗?zāi)Ｐ徒⒑螅亟ǔ直媛士梢垣@得高分辨率的圖像，而且超分辨率中的所有部分都和超分辨率的低分辨率圖像中像素的取值是有著直接的聯(lián)系，但是和其他部分中對應(yīng)的像素值是沒有關(guān)系的。因此，重建各個圖像塊彼此之間是互不影響的，所以，當(dāng)條件得到滿足以后，實施并行化設(shè)計，從而在一定程度上縮減了重建圖像時間，并且也使得算法的實時性能得到了提高。單線程運算求解如圖2所示。

圖2 單線程運算求解圖示

在重建圖像的時候，對圖像實施分塊。根據(jù)梯度下降的最優(yōu)化，本文分割圖像成多個大小固定的像素塊，接著再按照具體的算法流程實現(xiàn)迭代求解。算法的實現(xiàn)過程總結(jié)為：1）圖像分割成一系列等大像素塊；2）在每個工作線程中實現(xiàn)像素塊口的投遞操作，同時單一重建Thread中的對像素塊口。3）當(dāng)重建完全部的像素塊以后，就進行合并的相關(guān)操作，輸出結(jié)果，最后進入下一幀。

5 仿真實驗

5.1 算法有效性驗證

該部分通過仿真實驗實現(xiàn)了算法的有效性驗證，在仿真實驗中，選擇標(biāo)準(zhǔn)測試圖像序列壓縮視頻。具體的驗證實驗步驟總結(jié)如下：1）降質(zhì)圖像序列進行降質(zhì)處理；2）通過MPEG-4編碼器壓縮低分辨率圖像；3）通過標(biāo)準(zhǔn)的MAP算法超分辨率的恢復(fù)重建所獲得的低分辨率壓縮視頻，同時分析該算法的性能，從主觀質(zhì)量以及PSNR的角度上進行分析。本文主要是以針對測試算法對不同壓縮率在壓縮視頻時的性能，本文分別以低、中、高碼率進行算法測試的結(jié)果分析。由于篇幅的原因，故不贅述。

5.2 實驗分析

5.2.1 重建圖像的質(zhì)量分析

各個圖像在不同低、中、高碼率下的測試結(jié)果如表1所示。

表1 測試結(jié)果

為了進一步對本文的算法的有效性進行評價，隨機抽取了實驗樣本中的視頻，隨機選擇50名同學(xué)評價該樣本，試驗數(shù)據(jù)結(jié)果如圖3所示。

圖3 主觀評價數(shù)據(jù)

結(jié)語：目前成像設(shè)備自身分辨率受到很多因素的約束，其中的因素主要包括了錯誤傳輸、帶寬的制約以及壓縮算法等。在日常生活中人們對視頻的清晰度提出了更高的要求，但是目前視頻分辨率的技術(shù)不可能達到人們所期望的結(jié)果。針對這個問題的處理引入了超分辨率重建技術(shù)。

[1]楊永玲.基于超分辨率重建的視頻圖像壓縮方法的研究[D]，大連海事大學(xué),2008

[2]羅國中.面向低質(zhì)量視頻的目標(biāo)對象的超分辨率重建技術(shù)研究[D].國防科學(xué)技術(shù)大學(xué),2013

[3]宋銳.視頻和圖像序列的超分辨率重建技術(shù)研究[D].西安電子科技大學(xué),2009

[4]張巖,李建增,李德良,等.無人機偵察視頻超分辨率重建方法[J].中國圖象圖形學(xué)報,2016,21(7)