張玉葉，李明珠，王春歆，李開端

（1.海軍航空工程學(xué)院青島校區(qū)，山東 青島 266041；2.北海艦隊(duì)，山東 青島 266001）

運(yùn)動模糊圖像復(fù)原技術(shù)研究

張玉葉1，李明珠1，王春歆2，李開端1

（1.海軍航空工程學(xué)院青島校區(qū)，山東 青島 266041；2.北海艦隊(duì)，山東 青島 266001）

分析運(yùn)動模糊圖像復(fù)原研究現(xiàn)狀，說明該研究目前的三個(gè)方面的應(yīng)用局限性，然后針對這些局限介紹目前研究的方向及常見技術(shù)。為了突破單一圖像進(jìn)行運(yùn)動模糊復(fù)原的局限性，解決點(diǎn)擴(kuò)散函數(shù)（PSF）難以估計(jì)以及圖像反卷積的病態(tài)性問題，介紹一種聯(lián)合圖像復(fù)原的方法。

運(yùn)動模糊；圖像復(fù)原；點(diǎn)擴(kuò)散函數(shù)；反卷積

運(yùn)動模糊圖像是由于攝像機(jī)與運(yùn)動物體在曝光時(shí)間內(nèi)有相對運(yùn)動而產(chǎn)生的模糊，圖像中每一點(diǎn)灰度是在運(yùn)動參數(shù)所確定的距離當(dāng)中，各景物點(diǎn)灰度的線性迭加。運(yùn)動模糊圖像恢復(fù)恢復(fù)討論的是對運(yùn)動物體拍攝的模糊圖像進(jìn)行精確的恢復(fù)。圖像運(yùn)動模糊復(fù)原在軍事和工業(yè)控制有重要的應(yīng)用需求，所以發(fā)展了很多的恢復(fù)方法，諸如差分恢復(fù)、維納濾波、空間自適應(yīng)復(fù)原方法等。這些方法各有特點(diǎn)，一定程度上解決了運(yùn)動模糊圖像的判讀問題，但是在應(yīng)用上有一定的限制。

（1）運(yùn)動模糊圖像的退化過程本身，及反卷積復(fù)原過程存在真實(shí)目標(biāo)信息的丟失。

（2）模糊圖像復(fù)原問題的研究一直以來基于空間移不變的假設(shè)，圍繞著反卷積理論及技術(shù)使用各種圖像復(fù)原算法進(jìn)行恢復(fù)處理，而實(shí)際上，圖像在獲取過程中受拍攝條件及光學(xué)成像系統(tǒng)影響，降質(zhì)函數(shù)容易隨空間變化而變化。

（3）運(yùn)動模糊復(fù)原方法，始終圍繞著建立反卷積數(shù)學(xué)模型找回或者擬合逼近這些丟失信息進(jìn)行。但是因?yàn)榉淳矸e的病態(tài)性，復(fù)原過程容易受 PSF 估計(jì)誤差及噪聲影響，引入虛假信息，所以該問題的研究遇到瓶頸。

下面分別針對以上三個(gè)主要限制進(jìn)行分析，并介紹目前研究的突破方向及成果。

1 運(yùn)動模糊圖像信息丟失原因分析

（1）由物理成像條件造成信息損失。首先從像素運(yùn)動角度說明圖像的模糊過程，設(shè)運(yùn)動模糊長度為L，運(yùn)動模糊方向?yàn)棣取Ｏ鄼C(jī)與目標(biāo)存在相對運(yùn)動時(shí)，目標(biāo)圖像每個(gè)像素的運(yùn)動性質(zhì)是相同的，每個(gè)像素的灰度值是由其運(yùn)動方向上的前L個(gè)像素灰度值的加權(quán)疊加。因?yàn)橄袼卦谕窘?jīng)每個(gè)位置時(shí)的曝光時(shí)間相等，所以其加權(quán)值為 L/1 。設(shè) 5=L ， °=0θ ，示意圖如圖1。

圖1 運(yùn)動模糊圖像的模糊機(jī)理示意圖

圖1中，矩陣 f表示目標(biāo)的真實(shí)圖像，矩陣 g表示運(yùn)動模糊圖像。該圖表示真實(shí)圖像的像素 ),(jif

經(jīng)過了水平向右模糊5個(gè)像素得到了模糊圖像的像素 ),(jig ，表達(dá)式如下：

由上式可知，模糊圖像的每個(gè)像素是原始圖像中相鄰像素的平均結(jié)果，所以在復(fù)原模糊圖像時(shí)，每個(gè)像素都得需要其相鄰像素的信息才能得以復(fù)原。所以圖像的空間限制造成的邊界非零信息丟失會影響圖像不能完全復(fù)原。邊界非零信息的丟失程度取決于運(yùn)動模糊長度L，L越大，丟失的信息越多，復(fù)原效果越差。

（2）由復(fù)原過程產(chǎn)生的復(fù)原效應(yīng)。無論是代數(shù)復(fù)原方法還是頻域復(fù)原方法，在處理圖像時(shí)不可避免地引入各種誤差或者低通濾波效應(yīng)，尤其當(dāng)運(yùn)動模糊長度不是整數(shù)，或者模糊方向不是水平或垂直時(shí)，由于單像素的不可分性，勢必引入更多的誤差。

2 空間移變運(yùn)動模糊的復(fù)原方法

對空間移變降質(zhì)，出現(xiàn)了一些有針對性的方法，如針對場曲等高斯型模糊的多項(xiàng)式擬合方法、針對旋轉(zhuǎn)運(yùn)動模糊的復(fù)原方法、坐標(biāo)變換法、矩陣分解法、卡爾曼濾波復(fù)原圖像分塊法等方法。這些方法的思想或者將降質(zhì)函數(shù)轉(zhuǎn)化為隨空間變化的形式，或者將圖像轉(zhuǎn)化為局部空間移不變降質(zhì)，對于其相應(yīng)的特定情況處理是有效的，但是目前還沒有合適的方法來解決一些常見的運(yùn)動拍攝條件出現(xiàn)的空間移變的運(yùn)動模糊。

3 引入計(jì)算攝影技術(shù)解決反卷積的病態(tài)問題

運(yùn)動模糊反卷積復(fù)原的病態(tài)性一直是圖像處理領(lǐng)域中公認(rèn)的難題，也極大地限制了復(fù)原問題研究的進(jìn)展。近年來研究者們將計(jì)算攝影技術(shù)引入到運(yùn)動模糊復(fù)原領(lǐng)域，開拓了一種全新的思路。

基于計(jì)算攝影技術(shù)的圖像復(fù)原是通過設(shè)計(jì)新的圖像獲取方式，來獲得更利于圖像復(fù)原的信息。2004 年，Ben-Ezra 等 人 首次 提 出借 助 高 速視 頻傳感器來輔助估計(jì)運(yùn)動模糊 PSF，發(fā)展了一類基于視覺測量技術(shù)的方法，該類方法對成像設(shè)備的配置及組合要求較高。到 2006 年，Raskar等人提出在相機(jī)曝光時(shí)間內(nèi)快速開—關(guān)快門的編碼曝光（CodedExposureCE），可以獲取可逆的運(yùn)動模糊點(diǎn)擴(kuò)散函數(shù)（PSF），也就是PSF在頻域無零點(diǎn)存在，從而將病態(tài)性的復(fù)原問題轉(zhuǎn)化為良態(tài)。CE方法獲取可逆 PSF 的思想引起了研究者廣泛的關(guān)注，也得到了進(jìn)一步的發(fā)展。但是 CE方法需要復(fù)雜的快門控制設(shè)置，對于局部圖像復(fù)原的前提假設(shè)是均勻背景，并且需要手動進(jìn)行 PSF 估計(jì)和目標(biāo)分割。2009 年，Agrawal等人利用普通相機(jī)通過連續(xù)拍攝，并改變曝光時(shí)間來記錄同一目標(biāo)，得到多個(gè)具有不同 PSF 的運(yùn)動模糊目標(biāo)圖像，從而引入零填充的概念來構(gòu)建可逆的 PSF，進(jìn)行多圖像聯(lián)合復(fù)原。該方法成像設(shè)備要求簡單，克服了前面方法中復(fù)雜的硬件設(shè)計(jì)問題。但是該方法需要在連續(xù)拍攝運(yùn)動目標(biāo)的過程中，不斷變換曝光時(shí)間。對于高速運(yùn)動目標(biāo)，相鄰幀中目標(biāo)圖像形態(tài)變化會比較大。另外，不同曝光時(shí)間獲取的圖像亮度也不同，那么利用多幅 PSF 不同的同一目標(biāo)圖像進(jìn)行復(fù)原時(shí)，容易產(chǎn)生較大誤差。

下面借鑒 Agrawal提出的聯(lián)合多個(gè) PSF 構(gòu)建可逆的 PSF 的思想，介紹一種多圖像聯(lián)合模糊復(fù)原方法，利用設(shè)備參數(shù)相同的多個(gè)視頻獲取裝置，來獲取在同一背景下，亮度相同、但運(yùn)動模糊程度不同的目標(biāo)影像，進(jìn)而對空間域迭代復(fù)原算式進(jìn)行聯(lián)立求解。

4 一種多圖像聯(lián)合模糊復(fù)原方法

4.1 設(shè)置不同快門的視頻記錄設(shè)備組合

采用固定對同一視場進(jìn)行拍攝的多臺視頻設(shè)備來捕捉運(yùn)動目標(biāo)。這些視頻設(shè)備型號相同，多臺設(shè)備靠緊固定，在拍攝距離較遠(yuǎn)的條件下，不同設(shè)備拍攝的同一目標(biāo)位置影像差別極微小。這樣，當(dāng)運(yùn)動目標(biāo)經(jīng)過指定視場時(shí)，視頻設(shè)備可以得到同一靜止背景下不同運(yùn)動模糊程度的運(yùn)動目標(biāo)影像。

設(shè)置相同的幀頻，不同的曝光時(shí)間iT（快門），相應(yīng)地調(diào)整光圈系數(shù)iF，來保證不同設(shè)備獲取的照片具有相同的曝光量H。這里 H = Ti·Ei，其中 Ei指Fi對應(yīng)的光照度。注意：同可變曝光連續(xù)圖像獲取方式相同，目標(biāo)影像在背景中的位置也是有差別的，因?yàn)橐曨l設(shè)備幀頻相同，但是所設(shè)的曝光時(shí)間不同，所以快門開啟的時(shí)間不同，記錄的目標(biāo)起始位置有一定的位移。圖2顯示的是兩臺視頻設(shè)備采用不同快門和光圈組合拍攝同一運(yùn)動目標(biāo)得到的觀測圖像2（b）和 2（c）及其對應(yīng)的背景圖像 2（a）。

圖2 采用不同曝光時(shí)間獲取的運(yùn)動目標(biāo)圖像

4.2 運(yùn)動模糊目標(biāo)圖像 PSF 估計(jì)及分割提取

（1）運(yùn)動模糊 PSF 估計(jì)。不同曝光時(shí)間獲取的圖像，運(yùn)動模糊程度也不同，需要分別估計(jì)出每幅圖像的運(yùn)動模糊 PSF。傳統(tǒng)的僅對單幅模糊圖像進(jìn)行的 PSF 估計(jì)準(zhǔn)確度是比較低的，多幅圖像共同復(fù)原的方法更利于準(zhǔn)確估計(jì) PSF。用本方法獲取的每幅包含目標(biāo)的圖像，其獲取時(shí)間由相機(jī)系統(tǒng)時(shí)間設(shè)置可以直接得到，然后根據(jù)兩幅圖像目標(biāo)在背景中位置的差異，容易計(jì)算得到目標(biāo)圖像的運(yùn)動速度v（單位：像素 /秒），v與曝光時(shí)間的乘積就是目標(biāo)圖像的運(yùn)動模糊長度d（單位：像素），也就得到了第k幅圖像中的運(yùn)動模糊點(diǎn)擴(kuò)散函數(shù)kh。

（2）運(yùn)動模糊目標(biāo)圖像的分割提取。對于靜止背景中運(yùn)動目標(biāo)的復(fù)原，首要的一點(diǎn)就是對完整目標(biāo)圖像的分割提取。本方法根據(jù)運(yùn)動模糊疊加特征進(jìn)行目標(biāo)圖像的分割提取，得到第k幅運(yùn)動目標(biāo)模糊圖像kg。

4.3 多幅圖像聯(lián)合復(fù)原求解

得到kh和kg，就可以利用空間域方法進(jìn)行聯(lián)合復(fù)原。

單幅圖像的空間域復(fù)原求解算式如下：

這里， f、kn分別表示復(fù)原結(jié)果圖像和模糊圖像中的加性噪聲。kB是kh的循環(huán)運(yùn)動模糊矩陣。式（2）轉(zhuǎn)化為線性方程：

其中 A= BTB& b = BTg，利用共軛梯度算法在

kkk

空域求解。

對k幅圖像聯(lián)合求解，則：

相應(yīng)地，式（3）轉(zhuǎn)化為求解如下系統(tǒng)：

TP391.41

A

1671-0711（2017）03（下）-0182-03