郭曉磊　曹萌萌　薄一航

1(開(kāi)封大學(xué)信息工程學(xué)院　河南 開(kāi)封 475004)2(北京電影學(xué)院美術(shù)系　北京 100088)

?

基于相機(jī)運(yùn)動(dòng)子空間的人臉圖像非均勻去模糊

郭曉磊1曹萌萌1薄一航2

1(開(kāi)封大學(xué)信息工程學(xué)院河南 開(kāi)封 475004)2(北京電影學(xué)院美術(shù)系北京 100088)

由于在相機(jī)拍攝的人臉中往往會(huì)存在較大的模糊，為了有效去除人臉圖像的抖動(dòng)模糊，提出一種基于非均勻去模糊與人臉特殊屬性相結(jié)合的人臉圖像去模糊方法。首先研究非均勻去模糊的原理，并提出通過(guò)約束相機(jī)運(yùn)動(dòng)子空間的方法來(lái)估計(jì)出相機(jī)與人臉之間的相對(duì)運(yùn)動(dòng)路徑。再根據(jù)人臉的特殊屬性，通過(guò)對(duì)清晰人臉訓(xùn)練得到一組清晰的人臉字典，建立人臉的先驗(yàn)知識(shí)。最后利用得到的非均勻模糊核和人臉字典對(duì)模糊人臉圖像進(jìn)行去卷積。實(shí)驗(yàn)結(jié)果表明，提出的方法相對(duì)于現(xiàn)有的去模糊算法可以得到更清晰的人臉圖像，對(duì)后續(xù)的人臉識(shí)別有很大的輔助作用。

圖像去模糊稀疏表達(dá)人臉圖像非均勻模糊相機(jī)運(yùn)動(dòng)子空間

0　引　言

目前圖像去模糊的方法有很多種，根據(jù)運(yùn)動(dòng)模糊的不同特征可以分為均勻去模糊[1]和非均勻去模糊[2]。在傳統(tǒng)的去模糊中，通常都假設(shè)圖像的模糊為均勻的，即只考慮相機(jī)與物體之間的相對(duì)平面內(nèi)的平移運(yùn)動(dòng)。目前，針對(duì)均勻模糊的去除方法主要包括基于專(zhuān)業(yè)硬件芯片[3，4]、梯度統(tǒng)計(jì)[5]、稀疏表達(dá)[6，7]和邊緣透明度的方法[8]等。但是這些方法只有針對(duì)自然圖像的去模糊效果才比較明顯，卻很少有專(zhuān)門(mén)針對(duì)人臉圖像模糊的去除方法[9]。視頻監(jiān)控已經(jīng)廣泛應(yīng)用于生活的各個(gè)領(lǐng)域，通過(guò)視頻圖像對(duì)目標(biāo)人物進(jìn)行定位識(shí)別跟蹤、刑事偵察和打卡簽到應(yīng)用中有著迫切的需求。但是在很多情況下，由于相機(jī)的抖動(dòng)或者人物的行走會(huì)引起的人臉圖像模糊，導(dǎo)致后續(xù)的人臉識(shí)別失效。為此提出了人臉圖像的去模糊方法，傳統(tǒng)方法都將運(yùn)動(dòng)模糊視為均勻模糊，沒(méi)有考慮在相機(jī)成像平面外的運(yùn)動(dòng)。但在實(shí)際應(yīng)用中，因?yàn)橄鄬?duì)運(yùn)動(dòng)不能總是維持在成像平面內(nèi)，均勻模糊的去除方法往往不能真正達(dá)到去模糊效果[10]。較早的文獻(xiàn)通常將一幅輸入圖像分割成很多區(qū)域，其中每一個(gè)區(qū)域看作是均勻模糊，不同區(qū)域的模糊核各不相同，達(dá)到估計(jì)非均勻模糊核的目的[11]。Whyte[12]等人提出了一種新的非均勻去模糊的模型，將模糊圖片看作是沿著相機(jī)路徑拍攝的每一張圖片的疊加總和，這些圖片可以看作是清晰圖片在相對(duì)運(yùn)動(dòng)軌跡上每個(gè)軌跡點(diǎn)的變形圖片。基于這個(gè)新的模型，可以通過(guò)計(jì)算相機(jī)的抖動(dòng)路徑去除非均勻模糊。Gupta[13]等人提出了一種相似的去模糊模型，用相機(jī)在相機(jī)平面內(nèi)的平移和旋轉(zhuǎn)對(duì)相機(jī)的運(yùn)動(dòng)軌跡進(jìn)行建模，也證明了只需要這三個(gè)自由度的參數(shù)就可以近似地估計(jì)出相機(jī)在空間中的平移與旋轉(zhuǎn)。本文將非均勻模糊去除方法應(yīng)用在人臉去模糊中，通過(guò)對(duì)相機(jī)的運(yùn)動(dòng)軌跡進(jìn)行約束，可以更快速準(zhǔn)確地估計(jì)出相機(jī)的運(yùn)動(dòng)軌跡。由于大部分文獻(xiàn)對(duì)圖像的先驗(yàn)知識(shí)是根據(jù)自然圖像設(shè)定的，并不適合于本文的人臉圖像。因此通過(guò)對(duì)人臉圖像訓(xùn)練又得到人臉特有的稀疏字典，增加了人臉圖像的約束，可以得到更好的人臉去模糊效果。

1　非均勻去模糊模型與圖像先驗(yàn)知識(shí)

1.1非均勻去模糊模型

非均勻去模糊的模型可描述為過(guò)程：

B=∫f(Hθ,L)w(θ)dθ+n

(1)

其中，B代表模糊圖像，L代表清晰圖像。θ代表相機(jī)的運(yùn)動(dòng)軌跡參數(shù)，n代表噪聲。采取文獻(xiàn)[13]的方法，用平面內(nèi)的平移和旋轉(zhuǎn)來(lái)近似相機(jī)的抖動(dòng)路徑。Hθ代表在在相機(jī)姿勢(shì)θ下的單應(yīng)矩陣，f(Hθ,L)即為在θ相機(jī)姿勢(shì)下變形后的圖片。模糊圖片B可以看作是在相機(jī)路徑下所有變形圖片的疊加與噪聲n的總和。在離散情況下，模糊圖片的離散表達(dá)形式為：

(2)

其中，Kθ代表在相機(jī)姿勢(shì)θ下的變形矩陣。在三維空間中，相機(jī)的運(yùn)動(dòng)軌跡包括在x軸、y軸、z軸的移動(dòng)和旋轉(zhuǎn)，共計(jì)6個(gè)參數(shù)[14]。但是本文只考慮沿著x軸、y軸的平移和圍繞z軸的旋轉(zhuǎn)。因?yàn)檠刂鴛軸、y軸的旋轉(zhuǎn)可以用沿著y軸、x軸軸的平移近似。而沿著z軸的平移對(duì)圖片的影響很小可以忽略不計(jì)。因此，原本6D的相機(jī)運(yùn)動(dòng)空間可以用3D的相機(jī)運(yùn)動(dòng)空間來(lái)近似。

因此，在非均勻去模糊中求解清晰圖像是通過(guò)最小化如下能量函數(shù)得到：

(3)

其中，W代表權(quán)重wθ的集合。Φ(L)、Φ(W)分別代表L和W的先驗(yàn)知識(shí)。

1.2圖像先驗(yàn)知識(shí)

為得到較好的去模糊效果，不僅需要準(zhǔn)確估計(jì)出相機(jī)的抖動(dòng)路徑，還需要對(duì)清晰圖像建立先驗(yàn)知識(shí)。由于相機(jī)抖動(dòng)路徑不可能被完美的求解得到，所以圖像的先驗(yàn)知識(shí)在去模糊效果中也起到了關(guān)鍵作用。圖像的梯度分布方法常被用于先驗(yàn)知識(shí)的構(gòu)建，但并不適用于人臉圖像的梯度分布。因?yàn)樵谧匀粓D像進(jìn)行去模糊處理中，梯度分布符合超拉普拉斯分布規(guī)律，然而人臉圖像的梯度分布并不滿(mǎn)足這一特性[15]。假設(shè)圖像像素點(diǎn)的總個(gè)數(shù)為N，每個(gè)梯度幅值的個(gè)數(shù)為N，則自然圖像與人臉圖像梯度分布情況分別如圖1中的(a)和(b)所示。

圖1　自然圖像與人臉圖像梯度分布對(duì)比

從圖1中可以看出，自然圖像與人臉圖像梯度分布存在一定的差異，利用自然圖像的梯度分布對(duì)人臉圖像建立先驗(yàn)會(huì)引起很大的誤差。根據(jù)分析，本文對(duì)人臉圖像需要建立一種新的稀疏先驗(yàn)，來(lái)達(dá)到清晰人臉的效果。

2　人臉圖像去模糊模型

通過(guò)估計(jì)相機(jī)的抖動(dòng)路徑，并同時(shí)建立人臉的先驗(yàn)知識(shí)來(lái)達(dá)到人臉圖像去模糊的效果，主要包括非均勻模糊核估計(jì)和人臉圖像稀疏先驗(yàn)兩部分，去模糊模型的步驟流程如圖2所示。

圖2　去模糊模型步驟流程圖

2.1基于相機(jī)運(yùn)動(dòng)子空間的非均勻模糊核估計(jì)

首先對(duì)相機(jī)路徑上所有姿勢(shì)的權(quán)重進(jìn)行初始化。定義T(θ,p)為在相機(jī)姿勢(shì)θ下在像素位置p的變形函數(shù)，因此，在相機(jī)姿勢(shì)θ下在像素位置p的模糊核可以表示為：

kθp=wθT(θ,p)

(4)

相機(jī)的整個(gè)路徑在像素位置p噪聲的模糊核則可表示為：

(5)

其中，S表示相機(jī)的整個(gè)路徑，也即是相機(jī)姿勢(shì)θ的集合。

首先利用均勻模糊的去除方法，在模糊圖像上選取一些小的圖像塊來(lái)求出一些均勻的模糊核。本文中選取文獻(xiàn)[1]的方法。根據(jù)求出的多個(gè)均勻模糊核，利用反向投影(BP)算法，可以得到投影值為：

(6)

其中，i代表模糊核kp的位置，Γ(θ)用來(lái)表明相機(jī)姿勢(shì)θ是否起到作用，如果有，則Γ(θ)=1，反之Γ(θ)=0。因此，可以初始化相機(jī)姿勢(shì)權(quán)重W為：

(7)

但由于估算的幾個(gè)均勻模糊核并不準(zhǔn)確，而且利用BP算法對(duì)這幾個(gè)僅有的均勻模糊核進(jìn)行非均勻模糊核重建必然會(huì)有很大的誤差。同時(shí)，由于相機(jī)的抖動(dòng)路徑在運(yùn)動(dòng)空間是非常稀疏的，因此，可以進(jìn)一步對(duì)相機(jī)姿勢(shì)的權(quán)重利用下式進(jìn)行初始估計(jì)：

(8)

為得到更精確的權(quán)重W的估計(jì)，通過(guò)對(duì)權(quán)重W和圖像L的迭代優(yōu)化來(lái)得到更好的解。因?yàn)閳D像的導(dǎo)數(shù)在清晰圖像估計(jì)中會(huì)起到積極的作用，可有效地去除環(huán)效應(yīng)并且可以加速最優(yōu)值的求解速度[16]，因此本文利用圖像的導(dǎo)數(shù)來(lái)求解清晰圖像L和相機(jī)姿勢(shì)權(quán)重W：

(9)

其中，▽∈{▽x,▽y,▽xx,▽xy,▽yy}代表圖像L的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)。從式(9)中可以看出，相機(jī)姿勢(shì)的權(quán)重需要在整個(gè)運(yùn)動(dòng)空間S上進(jìn)行優(yōu)化，這樣必然會(huì)引起計(jì)算速度大大的降低。但由于相機(jī)的運(yùn)動(dòng)路徑應(yīng)該是一個(gè)連續(xù)的一維路徑，不應(yīng)該是一個(gè)復(fù)雜的立體路徑，如圖3所示。

圖3　相機(jī)的抖動(dòng)路徑

因此，需要將冗余的相機(jī)路徑去除，在每次迭代過(guò)程中，將相機(jī)路徑限制在一個(gè)運(yùn)動(dòng)子空間S′?S中。為了達(dá)到該目的，將每次迭代過(guò)程中得到的權(quán)重WS={w1,w2,…}按照降序排列，然后將末尾最小的m個(gè)權(quán)重取值為0，然后在剩余的權(quán)重對(duì)應(yīng)的子空間{θ∈S′}中，重新對(duì)求解最有值：

(10)

s.t.Ws′≥0

2.2人臉圖像先驗(yàn)

在每次的迭代過(guò)程中，當(dāng)固定權(quán)重W后，需要對(duì)清晰圖像L進(jìn)行求解：

(11)

根據(jù)1.2節(jié)的分析，廣泛應(yīng)用的關(guān)于圖像梯度分布的先驗(yàn)知識(shí)在人臉圖像中并不適用，因此需要對(duì)人臉圖像設(shè)計(jì)一個(gè)合適的先驗(yàn)知識(shí)。選取耶魯人臉數(shù)據(jù)庫(kù)中的部分圖片用作訓(xùn)練集，該數(shù)據(jù)庫(kù)分別對(duì)十個(gè)測(cè)試對(duì)象拍攝了不同的照片，選取其中5個(gè)對(duì)象的圖片為訓(xùn)練集，其余部分用作測(cè)試集，通過(guò)訓(xùn)練集f={f1,f2,…,fn}，來(lái)訓(xùn)練一個(gè)人臉的特殊字典D。

(12)

可以根據(jù)訓(xùn)練得到的人臉特殊字典，得到清晰人臉圖像的先驗(yàn)知識(shí)：

(13)

其中，Ri代表提取圖像L中的第i個(gè)圖像塊，選取圖像塊大小為8×8。字典大小為64×512。由于利用清晰的人臉圖像進(jìn)行了字典訓(xùn)練，因此在去模糊的過(guò)程中對(duì)人臉重建可以得到更加清晰的人臉圖像。

3　實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)選取耶魯人臉數(shù)據(jù)庫(kù)中三幅圖像作為測(cè)試集的圖片，并合成三個(gè)不同的三維空間的連續(xù)路徑模糊核，根據(jù)三個(gè)清晰人臉圖像分別合成三個(gè)不同模糊核的非均勻模糊人臉圖片。實(shí)驗(yàn)通過(guò)三組圖片展示本文提出的新模型的對(duì)模糊人臉圖像的去模糊效果，并與文獻(xiàn)[13]中Gupta等人提出的去模糊模型進(jìn)行比較。

同時(shí)，實(shí)驗(yàn)采用的是評(píng)價(jià)效果較好的PSNR和MSSIM兩種方法，峰值信噪比PSNR的計(jì)算公式為：

(14)

結(jié)構(gòu)相似性MSSIM的計(jì)算公式為：

(15)

其中，式(15)中的SSIM是用來(lái)表示兩幅不同圖像的相似程度，表示公式如下：

(16)

其中，σx和σy代表圖像x和y的方差。σxy是x和y的協(xié)方差。C1=(K1I)2,C2=(K2I)2，其中K1=0.01，K2=0.03，I代表圖像灰度值的動(dòng)態(tài)范圍。計(jì)算結(jié)果的MSSIM值越大，越接近1，代表去模糊后的圖像與原始無(wú)噪聲圖像的相似度越高，去模糊效果越好；而MSSIM值越小，則代表去模糊效果較差。

實(shí)驗(yàn)過(guò)程中，本文首先對(duì)模糊圖像隨機(jī)選取7個(gè)的小圖像塊用文獻(xiàn)[1]求得7個(gè)均勻模糊核，利用反向投影法得到一個(gè)3D模糊核的初始值，然后進(jìn)行后續(xù)的非均勻模糊核估計(jì)。測(cè)試圖片選自耶魯人臉數(shù)據(jù)庫(kù)測(cè)試集中。對(duì)三張人臉圖片分別用隨機(jī)生成的3D模糊核進(jìn)行模糊處理，然后用本文方法以及文獻(xiàn)[2,13]的模型分別對(duì)測(cè)試圖片進(jìn)行去模糊并記錄處理結(jié)果的PSNR值與MSSIM值，數(shù)值比較如表1所示。

表1　實(shí)驗(yàn)結(jié)果的PSNR與MSSIM的比較

從表1的結(jié)果可知，在三張測(cè)試圖片中本文模型處理方法可以得到更高的PSNR和MSSIM值。在每張人臉圖片的PSNR值平均比文獻(xiàn)[13]可以提高2～3dB，MSSIM平均可以提高10%左右，比文獻(xiàn)[2]可以提高1～2dB，MSSIM可以提高5%左右。因此，可以表明本文提出的方法比文獻(xiàn)[2，13]可以得到更清晰的人臉圖片。這不僅可以提高圖片的視覺(jué)效果，而且也會(huì)在很大程度上提升后續(xù)對(duì)人臉圖片的人臉識(shí)別等應(yīng)用的準(zhǔn)確性。

4　結(jié)　語(yǔ)

針對(duì)模糊人臉圖片在均勻模糊的去處效果差的問(wèn)題，提出了一種新的人臉去模糊方法。研究了圖像的非均勻模糊的去除方法，并在現(xiàn)有的非均勻模糊方法上提出了改進(jìn)，對(duì)相機(jī)的抖動(dòng)空間進(jìn)行了約束，使得本文模型可以得到更準(zhǔn)確的相機(jī)抖動(dòng)路徑估計(jì)。另外，由于大部分的圖像去模糊對(duì)圖像的先驗(yàn)知識(shí)都是根據(jù)圖像的梯度分布而建立的，但是該先驗(yàn)知識(shí)對(duì)于人臉圖像卻不適用。因此，提出了一種針對(duì)清晰人臉特有的屬性，根據(jù)清晰人臉訓(xùn)練了人臉特有的稀疏字典，從而可以在去模糊的過(guò)程中可以得到更清晰的人臉圖像。

[1]FergusR,SinghB,HertzmannA,etal,Removingcamerashakefromasinglephotograph[J].ACMTransactionsonGraphics,2009,25(3) 787-794.

[2]HirschM,SchulerC,HarmelingS,etal,Fastremovalofnon-uniformcamerashake[C]//IEEEICCV,2011:463-470.

[3] 范賜恩,陳曦,張立國(guó),等.雙CMOS成像系統(tǒng)中運(yùn)動(dòng)模糊圖像的復(fù)原[J].光學(xué)精密工程,2012,20(6):1389-1397.

[4] 王敏,葉松,黃峰,等.基于突變粒子群算法的圖像自適應(yīng)增強(qiáng)[J].科學(xué)技術(shù)與工程,2012,12(26):6657-6660.

[5] 荊奇,宣士斌,吳瑞芳.基于側(cè)抑制原理的局部分?jǐn)?shù)階微分圖像增強(qiáng)[J].計(jì)算機(jī)工程與設(shè)計(jì),2013,34(8):2826-2833.

[6] 黃曉生,黃萍,曹義親,等.一種改進(jìn)的基于K-SVD字典學(xué)習(xí)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].微電子學(xué)與計(jì)算機(jī),2014,31(3):5-8,13.

[7] 許彬彬,戴清平,朱敏,等.基于哈夫曼編碼的稀疏矩陣的存儲(chǔ)與計(jì)算[J].計(jì)算機(jī)工程與科學(xué),2013,35(11):134-138.

[8] 高薇,王珂,原發(fā)杰,等.基于不變矩的高分辨率遙感圖像建筑物提取方法[J].計(jì)算機(jī)應(yīng)用研究,2014,31(2):622-624.

[9] 朱珍,萬(wàn)志平,蔣鵬.改進(jìn)單尺度Retinex的復(fù)雜光照人臉識(shí)別算法[J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(3):246-249,262.

[10] 楊欣欣,王志明.改進(jìn)的廣義高斯分布與非局部均值圖像去模糊[J].計(jì)算機(jī)應(yīng)用研究,2012,29(5):1990-1992.

[11] 唐敏，彭國(guó)華.基于非均勻模糊核的RL改進(jìn)算法[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(21):114-118.

[12]WhyteO,SivicJ,ZissermanA,etal.Non-uniformdeblurringforshakenimages[C]//IEEECVPR,2010:491-498.

[13]AnkitGupta,NJoshi,CZitnick,etal.Singleimagedeblurringusingmotiondensityfunctions[C]//IEEE,ECCV,2010:171-184.

[14] 劉京,孫哲南,譚鐵牛.一種基于非局部正則化和可靠區(qū)域檢測(cè)的虹膜圖像去模糊算法[J].計(jì)算機(jī)科學(xué),2014,41(1):54-58.

[15] 王國(guó)棟,徐潔,潘振寬,等.基于歸一化超拉普拉斯先驗(yàn)項(xiàng)的運(yùn)動(dòng)模糊圖像盲復(fù)原[J].光學(xué)精密工程,2013,21(5):1340-1348.

[16] 王國(guó)棟,潘振寬,劉存良,等.基于混合數(shù)據(jù)項(xiàng)的運(yùn)動(dòng)去模糊變分方法[J].儀器儀表學(xué)報(bào),2013,34(7):1552-1558.

FACEIMAGENONUNIFORMDEBLURRINGBASEDONCAMERAMOTIONSUBSPACE

GuoXiaolei1CaoMengmeng1BoYihang2

1(School of Information Engineering,Kaifeng University,Kaifeng 475004,Henan,China)2(Department of Fine Art,Beijing Film Academy,Beijing 100088,China)

Sincethefacestobeshotbycamerawillusuallyhavebiggerblur,weproposedafaceimagedeblurringmethod,whichisbasedoncombiningthenonuniformdeblurringwithspecialfaceproperty,foreffectivelyremovingtheditheringblursonfaceimage.First,westudiedtheprincipleofnonuniformdeblurring,andproposedtoestimatetherelativemotionpathbetweencameraandfacebythemethodofconstrainingthesubspaceofcameramovement.Then,accordingtothespecialpropertyofface,weobtainedagroupofclearfacedictionarythroughtrainingclearfacesandestablishedtheprioriknowledgeoffaces.Finally,weemployedthederivednonuniformblurkernelandfacedictionaryforconvolutiononblurringfaceimage.Experimentalresultsindicatedthattheproposedmethodwasabletogetclearerfaceimagerelativetoexistingdeblurringalgorithm.Thisplaysagreatauxiliaryroleonsubsequentfacerecognition.

ImagedeblurringSparserepresentationFaceimageNonuniformblurCameramotionsubspace

2014-08-28。國(guó)家自然科學(xué)基金青年基金項(xiàng)目(61202 327)。郭曉磊，講師，主研領(lǐng)域：計(jì)算機(jī)應(yīng)用與人工智能。曹萌萌，講師。薄一航，講師。

TP391.41

ADOI:10.3969/j.issn.1000-386x.2016.03.045