高 彥，朱明瑞

(1.魯東大學(xué) 信息與電氣工程學(xué)院，山東 煙臺(tái) 264025; 2.西安電子科技大學(xué) 電子工程學(xué)院，陜西 西安 710071)

?

基于嶺回歸與最近鄰搜索的人臉畫(huà)像合成算法

高 彥1，朱明瑞2

(1.魯東大學(xué) 信息與電氣工程學(xué)院，山東 煙臺(tái) 264025; 2.西安電子科技大學(xué) 電子工程學(xué)院，陜西 西安 710071)

針對(duì)現(xiàn)有人臉畫(huà)像合成算法復(fù)雜度高、合成速度慢的問(wèn)題，提出了一種基于嶺回歸與最近鄰搜索的快速人臉畫(huà)像合成算法。該算法的核心是利用嶺回歸由人臉照片塊獲得初始合成畫(huà)像塊，并在此基礎(chǔ)上利用最近鄰搜索在訓(xùn)練畫(huà)像塊樣本集中找到與初始合成畫(huà)像塊最相似的畫(huà)像塊作為最終合成畫(huà)像塊，使得細(xì)節(jié)紋理更具畫(huà)像風(fēng)格，并將合成畫(huà)像塊拼接得到合成人臉畫(huà)像。通過(guò)仿真實(shí)驗(yàn)表明，該算法不僅能由人臉照片合成出高質(zhì)量的人臉畫(huà)像，且具有計(jì)算復(fù)雜度低、合成速度快的優(yōu)點(diǎn)。

人臉畫(huà)像合成；嶺回歸；最近鄰搜索；快速算法

人臉畫(huà)像合成技術(shù)在刑偵破案方面具有較大的利用價(jià)值[1]。法醫(yī)根據(jù)目擊者描述畫(huà)出人臉?biāo)孛璁?huà)向后，由于公民數(shù)據(jù)庫(kù)中的圖片為人臉照片，照片與畫(huà)像間存在差距，傳統(tǒng)的人臉識(shí)別方法難以獲取得到滿(mǎn)意的識(shí)別效果。將公民照片數(shù)據(jù)庫(kù)中的照片合為畫(huà)像能有效減小他們紋理上的差距，進(jìn)而提高識(shí)別率[2-3]。

文獻(xiàn)[4]首先提出了基于主成分分析的特征轉(zhuǎn)換方法，其假設(shè)照片與畫(huà)像間的轉(zhuǎn)換是線性的，將輸入照片投影到訓(xùn)練照片集中得到投影系數(shù)，繼而利用該系數(shù)線性組合訓(xùn)練畫(huà)像集中相應(yīng)的畫(huà)像得到合成畫(huà)像。文獻(xiàn)[5]引入流行學(xué)習(xí)中局部線性嵌入(LLE)的思想來(lái)得到學(xué)習(xí)照片與畫(huà)像間的非線性映射。文獻(xiàn)[6]提出了利用稀疏編碼在合成的原始畫(huà)像上補(bǔ)償高頻信息，并利用稀疏表示來(lái)自適應(yīng)的選擇畫(huà)像塊。文獻(xiàn)[7]提出了多尺度馬爾科夫隨機(jī)場(chǎng)(MRF)模型來(lái)結(jié)合相鄰塊之間的信息，并在多尺度上進(jìn)行人臉畫(huà)像合成。文獻(xiàn)[8]在此基礎(chǔ)上提出馬爾科夫權(quán)重場(chǎng)模型(MWF)來(lái)克服MRF中求解NP-hard的問(wèn)題，并且能合成出訓(xùn)練集中沒(méi)有的畫(huà)像塊。此外，還有諸多文獻(xiàn)對(duì)人臉畫(huà)像合成算法進(jìn)行研究[9-12]，但這些算法都存在算法復(fù)雜導(dǎo)致人臉畫(huà)像合成速度慢等問(wèn)題。為了克服這個(gè)問(wèn)題，在得到高質(zhì)量的合成人臉畫(huà)像同時(shí)，提升合成速度，提出一種結(jié)合嶺回歸[13]與最近鄰搜索[14]的兩階段人臉?biāo)孛璁?huà)像合成算法。

1 人臉畫(huà)像合成問(wèn)題模型

人臉畫(huà)像合成要解決的問(wèn)題如圖1所示。

圖1 人臉畫(huà)像合成示意圖

給定訓(xùn)練照片樣本集與訓(xùn)練畫(huà)像樣本集，將測(cè)試人臉照片合成為人臉畫(huà)像。基于機(jī)器學(xué)習(xí)的人臉畫(huà)像合成算法一般將圖像進(jìn)行有重疊區(qū)域的分塊處理后，首先將人臉照片塊合成為人臉畫(huà)像塊，再將人臉畫(huà)像塊進(jìn)行拼接得到合成人臉畫(huà)像。

2 算法的具體實(shí)現(xiàn)

2.1 嶺回歸基本原理

在訓(xùn)練階段，采用K-Means聚類(lèi)[15]將訓(xùn)練集照片-畫(huà)像塊聚成若干個(gè)子類(lèi)，通過(guò)該處理，每個(gè)子類(lèi)內(nèi)的照片-畫(huà)像塊之間的映射關(guān)系接近線性，此時(shí)通過(guò)嶺回歸能夠很好的擬合此映射關(guān)系。

假設(shè)每個(gè)子類(lèi)中，訓(xùn)練畫(huà)像塊特征向量組成的矩陣為Y∈R(m×n)，訓(xùn)練照片塊特征向量組成的矩陣為X∈R(p×n)，其中，m表示訓(xùn)練畫(huà)像塊特征向量的維數(shù);p表示訓(xùn)練照片塊特征向量的維數(shù);n表示訓(xùn)練照片-畫(huà)像塊對(duì)的個(gè)數(shù)，則X與Y之間的線性關(guān)系可以表示為

Y=θX+Γ

(1)

其中，θ表示映射系數(shù)矩陣；Γ表示殘差矩陣。

為了得到系數(shù)矩陣θ的唯一解，需要優(yōu)化下面的最小化問(wèn)題

(2)

其中，λ表示懲罰參數(shù)。

上式的閉合解為

θ=YXT(XXT+λI)-1

(3)

將訓(xùn)練階段得到的映射系數(shù)矩陣θ保存后，進(jìn)入測(cè)設(shè)階段。在測(cè)試階段，根據(jù)每一個(gè)測(cè)試照片塊與每一類(lèi)聚類(lèi)中心間的歐氏距離分到最相似的子類(lèi)。在每一個(gè)子類(lèi)中，假設(shè)測(cè)試照片塊矩陣為X(test)∈R(p×l)，則輸出的初始合成畫(huà)像塊矩陣Yt∈θXm×l可以由下式計(jì)算

Yt=θX(test)

(4)

2.2 最近鄰搜索基本原理

得到初始合成畫(huà)像塊之后，計(jì)算其與訓(xùn)練畫(huà)像塊樣本集中每一個(gè)畫(huà)像塊間的歐氏距離，歐氏距離公式如下

(5)

其中，k表示初始合成畫(huà)像塊與訓(xùn)練畫(huà)像塊樣本的特征向量的維度；x表示初始合成畫(huà)像塊的特征向量；y表示每一個(gè)訓(xùn)練樣本畫(huà)像塊的特征向量。

對(duì)于每一個(gè)初始合成畫(huà)像塊，取與其歐氏距離最小的樣本畫(huà)像塊作為最終合成畫(huà)像塊。得到所有的最終合成畫(huà)像塊后，按照相鄰畫(huà)像塊間重疊部分取平均值的方法拼接最終合成畫(huà)像塊，得到最終合成畫(huà)像。

2.3 算法步驟

(1)圖像分塊處理。將所有圖像劃分成大小相同，且重疊程度相同的圖像塊；(2)訓(xùn)練樣本圖像塊劃分子類(lèi)。使用K均值聚類(lèi)算法將訓(xùn)練樣本塊集合劃分為多個(gè)訓(xùn)練樣本塊子類(lèi)集合；(3)使用嶺回歸映射每個(gè)子類(lèi)中訓(xùn)練照片塊與訓(xùn)練畫(huà)像塊間的線性關(guān)系，得到映射系數(shù)矩陣；(4)合成初始畫(huà)像塊。將測(cè)試照片塊劃分到不同的訓(xùn)練樣本塊子集中，根據(jù)嶺回歸得到初始合成畫(huà)像塊；(5)合成最終畫(huà)像塊。使用最近鄰搜索在訓(xùn)練畫(huà)像塊樣本中找到與初始合成畫(huà)像塊最相似的畫(huà)像樣本塊作為最終合成畫(huà)像塊；(6)拼接所有最終合成畫(huà)像塊得到最終合成畫(huà)像。

3 仿真實(shí)驗(yàn)結(jié)果與分析

3.1 合成畫(huà)像質(zhì)量分析

為驗(yàn)證算法的有效性，在香港中文大學(xué)多媒體實(shí)驗(yàn)室發(fā)布的CUHK人臉畫(huà)像數(shù)據(jù)庫(kù)[7]上進(jìn)行了實(shí)驗(yàn)。該數(shù)據(jù)庫(kù)包含3個(gè)子庫(kù)：CUHK學(xué)生數(shù)據(jù)庫(kù)，AR數(shù)據(jù)庫(kù)和XM2VTS數(shù)據(jù)庫(kù)，分別包含188、123、295對(duì)人臉畫(huà)像-照片。該實(shí)驗(yàn)分別在CUHK學(xué)生數(shù)據(jù)庫(kù)，AR數(shù)據(jù)庫(kù)和XM2VTS數(shù)據(jù)庫(kù)上進(jìn)行了畫(huà)像合成實(shí)驗(yàn)。其中CUHK學(xué)生數(shù)據(jù)庫(kù)取88對(duì)照片-畫(huà)像作為訓(xùn)練集，100對(duì)照片-畫(huà)像作為測(cè)試集，AR數(shù)據(jù)庫(kù)采用留一法進(jìn)行合成，XM2VTS數(shù)據(jù)庫(kù)取100對(duì)照片-畫(huà)像作為訓(xùn)練集，剩余195對(duì)照片-畫(huà)像作為測(cè)試集。由于XM2VTS數(shù)據(jù)庫(kù)中數(shù)據(jù)結(jié)構(gòu)復(fù)雜，該數(shù)據(jù)庫(kù)合成結(jié)果相較于其他兩個(gè)數(shù)據(jù)庫(kù)噪聲和模糊略多。算法在3個(gè)數(shù)據(jù)庫(kù)上的部分畫(huà)像合成結(jié)果如圖2所示，其中圖2(a)所示為本算法在CUHK學(xué)生數(shù)據(jù)庫(kù)上的部分畫(huà)像合成結(jié)果，圖2(b)所示為算法在AR數(shù)據(jù)庫(kù)上的部分畫(huà)像合成結(jié)果，圖2(c)所示為算法在XM2VTS數(shù)據(jù)庫(kù)上的部分畫(huà)像合成結(jié)果，可見(jiàn)所提算法的畫(huà)像合成結(jié)果背景噪聲小、紋理清晰，合成結(jié)果質(zhì)量高。

圖2 部分畫(huà)像合成結(jié)果

3.2 合成畫(huà)像耗時(shí)分析

為驗(yàn)證所提算法在畫(huà)像合成速度方面具有優(yōu)勢(shì)，在相同的實(shí)驗(yàn)環(huán)境下，分別使用所提算法、LLE算法[5]和MWF算法[8]合成100張畫(huà)像，統(tǒng)計(jì)總時(shí)間并計(jì)算每合成一張畫(huà)像消耗的平均時(shí)間，對(duì)比3種方法合成畫(huà)像的平均耗時(shí)。仿真實(shí)驗(yàn)的計(jì)算機(jī)配置環(huán)境為Intel(R) Core i7-4790 3.6 GHz、內(nèi)存16 GB、Windows 7操作系統(tǒng)，仿真軟件為Matlab R2012a，數(shù)據(jù)庫(kù)采用香港中文大學(xué)CUHK學(xué)生數(shù)據(jù)庫(kù)，3種算法平均耗時(shí)對(duì)比如表1所示，可見(jiàn)所提算法在畫(huà)像合成速度方面具有較大優(yōu)勢(shì)。

表1 3種畫(huà)像合成算法平均耗時(shí)對(duì)比

4 結(jié)束語(yǔ)

針對(duì)現(xiàn)有人臉畫(huà)像合成算法復(fù)雜、合成速度慢等問(wèn)題，提出了基于嶺回歸與最近鄰搜索的兩階段人臉畫(huà)像合成算法。每一階段所采用的算法模型簡(jiǎn)單、復(fù)雜度低，但不影響合成畫(huà)像質(zhì)量，大幅提升了畫(huà)像合成速度。此外，所提算法是模型驅(qū)動(dòng)的，現(xiàn)有大多數(shù)畫(huà)像合成算法為數(shù)據(jù)驅(qū)動(dòng)，此算法模型具有良好的可擴(kuò)展性。

[1] 高新波,王楠楠.基于三元空間融合的人臉圖像模式識(shí)別[J].模式識(shí)別與人工智能,2015,28(9):811-821.

[2] 高新波,王楠楠.異質(zhì)人臉圖像合成,機(jī)器學(xué)習(xí)及其應(yīng)用[M].北京:清華大學(xué)出版社,2013.

[3] 張英武,姬紅兵.人臉畫(huà)像識(shí)別研究[J].電子科技,2005,18(3):29-31.

[4] Tang X,Wang X.Face sketch synthesis and recognition[C].Beijing:IEEE International Conference on Computer Vision,2003.

[5] Liu Q, Tang X. A nonlinear approach for face sketch synthesis and recognition[C].Shanghai:IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005.

[6] 高新波,王楠楠.基于稀疏表示的人臉畫(huà)像-照片生成方法:中國(guó),ZL2010102893309[P].2012-08.

[7] Wang X,Tang X.Face photo-sketch synthesis and recognition[J].IEEE Transactions on Software Engineering,2009,31(11):1955-1967.

[8] Zhou H,Kuang Z.Markov weight fields for face sketch synthesis[J].IEEE Conference on Computer Vision and Pattern Recognition,2012(23):1091-1097.

[9] 李潔,彭春蕾.基于多特征融合的圖像合成方法:中國(guó),201410165469.0[P].2014-09-12.

[10] 肖兵.人臉畫(huà)像-照片的合成與識(shí)別方法研究[D].西安:西安電子科技大學(xué),2010.

[11] 李偉紅,朱憲宇,龔衛(wèi)國(guó).基于人臉畫(huà)像的偽照片合成及修正[J].光學(xué)精密工程，2014，22(5):1371-1378.

[12] 高新波,張聲傳.基于貪婪搜索的人臉畫(huà)像合成方法:中國(guó),201410818175.3[P].2014-10-20.

[13] 楊?yuàn)檴?王松會(huì),宋東東.基于回歸分析的研究及R語(yǔ)言實(shí)現(xiàn)[J].電子科技,2015,28(10):186-188.

[14] 劉橋,楊正坤,李晗.基于SURF算法的醫(yī)學(xué)圖像特征點(diǎn)匹配[J].電子科技,2014,27(5):145-148.

[15] 毛秀,冒純麗,丁岳偉.基于密度和聚類(lèi)指數(shù)改進(jìn)的K-means算法[J].電子科技,2015,28(11): 47-50.

更 正

我刊2017年第30卷第3期第20頁(yè)圖8與圖10位置錯(cuò)誤，圖片位置應(yīng)相互置換，圖題不變，特此更正。

《電子科技》編輯部

Face Sketch Synthesis via Linear Regression and Nearest Neighbor Search

GAO Yan1, ZHU Mingrui2

(1. School of Information and Electrical Engineering, Ludong University, Yantai 264025, China;2. School of Electronic Engineering, Xidian University, Xi’an 710071, China)

A fast algorithm of face sketch synthesis based on ridge regression and nearest neighbor search is proposed in this paper to address the high complexity and slow speed of existing algorithms. The initial synthesized sketch patch is obtained firstly from photo patch using ridge regression. Then the nearest sketch patch is found as the final high quality synthesized sketch from training sketch patch samples using nearest neighbor search. The experimental results show that the proposed algorithm offers synthesis of high quality face sketches with low complexity and at high speed.

face sketch synthesis; ridge regression; nearest neighbor search; fast algorithm

2016- 07- 28

國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目(61432014)

高彥(1995-)，女，本科。研究方向：數(shù)字圖像處理。朱明瑞(1992-)，男，碩士研究生。研究方向：模式識(shí)別。

10.16180/j.cnki.issn1007-7820.2017.06.007

TN911.73；TP391.41

A

1007-7820(2017)06-024-03