車通 朱燕翎 王謙 李博文
摘? ?要:針對(duì)民航人臉識(shí)別系統(tǒng)中人臉圖像的銳化識(shí)別問(wèn)題,提出了一種人臉?shù)J化照片綜合識(shí)別方法。對(duì)于不同尺度下的不同合成結(jié)果,采用雙尺度Markov網(wǎng)絡(luò)的級(jí)聯(lián)銳化合成方法進(jìn)行圖像合成,并提出了基于結(jié)構(gòu)信息和特征信息的人臉識(shí)別數(shù)據(jù)融合方法。結(jié)合人臉識(shí)別認(rèn)知理論,將結(jié)構(gòu)信息和特征信息結(jié)合起來(lái)完成識(shí)別。實(shí)驗(yàn)結(jié)果表明,該方法在合成和識(shí)別過(guò)程中均優(yōu)于其他方法。
關(guān)鍵詞:人臉識(shí)別;雙尺度Markov網(wǎng)絡(luò);結(jié)構(gòu)信息;特征信息;圖片銳化
中圖分類號(hào):TP751.1? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1003—6199(2020)02—0138—07
Abstarct:Aiming at the problem of facial image sharpening recognition in civil aviation face recognition system,this paper proposes a comprehensive method of facial image sharpening recognition. For different synthesis results at different scales,the cascade sharpening synthesis method of two-scale Markov network is used to synthesize images,and a face recognition data fusion method based on structural information and feature information is proposed. Combining the cognitive theory of face recognition,the structure information and feature information are combined to complete the recognition. The experimental results show that this method is superior to other methods in the process of synthesis and recognition.
Key words:face recognition;two-scale Markov network;structural information;feature information;image sharpening
在民航登機(jī)人臉自動(dòng)識(shí)別系統(tǒng)中,由于連接遠(yuǎn)程身份認(rèn)證系統(tǒng)借助人臉留存照片與現(xiàn)實(shí)照片存在偏差,無(wú)法在登機(jī)口準(zhǔn)確獲取用戶的真實(shí)照片圖像[1]。因此,民航登機(jī)人臉自動(dòng)識(shí)別系統(tǒng)需對(duì)人臉留存照片進(jìn)行銳化處理,進(jìn)而快速匹配識(shí)別出登機(jī)用戶的身份[2]。文獻(xiàn)[3]將特征變換應(yīng)用于整張人臉照片上,并合成偽銳化用于銳化模態(tài)匹配。文獻(xiàn)[4]將特征變換應(yīng)用于局部補(bǔ)丁上改進(jìn)了合成框架。文獻(xiàn)[5]提出了一種用于人臉?shù)J化合成和識(shí)別的非線性方法,并采用非線性判別分析從合成的偽銳化中識(shí)別出銳化結(jié)果。然而,銳化和原照片是兩種不同來(lái)源的模態(tài),給識(shí)別研究帶來(lái)了很大的困難。
提出了一種面向民航登機(jī)人臉自動(dòng)識(shí)別方法。利用基于雙尺度Markov網(wǎng)絡(luò)的人臉?shù)J化照片合成方法,將銳化和照片轉(zhuǎn)換成相同的模態(tài)。根據(jù)人臉識(shí)別認(rèn)知理論,提出了一種將結(jié)構(gòu)信息和特征信息結(jié)合起來(lái)進(jìn)行識(shí)別的數(shù)據(jù)融合方法。提取了整個(gè)人臉圖像的定向梯度直方圖(HOG)特征來(lái)表示結(jié)構(gòu)信息。并利用稀疏核原型表示對(duì)局部面部組成部分的特征信息進(jìn)而完成人臉識(shí)別。
1? ?雙尺度Markov網(wǎng)絡(luò)
1.1? ?網(wǎng)絡(luò)合成
將初始銳化y和測(cè)試照片t都作為創(chuàng)建最終銳化,使用較小的尺度將它們劃分為重疊的補(bǔ)丁,并且它們都用于搜索K個(gè)候選補(bǔ)丁。本文利用兩個(gè)不同的特征HOG特征[7]和MLBP特征[8]來(lái)選擇候選銳化補(bǔ)丁和強(qiáng)度特征,為目標(biāo)銳化補(bǔ)丁選擇2K個(gè)候選補(bǔ)丁。利用Markov網(wǎng)絡(luò)來(lái)選擇最近的Kt個(gè)候選補(bǔ)丁和用于銳化補(bǔ)丁合成的權(quán)重向量。
其中,Kt不是固定值,它與相鄰閾值ε相關(guān)。它可以去除不合適的候選補(bǔ)片,提高合成銳化的質(zhì)量。
使用選定的Kt個(gè)候選補(bǔ)丁及其權(quán)重來(lái)線性合成測(cè)試補(bǔ)丁。將該方法應(yīng)用于其他測(cè)試圖像的拼接,采用平均策略處理重疊區(qū)域并生成整個(gè)目標(biāo)銳化。級(jí)聯(lián)銳化合成方法的具體過(guò)程如圖1所示。
1.2? ?復(fù)雜度分析
在銳化照片合成過(guò)程中,最耗時(shí)的步驟是候選補(bǔ)丁搜索過(guò)程。因此,利用搜索過(guò)程的計(jì)算復(fù)雜度來(lái)表示該方法的計(jì)算復(fù)雜度。假設(shè)K為人臉?shù)J化合成的候選補(bǔ)丁數(shù)量,Nt和Nc分別為人臉圖像中每行和每列的補(bǔ)丁數(shù),M為訓(xùn)練集中銳化照片對(duì)的數(shù)目。搜索范圍為R,在較大的Markov網(wǎng)絡(luò)合成過(guò)程中,計(jì)算復(fù)雜度為O(RNt Nc M)。對(duì)于較小的Markov網(wǎng)絡(luò)合成過(guò)程,由于初始銳化和測(cè)試照片都被用來(lái)搜索候選補(bǔ)丁,計(jì)算復(fù)雜度為O(2RNt Nc M)。因此,該方法的計(jì)算復(fù)雜度為O(3RNt Nc M)。
2? ?基于多信息融合的銳化人臉識(shí)別
根據(jù)人臉識(shí)別認(rèn)知理論,提出了一種基于結(jié)構(gòu)信息和特征信息融合的人臉識(shí)別方法。首先,利用從整個(gè)人臉圖像中提取的HOG表示結(jié)構(gòu)信息;其次,提出了一種描述局部人臉特征信息的稀疏核原型表示方法,然后分別利用結(jié)構(gòu)信息和特征信息進(jìn)行人臉識(shí)別。將上述兩種識(shí)別過(guò)程的匹配分?jǐn)?shù)進(jìn)行融合,最終實(shí)現(xiàn)銳化與照片的精細(xì)匹配。所提出的識(shí)別方法框架如圖2所示。
2.1? ?結(jié)構(gòu)信息識(shí)別
結(jié)構(gòu)信息是指人臉特征之間的空間關(guān)系,可以通過(guò)圖像的邊緣特征和形狀特征來(lái)表示。HOG特征可以通過(guò)梯度或邊緣方向密度分布來(lái)描述圖像的外觀和形狀[9]。因此,圖像的結(jié)構(gòu)信息可以用
HOG特征來(lái)表示。HOG特征提取過(guò)程如下:
步驟1:將圖像灰度化并正則化。
步驟2:將圖像分為l × l個(gè)補(bǔ)丁并進(jìn)行 疊加。
步驟3:將每個(gè)補(bǔ)丁分成(l/2)×(l/2)個(gè)塊,每個(gè)塊由四個(gè)相鄰的(l/4)×(l/4)個(gè)單元組成。
步驟4:計(jì)算圖像像素的水平和垂直梯度。像素的梯度描述如下:
其中,Gx(x,y),Gy(x,y)和H(x,y)分別表示水平梯度,垂直梯度和像素值。
步驟5:計(jì)算像素的梯度幅度和梯度方向分別為:
步驟6:將α(x,y)的范圍[0,2π]平均分為8個(gè)格,按每個(gè)格的梯度方向進(jìn)行表決,得到權(quán)重G(x,y)。因此,每個(gè)單元可以形成一個(gè)8維特征向量。
步驟7:將一個(gè)補(bǔ)丁中4個(gè)單元的特征向量連接成一個(gè)32維向量。
步驟8:將每個(gè)補(bǔ)丁中的所有特征向量連接起來(lái),形成一個(gè)128維特征向量。
步驟9:將補(bǔ)丁的所有特征向量連接在一起,形成整個(gè)圖像的Hog特征向量。
通過(guò)以上步驟可以得到圖像的特征向量,需要一個(gè)降維過(guò)程來(lái)刪除具有冗余或無(wú)用信息的特征。本文將PCA和LDA算法應(yīng)用于降維。在本文的實(shí)驗(yàn)中保留了包含99%有用信息的特征,并將同一列上的補(bǔ)丁連接為L(zhǎng)DA的子特征向量。利用余弦相似性測(cè)度來(lái)計(jì)算出銳化與照片之間的關(guān)系。對(duì)于合成銳化Yi,得到了測(cè)試銳化T j的匹配分?jǐn)?shù)向量[cosSI (Yi,T 1),cosSI(Yi,T 2),cosSI(Yi,T n)]。基于結(jié)構(gòu)信息的識(shí)別框架如圖3所示。
2.2? ?特征信息的識(shí)別
特征信息是指單個(gè)面部部分的特征。本文利用所提出的稀疏內(nèi)核原型來(lái)表示局部面部部分中的特征信息。因?yàn)樘卣餍畔⑹腔诰植棵娌坎糠郑允紫纫獙⒚娌繄D像分割為多個(gè)部分。本文使用簡(jiǎn)單的主動(dòng)形狀模型(ASM)來(lái)檢測(cè)特征點(diǎn),然后根據(jù)檢測(cè)到的特征點(diǎn)位置來(lái)獲取面部部分。本文選擇額頭、眉毛、眼睛、鼻子和嘴巴作為面部的主要組成部分,實(shí)驗(yàn)中使用的局部面部組成部分如圖4所示。
其中,f(·)是每個(gè)圖像補(bǔ)丁基于特征的表示?;谔卣鞅硎静捎昧藘煞N特征描述符,即HOG描述符和MLBP描述符。
基于稀疏理論在計(jì)算機(jī)視覺(jué)中的有效性,將核原型表示擴(kuò)展到稀疏空間,并給出了稀疏核原型表示(SKPR)。內(nèi)核原型表示Φ(Yi)通過(guò)保留最近的S個(gè)部分變得稀疏,這些組成部分表示與Yi最相似。其他元素都變?yōu)榱?,Yi的稀疏核原型表示描述如下:
其中,sparse(·)是通過(guò)保留最大的S元素使向量稀疏。S表示稀疏過(guò)程中的稀疏程度。
在得到合成補(bǔ)丁Yi和測(cè)試補(bǔ)丁T ji的稀疏核原型表示后,利用余弦相似性測(cè)度可以計(jì)算出它們的相似性:
然后得到基于特征信息的匹配分?jǐn)?shù)向量[cosFI ](Yi,T 1),…,cosFI(Yi,T n)]。本文提出的基于稀疏核原型的特征信息識(shí)別方法概述如圖5所示。
2.3? ?匹配融合
在結(jié)構(gòu)信息識(shí)別和特征信息識(shí)別的基礎(chǔ)上,通過(guò)最近鄰分類器將匹配分?jǐn)?shù)融合到最終的銳化圖像匹配中。
3? ?實(shí)驗(yàn)分析
3.1? ?數(shù)據(jù)選取
實(shí)驗(yàn)分別在兩個(gè)不同的銳化照片數(shù)據(jù)庫(kù)(CUHK數(shù)據(jù)庫(kù)[10],AR數(shù)據(jù)庫(kù)[11])來(lái)驗(yàn)證該方法的有效性。CUHK數(shù)據(jù)庫(kù)提供了188名來(lái)自香港中文大學(xué)學(xué)生系統(tǒng)的學(xué)生的銳化照片對(duì)。所有照片都是在正常照明條件下拍攝的,正面姿勢(shì),表情中性。在觀看照片時(shí),由計(jì)算機(jī)處理出的相應(yīng)銳化照片。實(shí)驗(yàn)中隨機(jī)選取88對(duì)銳化照片作為訓(xùn)練集(原型),其余100對(duì)銳化照片作為測(cè)試集。AR數(shù)據(jù)庫(kù)由A.Martinez和R.Benavente發(fā)布,共有123對(duì)嫌疑犯照片和相應(yīng)的法醫(yī)銳化。隨機(jī)選擇100對(duì)作為訓(xùn)練集(原型),其余23對(duì)作為測(cè)試集。
3.2? ?參數(shù)設(shè)置
將圖像劃分為32×32個(gè)補(bǔ)丁且具有50%的重疊。在合成過(guò)程中,候選補(bǔ)丁的數(shù)量 、大尺度 和小尺度 的數(shù)量分別設(shè)置為15、14和10,結(jié)果如圖6和圖7所示。
從圖6和圖7可以看出,當(dāng) 時(shí),合成銳化的視覺(jué)效果最好。當(dāng) 時(shí),合成銳化較為粗糙,且隨 的增加趨于平滑,當(dāng) 和 設(shè)置為14和10時(shí),合成像素質(zhì)量最佳。大尺度導(dǎo)致合成圖像粗糙,小尺度忽略了人臉結(jié)構(gòu)之間的連接。
在圖像識(shí)別過(guò)程中,在8個(gè)半徑為1、3、5、7的鄰域中提取混合局部二值模態(tài)(MLBP)。另外一個(gè)重要的參數(shù) 決定了稀疏核原型表示的稀疏程度。在CUHK數(shù)據(jù)庫(kù)上進(jìn)行了眼部組成部分的實(shí)驗(yàn),說(shuō)明了參數(shù)設(shè)置過(guò)程。當(dāng)級(jí)別為10時(shí),不同 的識(shí)別率如表1所示。
由表1可知,當(dāng)S為30或40時(shí),識(shí)別率最高。因此,在眼部組成部分的核原型表示過(guò)程中,將S = 30設(shè)置為稀疏度。同樣,選取S為20、10、40、40分別作為眉部、額頭、嘴部和鼻子部分的核心原型表示過(guò)程。
3.3? ?面部合成
與實(shí)驗(yàn)中提出的方法相比,還存在另外四種合成銳化方法?;赑CA的方法[12]用PCA改進(jìn)了傳統(tǒng)的特征面部方法?;贚LE的方法[13]是基于照片和銳化圖像之間幾何圖形局部線性保持。MWF方法[14]利用Markov網(wǎng)絡(luò)估計(jì)候選補(bǔ)丁的權(quán)重,并通過(guò)線性組合合成銳化。MRF方法[15]僅使用訓(xùn)練數(shù)據(jù)中的最佳銳化補(bǔ)丁合成銳化。CUHK數(shù)據(jù)庫(kù)和AR數(shù)據(jù)庫(kù)的綜合銳化比較如圖8所示。
為了驗(yàn)證本文方法的有效性,在不同的數(shù)據(jù)庫(kù)上應(yīng)用了結(jié)構(gòu)相似度度量(SSIM)[16]來(lái)測(cè)量?jī)煞鶊D像的相似度:
不同數(shù)據(jù)庫(kù)上SSIM值的比較結(jié)果見(jiàn)表2。從表2可以看出,與其他的幾種銳化照片合成方法相比,該方法合成的銳化具有更大的SSIM值。
3.4? ?面部識(shí)別
將四種對(duì)比SFR方法與本文提出的方法進(jìn)行了實(shí)驗(yàn)研究。文獻(xiàn)[17]中的HOG+NLDA方法從整個(gè)圖像中提取相同基于補(bǔ)丁策略的HOG特征。然后采用PCA基于零空間的LDA(NLDA)算法對(duì)提取的HOG特征進(jìn)行降維。最后利用最近鄰分類器對(duì)銳化和相應(yīng)的照片進(jìn)行匹配。文獻(xiàn)[18]提出了核原型表示(KPR)方法,該方法首先將基于原型的方法擴(kuò)展到SFR場(chǎng)景,并利用與原型在相同模態(tài)下的核相似性來(lái)表示測(cè)試圖像,利用最近鄰分類器對(duì)銳化圖像進(jìn)行余弦相似度識(shí)別。使用人臉的KPR來(lái)進(jìn)行銳化人臉識(shí)別。并將所提出的稀疏核原型表示(SKPR)方法和HOG+KPR方法與最終的識(shí)別方法進(jìn)行了比較。不同方法與本文方法在CUHK數(shù)據(jù)庫(kù)和AR數(shù)據(jù)庫(kù)上的比較結(jié)果如圖9和圖10所示。
從圖9和圖10可以看出,所提出的基于結(jié)構(gòu)信息和特征信息的方法明顯優(yōu)于其他四種比較方法。在兩個(gè)數(shù)據(jù)庫(kù)的級(jí)別均小于4時(shí),該方法的識(shí)別精度均達(dá)到了100%。HOG+KPR方法的結(jié)果優(yōu)于HOG方法和KPR方法,說(shuō)明了將結(jié)構(gòu)信息和特征信息融合到SFR應(yīng)用中的可行性。KPR方法和SKPR方法實(shí)現(xiàn)了基于局部人臉組成部分的識(shí)別,但識(shí)別率較低。同時(shí),可以發(fā)現(xiàn)SKPR方法比KPR方法更有效。SKPR方法將稀疏概念融合到圖像補(bǔ)丁的核原型表示中,可以去除不同原型帶來(lái)的更多噪聲。
4? ?結(jié)? ?論
針對(duì)民航人臉識(shí)別系統(tǒng)中人臉圖像的銳化識(shí)別問(wèn)題,提出了一種基于雙尺度Markov網(wǎng)絡(luò)和多信息融合的人臉照片合成與識(shí)別方法。該方法由兩部分組成:(1)利用雙尺度Markov網(wǎng)絡(luò)將銳化和照片轉(zhuǎn)換成相同的模態(tài);(2)基于結(jié)構(gòu)信息和基于特征信息的識(shí)別方法對(duì)合成圖像和測(cè)試圖像進(jìn)行匹配。與以往僅使用單尺度合成圖像的人臉?shù)J化合成方法不同,該方法利用雙尺度Markov網(wǎng)絡(luò)進(jìn)行銳化合成。然后,根據(jù)人臉識(shí)別認(rèn)知理論,提出了一種將結(jié)構(gòu)信息和特征信息結(jié)合起來(lái)進(jìn)行人臉識(shí)別的銳化人臉識(shí)別方法。選取整個(gè)人臉圖像中的HOG來(lái)表示結(jié)構(gòu)信息。利用所提出的稀疏核原型表示方法來(lái)描述局部面部組成部分的特征信息。與不同的人臉?shù)J化照片合成和識(shí)別方法相比,大量的實(shí)驗(yàn)結(jié)果表明,該方法在合成和識(shí)別過(guò)程中都具有較好的性能。
參考文獻(xiàn)
[1]? ? 劉明. 嵌入式人臉自動(dòng)識(shí)別系統(tǒng)研究[J]. 電子技術(shù)與軟件工程,2015(24):195-196.
[2]? ? 易焱,蔣加伏. 基于LBP和棧式自動(dòng)編碼器的人臉識(shí)別算法研究[J]. 計(jì)算機(jī)工程與應(yīng)用,2018,54(02):163-167.
[3]? ? 楊晉吉,李亞文. 基于Curvelet變換特征的人臉識(shí)別算法[J]. 計(jì)算機(jī)應(yīng)用與軟件,2018,35(01):169-174.
[4]? ? 毛雯,朱虹,張巖. 一種單幅前視圖的人臉識(shí)別算法[J]. 西安理工大學(xué)學(xué)報(bào),2017,33(02):127-131.
[5]? ? 江誠(chéng),石雄. 基于非線性特征提取的人臉識(shí)別算法研究[J]. 武漢輕工大學(xué)學(xué)報(bào),2019,38(02):35-39.
[6]? ? 諶湘倩,劉珂,馬飛. 基于協(xié)作表示和正則化最小二乘法的多姿態(tài)人臉識(shí)別方法[J]. 現(xiàn)代電子技術(shù),2017,40(05):49-53.
[7]? ? 雷超,張海燕,詹曙. 結(jié)合曲面局部紋理特征的3維人臉識(shí)別[J]. 中國(guó)圖象圖形學(xué)報(bào),2019,24(02):215-226.
[8]? ? 李華玲,王智,黃鈺靖. 基于圖片特征與人臉姿態(tài)的人臉識(shí)別方法[J]. 科學(xué)技術(shù)與工程,2018,18(31):195-199.
[9]? ? 楊超,伍世虔,方紅萍. 基于Fechner定律和梯度特征的人臉識(shí)別算法及實(shí)現(xiàn)[J]. 計(jì)算機(jī)應(yīng)用與軟件,2019,36(01):227-231.
[10]? 張敦鳳,高寧化,王姮,等. 基于分塊LBP融合特征和SVM的人臉識(shí)別算法[J]. 傳感器與微系統(tǒng),2019,38(05):154-156.
[11]? 黃祎翎,劉威,黃慧明. 基于Emgu CV的實(shí)時(shí)家庭安全防護(hù)系統(tǒng)[J]. 信息技術(shù),2018,42(10):77-80.
[12]? 漆世錢.基于OpenCV組合優(yōu)化的人臉識(shí)別應(yīng)用平臺(tái)設(shè)計(jì)[J]. 科學(xué)技術(shù)與工程,2019(13):164-170.
[13]? 盧濤,汪家明,李曉林,等. 基于中繼循環(huán)殘差網(wǎng)絡(luò)的人臉超分辨率重建[J]. 華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2018,46(12):95-100.
[14]? 吉娜燁,柴秀娟,山世光,等. 局部回歸模型驅(qū)動(dòng)的人臉?biāo)孛枳詣?dòng)生成[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2014,26(12):2232-2243.
[15]? 黃綠娥,吳祿慎,陳華偉. 融合LSTM的DCNN及其圖像模糊類型和參數(shù)識(shí)別[J]. 應(yīng)用基礎(chǔ)與工程科學(xué)學(xué)報(bào),2018,26(05):1092-1100.
[16]? 楊勇,吳嘉驊,黃淑英,等. 聯(lián)合字典魯棒稀疏表示的多聚焦圖像融合[J]. 小型微型計(jì)算機(jī)系統(tǒng),2018,39(08):1871-1877.
[17]? 張延良,盧冰. 基于信息增量特征選擇的微表情識(shí)別方法[J]. 計(jì)算機(jī)工程,2019(05):261-266.
[18]? 鄧麗萍. 多種代數(shù)特征抽取方法下的人臉圖像SVM算法研究[J]. 信息安全與技術(shù),2014,5(10):45-47.