毛賢光　李　罕　李云欣　高　靜

1(南寧市工業(yè)和信息化委員會　廣西 南寧 530028)2(南寧市城市應(yīng)急聯(lián)動中心　廣西 南寧 530021)3(廣西通信規(guī)劃設(shè)計咨詢有限公司　廣西 南寧 530007)

?

基于改進Gabor-PCA分析重構(gòu)的人臉遮擋物清除

毛賢光1,2李罕2李云欣2高靜3

1(南寧市工業(yè)和信息化委員會廣西 南寧 530028)2(南寧市城市應(yīng)急聯(lián)動中心廣西 南寧 530021)3(廣西通信規(guī)劃設(shè)計咨詢有限公司廣西 南寧 530007)

摘要針對實際應(yīng)用于“智慧南寧”項目建設(shè)時，多重訓(xùn)練樣本容易使重構(gòu)人臉陷入局部最大化以及協(xié)方差矩陣分解耗時嚴(yán)重的問題，提出一種基于改進Gabor-PCA分析重構(gòu)的人臉遮擋物清除算法。在訓(xùn)練樣本集選擇階段，通過構(gòu)建5維8方向的Gabor直方圖信息分類器，從人臉庫中選擇Gabor直方圖信息與待重構(gòu)原始人臉圖像在外形輪廓等粗信息更為接近的圖像組成訓(xùn)練樣本集。同時，在PCA主元分析時，通過SVD分解重構(gòu)協(xié)方差矩陣來降維，從而達到二次減少耗時的目的。實驗證明，隨著訓(xùn)練樣本集的增加，該算法對各種人臉都有很強的適應(yīng)性，并且得到的清除遮擋物后的人臉圖像清晰、無局部最大化現(xiàn)象，與原始圖像匹配度高，具備投入實際應(yīng)用的能力。

關(guān)鍵詞智慧南寧人臉重構(gòu)Gabor訓(xùn)練樣本集PCASVD

0引言

隨著十二五規(guī)劃中對城鎮(zhèn)信息化建設(shè)提出的新要求，“智慧城市”這一描述城市信息化發(fā)展階段的代名詞逐漸成為未來10年城市信息化建設(shè)的總目標(biāo)[1-3]。南寧市作為廣西壯族自治區(qū)的首府，“智慧城市”的發(fā)展具有獨特的優(yōu)勢：比鄰北部灣經(jīng)濟開發(fā)區(qū)，打造面向東盟的區(qū)域性城市。南寧市工業(yè)和信息化委員會作為全面負責(zé)南寧市公共數(shù)字化、工業(yè)信息化系統(tǒng)/平臺規(guī)劃和建設(shè)、企業(yè)監(jiān)督和管理的單位，在“智慧城市”的建設(shè)中起著核心作用。目前“智慧南寧”建設(shè)正處于網(wǎng)絡(luò)建設(shè)向平臺和應(yīng)用融合的階段轉(zhuǎn)變，將建設(shè)統(tǒng)一的公共平臺和統(tǒng)一的城市信息中心(大數(shù)據(jù)中心)[4,5]。這要求各類信息經(jīng)采集、分析后能以統(tǒng)一的標(biāo)準(zhǔn)存儲并再次交互，這其中以人臉信息的錄入標(biāo)準(zhǔn)最為嚴(yán)格。人臉信息的獲取在“智慧南寧”中來自于方方面面：“智慧政務(wù)”和“智慧醫(yī)療”中登記錄入的面部信息、“智慧交通”、“智慧園區(qū)”和“智慧旅游”中抓拍到的監(jiān)控對象等等，這些信息在“智慧城市”模式下最終都將以統(tǒng)一的標(biāo)準(zhǔn)和身份證上的照片信息進行比對。按照公安部的要求，身份證照片十分苛刻，其中一條就是不能有面部遮擋物，包括眼鏡、濃妝、飾物、大胡子等，這對“智慧城市”模式下采集到的人臉圖像信息提出更高的要求——自動清除面部遮擋物。

人臉遮擋物清除在人臉識別中屬于高維矩陣計算范疇，目前，解決這種問題的方法大致分為兩類：場量法和代數(shù)解析，這兩者的共同點是都需要投影映射。文獻[5]提出的共同向量結(jié)合法，通過Gram-Schmidt正交解決投影，文獻[6]利用完備鑒別保局投影法，解決投影降維，除此之外，比較經(jīng)典的場量法還有有零空間保局投影法NDLPP[7]、維數(shù)增加法CODI[8]、Variant Faces分類法[9]等；代數(shù)解析法有獨立主成分分析法ICA[10]、核主成分分析法Kernel PCA[11]、支持向量機SVM[12]等。他們的特點是當(dāng)投影矩陣或協(xié)方差矩陣直接滿足局部正交時，函數(shù)不會陷入局部最大化，但是這些方法都跳過分類器設(shè)計，默認函數(shù)符合局部正交，這不符合 “智慧城市”建設(shè)項目的實際情況。“智慧南寧”項目主要面向東盟，采集得到人臉圖像千差萬別，不可能跳過分類器，同時鑒于投入使用時的處理耗時問題，還要求算法精準(zhǔn)快速。

因此，本文針對應(yīng)用于“智慧南寧”項目建設(shè)時，訓(xùn)練樣本多樣性使重構(gòu)人臉容易陷入局部最大化以及協(xié)方差矩陣分解耗時嚴(yán)重的情況，提出一種基于改進Gabor-PCA分析重構(gòu)的人臉遮擋物清除算法。通過構(gòu)建Gabor直方圖信息分類器，并根據(jù)待重構(gòu)原始人臉圖像相應(yīng)的Gabor直方圖信息，從人臉庫中選擇輪廓信息更為接近的圖像作為訓(xùn)練樣本集。同時，在PCA主元分析時，通過奇異值分解來重構(gòu)協(xié)方差矩陣來降維，達到二次減少耗時的目的。

1人臉特征描述

第二代居民身份證制證用數(shù)字照片的尺寸為358像素(寬)×441像素(高)，分辨率為350 dpi。如圖1(a)所示，彩色為正面免冠，拍攝前，要求面部清潔，不能有汗?jié)n、油污，不能化濃妝，嚴(yán)禁配戴眼鏡、非黑色的鋼絲發(fā)卡等任何影響拍攝效果的飾品；可著T恤或者西裝拍攝，但不得穿制服。因此，無論圖片質(zhì)量，還是拍攝技術(shù)，與第一代身份證相比要求更高，但同時也為全市基礎(chǔ)圖像數(shù)據(jù)的比對提供了標(biāo)準(zhǔn)?？偹苤四樞畔⒎譃槲骞俳Y(jié)構(gòu)、比例等固定信息和一些細節(jié)信息：表情、姿態(tài)、發(fā)型、膚色、飾物、噪聲等。這幾大類的細節(jié)信息如果能在人臉重構(gòu)前，通過分類形成有針對性的訓(xùn)練樣本空間，將大大縮短主元分析的耗時。

本文提出的基于改進Gabor-PCA分析重構(gòu)的人臉遮擋物清除算法，就是針對人臉多種細節(jié)信息，構(gòu)建Gabor直方圖信息分類器，并根據(jù)待重構(gòu)人臉相應(yīng)的Gabor直方圖信息從人臉庫中選擇細節(jié)信息更為匹配的圖像作為訓(xùn)練樣本集。如圖1(e)所示，傳統(tǒng)的Gabor分析能有效地分析指紋等區(qū)分度高的細節(jié)信息，但是對區(qū)分度不高的人臉，缺乏適應(yīng)性(如圖1(b))，因此，本文對Gabor進行改進，使其能有效應(yīng)用于人臉(如圖1(c))。同時，在PCA主元分析時，通過奇異值分解來重構(gòu)協(xié)方差矩陣來降維，避免圖像出現(xiàn)局部最大化的癥狀(如圖1(d))，并達到二次減少耗時的目的。

圖1　Gabor、PCA分析

2改進Gabor-PCA算法

2.1算法流程解析

圖2　改進Gabor-PCA算法流程圖

2.2Gabor、PCA算法

復(fù)值Gabor[13]函數(shù)空間表達的一般形式如下：

(1)

復(fù)值Gabor函數(shù)是二維高斯函數(shù)在兩個頻率軸都發(fā)生了平移之后的結(jié)果，即原來的頻率中心由坐標(biāo)原點移到(l,v)處。它是一個二維帶通濾波器，為了適用于分析人臉，這里將復(fù)值Gabor濾波器變換成偶對稱：

(2)

(3)

PCA[14]算法利用K-L變換排列訓(xùn)練樣本的主要信息，構(gòu)成特征空間，并將待測目標(biāo)投影到此空間，使重建誤差和噪聲分散整個重建信號，達到E[y2]最大化的目的：

E[y2]=E[(ATx)2]=ATE[xxT]A=ATCA

(4)

2.3Gabor-PCA算法設(shè)計

步驟1對采集到的原始圖像化為尺寸358×441的歸一化圖像F，以便和身份證圖像信息進行后續(xù)匹配。

步驟2按式(1)、式(2)構(gòu)建Gabor函數(shù)，其中θ和f分別為Gabor濾波器方向以及頻率，σx和σy是Gaussian包絡(luò)常數(shù)。

在本算法中，取θ=π(180-i)/180，i=0,22.5°×1,…，22.5°×7，f=0.2，σx=σy=4。

步驟3對圖像F的每一點像素按照式(5)進行Gabor變換。其中ε(i,j)為濾波后像素(i,j)的圖像，θ(i,j)為F在像素(i,j)的梯度方向，f(i,j)為像素(i,j)在紋線梯度方向上的頻率，m為在F進行Gabor分析的維度，這里取w=0,1,…,4。

(5)

步驟4對統(tǒng)計得到的40組Gabor信號，構(gòu)建矩陣G5×8=[G0,…,Gi,…,G7]，列向量Gi為ε(i,j)在對應(yīng)角度i下的5個維度Gabor直方圖統(tǒng)計信號。

步驟5分別對Gi求模得到S=[‖G0‖,…,‖Gi‖,…,‖G7‖]。

步驟6為忽略人臉細節(jié)信息，根據(jù)θ在5個維度m上對人臉外形輪廓的影響力，設(shè)權(quán)值η=[0.25,0.05,0.15,0.05,0.25，0.05，0.15，0.05]。

步驟9對F″按式(4)構(gòu)建協(xié)方差矩陣，其中x=(x0,…,xi,…,xN-1)T，N為訓(xùn)練樣本集中樣本個數(shù)，xi=(F″i(0,0),…,F″i(k-1,h-1))，xi為一維k×h行向量，k和h分別為圖像F″的寬和高。

(6)

步驟11鑒于協(xié)方差矩陣C的維數(shù)為kh×kh，計算量太大，故對C進行SVD[15]。計算ATA的特征值λi及其正交歸一化特征向量νi。

步驟12按式(7)計算特征值的貢獻率，其中p為有效的特征值個數(shù)，α=0.99。

(7)

步驟14按式(8)計算圖像F的重構(gòu)圖像Ff。

(8)

步驟15計算F與Ff的差Fc，并按式(9)計算補償圖像Fr，其中，當(dāng)F=Fc時δ=0，當(dāng)F≠Fc時δ=1。

Fr=δF+(1-δ)Ff

(9)

步驟16按式(10)計算相鄰兩次重構(gòu)圖像之間的距離ε，如果ε≥0.99進入步驟17；否則，令F=Ff并進入步驟9。

ε=‖F(xiàn)fi-Ffi-1‖2

(10)

步驟17結(jié)束。

3試驗及分析

3.1訓(xùn)練樣本集選擇和SVD分析

實驗一首先驗證本文算法對訓(xùn)練樣本集選擇的有效性，為下兩個實驗打下基礎(chǔ)。這里為了凸顯訓(xùn)練樣本集對重構(gòu)圖像的影響力，對樣本集圖像采集的隨意性進行最大限度的放大。如圖3所示，樣本集圖像在尺寸、光照強度、衣著款式、發(fā)型、面部拍攝角度等都存在差異，這是符合“智慧城市”應(yīng)用背景的實際情況的。要知道，“智慧城市”各領(lǐng)域收集到的圖像格式不可能統(tǒng)一，這除了需要我們構(gòu)建強大的大數(shù)據(jù)中心以便提供有效的訓(xùn)練樣本集外，更要求算法自身具有區(qū)別力。

圖3　多樣性的樣本集圖像

圖4(a)為待重構(gòu)原始圖像F，圖5為F經(jīng)由本文所提Gabor直方圖分析后得到的其中一組信號，可以看出當(dāng)θ=0°、90°時，包含的外形等輪廓信息最為豐富；當(dāng)θ=45°、135°時，也包含較為豐富的輪廓信息；而當(dāng)θ=22.5°、67.5°、112.5°、157.5°時，包含的信息大多為面部等細節(jié)，這就是為什么η=[0.25,0.05,0.15,0.05,0.25，0.05，0.15，0.05]的原因。

圖4(b)和(c)分別為樣本集數(shù)量為35和280時，將F直接進行PCA主元分析后的重構(gòu)情況。從效果圖可以非常直觀的看出，由于樣本集沒有經(jīng)過篩選且在PCA主元分析時沒有進行SVD重構(gòu)協(xié)方差矩陣，圖4(b)重構(gòu)得到的Ff完全被噪聲淹沒，僅能通過肉眼區(qū)分出Ff存在一個人形輪廓，F(xiàn)直方圖原有的信息也完全畸變；幸運的是，圖4(b)由于樣本少，所以Ff出現(xiàn)局部最大化的癥狀不太多。圖4(c)由于樣本集數(shù)目較大，F(xiàn)f得到提升，人形輪廓較圖4(b)清晰，但是局部最大化的癥狀比圖4(b)嚴(yán)重。

圖4(d)為先由本算法進行Gabor直方圖分析構(gòu)建與F在外形輪廓等粗信息大致匹配的數(shù)量同樣為35的訓(xùn)練樣本集后，F(xiàn)直接進行PCA主元分析。可以看出，由于經(jīng)過篩選，構(gòu)建的訓(xùn)練樣本集在輪廓上大致符合長發(fā)、面孔居于圖像中上位置等粗信息，得到的Ff從視覺上已經(jīng)能清晰分辨出和F依稀相似，但是由于沒有經(jīng)過SVD重構(gòu)，部分Ff還是陷入局部最大化。圖4(e)為完全按照本文設(shè)計的算法先進行粗選，得到同樣為280的訓(xùn)練樣本集，并由SVD重構(gòu)后才進行PCA分析后。從視覺上看，人臉面部信息完整、清晰，和F相差無幾。波形也與F的直方圖大致相似，并且訓(xùn)練樣本集的增大，F(xiàn)f也沒有陷入局部最大化，只是包含少量噪聲。說明本算法對樣本集的選擇是成功的，所構(gòu)建的訓(xùn)練樣本集在用于本文下面要進行的人臉障礙物清除中是有效的。

圖4　Gabor-PCA訓(xùn)練樣本集選擇和SVD分析

圖5　w=4時，F(xiàn)在8個θ方向的投影值

3.2Gabor-PCA分析

下面要進行的兩個實驗都是“標(biāo)準(zhǔn)”實驗，即已經(jīng)經(jīng)過本算法構(gòu)建訓(xùn)練樣本集。圖6(a)為待重構(gòu)原始圖像F，圖6(b)為經(jīng)過本文算法重構(gòu)后的Ff，從兩者的直方圖可以看出，F(xiàn)經(jīng)過與訓(xùn)練樣本集的投影，得到的Ff明顯將F的重建誤差和噪聲分散整個重建信號。F直方圖最右邊的孤立“小山丘”為噪聲信號，而Ff直方圖最右邊的“小山丘”已經(jīng)被弱化，不僅如此，F(xiàn)直方圖最左邊的“次要”信號也被相應(yīng)分散。但是從Ff的整體效果來看，還不理想，視覺效果還比較差，部分細節(jié)信息比較模糊，因此需要繼續(xù)輪回迭代。

圖6(c)為Fc，圖6(d)為補償圖像Fr，按照本文算法，面部遮擋物部分用Ff替代，其余沿用F，從視覺效果來看，依稀可見眼睛邊框和面部“色斑”，這是由于Ff只進行一次主元SVD分析，噪聲依舊太多的緣故。圖6(e)為第二次迭代得到的Ff，從直方圖來看，有效信息所在的“大山丘”更為平滑，其余噪聲信號也得到了進一步削弱；圖6(f)為經(jīng)過17次迭代后得到的最終Ff，圖6(g)為最終的輸出圖像，從視覺效果和直方圖來看，很好地達到了“遮擋物清除”的目的。

圖6　Gabor-PCA分析

3.3人臉遮擋物清除

本實驗旨在驗證本文所提算法的普適性。本實驗選取幾個典型的例子，應(yīng)用本文所提算法進行人臉遮擋物清除，并用adaboost人臉檢測算法來進行正確率驗證和耗時分析。圖7(a)為大胡子的男性，經(jīng)過本文算法分析后“剃掉”了胡子；圖7(b)為戴有眼鏡和耳墜的女性，輸出為一副“標(biāo)準(zhǔn)、干凈”的圖像：沒配戴眼鏡、無面部飾物；圖7(c)～(f)分別為拍攝光照昏暗、佩戴墨鏡、“側(cè)臉”和長頭發(fā)的人臉圖像，值得一提的是，圖7(f)為戴眼鏡的長頭發(fā)男性，輸出圖像不僅摘掉了眼睛，更“剪掉”了頭發(fā)，為下一步的匹配打下更堅實的基礎(chǔ)。

圖7　本文算法的普適性

以2400個原始人臉樣本為樣本庫一(即未經(jīng)本文算法處理的人臉庫)，經(jīng)過本文算法處理后的這2400個樣本為樣本庫二，分別應(yīng)用adaboost人臉檢測算法來對這2組樣本進行單一身份識別來比較錯誤率和耗時。明顯的，圖8(a)中未經(jīng)本文算法處理的錯誤率要高于經(jīng)過本文算法處理后的錯誤率，這是因為經(jīng)過本文所提的改進Gabor-PCA分析重構(gòu)的人臉信號更為收斂。從圖8(b)可以看出，由于adaboost方法為非閾值檢測，而是對所有樣本進行識別后依據(jù)最高相似度匹配唯一對象，因此耗時會隨著樣本的增加而呈上升趨勢，但是隨著樣本數(shù)的遞增，adaboost識別未經(jīng)本文算法處理的樣本耗時增速較快，而經(jīng)過本文算法處理后的耗時增速平緩。

圖8　未經(jīng)本文算法處理和經(jīng)過本文算法處理后的adaboost識別效果對比

4結(jié)語

本文擬作為“智慧南寧”建設(shè)的一個試點項目，具有前瞻性和探索性，提出的改進Gabor-PCA分析重構(gòu)的人臉遮擋物清除算法為整個試點項目打開缺口。針對樣本集的多樣性，算法具有自主選擇性，構(gòu)建符合外形輪廓要求的訓(xùn)練樣本集，并通過SVD進行二次縮短計算耗時，最終達到清除人臉遮擋物的目的。只要大數(shù)據(jù)中心有足夠的樣本可供選擇，算法的可行性就有保障，但是，通過長時間的實驗，我們發(fā)現(xiàn)，PCA主元分析中的對稱矩陣分解的方法選擇決定最終的計算耗時，目前能應(yīng)用于計算機的最快的分解方法是QR分解，本文所用的方法也是基于此。但是，當(dāng)輸入圖像尺寸接近2200×1800像素或訓(xùn)練樣本集大于22 600時，算法耗時難以容忍，這需要特殊硬件編解碼，因此，“智慧南寧”建設(shè)的下一步應(yīng)先加強基礎(chǔ)設(shè)施和配套硬件建設(shè)，為信息化項目在南寧市的鋪開提供有力的保證。

參考文獻

[1] 朱虹.我國智慧城市發(fā)展現(xiàn)狀及標(biāo)準(zhǔn)化建設(shè)思考[J].標(biāo)準(zhǔn)科學(xué),2013(10):10-13.

[2] 段淑敏.智慧城市關(guān)鍵技術(shù)研究[J].電子世界,2013(21):82-83.

[3] 謝衛(wèi)民.智慧城市瓶頸分析及對策研究[J].信息通信,2013(9):168-169.

[4] 楊京英,陳彥玲.智慧城市發(fā)展指數(shù)研究[J].調(diào)研世界,2013(11):8-14.

[5] 袁遠明.智慧城市信息系統(tǒng)關(guān)鍵技術(shù)研究[D].武漢:武漢大學(xué),2012.

[6] 姜文濤,劉萬軍,袁姮.一種基于曲量場空間的人臉識別算法[J].計算機學(xué)報,2012,35(8):1739-1750.

[7] 蘇煜,山世光,陳熙霖.基于全局和局部特征集成的人臉識別[J].軟件學(xué)報,2010,21(8):1849-1862.

[8] 楊利平,龔衛(wèi)國,辜小花,等.完備鑒別保局投影人臉識別算法[J].軟件學(xué)報,2010,21(6):1277-1286.

[9] M S Bartlett,J R Movellan,T J Sejnowski.Face recognitiong by independent component analysis[J].IEEE Transactions on Neural Networks,2002,13(6):1450-1464.

[10] 朱玉蓮,陳松燦.特征采樣和特征融合的子圖像人臉識別方法[J].軟件學(xué)報,2012,23(12):3209-3220.

[11] 余潔,劉利敏,李小娟.利用ICA算法進行全極化SAR影像濾波研究[J].武漢大學(xué)學(xué)報:信息科學(xué)版,2013,2(2):1945-1950.

[12] 盧桂馥,林忠,金忠.基于核化圖嵌入的最佳鑒別分析與人臉識別[J].軟件學(xué)報,2011,22(7):1561-1570.

[13] 張寶昌,陳熙霖,山世光.基于支持向量的Kernel判別分析[J].計算機學(xué)報,2006,29(12):1561-1570.

[14] 張文超.局部Gabor二值模式人臉表示與識別方法研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2007.

[15] 陳金西.基于PCA人臉識別系統(tǒng)設(shè)計與實現(xiàn)[J].廈門理工學(xué)院學(xué)報,2013,21(3):40-44.

[16] 史郡,王曉華.基于改進K-SVD字典學(xué)習(xí)的超分辨率圖像重構(gòu)[J].電子學(xué)報,2013,41(5):997-1000.

收稿日期：2014-12-03。南寧市城市應(yīng)急聯(lián)動指揮系統(tǒng)升級項目(NNZC2010-1441A)；南寧市城市公共安全與社會綜合服務(wù)系統(tǒng)人才小高地項目(2011020)。毛賢光，高工，主研領(lǐng)域：信息架構(gòu)，信息模塊化設(shè)計。李罕，高工。李云欣，高工。高靜，工程師。

中圖分類號TP391.4

文獻標(biāo)識碼A

DOI:10.3969/j.issn.1000-386x.2016.07.054

ELIMINATING FACE OCCLUDED AREA BASED ON IMPROVED GABOR AND PCA ANALYSIS RECONSTRUCTION

Mao Xianguang1,2Li Han2Li Yunxin2Gao Jing3

1(NanningCommitteeofIndustryandInformationTechnology,Nanning530028,Guangxi,China)2(NanningCityEmergencyandResponseCenter,Nanning530021,Guangxi,China)3(GuangxiCommunicationPlanningandDesignConsultingCo.,Ltd.,Nanning530007,Guangxi,China)

AbstractWhen practically applying to the construction of “Smart Nanning City” project, multiple training samples are easy to leading the face reconstruction to falling into local maximum and to severe time consuming in covariance matrix decomposition. In order to solve these problems, this paper presents a face occluded area elimination algorithm which is based on Gabor and PCA analysis reconstruction. In the phase of training sample set selection, by constructing a 5-dimensional and 8-directional Gabor histogram information classifier we select the images from face database which have closer rough information such as the figure outlines between the Gabor histogram information and original face to be reconstructed for forming the training sample set. Meanwhile, when making PCA analysis, we use SVD (singular value decomposition) to reduce the dimensionality of covariance matrix, so as to reach the goal of decreasing time cost. Experiment proves that along with the increase of training sample sets, the algorithm has high adaptability to various faces, moreover, the derived face image with the occluded area eliminated is clear, does not have the phenomenon of local maximum, highly matches the original image, and possesses the capability of putting into practical use.

KeywordsSmart Nanning CityFace reconstructionGaborTraining sample setPCASVD