顧江鵬 袁和金

摘 要：為了獲取更加全面的整體與局部人臉特征，得到更高的人臉識別率，提出一種基于方向梯度直方圖（HOG）特征與卷積神經(jīng)網(wǎng)絡(luò)的人臉識別新方法。該方法首先提取人臉圖像的HOG特征，然后將HOG特征圖像作為卷積網(wǎng)絡(luò)的輸入數(shù)據(jù)進(jìn)行訓(xùn)練，改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，在全連接層之后采用Softmax loss和center loss兩個損失函數(shù)進(jìn)行監(jiān)督，最后在訓(xùn)練得到的網(wǎng)絡(luò)模型上對人臉圖像進(jìn)行識別操作。實(shí)驗(yàn)結(jié)果表明，該方法在ORL人臉集上的識別率達(dá)到97.5%，相比于其它人臉識別算法具有一定優(yōu)越性。

關(guān)鍵詞：HOG;卷積神經(jīng)網(wǎng)絡(luò);人臉識別;特征提取

DOI：10. 11907/rjdk. 181859

中圖分類號：TP301文獻(xiàn)標(biāo)識碼：A文章編號：1672-7800（2019）003-0020-05

0 引言

人臉識別屬于生物識別領(lǐng)域的研究內(nèi)容之一，與傳統(tǒng)生物識別手段相比，人臉識別具有無接觸、交互性強(qiáng)、更友好直觀，且更方便安全等優(yōu)勢[1]。國外手機(jī)廠商蘋果公司首次將人臉識別應(yīng)用于手機(jī)解鎖，國內(nèi)支付平臺支付寶首次實(shí)現(xiàn)刷臉支付，公安部門的天眼系統(tǒng)可根據(jù)人臉檢測實(shí)現(xiàn)實(shí)時(shí)安全監(jiān)測及疑犯追蹤，這些都是人臉識別的典型應(yīng)用，人臉識別同樣在門禁系統(tǒng)、檔案管理等領(lǐng)域應(yīng)用廣泛。目前，人臉識別技術(shù)已經(jīng)成為計(jì)算機(jī)視覺與人工智能領(lǐng)域的研究熱點(diǎn)[2]。

如何提高人臉識別率一直是研究人員的研究重點(diǎn)，而影響人臉識別準(zhǔn)確率的主要因素在于特征提取。定向梯度直方圖特征最初主要用于在計(jì)算機(jī)視覺與圖像處理中檢測物體的特征描述子，近年來HOG描述符也被應(yīng)用于人臉檢測。Zheng等[3]提出一種基于密集網(wǎng)格直方圖的人臉識別方法，將人臉圖像均分為很多密集網(wǎng)格，從中提取HOG特征，然后構(gòu)造HOG網(wǎng)格特征向量，實(shí)現(xiàn)整個人臉的特征表達(dá)，最后利用最近鄰算法進(jìn)行分類識別，該方法可有效表示復(fù)雜環(huán)境下的人臉特征;Cuan[4]提出改進(jìn)的面向梯度直方圖與稀疏表示的混合識別方法，可以保持光照與幾何不變性，對表情、姿勢和角度變化不敏感，從而消除了許多不必要的干擾信息，提高了面部識別準(zhǔn)確性;Xie & Sujata等[5-7]從不同角度采用LBP與HOG融合算法進(jìn)行人臉識別，在有遮擋、姿態(tài)變化及光照變化等條件下取得了較好效果。然而這些方法在特征提取過程中介入了太多主觀因素，過度依賴于人工選擇，對識別準(zhǔn)確性造成一定負(fù)面影響。

近年來，深度學(xué)習(xí)在計(jì)算機(jī)視覺與物體識別領(lǐng)域取得了突出進(jìn)展，卷積神經(jīng)網(wǎng)絡(luò)算法逐漸被引入到人臉識別相關(guān)研究中。LeCun[8]首次提出LeNet-5，其傾向于將CNN稱為卷積網(wǎng)絡(luò)，將網(wǎng)絡(luò)中的節(jié)點(diǎn)稱為單元，自此開啟了現(xiàn)代卷積網(wǎng)絡(luò)研究;Facebook團(tuán)隊(duì)[9]與香港中文大學(xué)團(tuán)隊(duì)[10]分別在LFW數(shù)據(jù)集上報(bào)告了97.35%和97.45%的平均分類精度，其在人臉識別技術(shù)路線上，由基于DCNN的端到端自主學(xué)習(xí)特征替代了傳統(tǒng)的人工設(shè)計(jì)特征與分類識別;Google團(tuán)隊(duì)提出的FaceNet[11]框架在LFW數(shù)據(jù)集上的平均分類精度達(dá)到99.63%。雖然上文提到的各種深度卷積神經(jīng)網(wǎng)絡(luò)算法及其改進(jìn)算法能夠獲得很高的識別準(zhǔn)確率，但其均采取了更深的網(wǎng)絡(luò)結(jié)構(gòu)，在獲得更好特征抽象能力的同時(shí)，也意味著訓(xùn)練難度的增大、訓(xùn)練參數(shù)的增多以及更大的計(jì)算量，而傳統(tǒng)的CNN網(wǎng)絡(luò)對圖像局部結(jié)構(gòu)特征不敏感，難以學(xué)習(xí)到人臉局部特征，同時(shí)網(wǎng)絡(luò)還會因光照等因素學(xué)習(xí)到不利特征?；谝陨戏治?，本文提出一種基于HOG特征與卷積神經(jīng)網(wǎng)絡(luò)的人臉識別新方法，在網(wǎng)絡(luò)輸入原始人臉圖像基礎(chǔ)上，加入人臉的HOG特征，使卷積神經(jīng)網(wǎng)絡(luò)在自動學(xué)習(xí)原始圖像信息的同時(shí)，也可以學(xué)習(xí)到HOG人臉局部特征。實(shí)驗(yàn)結(jié)果表明，在卷積神經(jīng)網(wǎng)絡(luò)中加入HOG特征可一定程度上提高人臉識別準(zhǔn)確率。

1 HOG特征提取

HOG特征最早被應(yīng)用于行人檢測，是一種由SIFT算子發(fā)展演變而來的特征描述子，用于描述圖像局部差分信息，因其具有對圖像幾何和光學(xué)變化保持不變性的特點(diǎn)，并且受噪聲影響小，對人臉表情變化、場景變化具有很好的魯棒性，因而被廣泛應(yīng)用于人臉識別領(lǐng)域。HOG 特征由HOG算子通過計(jì)算圖像局部區(qū)域梯度，統(tǒng)計(jì)分布在不同方向的梯度幅值得到的梯度方向直方圖構(gòu)成，具體特征提取過程如下：

（1）Gamma校正。對輸入圖像作顏色歸一化處理，從而提高圖像整體亮度，減弱圖像局部陰影與光照變化帶來的影響，也可以抑制噪聲干擾。

Gamma壓縮公式為：

（2）圖像梯度值計(jì)算。分別計(jì)算圖像橫縱坐標(biāo)梯度，具體為：采用中心對稱梯度算子[-1，0，1]對圖像作卷積操作，可得到[x]方向梯度分量;采用算子[1，0，-1T]對圖像作卷積操作，可得到[y]方向梯度分量，據(jù)此可計(jì)算每個像素點(diǎn)的梯度方向值。該操作可捕捉人影、輪廓與一些紋理信息，并進(jìn)一步減弱光照影響。

像素點(diǎn)[（x，y）]梯度為：

（3）構(gòu)建局部方向梯度直方圖。將圖像分成若干單元格，稱為細(xì)胞單元（cell），對每個cell的梯度方向進(jìn)行統(tǒng)計(jì)。將[0，π]之間分為9個區(qū)間，平均每個區(qū)間占[20°]，由此可得每個單元的一個9維梯度方向直方圖。

（4）將block中的局部梯度直方圖歸一化。將相鄰不重疊的k個cell組合成一個block，然后將該block塊內(nèi)所有cell的直方圖進(jìn)行拼接，采用[L2]范數(shù)對block中的直方圖進(jìn)行歸一化處理，得到該block塊對應(yīng)的梯度直方圖。

（5）HOG特征形成。收集圖像中全部block的HOG特征，依次級聯(lián)全部block的直方圖特征，從而得到圖像的整體HOG特征。HOG特征提取過程如圖1所示。

針對同一張圖像，采用不同cell_size得到的HOG特征如圖2所示（圖像經(jīng)過反相處理）。

由圖2對比可以看出，適當(dāng)增大cell大小得到的特征圖更加注重圖像基本輪廓與邊緣，而忽略了圖像中的一些細(xì)節(jié)，從而在一定程度上降低了噪聲。

本實(shí)驗(yàn)中HOG特征提取參數(shù)設(shè)置為：2*2細(xì)胞/區(qū)間，8*8像素/細(xì)胞，8個直方圖通道，步長為1。

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)[12-13]最早是由日本學(xué)者Fukushima基于Hubel&Wiesel感受野概念提出的神經(jīng)認(rèn)知機(jī)，其本質(zhì)上是一種為處理二維輸入數(shù)據(jù)設(shè)計(jì)的多層神經(jīng)網(wǎng)絡(luò)。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)的每一層有許多二維平面，而每個二維平面都由多個獨(dú)立神經(jīng)元組成，其中相鄰兩層神經(jīng)元間互相連接，處于同一層的神經(jīng)元間沒有連接。權(quán)值共享的結(jié)構(gòu)特征使卷積神經(jīng)網(wǎng)絡(luò)更加類似于生物神經(jīng)網(wǎng)絡(luò)，同時(shí)網(wǎng)絡(luò)模型容量可通過網(wǎng)絡(luò)廣度與深度加以調(diào)整[14]。因而與全連接網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)具有更少的網(wǎng)絡(luò)連接數(shù)與權(quán)值參數(shù)，從而有效簡化了網(wǎng)絡(luò)模型的學(xué)習(xí)復(fù)雜度。

（1）卷積層。卷積層主要對輸入層或上一采樣層輸出的特征圖像進(jìn)行卷積操作，然后通過激勵函數(shù)的作用得到相應(yīng)特征圖。經(jīng)過卷積層的一系列操作后可以提取圖像局部區(qū)域特征，相應(yīng)每一個卷積核即是特征提取器。例如第l層卷積層中第j個特征圖計(jì)算公式[15]為：

（2）池化層。池化層設(shè)置在兩個卷積層之間，主要對上一層卷積層得到的特征圖進(jìn)行降采樣操作，通過該步驟可以有效縮小矩陣尺寸、降低卷積特征維數(shù)，并大幅減少訓(xùn)練參數(shù)數(shù)量，以減輕分類器負(fù)擔(dān)，從而在一定程度上加快了計(jì)算速度，防止數(shù)據(jù)出現(xiàn)過擬合問題。設(shè)第[l]層為池化層，該層某個特征圖的計(jì)算公式為：

（3）全連接層。圖像在經(jīng)過上述兩步操作后，將上一層所有神經(jīng)元與全連接層的神經(jīng)元相連。該層依據(jù)具體任務(wù)情況對高層特征進(jìn)行映射，主要是將卷積輸出的二維特征圖轉(zhuǎn)化成一維特征向量，計(jì)算公式[15]為：

（4）輸出層。卷積網(wǎng)絡(luò)中的輸出層通常作為分類器存在，常用分類器主要有sigmoid函數(shù)與softmax函數(shù)。以分類能力較強(qiáng)的softmax[16]函數(shù)為例，該函數(shù)可對多個類別進(jìn)行分類。softmax回歸中將[x]劃分為類別[j]的概率為：

3 本文算法

目前在大部分卷積神經(jīng)網(wǎng)絡(luò)中，經(jīng)常使用softmax loss作為損失函數(shù)進(jìn)行模型訓(xùn)練，因?yàn)閟oftmax loss能夠使特征可分。然而在人臉識別中，深度學(xué)習(xí)特征不僅具有可分性，還應(yīng)具有可判別性。Wen等[17]提出一種新的損失函數(shù)center loss，其能夠在最小化類內(nèi)距離的同時(shí)保證特征的可判別性。center loss公式定義如下：

故本研究在傳統(tǒng)卷積網(wǎng)絡(luò)基礎(chǔ)上，結(jié)合softmax loss與center loss兩種損失函數(shù)進(jìn)行類別監(jiān)測，取參數(shù)[λ]為1進(jìn)行實(shí)驗(yàn)。同時(shí)對于網(wǎng)絡(luò)輸入，首先對人臉圖像提取HOG特征，可降低人臉表情、光照與噪聲的影響。

本實(shí)驗(yàn)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)如圖4所示。

其中，輸入圖片大小為57[×]47，包含2個卷積層、2個池化層和1個全連接層，最后用softmax loss與center loss聯(lián)合監(jiān)測分類。卷積層C1有5個3[×]3的卷積核，padding為same，步長為2，得到輸出為57[×]47[×]5;池化層S1對C1每個2[×]2的區(qū)域采樣，步長為2，輸出為28[×]23[×]5;卷積層C2采用10個3[×]3的卷積核，padding為same，步長為2，得到輸出為28[×]23[×]10;池化層S2對C2每個2[×]2的區(qū)域采樣，步長同樣為2，輸出為14[×]11[×]10;全連接層FC的輸入來自S2，將多維輸入一維化，最后利用分類器進(jìn)行分類。

4 仿真實(shí)驗(yàn)及分析

為了驗(yàn)證本文算法的可行性與優(yōu)越性，采用ORL人臉庫作為實(shí)驗(yàn)數(shù)據(jù)集。實(shí)驗(yàn)運(yùn)行環(huán)境為：Ubuntu16.04操作系統(tǒng)、Theano開發(fā)工具與NVIDIA GTX950M顯卡。

4.1 實(shí)驗(yàn)數(shù)據(jù)集

ORL人臉庫共包含40個不同年齡、性別與種族的對象，每個對象有10幅圖像，總計(jì)400張灰度圖，圖像尺寸為[92×112px]，圖像背景全為單一黑色，人臉部分的表情和細(xì)節(jié)都有變化，如笑與不笑、睜眼與閉眼、戴或不戴眼鏡等，人臉姿態(tài)同樣有變化，人臉深度與平面旋轉(zhuǎn)可達(dá)到將近20°，尺寸也有近10%的變化。該人臉庫的部分人臉圖像如圖5所示。

4.2 實(shí)驗(yàn)方法及參數(shù)設(shè)置

實(shí)驗(yàn)過程中對數(shù)據(jù)集作以下處理：首先提取圖像的HOG特征，得到處理后的HOG特征圖集，將處理后的數(shù)據(jù)集作為輸入;依次選取同一個人的前6張圖像作為訓(xùn)練集，第7～8張圖像作為驗(yàn)證集，第9～10張圖像作為測試集，從而分別得到訓(xùn)練集、驗(yàn)證集、測試集的320張、40張、40張圖像。實(shí)驗(yàn)中主要參數(shù)設(shè)定為：學(xué)習(xí)率為0.05，批次大小為40，訓(xùn)練步數(shù)為40，卷積核個數(shù)依次是5、10，池化大小為（2，2）。使用訓(xùn)練數(shù)據(jù)訓(xùn)練得到網(wǎng)絡(luò)模型，然后加載模型對測試數(shù)據(jù)進(jìn)行測試，從而得到相應(yīng)的人臉識別率。

對于實(shí)驗(yàn)?zāi)Ｐ蛥?shù)的討論如下：

（1）調(diào)節(jié)batch_size。本實(shí)驗(yàn)采用minibatch SGD算法進(jìn)行優(yōu)化，即batch連續(xù)將數(shù)據(jù)輸入CNN模型中，然后計(jì)算該batch所有樣本的平均損失，即代價(jià)函數(shù)是所有樣本平均值，batch_size是一個batch包含的樣本數(shù)。

本實(shí)驗(yàn)訓(xùn)練集數(shù)據(jù)為320，驗(yàn)證集和測試集都為40，所以最好設(shè)置batch_size能被40整除，否則會浪費(fèi)一些樣本。當(dāng)batch_size設(shè)置為1、2、5、10、20時(shí)，驗(yàn)證錯誤率一直是97.5%，沒有下降。由于實(shí)驗(yàn)中每個類別的10個樣本連續(xù)排列在一起，故若batch_size過小，則類別覆蓋率偏低，最終將其設(shè)置為40。

（2）調(diào)節(jié)learning_rate。學(xué)習(xí)率learning_rate是運(yùn)用SGD算法時(shí)梯度之前的系數(shù)，若該系數(shù)設(shè)置過大，算法可能無法進(jìn)行優(yōu)化;若設(shè)置過小，則算法優(yōu)化太慢，而且可能陷入局部最優(yōu)。

分別設(shè)置learn_rate為0.1、0.01、0.05，對應(yīng)的驗(yàn)證錯誤率分別為97.5%、5%、2.5%，故本實(shí)驗(yàn)選取學(xué)習(xí)率為0.05進(jìn)行實(shí)驗(yàn)。

（3）調(diào)節(jié)pool_size。本實(shí)驗(yàn)中pool_size大小為（2，2），即在4個像素中保留1個像素，由于實(shí)驗(yàn)樣本圖像大小為57*47，對于小圖像而言，大小為（2，2）時(shí)比較合適。

4.3 實(shí)驗(yàn)結(jié)果與分析

隨著實(shí)驗(yàn)步數(shù)的增加，驗(yàn)證集錯誤率與分類的對數(shù)損失變化如圖6所示。

采用本文算法與其它算法獲得的人臉識別率對比如表1所示[18]。

由表1可以看出，采用HOG特征與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的算法相比于主成分分析法及BP神經(jīng)網(wǎng)絡(luò)，識別率得到明顯提高，同時(shí)相對于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)，本文算法在識別率上也具有一定優(yōu)勢。

5 結(jié)語

本文提出一種基于HOG特征與卷積神經(jīng)網(wǎng)絡(luò)的人臉識別方法。HOG算子可以很好地描述圖像局部信息，同時(shí)也具有對圖像幾何與光學(xué)變化的不變性，受噪聲影響較小。通過在卷積網(wǎng)絡(luò)中加入HOG圖像信息，使卷積神經(jīng)網(wǎng)絡(luò)能夠提取到區(qū)分性更強(qiáng)的人臉特征信息。根據(jù)ORL人臉庫的實(shí)驗(yàn)結(jié)果表明，本文方法能夠有效提高人臉識別率。

然而，本文提出的方法雖然能夠有效提高人臉識別率，但是人臉數(shù)據(jù)集背景較為簡單，在更復(fù)雜的人臉圖像環(huán)境中，相比于限制環(huán)境下的數(shù)據(jù)集，算法識別率有所下降。因此，如何在更復(fù)雜的非限制環(huán)境中進(jìn)一步提高人臉識別率是將來的主要研究方向。

參考文獻(xiàn)：

[1] 景晨凱，宋濤，莊雷，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的人臉識別技術(shù)綜述[J]. 計(jì)算機(jī)應(yīng)用與軟件，2018，35（1）：223-231.

[2] 何春. 人臉識別技術(shù)綜述[J]. 智能計(jì)算機(jī)與應(yīng)用，2016，6（5）：112-114.

[3] XIANG Z，TAN H，YE W. The excellent properties of a dense grid- based hog feature on face recognition compared to Gabor and LBP[J]. IEEE Access， 2018，6： 29306-29319.

[4] YING C，SHI Y. Face recognition of the rhinopithecus roxellana qinlingensis based on improved HOG and sparse representation[C]. International Conference on Computer Network， Electronic and Automation， 2017：499-503.

[5] XIE Z， JIANG P， ZHANG S. Fusion of LBP and HOG using multiple kernel learning for infrared face recognition[C]. IEEE/ACIS International Conference on Computer and Information Science，2017：81-84.

[6] BHELE S G，MANKAR V H. Recognition of faces using discriminative features of LBP and HOG descriptor in varying environment[C]. International Conference on Computational Intelligence and Communication Networks， 2016：426-432.

[7] GHORBANI M， TARGHI A T， DEHSHIBI M M. HOG and LBP： towards a robust face recognition system[C]. Tenth International Conference on Digital Information Management， 2016：138-141.

[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient-based learning applied to document recognition[J].? Proceedings of the IEEE，1998， 86（11）：2278-2324.

[9] TAIGMAN Y，YANG M，RANZATO M，et al. Deepface： closing the gap to human-level performance in face verification[C]. IEEE Conference on Computer Vision and Pattern Recognition，2014：1701-1708.

[10] SUN Y， WANG X， TANG X. Deep learning face representation from predicting 10000 classes[C]. Computer Vision and Pattern Recognition， 2014：1891-1898.

[11] SCHROFF F，KALENICHENKO D，PHILBIN J. FaceNet： a unified embedding for face recognition and clustering[C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2015：815-823.

[12] 鄒國鋒，傅桂霞，李海濤，等. 多姿態(tài)人臉識別綜述[J]. 模式識別與人工智能，2015，28（7）：613-625.

[13] 吳堯，邱衛(wèi)根. 基于改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò)的人臉識別[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2017，38（8）：2246-2250.

[14] 周飛燕，金林鵬，董軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào)，2017，40（6）：1229-1251.

[15] SYAFEEZA A R， KHALIL-HANI M， S S， et al. Convolutional neural network for face recognition with pose and illumination variation[J]. International Journal of Computational Intelligerce & Applications，2015，14（3）：1-18.

[16] 汪海波，陳雁翔，李艷秋. 基于主成分分析和Softmax回歸模型的人臉識別方法[J]. 合肥工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2015，38（6）：759-763.

[17] WEN Y， ZHANG K， LI Z， et al. A discriminative feature learning approach for deep face recognition[C]. European Conference on Computer Vision， 2016：499-515.

[18] 張國云，向燦群，羅百通，等. 一種改進(jìn)的人臉識別CNN結(jié)構(gòu)研究[J]. 計(jì)算機(jī)工程與應(yīng)用，2017，53（17）：180-185，191.

（責(zé)任編輯：黃 ?。?/p>