柯鵬飛,蔡茂國,吳 濤

(深圳大學 信息工程學院,廣東 深圳 518060)

0 概述

近年來,人臉識別技術得到迅速發(fā)展并取得了眾多研究成果,已成為計算機視覺領域的重要研究方向之一,但是由于其本身的復雜性,即使同一個人在不同的光照、姿態(tài)、表情等因素下,人臉看起來也不盡相同,因此為減少這些因素對人臉識別的影響,設計的算法需要弱化同一個體間的類內變化,同時強化不同個體間的類間變化,如PCA[1]、LDA[2]、Bayesian Face[3]等基于子空間學習的人臉識別算法。LDA算法建立一個子空間,所有樣本在該子空間內要盡可能滿足類內散度最小、類間散度最大的要求,從而使學習到的特征具有明顯的區(qū)分度。其他人臉識別算法也是將人臉圖像投影到一個能相對容易分類的子空間[4]。此外,學者還提出了基于不同特征提取算子的人臉識別算法,如LBP[5]、Gabor Filter[6]、SIFT[7]等。這些算法的特征描述算子都是基于人臉的先驗知識進行人為設定,能提取出人臉圖像的不同特征,取得了較好的識別效果[8]。

基于卷積神經網絡(Convolutional Neural Network,CNN)的人臉識別算法的研究在過去十幾年中取得了重大進展。從DeepID[9]、DeepID2[10]、DeepID3[11]、Face-Net[12]到VGG-Face[13],這些模型經過大量的數據訓練后,能準確學習人臉識別特征,從而在人臉識別驗證上達到較好的效果。文獻[5]提出基于傳統手工特征與卷積神經網絡相結合的人臉識別方法,如先用LBP算子獲取LBP圖,并將其作為卷積神經網絡的輸入。文獻[14]認為人臉識別不是一個獨立的問題,其將人臉識別和姿態(tài)、光照、表情等因素相關聯,提出基于多任務卷積神經網絡的人臉識別算法。為解決數據量不足的問題,從減少模型的訓練時間和加快模型的收斂速度出發(fā),文獻[15]提出的算法對預訓練模型進行微調,使得預訓練模型能完成當前特定任務,但文獻[16]算法的遷移學習效果并不比隨機初始化訓練模型的效果更好。本文為將卷積神經網絡應用于中小型人臉數據庫,采用改進的卷積神經網絡與隨機初始化訓練模型,提出一種新型人臉識別算法。

1 改進的卷積神經網絡

本文提出的改進卷積神經網絡結構如圖1所示。CNN結構包含3層卷積層、3層最大池化層、1層殘差單元層、1層平均池化層和1層SoftMax分類層。

圖1 改進的CNN結構

殘差單元結構如圖2所示。該結構是一個3層的網絡結構,包含2個卷積核大小為1×1的卷積層和1個卷積核大小為3×3的卷積層。殘差單元通過short connections將低層的特征直接映射到高層網絡中,該方法直接將輸入信息繞道輸出,保證了信息的完整性。

圖2 殘差單元結構

改進的卷積神經網絡采用兩種大小不同的卷積核對圖像進行處理,前兩層卷積層的卷積核大小為5×5,步長為1;最后一層卷積層的卷積核大小為3×3,步長為1,且都采用padding方式進行補0操作。每一層卷積核后緊跟2×2的最大池化層。殘差單元先利用1×1的卷積核對輸入的特征向量進行降維,輸出的特征為64維,再利用3×3的卷積核對特征向量進行卷積。為使輸入向量和輸出向量的維度一致,特征向量需經過1×1的卷積核進行升維。將殘差單元的輸入向量和輸出向量相加再進行非線性操作,接著作為平均池化層的輸入,平均池化層在保持旋轉、平移、伸縮等情況下減少特征和參數,最后在SoftMax層對輸入數據進行分類。

X=f(I;k,b)

(1)

其中,f(·)代表輸入圖像I到人臉特征向量X的非線性映射函數,k代表權重矩陣,b代表偏差向量。經過訓練后得到模型參數θ={k,b},θ代表了模型表征能力。

在改進的CNN中,假設平均池化層輸出的特征向量是提取到的人臉特征向量X,然后將它輸入到SoftMax分類器進行人臉識別。假設wd和bd分別表示SoftMax分類層的權重矩陣和偏差向量,d表示人臉的總類別數。因此,SoftMax層可以表示為:

yd=wdX+bd

(2)

(3)

(4)

實驗采用交叉熵函數(如式(5)所示)作為模型的損失函數。

(5)

在改進的卷積神經網絡中,本文采用One-hot編碼算法對標簽進行編碼,因此若輸入圖像I屬于第j類,則式(5)可以改寫為:

(6)

采用隨機梯度下降方法訓練模型,模型參數更新如下:

(7)

(8)

由式(7)、式(8)可知,在訓練過程中,當圖像正確分類時,權重和偏差值不會更新,否則需進行更新。

(9)

因此,當給定訓練圖像集合D時,模型通過不斷訓練,根據隨機梯度下降方法能找到使損失函數值最小的模型參數θ。模型參數θ代表了模型的泛化程度,是評價模型性能優(yōu)劣的重要指標。

2 結合改進CNN網絡與集成學習的人臉識別

集成學習算法是當前比較流行的機器學習算法之一,通過構建并結合若干個體學習器完成學習任務。根據任務的不同,集成學習可以分為分類集成、回歸集成、特征選取集成、異常點檢測集成等。圖3為集成學習算法的一般結構,其先通過某種算法產生一組個體學習器,再通過某種策略對其進行結合。根據個體學習器之間的性質可以將集成學習劃分為同質集成或異質集成。同質集成學習包含同種類型的學習器,例如決策樹集成中的學習器全部是決策樹,異質集成學習則包含不同類型的學習器。

圖3 集成學習結構

集成學習將多個學習器進行結合,一般可以獲得比單一學習器更好的泛化性能。常用的結合策略有兩種,分別為投票法和學習法,本文采用投票法。投票法使用所有個體學習器結果的凸組合作為最終決策。

(10)

其中,wi為權重,di為第i個學習器的預測結果,θ=θ1,θ2,…,θL為所有學習器的參數。對于第Cj類,則有:

(11)

本文提出一種基于改進CNN網絡和集成學習的人臉識別算法,其是一種同質集成學習算法。該算法由兩個個體學習器組成,即由兩個簡單的卷積神經網絡組成一個multi-CNN。改進CNN網絡中的第一個卷積神經網絡由3個卷積層、3個池化層、1個殘差單元層和1個全連接層、1個BatchNormalization層、1個Softmax分類層組成;第二個卷積神經網絡包含了3個卷積層、3個池化層、1個殘差單元層和1個平均池化層、1個SoftMax分類層。兩網絡的特征提取層不一致,1個為全連接層,1個為平均池化層,使得輸出的人臉特征向量具有差異性。兩個網絡既獨立,又相互關聯,都采用交叉熵函數作為網絡損失函數,同時由各自的損失函數組成新的損失函數。

假設兩個卷積神經網絡的損失函數分別為:

(12)

(13)

基于改進CNN網絡和集成學習的人臉識別算法的損失函數為:

L(I,y,θ)=L1(I,y,θ)+L2(I,y,θ)=

(14)

(15)

(16)

通過以上分析可知,基于改進CNN網絡和集成學習的人臉識別算法能對子學習器的結果進行微調,從而達到更高的識別準確率。

3 實驗結果與分析

3.1 數據庫介紹

本文采用公開的Color FERET人臉數據庫[17],AR人臉數據庫[18]和ORL人臉數據庫作為實驗數據庫。Color FERET人臉數據庫一共包含11 338幅人臉圖像,這些圖像是994個志愿者的不同姿態(tài)圖像。Color FERET數據庫包括了13種不同姿態(tài)的圖像,同時修正了一些在Gray FERET數據庫上出現的錯誤。AR人臉數據庫一共有126人,每個人包含26幅不同光照、姿態(tài)和表情變化的圖像。ORL人臉數據庫共有40個人,每個人包含10幅不同姿態(tài)和表情的圖像。圖4為Color FERET、AR和ORL數據庫上的一些樣本圖像。

圖4 人臉數據庫部分樣本

3.2 數據預處理

本文采用多任務級聯卷積神經網絡(MTCNN)[19]檢測和定位人臉圖像區(qū)域。該方法能有效去除非人臉信號并減少噪聲,同時能剔除模糊或極端圖像。經過MTCNN人臉檢測器處理后,Color FERET人臉數據庫的圖像為11 287幅,AR人臉數據庫的圖像為3 108幅,ORL人臉數據庫的圖像為400幅,并且每幅人臉圖像的尺寸經檢測后被調整為64×64。為獲取更多的圖像數據,防止模型過擬合,本文采用鏡像翻轉技術獲取兩倍數量的人臉圖像,數據預處理流程如圖5所示。

圖5 數據預處理流程

3.3 訓練方法

網絡模型輸入為64×64×3的RGB彩色人臉圖像。在實驗過程中,采用留出法進行實驗,同時通過多次實驗求均值。為使實驗結果更準確,每次實驗都先將數據集隨機打亂,然后將80%的數據作為訓練集,20%作為測試集。為防止過擬合,采用L2正則化方法進行訓練,且權重衰減值設置為0.003。模型學習率初始化為0.001,批量大小設置為128,epoch設置為200。如果網絡模型收斂效果不明顯,則學習率會繼續(xù)增加迭代次數。該網絡模型在TensorFlow框架下進行實現,實驗平臺為GeForce GTX1050TI-A4G GPU。

3.4 FERET人臉數據庫

3.4.1 改進的卷積神經網絡性能

為驗證改進卷積神經網絡的性能,將本文提出的卷積神經網絡與傳統神經網絡VGGNet16和ResNet18進行比較。VGGNet16是一個具有16層結構的平面卷積網絡,其中包含13層卷積層、2層全連接層、1層Softmax層。ResNet18是一個具有18層結構的殘差卷積網絡,其中包含1層卷積層、4個殘差模塊(每個殘差模塊由2層卷積層組成)和1層Softmax層。為比較改進的卷積神經網絡與其他網絡的性能,本文在相同實驗環(huán)境下對3個網絡模型進行訓練。圖6為3個網絡模型在測試集上的準確率和損失函數值，同時為計算模型的時間復雜度，本文先統計模型訓練所需時間，再除以迭代次數，最終得到的時間復雜度結果如表1所示。

圖6 網絡模型的預測準確率和損失值

表1 不同網絡模型的性能比較結果

從表1可以看出,改進的卷積神經網絡相對傳統VGGNet16和ResNet18有較大的性能提升。本文提出的改進卷積神經網絡在Color FERET人臉數據庫的效果比VGGNet16和ResNet18更好的原因為:1)改進的卷積神經網絡結合了平面卷積神經網絡和殘差神經網絡的優(yōu)點,具有結構簡單且收斂速度快的特點。2)因為傳統神經網絡是面向大型數據庫而設計的網絡,例如VGGNet16和ResNet18,所以具有比較復雜且相對較深的網絡結構,當這些網絡模型被應用于中小型數據庫時,通常會出現過擬合的情況。

3.4.2 人臉識別算法性能

本文采用兩極分化的處理方式驗證基于改進CNN網絡與集成學習的人臉識別算法的性能,即將兩個卷積神經網絡的權重系數分別設置為0。在表2中,(α,β)表示兩個網絡的權重系數。當α=0、β=1或α=1、β=0時,相當于基于改進CNN網絡的人臉識別算法;當α=1、β=1時,相當于基于改進CNN網絡與集成學習的人臉識別算法。從表2可以看出，本文提出算法準確率最高，為98.89%，相對于單一網絡，集成網絡能明顯提高人臉識別準確率。

表2 不同權重時的人臉識別準確率對比結果

表3為不同人臉識別算法在Color FERET人臉數據上的識別準確率。從表3可以看出,基于改進CNN網絡的人臉識別算法與FUCNN、PCANet等算法的效果接近,比LBPNet和ADCNN等算法效果更優(yōu)?；诟倪MCNN網絡和集成學習的人臉識別算法進一步提升了人臉識別性能,達到98.89%的識別準確率。實驗結果表明,基于改進CNN網絡的算法和基于改進CNN網絡與集成學習的算法都能有效提升人臉識別率。

表3不同人臉識別算法在Color FERET數據庫上的識別準確率對比結果

Table 3 Comparison results of recognition accuracy of different face recognition algorithms on Color FERET database

算法 準確率ADCNN算法[20]0.8670ISCDCNNs算法[21]0.9510LBPNet算法[22]0.9685FUCNN算法[23]0.9765PCANet算法[24]0.9726LPP+CNN算法[25]0.8943基于改進CNN網絡的算法0.9748基于改進CNN網絡與集成學習的算法0.9889

為驗證本文算法的泛化性,在AR和ORL人臉數據庫上進行對比實驗。表4為基于改進CNN網絡與集成學習的人臉識別算法和其他基于改進CNN網絡的算法在AR人臉數據庫上的對比實驗結果。從表4可以看出,本文基于改進CNN網絡與集成學習的算法對光照、姿態(tài)和遮擋物均有較好的魯棒性,相對于其他基于改進CNN網絡的算法有明顯的性能提升。

表4不同人臉識別算法在AR數據庫上的準確率對比結果

Table 4 Comparison results of recognition accuracy of different face recognition algorithms on AR database

算法 準確率改進DCNN算法[26]0.9622CNN算法[27]0.9978LDP+CNN算法[28]0.9900基于改進CNN網絡的算法0.9717基于改進CNN網絡與集成學習的算法0.9967

表5為本文基于改進CNN網絡與集成學習的算法和其他基于改進CNN網絡的算法在ORL人臉數據庫上的對比實驗結果。從表5可以看出,基于改進CNN網絡的人臉識別算法在ORL數據庫上達到99.21%的準確率,基于改進CNN網絡與集成學習的人臉識別算法達到100%的準確率。實驗結果表明,基于改進CNN網絡與集成學習的人臉識別算法在中小型人臉數據庫上具有較好的人臉識別性能,能明顯提高人臉識別度。

表5 不同人臉識別算法在ORL數據庫上的準確率對比結果

4 結束語

本文針對中小型人臉數據庫,提出一種基于改進CNN網絡與集成學習的人臉識別算法。改進CNN網絡同時具有平面網絡和殘差網絡的特點,即結構簡單且收斂速度快。同時,改進CNN網絡采用平均池化層代替全連接層,使得模型更簡單,可移植性更高。相對于傳統卷積神經網絡,基于改進CNN網絡的人臉識別算法在中小型人臉數據庫取得了較好的人臉識別效果,在Color FERET、AR和ORL人臉數據上分別得到97.48%、97.17%和99.21%的準確率。為進一步提高算法識別率,本文提出一種基于改進CNN網絡與集成學習的人臉識別算法。該算法雖然采用簡單投票法,但識別性能卻有明顯提升,最終在Color FERET、AR和ORL人臉數據庫上分別達到98.89%、99.67%和100%的準確率,同時具有較快的收斂速度。后續(xù)將優(yōu)化網絡結構,同時結合不同的損失函數,提升網絡模型泛化性能和算法識別準確率。