王 波 劉太安,2* 樊建聰* 孫小川 劉欣穎,2

1(山東科技大學(xué)計算機科學(xué)與工程學(xué)院 山東 青島 266590)2(山東科技大學(xué)信息工程系 山東 泰安 271019)

0 引 言

近二十年來，識別技術(shù)快速發(fā)展。例如，Huang等提出了基于ELM算法的交通標志識別方法[1]。而人臉識別更是被廣泛應(yīng)用于安全驗證系統(tǒng)、人機交互、視頻監(jiān)控系統(tǒng)、公共安全系統(tǒng)，機器人智能化等方面[2-4]。人臉識別的方法也成多樣化發(fā)展，如高晴等提出基于模糊聚類的LLE和SVM的方法，將模糊聚類方法引入LLE算法，定義樣本的近似重構(gòu)系數(shù)，進行局部重建矩陣，并結(jié)合SVM算法實現(xiàn)人臉識別，提高了識別率[5]。Liu等提出將最小二乘法與稀疏矩陣算法結(jié)合表示人臉局部結(jié)構(gòu)的方法，對面部分區(qū)后的局部區(qū)分類，通過LS和CRC計算局部區(qū)類別，綜合結(jié)果后再對人臉分類，該方法對復(fù)雜圖片的魯棒性強[6]。周靜等提出了新迭代規(guī)則的CNMF人臉識別，新迭代規(guī)則由引入的閾值稀疏約束獲得，通過基于該規(guī)則的稀疏CNMF分解訓(xùn)練樣本和測試樣本，分別得到相應(yīng)的權(quán)值矩陣，再由SVM分類識別，有效地提高了識別率和速率[7]。

此外，還有基于深度學(xué)習(xí)的方法，如余丹等提出的卷積神經(jīng)網(wǎng)絡(luò)與ELM相結(jié)合的人臉識別方法，固定卷積神經(jīng)網(wǎng)絡(luò)部分卷積核，再用其提取人臉特征，最后用ELM分類識別，減少了參數(shù)，提高了分類精度[8]。黃良輝等提出的輕量級卷積神經(jīng)網(wǎng)絡(luò)的人臉識別方法，利用基于MobileNet的輕量級卷積神經(jīng)網(wǎng)絡(luò)提取特征，用SSD目標檢測器進行識別，提高了識別率[9]。陳響提出基于YOLO v2實時識別監(jiān)控視頻中的人臉，該方法通過YOLO v2算法提取視頻中的關(guān)鍵幀，對人臉實時識別，提高了識別速率和準確率[10]。人臉識別經(jīng)過不斷的發(fā)展，準確率已經(jīng)很高。NIST在2018年發(fā)布的成績表明，現(xiàn)在全球最高水平的人臉識別技術(shù)為千萬分之一誤報下的識別準確率接近99%[11]。

人臉識別有四個步驟：圖片預(yù)處理、提取特征、特征表達、分類識別。其中，特征提取和分類識別是兩個關(guān)鍵步驟?，F(xiàn)在，在訓(xùn)練識別模型時會提供大量的多姿態(tài)和表情的人臉圖像，特征提取就是通過某種方法對原圖片降維，而且降維后的特征向量能夠準確地表示原始圖像包含的某種信息[12]。降維方法包含線性和非線性兩類，常用的有主成分分析(PCA)[13]、線性判別分析(LDA)、局部線性嵌入(LLE)[14]、拉普拉斯映射(LE)等。而分類識別是識別最后步驟，為了準確地識別人臉，提高人臉識別率，需要選擇合適的分類識別算法。常用的方法有支持向量機(SVM)[15]、極限學(xué)習(xí)機(ELM)[16]、BP神經(jīng)網(wǎng)絡(luò)等。

本文提出基于LLE-ELM的人臉識別方法。將LLE和ELM結(jié)合起來應(yīng)用于人臉識別。首先，利用LLE算法對原始人臉圖像提取特征，通過尋找人臉圖像中樣本點的最近鄰點，計算該點局部重建權(quán)值矩陣，將高維數(shù)據(jù)轉(zhuǎn)換為保持了原有特征結(jié)構(gòu)的低維數(shù)據(jù)，再將特征數(shù)據(jù)傳遞給ELM算法，通過單隱層的ELM網(wǎng)絡(luò)快速計算降維后數(shù)據(jù)的輸出權(quán)重，將該權(quán)重用于測試數(shù)據(jù)，最終實現(xiàn)人臉識別。輸出識別準確率、識別時長。

1 LLE與ELM算法

1.1 局部線性嵌入(LLE)算法

LLE算法思想是：表示原數(shù)據(jù)的局部線性，并在降維空間中保持這種局部線性。算法步驟是：

(1) 在高維空間中尋找每個樣本點的k個最近鄰點。

通常最近鄰點使用歐式距離公式表示，見式：

(1)

(2) 由每個樣本點的近鄰點計算出該樣本點的局部重建權(quán)值矩陣。

假設(shè)有N個D維樣本X={x1,x2,…,xN}，可用均方差作回歸問題的損失函數(shù)并矩陣化，有：

(2)

(3)

式中：Q(i)表示xi的k個近鄰樣本集合；wij為權(quán)重系數(shù)； 1k為全1向量。對式(2)、式(3)矩陣化后，通過拉格朗日子乘法，對W求導(dǎo)，可以得到式(4)：

(4)

(3) 由樣本點的局部重建權(quán)值W和其近鄰點k計算出該樣本點的輸出值。

將樣本點映射嵌入到低維空間中并矩陣化，有：

(5)

(6)

(7)

式中：J(Y)為損失函數(shù)；Ii、Wi表示矩陣I、W的第i列；M=(I-W)(I-W)T；Y=[y1,y2,…,yN]；tr為跡函數(shù)。通過拉格朗日子乘法，對式(5)中Y求導(dǎo)，有2MYT+2λYT=0。輸出M最小的d個非零特征值對應(yīng)的特征向量，通常取2～(d+1)個特征向量Y=(y2,y3,…,yd+1)T。

1.2 極限學(xué)習(xí)機(ELM)算法

ELM算法可以隨機初始化輸入權(quán)重和偏置值，并得到相應(yīng)的輸出權(quán)重，是一種快速學(xué)習(xí)算法[18]。

假設(shè)有N個任意樣本(Xi,Ti)，其中Xi=[xi1,xi2,…,xin]T∈RN為輸入，Ti=[ti1,ti2,…,tim]T∈Rm為輸出，有L個節(jié)點的神經(jīng)網(wǎng)絡(luò)可表示為：

(8)

式中：Wi為輸入權(quán)重，βi為輸出權(quán)重，bi是偏置值，g為激活函數(shù)。Wi·Xi表示內(nèi)積?？删仃嚤硎緸椋?/p>

Hβ=T

(9)

式中：H是求得的輸出，β為輸出權(quán)重，T為期望的輸出。

(10)

(11)

(12)

(13)

當(dāng)輸入權(quán)重Wi和偏置bi被隨機確定后，輸出矩陣H就被唯一確定。單隱層神經(jīng)網(wǎng)絡(luò)訓(xùn)練可轉(zhuǎn)化為求解式(11)，輸出權(quán)重β也可以確定：

(14)

H+是H的廣義逆矩陣，可通過正交映射法得到。

ELM算法訓(xùn)練過程如圖1所示。

圖1 ELM算法訓(xùn)練圖

算法步驟如下：

(1) 輸入訓(xùn)練樣本、隱層節(jié)點個數(shù)L、激活函數(shù)g。

(2) 隨機初始化輸入權(quán)值W、神經(jīng)元偏置值b。

(3) 選擇合適的激活函數(shù)g，計算隱層的輸出H。

(4) 計算輸出層權(quán)重β。

測試過程：

(1) 輸入測試樣本。

(2) 根據(jù)訓(xùn)練中求出的輸出權(quán)值矩陣β及對應(yīng)的Wi、bi估計測試數(shù)據(jù)的標簽。

(3) 確定數(shù)據(jù)所屬類別，求出識別率及識別時間。

2 基于局部線性嵌入的極限學(xué)習(xí)機

局部線性嵌入(LLE)算法在復(fù)雜圖像處理方面有很大優(yōu)勢。它參數(shù)少，使用簡單，且用局部的線性反映全局的非線性可以很好地表達數(shù)據(jù)內(nèi)部的流形結(jié)構(gòu)。算法中的優(yōu)化不涉及到局部最小化，使數(shù)據(jù)能保持原有數(shù)據(jù)的拓撲結(jié)構(gòu)[19]，很好地保留原數(shù)據(jù)的特征。由于它的這種優(yōu)點，LLE算法已經(jīng)廣泛應(yīng)用于非線性數(shù)據(jù)的降維方面，尤其是對內(nèi)容復(fù)雜的圖像的降維[20]。

極限學(xué)習(xí)機(ELM)作為一種前饋神經(jīng)網(wǎng)絡(luò)的單隱層機器學(xué)習(xí)算法是由Huang等學(xué)者提出[21]，在分類識別方面，它的優(yōu)勢在于只需要在進行樣本訓(xùn)練前設(shè)置隱藏層神經(jīng)單元的個數(shù)，輸入權(quán)值和偏置向量為隨機產(chǎn)生，最后得到唯一最優(yōu)的輸出權(quán)值。ELM學(xué)習(xí)速度快，泛化性能好，尤其是在人臉識別中，識別速度非?？臁；贓LM的優(yōu)勢，本文選取ELM為分類識別算法。

但ELM對噪聲魯棒性不強，對于某些有遮擋、光照變化等情況的人臉圖像，識別率會急劇下降。需要對復(fù)雜圖像處理效果明顯的降維算法加以彌補。為了解決這一問題，閆德勤教授及其學(xué)生王博林提出將SSLPP方法與ELM結(jié)合的方法[22]，Li等在ELM的基礎(chǔ)上提出以CNN為特征源，ELM為識別框架的圖片識別方法[23]。

而本文在綜合LLE算法的優(yōu)點后，提出將LLE算法引入ELM算法中，用LLE算法提取特征，ELM分類算法為識別框架的LLE-ELM算法來解決這一問題。LLE-ELM算法綜合了二者的優(yōu)點：初始需要設(shè)置的參數(shù)少且簡單，得到維數(shù)少且特征結(jié)構(gòu)清晰的降維數(shù)據(jù)，單隱層學(xué)習(xí)速度快、泛化性能好，學(xué)習(xí)過程復(fù)雜性降低，并且ELM算法的精度提高。引入LLE算法后的LLE-ELM算法，彌補了ELM算法缺點的同時提高人臉的識別率和識別速度。

融合LLE算法后的LLE-ELM人臉識別過程如圖2所示。

圖2 基于LLE-ELM算法的人臉識別圖

算法步驟如下：

(1) 輸入原始數(shù)據(jù)，設(shè)置初始參數(shù)，用LLE算法將圖片的高維空間數(shù)據(jù)點按維數(shù)映射到低維嵌入空間，構(gòu)造圖片新因子，輸出原始數(shù)據(jù)的低維特征數(shù)據(jù)。

(2) 將新因子作為ELM算法的輸入變量，設(shè)置ELM算法的初始輸入權(quán)重和偏置值，建立基于LLE-ELM算法的圖片分類模型。

(3) 輸出識別準確率及識別時長。

LLE-ELM算法的參數(shù)選取主要包括兩方面：一是LLE算法的合適的樣本點的k個近鄰點和降維后的輸出維數(shù)d。若k值過大，會使LLE算法趨向于PCA算法，取值過小，則不能保持樣本點在低維空間的拓撲結(jié)構(gòu)。而d取值過大會使降維結(jié)果中含有過多的噪聲，取值過小，會致使本來不同的點在低維空間可能會彼此交疊[24]。因此，綜合后本文k值按照其他實驗中的經(jīng)驗值6～18[25]選取，d值按文獻[17]的歐式距離法選取。二是ELM算法中隱層節(jié)點個數(shù)L和激活函數(shù)的選擇。激活函數(shù)選取常用的sig函數(shù)，而L通過以下實驗選擇，如圖3所示，ORL人臉庫為實驗數(shù)據(jù)，隱層節(jié)點個數(shù)取10、20、30、40、50、60、70、80、90、100，激活函數(shù)選取sig函數(shù)，進行50次的平均結(jié)果分析最佳節(jié)點個數(shù)。

(a) 不同節(jié)點數(shù)的準確率(b) 不同節(jié)點數(shù)的識別時間圖3 不同節(jié)點數(shù)時的實驗結(jié)果

如圖3(a)所示，隱層節(jié)點數(shù)從30開始，精度超過50%，在超過100后，增幅減小趨近100%。而圖3(b)所示，隱層節(jié)點設(shè)置在30～80，較平穩(wěn)，之后增幅加大，因此，綜合考慮，隱藏節(jié)點在30～80之間選取。

3 實驗結(jié)果及分析

實驗環(huán)境：MATLAB R2016a為實驗平臺。計算機配置：Intel(R) CoreTMi5-6200U CPU @2.30 GHz 2.40 GHz為處理器，4.00 GB內(nèi)存與Windows 10操作系統(tǒng)。通過與PCA算法、SVM算法及卷積神經(jīng)網(wǎng)絡(luò)(CNN)對比，得到LLE算法、ELM算法以及LLE-ELM算法的人臉識別結(jié)果。選取ORL人臉數(shù)據(jù)庫、Yale人臉數(shù)據(jù)庫、AR人臉數(shù)據(jù)庫和部分CASIA-WEBFACE人臉數(shù)據(jù)庫作為人臉數(shù)據(jù)集，數(shù)據(jù)集的詳細信息如表1所示。

表1 人臉庫信息表

實驗的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)分配情況如表2所示。

表2 實驗數(shù)據(jù)集分配表

表2是選取的實驗數(shù)據(jù)分配情況，每種數(shù)據(jù)的訓(xùn)練集、測試集的數(shù)量都是數(shù)據(jù)集的50%。四種數(shù)據(jù)集的數(shù)量各不相同，以此檢驗算法對不同數(shù)量數(shù)據(jù)集的識別效果。

3.1 LLE算法的對比實驗

本文選取局部線性嵌入算法(LLE)，k值為6～18，d值按歐式距離法選取。其對照選取應(yīng)用廣泛的主成分分析算法(PCA)，以相同的ELM算法為降維后的數(shù)據(jù)的分類算法，ELM神經(jīng)網(wǎng)絡(luò)的隱含層的神經(jīng)元個數(shù)從30～80中選取，激活函數(shù)為sig函數(shù)。選取ORL人臉庫和Yale人臉庫作為原始數(shù)據(jù)，訓(xùn)練集與測試集的數(shù)量如表2所示。實驗結(jié)果如表3所示。

表3 ORL及Yale數(shù)據(jù)集上的人臉識別率

由表3中的數(shù)據(jù)可以看出，在ORL數(shù)據(jù)集中，使用LLE算法降維與PCA算法降維后，識別率幾乎相同，都在90%以上，而在Yale人臉庫上識別率較低，且二者相差5%。在識別速度上，無論是那種數(shù)據(jù)集，LLE算法降維的數(shù)據(jù)識別更快，識別速度是PCA算法的1.50～1.77倍。綜上表明，通過LLE算法和PCA算法得到的數(shù)據(jù)在表現(xiàn)原始數(shù)據(jù)特征的能力上基本相同，但是LLE算法的數(shù)據(jù)識別更快。

3.2 LLE-ELM實驗

本文選取ELM算法進行分類識別。旨在保證識別準確率的同時，減少識別的時間。實驗證明ELM算法與SVM分類算法相比，能夠提高準確率，而且能夠減少識別時間。

3.2.1ELM算法的對比實驗

ELM與SVM分類算法的對比，確定兩種算法對數(shù)據(jù)進行識別的準確率和速度，實驗結(jié)果如表4所示。

表4 ELM與SVM的人臉識別率及識別速度

由表4可以看出，在不降維的情況下，ELM算法的識別準確率比SVM高5.94%～6.60%。且ELM的識別時間短，識別速度是SVM算法的11.76～38.35倍。無論在哪種數(shù)據(jù)庫上，ELM算法更有優(yōu)勢，但其識別精度較低，不到90%。

3.2.2LLE-ELM與ELM、SVM、CNN的對比實驗

將基于LLE-ELM的人臉識別算法，與ELM算法、SVM算法對比，實驗結(jié)果如表5所示。

表5 LLE-ELM、ELM、SVM算法對比

由表5可以看出，在本文所選的三種算法中，ELM算法在數(shù)據(jù)少、中、多的三種人臉數(shù)據(jù)庫中，其識別率在85.27%～94.58%，時間在0.04～2.08 s之間。SVM算法識別率最低，在61.40%～82.50%之間，且識別時間較長，最短為0.44 s，最長為14.94 s，在三種算法中效果最差。而LLE-ELM算法其識別率較高，在90.80%～96.33%之間，時間在0.004 4～0.237 2 s之間。實驗結(jié)果表明：LLE-ELM算法不管是在識別率上，還是在運行時間上都優(yōu)于其他兩種對比算法。

在簡單人臉圖片ORL和復(fù)雜人臉圖片CASIA-WEBFACE上實驗，對比實驗結(jié)果，確定LLE-ELM算法對更接近日常環(huán)境中的人臉的處理能力，并與卷積神經(jīng)網(wǎng)絡(luò)對比，如表6所示。

表6 LLE-ELM算法與CNN對比

由表6可得，在兩種數(shù)據(jù)集上LLE-ELM識別率為93.17%～96.33%，識別時間為0.005 9～0.488 0 s。而CNN識別率為90.00%～93.75%，一次迭代所用時間為0.872 5～1.113 3 s。實驗結(jié)果表明，LLE-ELM算法的識別率與卷積神經(jīng)網(wǎng)絡(luò)都超過90%，且相差不大，只有2.58%～3.17%，并且對復(fù)雜圖片的識別能力較好，識別時間遠少于卷積神經(jīng)網(wǎng)絡(luò)。

4 結(jié) 語

本文將LLE算法與ELM算法相結(jié)合，設(shè)計了基于LLE-ELM的人臉識別算法，通過實驗驗證可以得出以下結(jié)論：

(1) LLE算法在對數(shù)據(jù)進行特征提取方面比常用的PCA算法，速度更快，而且識別精度較高。另外，由于影響人臉的因素較多，利用LLE算法處理非線性數(shù)據(jù)效果好的優(yōu)點，能更好地挖掘圖像中的人臉特征，提高分類精度。

(2) 由于ELM算法單隱層模式及其輸入權(quán)值隨機賦給，所以不需要提前設(shè)置輸入權(quán)值，使得算法應(yīng)用簡單，計算速度快。但也說明其權(quán)值并非是最優(yōu)值，因此，可能會對ELM算法精度有影響，有待改進。

(3) 基于LLE-ELM的人臉識別算法與ELM算法、SVM算法和CNN算法相比，不僅提高了識別率，而且大幅度縮短了識別所用的時間，提高了識別的速度。