侯現(xiàn)坤 田文泉

【摘 要】人臉識(shí)別在生物識(shí)別中有著重要地位，在許多領(lǐng)域發(fā)揮著重要地位，但是由于現(xiàn)實(shí)生活中人們面部經(jīng)常會(huì)受到局部大面積遮擋，比如在疫情期間大部分外出都會(huì)佩戴口罩，面部受到遮擋，導(dǎo)致傳統(tǒng)的算法識(shí)別的準(zhǔn)確度偏低，所以在提升動(dòng)態(tài)局部遮擋人臉識(shí)別方面還有很大的研究空間。該技術(shù)的研究可以應(yīng)用于手機(jī)的人臉識(shí)別，使用者可以不取口罩進(jìn)行手機(jī)解鎖更加方便，節(jié)約時(shí)間而且在疫情期間可以避免取口罩時(shí)被口罩上的病毒感染。并且可以運(yùn)用于警察抓捕犯罪分子，犯罪分子為了避免被發(fā)現(xiàn)可能，會(huì)佩戴口罩增加人臉識(shí)別難度導(dǎo)致識(shí)別錯(cuò)誤，因此提高口罩人臉識(shí)別的準(zhǔn)確度可以減少警察的不必要出警，節(jié)約人力和物力。提高安檢效率，在疫情期間大家都會(huì)佩戴口罩出行，如果過(guò)安檢時(shí)要取掉口罩在進(jìn)行人臉識(shí)別會(huì)降低安檢速度。本項(xiàng)目旨在通過(guò)提取未遮擋部分特征和臉部邊緣特征，基于深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練提高口罩大面積遮擋人臉識(shí)別的準(zhǔn)確度。

【關(guān)鍵詞】口罩;遮擋人臉;識(shí)別方法

一、引言

人臉識(shí)別主要分為三類有人臉1：1人臉識(shí)別以及1：n人臉識(shí)別和n：n人臉識(shí)別，1：1對(duì)比是指給定兩個(gè)臉判斷是否為同一個(gè)人，常用于銀行柜臺(tái)，手機(jī)解鎖，酒店入住等。1：n對(duì)比是一張待檢索圖片，在大小為n的人臉庫(kù)中比對(duì)判斷是否有目標(biāo)人物，主要用于犯罪偵查。n：n比對(duì)是大量的攝像頭都在實(shí)時(shí)抓拍，有很多待確定的抓拍人臉與相對(duì)比較大的人臉庫(kù)進(jìn)行比對(duì)，主要用于小區(qū)門禁，安防監(jiān)控等。早期的人臉識(shí)別由于鼻子和嘴巴都會(huì)被口罩遮擋，所以很難運(yùn)用于口罩遮擋的人臉識(shí)別，我們將采用卷積層對(duì)臉部的邊緣特征進(jìn)行提取并且使用特征部位的相對(duì)位置提高準(zhǔn)確度。在ICCV中Viola和Jones發(fā)表的文章介紹了一個(gè)實(shí)時(shí)的人臉識(shí)別檢測(cè)系統(tǒng)，使人臉檢測(cè)技術(shù)應(yīng)用于工業(yè)界。該技術(shù)主要有三個(gè)貢獻(xiàn)基于Hear-like矩陣特征實(shí)現(xiàn)快速計(jì)算，基于AdaBoost分類器設(shè)計(jì)，采用Cascade技術(shù)提高了檢測(cè)速度[1]。但Viola和Jones基于AdaBoost分類器設(shè)計(jì)的算法不能檢測(cè)佩戴口罩的人臉復(fù)旦大學(xué)的周孝佳和上海視頻技術(shù)與系統(tǒng)工程研究中心的朱允斌等，通過(guò)把人臉裁剪出左眼，右眼，鼻子和嘴巴四個(gè)區(qū)塊分別進(jìn)行特征提取，再根據(jù)遮擋判別的結(jié)果進(jìn)行特征融合，從而得到人臉的特征[2]。但是由于口罩是大面積遮擋很難對(duì)鼻子和眼睛特征進(jìn)行提取，其預(yù)測(cè)結(jié)果會(huì)產(chǎn)生一定的誤差。我們把人臉未遮擋部位的部位眉毛，眼睛進(jìn)行分塊并進(jìn)行占比分析提高準(zhǔn)確度。安徽理工大學(xué)的劉瑞欣因?yàn)榉謮K提取特征，分塊的大小的選擇的問(wèn)題。提出了使用多尺度梯度直方圖對(duì)分塊進(jìn)行處理，使面部變化更有魯棒性并且減少特征點(diǎn)的丟失[3]。浙江工業(yè)大學(xué)的沈聞佳針對(duì)小樣本問(wèn)題提出了基于貝葉斯多元分布的特征提取與識(shí)別算法，使得遮擋分散盡可能降低遮擋對(duì)識(shí)別的影響。并且使用梯度臉和馬爾夫隨機(jī)場(chǎng)解決了光照變化時(shí)導(dǎo)致的遮擋的人臉識(shí)別率偏低的問(wèn)題[4]。隨著科技的進(jìn)步有越來(lái)越多的關(guān)于人臉別遮擋的研究方法，尤其深度學(xué)習(xí)和3D模型的提出，為提高遮擋人臉識(shí)別的準(zhǔn)確度打開了新的思路。

二、方法步驟

本研究擬采用的技術(shù)路線如圖1所示，研究采用matlab軟件，和基于BSD許可OpenCV視覺庫(kù)，利用MATLAB Support Package for USB Webcames軟件支持包調(diào)用攝像頭，通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練提高人臉識(shí)別準(zhǔn)確度。詳細(xì)內(nèi)容如下：

（一）人臉檢測(cè)

級(jí)聯(lián)物體檢測(cè)使用Viola-Jones算法只可以檢測(cè)出無(wú)遮擋的人臉，如果要檢測(cè)被口罩大面積遮擋的人臉，需要利用圖像標(biāo)簽使用TrainCascadeObjectDetector函數(shù)來(lái)訓(xùn)練自定義的分類器。檢測(cè)器使用級(jí)聯(lián)分類器來(lái)確定窗體中是否包含要檢測(cè)的對(duì)象，被檢測(cè)的對(duì)象大多數(shù)是3D的，不同的方向縱橫比都會(huì)發(fā)生變化，因此需要為每個(gè)方向訓(xùn)練一個(gè)檢測(cè)器。用訓(xùn)練好的分類器對(duì)戴口罩的人臉進(jìn)行檢測(cè)，判斷出人臉的位置和大小。利用Cascade技術(shù)提高人臉檢測(cè)的速率。檢測(cè)到人臉之后，基于3d結(jié)構(gòu)光和yolo算法檢測(cè)未遮擋部分，首先利用yolo算法把人臉?lè)殖珊线m大小的區(qū)域，再通過(guò)紅外線發(fā)射器發(fā)射紅外線，相鄰的小區(qū)域接收的紅外線利用matlab平臺(tái)對(duì)接收到的波形圖進(jìn)行分析和計(jì)算得出相位差。如果相位差發(fā)生很大的變化說(shuō)明有遮擋影響，利用獲取的相位差分析出未遮擋部分。

（二）圖片預(yù)處理

該內(nèi)容包括四個(gè)部分：（1）圖片尺度縮放，利用matlab中工具箱對(duì)獲取到的圖片使用插值法計(jì)算出像素的值，進(jìn)行加權(quán)平均來(lái)調(diào)整圖片的大小。（2）圖像灰度轉(zhuǎn)換，調(diào)整圖像的圖像的灰度動(dòng)態(tài)范圍，提升視覺效果，使圖像空間域增強(qiáng)。使用點(diǎn)運(yùn)算，把輸入的RGB圖像使用加權(quán)法計(jì)算每個(gè)點(diǎn)的像素灰度值給到對(duì)應(yīng)的RGB分類，轉(zhuǎn)換成灰度圖像，公式為GRAY=0.3R+0.59G+0.11B，采用的技術(shù)路線如圖2所示。（3）直方圖均衡化，對(duì)直方圖有目的的拉伸，強(qiáng)化我們感興趣的區(qū)域，光照條件會(huì)影響人臉識(shí)別的準(zhǔn)確度，為消除這個(gè)影響采用直方圖均衡化改善輸入圖像的亮度和對(duì)比度[5]。（4）人臉對(duì)齊，根據(jù)輸入圖像的特征點(diǎn)建立人臉表達(dá)的圖像模型與人臉形狀模型的關(guān)聯(lián)，使用級(jí)聯(lián)形狀回歸或深度學(xué)習(xí)進(jìn)行人臉對(duì)齊。

（三）特征提取

通過(guò)LBP提取出未被遮擋部位的特征，對(duì)整幅圖進(jìn)行block劃分，在每個(gè)block中建立cell和lbp直方圖對(duì)人臉特征細(xì)微的紋理進(jìn)行表達(dá)?；诓煌陌霃?，提取多種模式的特征，使lbp具有尺度不變形。把最左邊的點(diǎn)逆時(shí)針展開，算出十進(jìn)制數(shù)，取其中最小的lbp值，或只記錄跳變次數(shù)，使lbp特征具有旋轉(zhuǎn)不變性[6]。進(jìn)行展開提取的特征的形狀轉(zhuǎn)換為數(shù)學(xué)模型進(jìn)行大小的計(jì)算;分析和計(jì)算出提取特征的相對(duì)位置用于人臉識(shí)別;利用直方圖均衡化消除人臉識(shí)別的光照影響，提高識(shí)別的魯棒性。并利用神經(jīng)網(wǎng)絡(luò)卷積層提取圖像的二維特征，使用不同的算子檢測(cè)垂直邊緣和水平邊緣，利用全連接層把所有特征融合，通過(guò)池化層對(duì)原始特征信號(hào)進(jìn)行采樣，使用非線性激活層決定哪些神經(jīng)元活躍程度，最后在歸一化指數(shù)層完成最后輸出概率計(jì)算。

（四）神經(jīng)網(wǎng)絡(luò)訓(xùn)練

神經(jīng)網(wǎng)絡(luò)比PCA降維有更好的隱形表達(dá)，后期訓(xùn)練采用神經(jīng)網(wǎng)絡(luò)對(duì)人臉圖片進(jìn)行降維處理，如果識(shí)別出現(xiàn)誤差，使用反饋型神經(jīng)網(wǎng)絡(luò)和以誤差為主導(dǎo)的反向傳播算法，對(duì)人臉識(shí)別進(jìn)行訓(xùn)練。輸入的多維向量經(jīng)過(guò)隱藏層計(jì)算后輸出一個(gè)低維向量，輸出維的值代表該目標(biāo)人臉圖片的概率。通過(guò)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與標(biāo)簽對(duì)比，判斷預(yù)測(cè)準(zhǔn)確性。如果發(fā)現(xiàn)預(yù)測(cè)不夠好，通過(guò)優(yōu)化器調(diào)整網(wǎng)絡(luò)參數(shù)不斷優(yōu)化把損失函數(shù)降低，使預(yù)測(cè)值不斷接近真實(shí)值，技術(shù)路線圖3所示。對(duì)人臉庫(kù)中的每一個(gè)照片的眼睛和眉毛面積總和占臉部面積的比例作為特征值，按照特征值把人臉庫(kù)中的圖片進(jìn)行分類。首先當(dāng)獲取到人臉圖片時(shí)計(jì)算出人臉圖片的特征值屬于那一個(gè)范圍，然后在這此范圍按照未遮擋部分的特征進(jìn)行比對(duì)，減少比對(duì)的圖片數(shù)量提高識(shí)別的準(zhǔn)確度和速度。技術(shù)路線圖3所示。

三、結(jié)語(yǔ)

本文對(duì)口罩遮擋人臉識(shí)別方法進(jìn)行了闡述。當(dāng)檢測(cè)到被口罩大面積遮擋的人臉時(shí)，基于3d結(jié)構(gòu)光和yolo算法檢測(cè)未遮擋部分，通過(guò)未被遮擋的特征快速為后期識(shí)別出目標(biāo)人臉打下基礎(chǔ)。通過(guò)對(duì)人臉庫(kù)的圖片按照特征分類提高檢測(cè)效率。利用訓(xùn)練集，測(cè)試集和標(biāo)簽使人臉識(shí)別的準(zhǔn)確度可以通過(guò)不斷的機(jī)器學(xué)習(xí)得以提高。但基于相位差判斷出未遮擋部位，優(yōu)化算法修改參數(shù)降低損失函數(shù)還需要進(jìn)一步研究。

【參考文獻(xiàn)】

[1]P Viola，MJones.Robut Real-Time FaceDetection[j].International Journal of Computer Vision 2004，57（2）：137-154.

[2].周孝佳， 朱允斌， 張躍. 基于分塊的有遮擋人臉識(shí)別算法[J]. 計(jì)算機(jī)應(yīng)用與軟件， 2018， v.35（02）：190-194+200.

[3].劉瑞欽. An Occlusion Face Recognition Method Based on PCA and HOG%一種基于PCA和HOG有遮擋的人臉識(shí)別方法[J]. 電腦知識(shí)與技術(shù)，2019，015（004）：171-173.

[4].沈聞佳. 有遮擋人臉圖像的特征提取和識(shí)別研究[D].浙江工業(yè)大學(xué)，2019：19-43.

[5]. 任艷斐. 直方圖均衡化在圖像處理中的應(yīng)用[J]. 科技信息， 2007， 000（004）：37-38.

[6]. 王聃， 李浩茹， 鄧春偉. 基于局部區(qū)域LBP特征的人臉識(shí)別研究[J]. 黑龍江工程學(xué)院學(xué)報(bào)：自然科學(xué)版， 2012（03）：50-52+63.

[7].張雪楠. 基于PCA降維的快速人臉檢測(cè)算法研究[D]. 2016.

[8].張阿妞. 基于優(yōu)化的LDA與神經(jīng)網(wǎng)絡(luò)人臉識(shí)別方法研究[D]. 汕頭大學(xué).