亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        有遮擋人臉識(shí)別方法綜述

        2020-05-15 08:10:58董艷花張樹美趙俊莉
        關(guān)鍵詞:字典人臉識(shí)別人臉

        董艷花,張樹美,趙俊莉

        青島大學(xué) 數(shù)據(jù)科學(xué)與軟件工程學(xué)院,山東 青島266071

        1 引言

        近幾十年來,由于人臉圖像中含有豐富的特征信息,人臉識(shí)別方法一直是最容易進(jìn)行特征提取的生物識(shí)別方法,因此人臉識(shí)別順勢(shì)成為計(jì)算機(jī)視覺與模式識(shí)別領(lǐng)域內(nèi)的一個(gè)研究熱點(diǎn)。人臉識(shí)別是生物識(shí)別技術(shù)的一種形式,涉及到計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、模式識(shí)別和心理學(xué)等多個(gè)方面,是基于人獨(dú)特的特征進(jìn)行身份驗(yàn)證的有效手段。人臉識(shí)別具有圖像獲取途徑簡(jiǎn)單、成本較低,而且用于身份鑒定的過程中完全不需要接觸目標(biāo)等優(yōu)點(diǎn),所以人臉識(shí)別的應(yīng)用范圍越來越廣,例如:罪犯識(shí)別、智能視頻監(jiān)控、人機(jī)交互、人證比對(duì)、社交和娛樂等領(lǐng)域。

        早在1964 年和1965 年期間,Bledsoe 與Helen Chan等人就開始利用計(jì)算機(jī)數(shù)學(xué)旋轉(zhuǎn)補(bǔ)償姿勢(shì)變化進(jìn)行人臉識(shí)別。1987 年Sirovich 等人[1]最早將K-L 變換應(yīng)用到人臉圖像的最優(yōu)表示中,通過特征面進(jìn)行人臉識(shí)別。Turk等人[2]于1991年提出了主成分分析(Principal Component Analysis,PCA)的eigenface 方法,應(yīng)用在人臉分類中。這些傳統(tǒng)的人臉識(shí)別方法大大地提高了人臉識(shí)別的性能。發(fā)展至今,人臉識(shí)別技術(shù)隨著計(jì)算機(jī)視覺的迅速發(fā)展變得日益成熟,在商業(yè)領(lǐng)域的約束環(huán)境下已經(jīng)有了很高的識(shí)別率。

        然而,相比于約束環(huán)境,在自然真實(shí)的環(huán)境下,人臉圖像在采集時(shí)往往受到各種方式的遮擋等不利因素的影響,導(dǎo)致現(xiàn)有的人臉識(shí)別性能遠(yuǎn)遠(yuǎn)不能滿足實(shí)用的要求,由于遮擋的大小、形狀、種類等因素的不確定性,極大地阻礙了人臉識(shí)別的研究及應(yīng)用。所以要想把人臉識(shí)別技術(shù)能夠在真實(shí)環(huán)境中應(yīng)用,必須解決面部遮擋問題。

        近年來國(guó)內(nèi)外研究者一直致力于有遮擋人臉有效識(shí)別問題的研究[3-7],提出許多有效的算法,主要包含處理遮擋問題的生成模型、判別模型及魯棒特征提取三類方法。通過利用人臉圖像的結(jié)構(gòu)及遮擋固有的結(jié)構(gòu)來表示、抑制或消除遮擋,并對(duì)遮擋人臉進(jìn)行魯棒特征提取,以此降低遮擋對(duì)人臉識(shí)別的影響,提高了有遮擋人臉識(shí)別的健壯性和精確性。

        2 傳統(tǒng)的人臉識(shí)別方法

        較早的人臉識(shí)別算法主要是簡(jiǎn)單的基于邊緣檢測(cè)識(shí)別的算法,比如利用紋理、邊緣及膚色等一些低層人臉特征[8-9],結(jié)合人臉局部器官的幾何約束[10-11]定位人臉,大部分根據(jù)先驗(yàn)知識(shí)進(jìn)行識(shí)別,即基于知識(shí)的方法進(jìn)行識(shí)別,但是這種識(shí)別方法具有實(shí)時(shí)性差、識(shí)別效率低等缺點(diǎn)。針對(duì)這種識(shí)別方法所存在的缺點(diǎn),研究人員又提出了利用統(tǒng)計(jì)學(xué)習(xí)的理論區(qū)分人臉和非人臉的識(shí)別方法。所以傳統(tǒng)人臉識(shí)別的方法主要包含兩類:基于知識(shí)的方法和基于統(tǒng)計(jì)的方法,如圖1所示。

        圖1 傳統(tǒng)人臉識(shí)別方法

        2.1 基于知識(shí)的方法

        基于知識(shí)的方法主要是根據(jù)人臉的先驗(yàn)知識(shí)找到簡(jiǎn)單的規(guī)則來描述人臉局部特征之間的相對(duì)位置關(guān)系。目前主要包含基于特征和基于模板匹配的方法。

        (1)基于特征的方法

        該方法主要利用眼睛、鼻子、嘴角等部位的膚色、灰度及紋理特征信息及它們之間結(jié)構(gòu)位置的相對(duì)固定關(guān)系進(jìn)行人臉識(shí)別。為了提高復(fù)雜背景和面部旋轉(zhuǎn)的人臉識(shí)別性能,Ban 等人[12]將膚色信息僅用于膚色強(qiáng)調(diào),進(jìn)一步提高了復(fù)雜背景和面部旋轉(zhuǎn)的人臉識(shí)別性能。Lucena 等人[13]使用直接且低復(fù)雜的皮膚百分比閾值約束來增強(qiáng)弱檢測(cè)器的性能,實(shí)驗(yàn)對(duì)比表明該方法提高了人臉識(shí)別率。陸繼凱等人[14]利用灰度積分投影確定眼睛、鼻子、嘴巴的特征點(diǎn)位置分布,并利用相同特征點(diǎn)之間的歐氏距離與待識(shí)別人臉進(jìn)行相似度匹配,根據(jù)匹配程度判別兩者是否是同一人,該方法在尋找失蹤人口及違法分子探查等領(lǐng)域具有突出貢獻(xiàn)。

        基于特征的方法適合在局部特征點(diǎn)比較明顯的情況下,具有速度快、模型簡(jiǎn)單和分類識(shí)別效果佳等特點(diǎn),但處理存在遮擋、光照變化或者姿勢(shì)變化等情況的人臉圖像時(shí)魯棒性較差,就很難達(dá)到較好的識(shí)別效果。

        (2)基于模板匹配的方法

        該方法將待識(shí)別人臉圖像與人臉模板進(jìn)行面部特征匹配,找到匹配度較高的人臉模板,并將待識(shí)別人臉圖像歸為該人臉模板的類別。為解決現(xiàn)實(shí)中通常只有一小部分面部圖像可用的問題,Nikan[15]提出一種基于模板匹配的局部人臉識(shí)別策略,利用模板匹配技術(shù)在數(shù)據(jù)庫(kù)的樣本中找到與局部圖像最匹配的人臉部分,但模板尺寸小于完整圖像尺寸的6.25%時(shí),會(huì)導(dǎo)致識(shí)別精度急劇下降。為了探索一種在彩色圖像中進(jìn)行人臉識(shí)別的方法,Wang[16]提出一種使用最小二乘和人臉模板的算法,利用最小二乘匹配方法操作每個(gè)檢測(cè)圖像和彩色面部模板,并利用閾值決策原理確定人臉或非人臉,該方法在實(shí)驗(yàn)圖像中可以準(zhǔn)確地對(duì)人臉進(jìn)行判斷。

        基于模板匹配的方法雖然可以有效地檢測(cè)到圖像中的人臉,但模板都是專家先預(yù)定義的,是一種粗略的模型,因此該類方法識(shí)別精度不太高,而且計(jì)算量很大。

        2.2 基于統(tǒng)計(jì)的方法

        由于人臉圖像的復(fù)雜性,利用對(duì)人臉的先驗(yàn)知識(shí)導(dǎo)出的規(guī)則進(jìn)行人臉識(shí)別有一定的難度,并且基于知識(shí)的識(shí)別方法具有實(shí)時(shí)性差、識(shí)別效率低等缺點(diǎn),因此提出了基于統(tǒng)計(jì)的方法來識(shí)別圖像中人臉與非人臉的統(tǒng)計(jì)特征。目前主要包含基于線性子空間、基于支持向量機(jī)、基于人工神經(jīng)網(wǎng)絡(luò)三類方法。

        (1)基于子空間的方法

        基于子空間的方法是一種將人臉圖像作為一個(gè)向量經(jīng)某種空間變換算法,投影到低維的子空間中的方法,在低維子空間中,具有特征計(jì)算量少、計(jì)算復(fù)雜度低的優(yōu)勢(shì),能更快地實(shí)現(xiàn)人臉和非人臉的分類。

        PCA是基于子空間最常用的人臉識(shí)別方法,通過對(duì)圖像進(jìn)行K-L 變換消除原有向量之間的相關(guān)性,獲得最大的若干個(gè)特征向量來表示原來的圖像。為避免PCA受到外界干擾因素的影響,Ren 等人[17]提出將PCA 與Adaboost算法相結(jié)合的方法,提高了PCA的識(shí)別精度和抗干擾能力。Fan[18]等人通過構(gòu)造一種弱機(jī)器單元生成一種新的綜合相似子空間,使改進(jìn)的PCA 不僅適用于訓(xùn)練樣本數(shù)量小于數(shù)據(jù)維數(shù)的應(yīng)用場(chǎng)景,還可以應(yīng)用于人臉圖像重建,具有強(qiáng)大的數(shù)據(jù)表示能力。

        雖然PCA 在人臉圖像降維和特征提取方面取得了顯著的效果,但不能有效地消除光照、遮擋、表情等不利因素對(duì)人臉識(shí)別的影響,對(duì)遮擋沒有較高的魯棒性。

        (2)基于支持向量機(jī)的方法

        支持向量機(jī)(Support Vector Machines,SVM)主要思想是通過核函數(shù)把低維空間中線性不可分的數(shù)據(jù)映射到高維空間中,解決了低維空間線性不可分的問題。

        胡沐晗等人[19]通過PCA 提取人臉圖像的重要特征并降維,利用SVM 對(duì)人臉圖像進(jìn)行分類。Kortli等人[20]提出利用局部二值模式直方圖和支持向量機(jī)相結(jié)合的方法,提高了人臉檢測(cè)的效率和魯棒性。

        雖然基于支持向量機(jī)在表情和人臉識(shí)別領(lǐng)域中被廣泛應(yīng)用,但如何選擇更為合適的核函數(shù)和參數(shù),提高對(duì)遮擋人臉識(shí)別的性能仍是未來支持向量機(jī)研究的重點(diǎn)。

        (3)基于人工神經(jīng)網(wǎng)絡(luò)的方法

        人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)通過對(duì)樣本的自動(dòng)學(xué)習(xí),將人臉圖像的規(guī)則進(jìn)行隱形表達(dá),避免復(fù)雜的特征提取,具有較強(qiáng)的非線性和自適應(yīng)能力,能夠有效處理實(shí)際中很多非線性化問題。

        Yu 等人[21]提出一種基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別算法,利用BP神經(jīng)網(wǎng)絡(luò)分類器對(duì)人臉特征進(jìn)行分類,降低了背景噪聲的干擾,提高人臉識(shí)別精度和運(yùn)算速度。Tao 等人[22]利用核組合的局部卷積神經(jīng)網(wǎng)絡(luò)和SVM 的魯棒人臉檢測(cè)算法,使人臉識(shí)別具有魯棒性。

        目前面向?qū)崟r(shí)的遮擋人臉識(shí)別,人工神經(jīng)網(wǎng)絡(luò)由于運(yùn)算時(shí)間較長(zhǎng),且需要人為調(diào)參,導(dǎo)致人臉識(shí)別效率較低,但基于深度學(xué)習(xí)的人臉識(shí)別通過大規(guī)模的數(shù)據(jù)訓(xùn)練,學(xué)習(xí)到大量具有代表性的特征信息,彌補(bǔ)了人工網(wǎng)絡(luò)的缺陷,顯著提高了人臉識(shí)別效率。傳統(tǒng)人臉識(shí)別方法從計(jì)算量、運(yùn)算速度及對(duì)遮擋人臉識(shí)別的魯棒性等方面進(jìn)行比較,各有其特點(diǎn),見表1。

        通過表1 對(duì)比得知傳統(tǒng)人臉識(shí)別方法不能精確識(shí)別有遮擋的人臉,而現(xiàn)實(shí)生活中人們經(jīng)常佩戴眼鏡、口罩等裝飾品,導(dǎo)致人的面部存在各種方式的遮擋,所以傳統(tǒng)人臉識(shí)別方法不能滿足現(xiàn)實(shí)應(yīng)用的需求,因此有遮擋人臉識(shí)別仍是計(jì)算機(jī)視覺中的一個(gè)難題,未來科研工作者需加大對(duì)有遮擋人臉識(shí)別的研究。

        3 有遮擋人臉的識(shí)別方法

        現(xiàn)實(shí)中導(dǎo)致面部遮擋的原因大致分為:光照遮擋、物體遮擋和自遮擋三種。目前對(duì)遮擋人臉識(shí)別問題可以從是否需要考慮遮擋位置分為“深度”特征識(shí)別和“淺層”特征識(shí)別兩個(gè)方面,目前由于深度學(xué)習(xí)的網(wǎng)絡(luò)模型能自動(dòng)學(xué)習(xí)人臉特征,僅需要對(duì)大量的遮擋人臉圖像進(jìn)行訓(xùn)練,所以不需要考慮遮擋的位置。但“淺層”特征識(shí)別卻需要考慮遮擋的位置,通過判別遮擋位置,實(shí)現(xiàn)對(duì)遮擋位置的檢測(cè),然后將遮擋部分從原始圖像中分離出來,對(duì)遮擋部分進(jìn)行重構(gòu),或者將遮擋部分直接丟棄。所以根據(jù)遮擋識(shí)別重點(diǎn)解決的問題,可以從三方面討論使用的主要方法:一是重點(diǎn)考慮如何對(duì)遮擋部分重構(gòu)的生成模型;二是重點(diǎn)考慮如何檢測(cè)遮擋位置的判別模型;三是重點(diǎn)考慮如何對(duì)遮擋人臉有效提取特征的魯棒特征提取。

        生成模型是將待識(shí)別有遮擋人臉圖像看作是原始不含遮擋的人臉圖像與遮擋部分或遮擋引起的誤差的疊加,通過魯棒子空間回歸將待識(shí)別圖像的不含遮擋的人臉圖像和遮擋部分各自回歸到它們所屬的子空間,或利用魯棒結(jié)構(gòu)化誤差編碼對(duì)遮擋引起的誤差進(jìn)行編碼操作,重點(diǎn)考慮如何將遮擋部分或者遮擋誤差從待識(shí)別遮擋人臉圖像中分離。判別模型是將待識(shí)別有遮擋人臉圖像看作有遮擋部分和無遮擋部分的拼接,通常需要對(duì)遮擋誤差的權(quán)重進(jìn)行復(fù)雜的描述,重點(diǎn)考慮如何檢測(cè)到遮擋位置及如何將有遮擋部分和無遮擋部分分離開。雖然生成模型和判別模型的識(shí)別方法在有遮擋人臉下取得顯著效果,但近期大量的研究工作表明,魯棒提取遮擋人臉的有效特征對(duì)有遮擋人臉圖像識(shí)別仍是至關(guān)重要的,所以遮擋人臉識(shí)別過程中魯棒特征提取必不可少。

        表1 傳統(tǒng)人臉識(shí)別方法

        3.1 生成模型

        生成模型是對(duì)遮擋人臉圖像數(shù)據(jù)的魯棒學(xué)習(xí)過程中,通過已有的字典原子、人臉圖像自身的“低秩”結(jié)構(gòu)和遮擋的結(jié)構(gòu)來表示待識(shí)別圖像的遮擋部分,通過重構(gòu)遮擋等噪聲對(duì)待識(shí)別人臉圖像中的局部特征損失來校正其對(duì)識(shí)別性能的影響,并充分理解遮擋部分的內(nèi)容,提升了識(shí)別效率。生成模型主要包含魯棒子空間回歸和魯棒結(jié)構(gòu)化誤差編碼兩種。

        3.1.1 魯棒子空間回歸

        前面2.2 節(jié)介紹的PCA 主要描述的是人臉圖像的全局特征信息,沒有充分考慮到不同類別樣本間的差異性,特別是對(duì)有遮擋人臉識(shí)別時(shí),將會(huì)導(dǎo)致人臉局部特征信息存在一定程度的缺失,對(duì)有遮擋人臉識(shí)別沒有較好的魯棒性。

        而魯棒子空間回歸是通過將不同類別的人臉圖像的高維特征數(shù)據(jù)經(jīng)過線性或非線性的方式投影到低維子空間中,并為遮擋部分建立獨(dú)立的子空間,試圖用已有的字典原子來表示人臉圖像中的遮擋,對(duì)有遮擋人臉能達(dá)到魯棒的識(shí)別效果。目前魯棒子空間解決遮擋人臉識(shí)別問題主要有稀疏表示、協(xié)同表示和遮擋字典學(xué)習(xí)等方法。

        (1)稀疏表示方法。2008 年,Wright 等人[23]首先將稀疏表示應(yīng)用到人臉識(shí)別領(lǐng)域,提出基于稀疏表示分類(Sparse Representation-based Classification,SRC)方法,利用盡可能少的稀疏非零項(xiàng)原則選擇最合適的稀疏矩陣更加靈活全面地表示待識(shí)別圖像,實(shí)現(xiàn)人臉圖像分類,可以統(tǒng)一處理由于遮擋和損壞引起的誤差。假設(shè)待識(shí)別圖像中的遮擋是稀疏的,提出的稀疏表示模型如下:

        其中,y 表示待識(shí)別圖像,A為過完備字典,x 為y 關(guān)于A的回歸系數(shù)(也稱為重構(gòu)系數(shù)或編碼系數(shù)),‖ x ‖1是x 的l1范數(shù),表示x 中非零系數(shù)的個(gè)數(shù)。稀疏表示分類通過引入單位遮擋字典,對(duì)訓(xùn)練樣本利用l1范數(shù)有效回歸求得待識(shí)別圖像在字典原子上的最稀疏的線性表示系數(shù),并根據(jù)稀疏系數(shù)重構(gòu)待識(shí)別圖像,從而提高了圖像存在局部遮擋的人臉識(shí)別性能。

        為了進(jìn)一步有效解決遮擋人臉識(shí)別問題Wright 又提出了魯棒的SRC[23](Robust SRC,RSRC),模型如下:

        其中,A0是遮擋字典,e 是y 中遮擋部分相對(duì)應(yīng)的A0的編碼。該方法利用單位矩陣、傅里葉基等標(biāo)準(zhǔn)正交基作為遮擋字典,對(duì)遮擋字典相關(guān)的遮擋成分進(jìn)行編碼,通過大量的訓(xùn)練樣本提取特征,求得待測(cè)樣本在訓(xùn)練樣本上的稀疏系數(shù)進(jìn)行人臉圖像重構(gòu),并計(jì)算出重構(gòu)圖像和待測(cè)樣本之間的誤差值。實(shí)驗(yàn)證明[24],當(dāng)選擇單位矩陣作為遮擋字典時(shí),待識(shí)別圖像的像素即使接近100%受到噪聲干擾,只要確保待識(shí)別圖像的維數(shù)足夠高,重構(gòu)系數(shù)x 也是有可能精確恢復(fù)的,進(jìn)而針對(duì)有遮擋的人臉圖像也有可能精確重構(gòu),從而實(shí)現(xiàn)遮擋人臉有效識(shí)別。但在實(shí)際應(yīng)用中,訓(xùn)練樣本數(shù)量一般都有限,而用在稀疏表示分類的人臉特征大部分都是全局特征,而全局特征表示的圖像數(shù)據(jù)并不能很好地代表有遮擋情況下的數(shù)據(jù)信息,針對(duì)該問題Nan 等人[25]提出一種基于多分辨率的自適應(yīng)遮擋和稀疏表示算法,將人臉圖像劃分為連續(xù)但不重疊的子塊,用稀疏表示對(duì)每個(gè)子塊進(jìn)行分類,并對(duì)遮擋部分進(jìn)行重構(gòu),該算法有效地結(jié)合了人臉圖像的局部特征和整體特征,對(duì)遮擋人臉識(shí)別具有較高的魯棒性。由于遮擋會(huì)破壞人臉圖像的低秩子空間的結(jié)構(gòu),影響稀疏表示的分類性能,針對(duì)該問題,胡正平等人[26]提出基于低秩子空間恢復(fù)的聯(lián)合稀疏表示人臉圖像識(shí)別算法,通過將具有遮擋的人臉圖像的所有訓(xùn)練樣本看作一個(gè)矩陣D,將D通過子空間回歸的原理得到無遮擋的人臉低秩矩陣A和有遮擋部分的誤差矩陣E,并利用稀疏表示將待識(shí)別圖像重構(gòu)為A和E 的聯(lián)合稀疏線性組合,通過對(duì)具有遮擋的人臉圖像識(shí)別時(shí)引入了低秩矩陣重構(gòu)人臉子空間的思想,有效地提高了稀疏表示對(duì)遮擋人臉識(shí)別的魯棒性。但SRC 需要計(jì)算測(cè)試樣本與其他每一個(gè)樣本的相似度,導(dǎo)致識(shí)別效率較低,針對(duì)該問題,徐靜妹等人[27]提出將多分類支持向量機(jī)和基于稀疏表示方法相結(jié)合的人臉識(shí)別算法,通過設(shè)置稀疏閾值來控制稀疏系數(shù)的稀疏度,消除了非零系數(shù)出現(xiàn)在非樣本所屬類別的現(xiàn)象。

        由于實(shí)際環(huán)境中訓(xùn)練樣本很少,每類樣本就會(huì)構(gòu)成欠完備字典,所以稀疏表示分類方法會(huì)產(chǎn)生較大的殘差,因此需要將其他類別共同的部分線性表示待測(cè)樣本。

        (2)協(xié)同表示分類。協(xié)同表示本質(zhì)是利用所有類別中的訓(xùn)練樣本來共同表示待識(shí)別圖像。Zhang 等人[28]在通過分析SRC 方法能夠有效增強(qiáng)分類區(qū)別能力的基礎(chǔ)上,提出基于協(xié)同表示分類(Collaborative Rep‐resentation based Classification,CRC)的人臉識(shí)別方法,模型如下:

        其中,λ是正則化參數(shù),‖ x ‖p表示對(duì)回歸系數(shù)采用lp范數(shù)進(jìn)行約束。該方法通過l2范數(shù)對(duì)重構(gòu)系數(shù)x 進(jìn)行約束,可以在寬λ的范圍內(nèi)獲得比l1范數(shù)更高的識(shí)別率,這意味著l1范數(shù)在面部分類問題中不起關(guān)鍵作用,關(guān)鍵的是所有類的訓(xùn)練樣本對(duì)測(cè)試樣本的協(xié)同表示,而且CRC方法不僅能增強(qiáng)待識(shí)別圖像所屬類別樣本對(duì)其的表示能力,同時(shí)還能抑制非本類樣本對(duì)其的“過分表示”。考慮到樣本局部相似性先驗(yàn)信息對(duì)分類識(shí)別的不同貢獻(xiàn),施志剛[29]構(gòu)建加權(quán)矩陣并將其嵌入到CRC 中,為進(jìn)一步改善人臉識(shí)別性能,將加權(quán)CRC 與線性表示分類結(jié)合,在加權(quán)CRC 的第一階段根據(jù)重構(gòu)殘差排序保留相關(guān)性較大的訓(xùn)練樣本用于下一階段的分類識(shí)別,從而縮小分類目標(biāo),提高人臉識(shí)別精度。

        基于稀疏表示、協(xié)同表示的方法,不僅需要考慮回歸系數(shù)的限制,還要重點(diǎn)考慮如何通過學(xué)習(xí)字典來增強(qiáng)遮擋字典的判別性,提升各種判別信息算法的魯棒性,所以設(shè)計(jì)一種通用的魯棒性較高的遮擋字典進(jìn)行遮擋學(xué)習(xí),是提高遮擋人臉識(shí)別性能的關(guān)鍵。

        (3)遮擋字典學(xué)習(xí)。目的是從原始訓(xùn)練樣本中學(xué)習(xí)到一組新的字典,并能夠很好地表示原始訓(xùn)練樣本的能力,然后用來進(jìn)行圖像處理及分類。趙雯等人[30]利用低秩矩陣恢復(fù),從待識(shí)別人臉圖像中訓(xùn)練得到相對(duì)干凈的人臉圖像作為新的特征字典,并結(jié)合Fisher 準(zhǔn)則字典學(xué)習(xí)方法對(duì)該特征字典進(jìn)行學(xué)習(xí),確保新字典中待定類的子字典對(duì)同一類別的樣本具有很好的表示能力,對(duì)其他類別的樣本表示能力卻相反,該方法能有效減少重構(gòu)誤差,提高有遮擋人臉識(shí)別性能。為充分考慮遮擋的空間局部連續(xù)性,Wei 等人[31]提出一種基于有監(jiān)督遮擋字典的遮擋結(jié)構(gòu)稀疏性人臉識(shí)別方法,模型如下:

        其中,Ae是對(duì)單位矩陣字典局部原子壓縮的固定塊狀結(jié)構(gòu)的有監(jiān)督遮擋字典。該方法對(duì)訓(xùn)練樣本中具有局部連續(xù)性的遮擋字典原子做同類標(biāo)簽,并計(jì)算測(cè)試樣本在遮擋字典上的重構(gòu)系數(shù)及重構(gòu)誤差,對(duì)兩者進(jìn)行l(wèi)2,1的最小范數(shù)約束,實(shí)現(xiàn)對(duì)重構(gòu)系數(shù)和重構(gòu)誤差結(jié)構(gòu)化聚類。但該模型由于遮擋字典原子大小固定,不適用于面向?qū)崟r(shí)的遮擋人臉識(shí)別系統(tǒng)的問題,為有效提取圖像多尺度多方向的人臉特征,Yang 等人[32-33]提出基于Gabor特征的魯棒表示分類方法,模型如下:

        其中,G(?)為Gabor 變換,利用圖像Gabor 變換校正遮擋人臉識(shí)別中存在的誤差,形成較為通用且高魯棒性的Gabor遮擋字典,達(dá)到對(duì)遮擋區(qū)域更為自然的描述目的,從而實(shí)現(xiàn)遮擋人臉圖像重構(gòu)。但由于Gabor 遮擋字典是通過Gabor 特征多尺度多方向的變換得到的,存在遮擋字典維度較高,計(jì)算和存儲(chǔ)開銷較大的問題,所以Yang 等人[32-33]又通過利用K-SVD 字典學(xué)習(xí)和對(duì)G(y)、G(A)、G(I)進(jìn)行δ 倍的一致性下采樣處理,從冗余的Ga‐bor字典中得到更加緊湊表示的遮擋字典,實(shí)現(xiàn)對(duì)Gabor遮擋字典的壓縮。該方法解決了固定大小遮擋字典對(duì)遮擋人臉識(shí)別的局限性。但壓縮后的Gabor 遮擋字典其形狀結(jié)構(gòu)特別凌亂,而實(shí)際中自然的遮擋一般都是具有規(guī)則的結(jié)構(gòu)形狀,所以不適用于描述自然的遮擋。針對(duì)該問題,李小薪等人[34]提出基于奇異值分解(SVD)的Gabor 遮擋字典學(xué)習(xí)方法,實(shí)現(xiàn)對(duì)原有Gabor 遮擋字典的優(yōu)化,優(yōu)化模型如下:

        其中,Z 為原始的Gabor遮擋字典,D為要學(xué)習(xí)的壓縮后的Gabor 遮擋字典,Λ為Z 關(guān)于D的表示系數(shù)。由于視覺經(jīng)驗(yàn)的影響,通常認(rèn)為遮擋字典被稀疏性約束后得到的壓縮字典能更有力地表達(dá)Z,所以Yang 等人[32-33]提出對(duì)Λ進(jìn)行l(wèi)1或l2的稀疏約束,實(shí)現(xiàn)對(duì)Z 的壓縮,經(jīng)研究發(fā)現(xiàn),Z 只要可以被D 有力表示,原本能被Z 有力表示的遮擋區(qū)域也能夠被D最有力的表示,所以對(duì)Λ的稀疏約束無關(guān)緊要,重要的是對(duì)D進(jìn)行冗余性約束,所以利用奇異值分解求解(6),實(shí)現(xiàn)對(duì)D 的冗余性約束,實(shí)驗(yàn)表明[34],基于SVD 的Gabor 遮擋字典學(xué)習(xí)方法比基于KSVD 的Gabor 遮擋字典學(xué)習(xí)方法在處理遮擋人臉識(shí)別上具有更好的性能,適用于面向現(xiàn)實(shí)的具有光照、遮擋等不利因素場(chǎng)合下的人臉識(shí)別系統(tǒng)。為了克服遮擋對(duì)識(shí)別的影響同時(shí)減少稀疏表示分類的時(shí)間,黎明等人[35]提出一種融合HOG 特征和改進(jìn)KC-FDDL(Kmeans Cluster and Fisher Discrimination Dictionary Learning)字典學(xué)習(xí)稀疏表示的方法,對(duì)訓(xùn)練集進(jìn)行改進(jìn)的K-均值聚類的Fisher判別字典學(xué)習(xí),極大縮減了識(shí)別時(shí)間。

        魯棒子空間回歸方法從實(shí)現(xiàn)機(jī)制的優(yōu)點(diǎn)、缺點(diǎn)及適用范圍等方面進(jìn)行比較,各有其特點(diǎn),見表2。

        表2 魯棒子空間回歸方法

        通過表2 對(duì)比分析,可以總結(jié)魯棒子空間回歸方法在局部遮擋、微表情變化、人臉認(rèn)證等方面具有顯著的識(shí)別效果,但該類方法是在假設(shè)屬于同一類樣本的單一個(gè)體的人臉圖像均位于同一個(gè)低秩子空間下實(shí)現(xiàn)的,且人臉圖像之間的強(qiáng)相關(guān)性使得各種人臉的子空間在空間中分布特別緊湊,所以利用人臉圖像低秩結(jié)構(gòu)去除沒有遮擋的人臉子空間和被遮擋的人臉子空間的相關(guān)性,實(shí)現(xiàn)遮擋人臉魯棒結(jié)構(gòu)化誤差編碼仍是解決問題的關(guān)鍵。

        3.1.2 魯棒結(jié)構(gòu)化誤差編碼

        通過3.1.1 小節(jié)介紹的遮擋字典學(xué)習(xí)的人臉識(shí)別方法可知,遮擋存在空間連續(xù)性和局部性,遮擋區(qū)域引發(fā)的誤差有其特定的空間結(jié)構(gòu),而且遮擋會(huì)破壞人臉圖像的低秩結(jié)構(gòu),因此從被遮擋損壞的數(shù)據(jù)中有效、精確地將人臉圖像的低秩結(jié)構(gòu)重構(gòu)出來,對(duì)提高遮擋人臉識(shí)別性能尤為關(guān)鍵,而魯棒結(jié)構(gòu)化誤差編碼就是利用人臉圖像低秩結(jié)構(gòu)對(duì)人臉進(jìn)行識(shí)別。

        自然環(huán)境下的人臉圖像因受到不同種類的遮擋噪聲的影響,導(dǎo)致實(shí)際的人臉圖像低秩結(jié)構(gòu)與經(jīng)過PCA處理的低秩結(jié)構(gòu)之間有很大的差異,為提高有遮擋人臉識(shí)別的魯棒性。Candés 等人[36]提出魯棒主成分分析(Robust PCA,RPCA)法,將所有的訓(xùn)練樣本矩陣Y 通過低秩矩陣分解后,得到低秩內(nèi)容矩陣Z 和稀疏內(nèi)容矩陣E,實(shí)現(xiàn)對(duì)訓(xùn)練樣本低秩子空間的恢復(fù),該方法考慮到如何從含有較大誤差但結(jié)構(gòu)稀疏的訓(xùn)練樣本中恢復(fù)其低秩結(jié)構(gòu),因而有效抑制了稀疏噪聲的影響,具有較強(qiáng)的魯棒性。為了增加不同類別人臉的低秩矩陣之間的類間信息,Wei 等人[37]將所有訓(xùn)練樣本表示為觀測(cè)矩陣D,經(jīng)分解后得到不含遮擋的低秩矩陣A和稀疏誤差矩陣E,將RPCA應(yīng)用于低秩矩陣A,得到的子空間作為人臉圖像的遮擋字典,再依據(jù)稀疏表示分類和遮擋字典對(duì)待識(shí)別圖像重構(gòu)并對(duì)誤差大小進(jìn)行分類,模型如下:

        其中,Ai和Aj指不同類別人臉的低秩矩陣,Ei是指對(duì)應(yīng)Ai的稀疏誤差矩陣,λ是約束稀疏矩陣E 的權(quán)重參數(shù),η是平衡低秩矩陣和結(jié)構(gòu)不相干的參數(shù),通過引入F 范數(shù)對(duì)低秩矩陣進(jìn)行約束,抑制不同類別之間的共有特征,同時(shí)保留各類獨(dú)自特征,增強(qiáng)了原始RPCA 對(duì)遮擋人臉的分類識(shí)別能力。Tang 等人[38]提出利用RPCA 對(duì)人臉樣本進(jìn)行分解得到低秩數(shù)據(jù)矩陣和稀疏誤差矩陣,建立訓(xùn)練樣本和測(cè)試樣本的人臉圖像,顯著提高了被遮擋人臉的識(shí)別精度。由于人類大腦視覺皮層可以用Gabor變換很好的近似表示,所以采用Gabor 特征處理圖像識(shí)別具有良好的視覺特性,為提高RPCA 對(duì)遮擋人臉識(shí)別的效率,楊方方等人[39]提出了基于低秩子空間投影和Gabor 特征的稀疏表示人臉識(shí)別算法,利用RPCA 算法得到訓(xùn)練樣本的低秩結(jié)構(gòu)和稀疏誤差結(jié)構(gòu),將稀疏噪聲從圖像中分離出來,在計(jì)算出的低秩子空間上進(jìn)行分類識(shí)別。該方法通過利用圖像的局部特征表示人臉信息,對(duì)光照、遮擋、表情變化等噪聲存在情況下的識(shí)別具有魯棒性,提高了計(jì)算速度和遮擋人臉識(shí)別率,適用于圍巾、眼鏡隨機(jī)遮擋下的人臉識(shí)別。

        基于RPCA 的結(jié)構(gòu)化誤差編碼,雖然顯著地提高了遮擋人臉識(shí)別的魯棒性,但其識(shí)別性能主要依賴于大量的訓(xùn)練樣本的數(shù)量,若數(shù)量不足就會(huì)造成局部混疊問題,所以未來基于低秩結(jié)構(gòu)的誤差編碼識(shí)別方法需要重點(diǎn)研究小樣本條件下的識(shí)別效率。

        生成模型通過對(duì)遮擋區(qū)域的處理進(jìn)行圖像重構(gòu),雖然能在一定程度上改善人臉識(shí)別效果,但也存在一些弊端:(1)對(duì)遮擋區(qū)域的重構(gòu)只能盡量縮小誤差,并不能完全消除。(2)對(duì)圖像重構(gòu)可能會(huì)延長(zhǎng)整個(gè)識(shí)別過程的時(shí)間。(3)重構(gòu)過程中可能會(huì)引入新的噪聲。所以針對(duì)遮擋人臉圖像通過誤差度量或估計(jì)等方法檢測(cè)到遮擋的位置,進(jìn)而排除其對(duì)識(shí)別性能的影響是解決生成模型不足的關(guān)鍵。

        3.2 判別模型

        判別模型主要通過有遮擋圖像和其原圖像的局部相似性誤差及遮擋引起的空間局部性誤差來估計(jì)遮擋位置,將有遮擋的人臉圖像看作是遮擋區(qū)域和無遮擋區(qū)域的拼接,對(duì)未遮擋區(qū)域賦予較大的權(quán)重進(jìn)行編碼,在識(shí)別過程中可能會(huì)直接丟棄遮擋區(qū)域或根據(jù)遮擋區(qū)域進(jìn)行圖像重構(gòu),但重點(diǎn)考慮的是如何精確檢測(cè)到遮擋位置,而不用理解遮擋區(qū)域的內(nèi)容,進(jìn)而消除或抑制遮擋對(duì)人臉識(shí)別的影響,相比于生成模型,判別模型會(huì)節(jié)省許多重構(gòu)的時(shí)間,避免重構(gòu)時(shí)引入新的噪聲等問題。判別模型主要包含基于局部相似性的誤差權(quán)重度量和基于遮擋誤差支撐估計(jì)兩種。基于局部相似性的誤差權(quán)重度量是通過比較有遮擋圖像和其原圖像的局部相似性,得到兩者的誤差信息,并對(duì)誤差賦予不同的權(quán)重來度量遮擋的位置?;谡趽跽`差支撐估計(jì)是針對(duì)遮擋引起的空間局部性誤差結(jié)構(gòu),用誤差支撐來估計(jì)遮擋位置。

        3.2.1 基于局部相似性的誤差權(quán)重度量

        當(dāng)人眼在判斷兩張圖像的相似度時(shí),眼睛只是判斷它們相似的區(qū)域,對(duì)非相似的區(qū)域內(nèi)容直接忽略,所以對(duì)于有遮擋人臉圖像的識(shí)別,通過對(duì)比遮擋圖像和其原圖像之間的局部相似性,對(duì)得到的誤差信息賦予不同的權(quán)重進(jìn)行加權(quán)誤差編碼,進(jìn)而估計(jì)出遮擋的位置,實(shí)現(xiàn)對(duì)遮擋區(qū)域的檢測(cè),僅對(duì)未遮擋區(qū)域進(jìn)行識(shí)別。

        (1)基于魯棒稀疏編碼的誤差權(quán)重度量。魯棒子空間回歸模型(1)~(3)對(duì)誤差的度量都是基于lp范數(shù)以同等程度對(duì)遮擋人臉圖像和重構(gòu)圖像所有像素點(diǎn)的差異進(jìn)行約束,不符合人眼對(duì)遮擋圖像的識(shí)別機(jī)制,所以Yang等人[40]提出魯棒稀疏編碼(Robust Sparse Coding,RSC)的方法,以局部相似性誤差來估計(jì)抑制待識(shí)別圖像中遮擋特征的權(quán)重大小,根據(jù)權(quán)值度量待識(shí)別圖像的遮擋區(qū)域,模型如下:

        其中,α是待識(shí)別圖像在字典上的稀疏編碼系數(shù)向量,θ為描述遮擋分布的參數(shù),pq=-ln fq(ei)為基于Logistic 函數(shù)的概率密度函數(shù),ei代表遮擋編碼誤差e 的第i 元素,yi是針對(duì)待識(shí)別圖像的編碼向量,ri是構(gòu)成稀疏編碼字典的向量,σ 是大于零的常數(shù)。該方法利用最大似然估計(jì)得出待識(shí)別圖像中遮擋部分相對(duì)于遮擋字典的誤差編碼,為了更加精確地逼近實(shí)際應(yīng)用中的遮擋誤差分布,假設(shè)遮擋誤差服從概率密度分布,對(duì)誤差絕對(duì)值大的像素點(diǎn)自適應(yīng)賦予較小的權(quán)重,絕對(duì)值較小的像素點(diǎn)自適應(yīng)賦予較大的權(quán)重,通過不斷迭代更新權(quán)重,得到稀疏編碼系數(shù)的最優(yōu)解,有效檢測(cè)出待識(shí)別圖像的遮擋區(qū)域并將其去除。雖然RSC 對(duì)遮擋人臉識(shí)別達(dá)到了很好的識(shí)別效果,但對(duì)稀疏系數(shù)編碼的l1范數(shù)約束使計(jì)算成本非常高,所以Yang 等人[41]又提出一種正則化魯棒誤差編碼,假定誤差編碼和稀疏編碼系數(shù)分別是獨(dú)立且同分布的,通過設(shè)計(jì)合理的魯棒人臉識(shí)別權(quán)重函數(shù),并根據(jù)遮擋像素引起的誤差進(jìn)行自適應(yīng)、迭代地分配其不同的權(quán)重,能夠魯棒地檢測(cè)到遮擋區(qū)域,減少遮擋對(duì)魯棒編碼過程的影響,可用于解決隨機(jī)遮擋情況下的人臉識(shí)別問題。

        (2)基于相關(guān)熵的誤差權(quán)重度量。魯棒稀疏編碼在處理遮擋人臉圖像識(shí)別時(shí),是從魯棒回歸的角度,利用兩幅圖像的局部相似性誤差權(quán)重估計(jì)遮擋區(qū)域,而Liu等人[42]則提出用熵函數(shù)作為任意兩個(gè)離散向量之間的局部相似性度量,熵直接指示兩個(gè)隨機(jī)變量在內(nèi)核大小控制的特定“窗口”中的接近程度的概率密度,對(duì)于遮擋區(qū)域引起的誤差賦予較低的權(quán)重,將遮擋區(qū)域逐漸從待識(shí)別圖像中分離出來,從而消除遮擋對(duì)人臉識(shí)別準(zhǔn)確率的影響。He 等人[43]基于相關(guān)熵的啟示,提出了一種基于相關(guān)熵的稀疏表示模型,通過尋找稀疏表示編碼向量,使數(shù)據(jù)庫(kù)的線性表示向量可以在最大相關(guān)熵準(zhǔn)則下盡可能地與待識(shí)別圖像的表示向量相關(guān),對(duì)遮擋的像素對(duì)熵具有較小的貢獻(xiàn),被賦予較小的權(quán)重,對(duì)非遮擋的像素賦予較大的權(quán)重,達(dá)到檢測(cè)遮擋區(qū)域的目的,進(jìn)而在相關(guān)熵的框架中統(tǒng)一處理遮擋噪聲。Ruan 等人[44]利用核熵分量分析對(duì)待識(shí)別圖像進(jìn)行處理,并通過K 近鄰對(duì)不同加權(quán)多分辨率人臉圖像進(jìn)行融合分類,使該方法具有較高的識(shí)別能力和穩(wěn)定性,適用于光照、表情等引起的非線性高維人臉識(shí)別。

        基于魯棒稀疏編碼和基于相關(guān)熵的誤差權(quán)重度量模型都是通過兩張圖像的局部相似性的誤差來度量遮擋區(qū)域并自適應(yīng)地賦予遮擋特征權(quán)重,抑制或消除遮擋對(duì)人臉識(shí)別性能的影響。但兩者仍存在一些不足:(1)兩者都是通過自適應(yīng)地根據(jù)遮擋引起的誤差大小對(duì)其賦予不同的權(quán)重,但都沒有提供任何技術(shù)來保證遮擋引起的誤差一定是較大的。(2)兩者在迭代加權(quán)過程中可能會(huì)引入新的噪聲,降低了遮擋人臉識(shí)別效率。所以未來基于局部相似性誤差度量的遮擋人臉識(shí)別研究中,應(yīng)當(dāng)重點(diǎn)考慮如何保證遮擋引起的誤差是大是小,怎樣有效排除迭代加權(quán)過程中新噪聲對(duì)識(shí)別的影響。

        3.2.2 基于遮擋誤差支撐估計(jì)

        由于實(shí)際人臉識(shí)別應(yīng)用中有遮擋圖像的原圖像不一定都存在,所以大部分方法需要針對(duì)待識(shí)別的遮擋人臉圖像重構(gòu)其無遮擋的原圖像,這將導(dǎo)致重構(gòu)圖像存在不確定性的重構(gòu)誤差,進(jìn)而不能很好地檢測(cè)到遮擋區(qū)域,所以要想準(zhǔn)確直接地檢測(cè)到遮擋區(qū)域,就需要充分利用遮擋誤差的空間局部連續(xù)性。

        由于遮擋人臉圖像中某像素點(diǎn)是否為遮擋,只跟其相鄰區(qū)域像素點(diǎn)的狀態(tài)有關(guān),所以通常利用遮擋支撐來描述遮擋人臉圖像中各像素點(diǎn)的狀態(tài)。Zhou 等人[45]提出了基于Markov隨機(jī)場(chǎng)(Markov Random Field,MRF)的稀疏誤差校正(Sparse Error Correction with MRF,SEC-MRF)模型,根據(jù)遮擋引起的誤差的局部空間連續(xù)性對(duì)遮擋進(jìn)行檢測(cè),進(jìn)而得到遮擋支撐消除遮擋特征,選擇無遮擋特征進(jìn)行分類識(shí)別,通過l1范數(shù)將第k 類待識(shí)別圖像中的遮擋誤差e?最小化,尋找到線性回歸系數(shù),并利用e?=y-Ax?k(第k 類待識(shí)別圖像的回歸系數(shù))估計(jì)出完整地遮擋誤差e。將遮擋誤差支撐映射到結(jié)構(gòu)圖上,利用MRF 對(duì)遮擋損壞的像素及未損壞的像素之間的空間連續(xù)性進(jìn)行建模,同時(shí)對(duì)遮擋誤差支撐進(jìn)行估計(jì),通過實(shí)驗(yàn)發(fā)現(xiàn)[48],該方法經(jīng)過大約5、6 次迭代會(huì)達(dá)到收斂,從而獲得遮擋誤差支撐、遮擋的全局誤差和線性回歸系數(shù)的確定值,實(shí)現(xiàn)對(duì)遮擋區(qū)域的去除,最終選擇無遮擋特征進(jìn)行人臉識(shí)別分類,提高了遮擋人臉識(shí)別的魯棒性。但SEC-MRF 當(dāng)遮擋面積過大時(shí),識(shí)別率就會(huì)降低,所以Li等人[46]提出針對(duì)遮擋人臉識(shí)別的結(jié)構(gòu)稀疏誤差編碼(Structured Sparse Error Coding,SSEC)算法,將MRF 映射到形態(tài)圖模型上來描述遮擋誤差支撐,對(duì)應(yīng)的遮擋檢測(cè)模型如下:

        其中,s為遮擋支撐,令s ∈{- 1,1}m,si=-1表示像素yi為無遮擋部分,si=1,表示像素yi為有遮擋部分,LD 表示遮擋與未遮擋部分的誤差度量算子,p(s,e)表示估計(jì)遮擋誤差支撐和真實(shí)誤差支撐的聯(lián)合概率密度函數(shù),p(s,e)越高,s與e 的聯(lián)合概率也越高,SSEC 方法利用形態(tài)學(xué)算子檢測(cè)遮擋位置的邊緣輪廓,然后利用局部誤差相關(guān)熵度量和伸縮不變性度量聯(lián)合的誤差算子LD來度量未遮擋部分的誤差和遮擋部分的誤差,由于LD 算子在無遮擋部分和有遮擋部分的誤差度量分布服從獨(dú)立的指數(shù)分布,所以SSEC 經(jīng)過LD 算子度量得到的全局誤差有利于在高遮擋率的情況下檢測(cè)到遮擋位置,進(jìn)而能夠?qū)⒄趽鯀^(qū)域從待識(shí)別圖像中分離出來,適用于高遮擋率下的人臉識(shí)別。

        SEC-MRF 和SEEC 都是利用MRF 對(duì)遮擋本身的局部空間連續(xù)性進(jìn)行描述,獲得遮擋誤差支撐,從而有效檢測(cè)到遮擋位置,被廣泛應(yīng)用于面部存在連續(xù)遮擋的場(chǎng)合中。但SEC-MRF 將MRF 映射到傳統(tǒng)的圖模型上,不僅解決了小誤差遮擋點(diǎn)的難題,還降低了計(jì)算成本;而SEEC 將MRF 映射到形態(tài)圖模型上,利用形態(tài)學(xué)算子有效檢測(cè)到遮擋邊緣輪廓,實(shí)現(xiàn)了大面積遮擋情況下的有效人臉識(shí)別。

        生成模型和判別模型都能夠針對(duì)有遮擋人臉圖像進(jìn)行特征選擇和編碼,通過挑選最具有代表性、較好分類性的人臉特征,提高遮擋人臉識(shí)別效率。而Wright等人[41]提出的稀疏表示分類生成模型則認(rèn)為特征提取對(duì)識(shí)別的魯棒性并不重要,但如果不進(jìn)行特征提取,這種方法就需要大量的訓(xùn)練數(shù)據(jù)構(gòu)造超完備字典,將增加計(jì)算開銷,降低識(shí)別效率,所以選擇和提取魯棒的特征,有效降低特征維數(shù),仍是提高遮擋人臉識(shí)別的有效途徑。

        3.3 魯棒特征提取

        魯棒特征提取就是對(duì)人臉圖像中諸如顏色、紋理、亮度等低階特征和表情、年齡、性別等高階特征進(jìn)行多尺度多方向的分解,避免各種特征之間相互干擾,有效提取人臉圖像中與遮擋無關(guān)的特征,抑制或消除遮擋特征對(duì)識(shí)別性能的影響,達(dá)到魯棒的識(shí)別效果?,F(xiàn)有的用于遮擋人臉識(shí)別的魯棒特征提取方法法主要包含“淺層”特征提取和“深度”特征提取。

        3.3.1“淺層”特征提取

        “淺層”的魯棒特征提取就是將傳統(tǒng)的魯棒提取方法應(yīng)用到遮擋情況下,提取最有效、最有代表性、與遮擋無關(guān)的特征,實(shí)現(xiàn)對(duì)遮擋人臉圖像的魯棒特征提取。

        基于圖像梯度方向(Image Gradient Orientation,IGO)的特征提取因能較好地測(cè)量遮擋人臉圖像之間的相關(guān)性,所以為解決實(shí)際連續(xù)遮擋人臉識(shí)別問題,Wu等人[47]提出一種基于梯度方向的自適應(yīng)稀疏低階模型,通過廣義圖像梯度方向提取有效特征,增強(qiáng)模型對(duì)連續(xù)遮擋人臉識(shí)別的魯棒性。Tzimiropoulos 等人[48]提出圖像梯度方向子空間學(xué)習(xí)框架,將有遮擋的測(cè)試樣本與訓(xùn)練樣本映射到梯度臉子空間中,由于在梯度臉子空間中,圖像梯度特征對(duì)圖像噪聲具有魯棒性,能在較大程度上不受遮擋影響提取到魯棒的人臉特征,把測(cè)試樣本映射到圖像梯度PCA 子空間里將會(huì)得到幾乎沒有遮擋的重構(gòu)圖像,從而可以實(shí)現(xiàn)對(duì)遮擋人臉圖像的魯棒特征提取,并利用提取到的特征進(jìn)行識(shí)別分類,但該方法是在兩張完全不同圖像相對(duì)應(yīng)的遮擋區(qū)域差值近似服從均勻分布的條件下實(shí)現(xiàn)的,實(shí)際應(yīng)用中,有遮擋圖像和其原圖像之間的差值并不都服從均勻分布,其面向?qū)嶋H環(huán)境中遮擋人臉識(shí)別性能不佳,所以該方法不能適用于有任意遮擋的人臉圖像識(shí)別中。

        基于Weber 局部特征(Weber Local Descriptor,WLD)的特征提取方法,最初由根據(jù)韋伯定律提出的,是一種能夠有效描述圖像灰度變化的局部紋理特征,通過計(jì)算WLD 的差分激勵(lì),判斷圖像當(dāng)前像素和其鄰域像素之間的灰度值變化,并求出圖像的當(dāng)前像素點(diǎn)的梯度方向,較好地反映圖像紋理變化的方向信息,從而提高局部遮擋識(shí)別的魯棒性。但WLD不能有效提取不同尺度的紋理特征,僅適用于小面積局部遮擋下的人臉識(shí)別,所以李昆明等人[50]提出一種融合多模式韋伯局部特征的人臉識(shí)別方法,首先利用韋伯局部特征算子提取人臉圖像的差分激勵(lì)和梯度方向信息,對(duì)差分激勵(lì)進(jìn)行多方向塊內(nèi)累積分解,獲得差分激勵(lì)方向累積圖,然后利用局部直方圖、韋伯方向和差分激勵(lì)有效提取累積圖像多個(gè)方向和多個(gè)尺度上的特征,接著對(duì)韋伯方向進(jìn)行差分二值編碼,并在特征層融合韋伯局部差分激勵(lì)和方向特征,然后利用Fisher 線性判別進(jìn)行特征降維,最后計(jì)算當(dāng)前像素點(diǎn)和其鄰域像素點(diǎn)的方向余弦相似度,有效提取圖像局部的方向信息,通過融合韋伯局部多特征的方式,更有力地表征圖像特征,且適用于傳統(tǒng)線性判別中出現(xiàn)小樣本問題的場(chǎng)景。

        WLD 特征提取僅僅反映人臉中酒窩、疤痕等細(xì)微的局部特征變化,不能很好地幫助識(shí)別,所以還需要面部的全局特征提取。岳震等人[51]將全局和局部的特征信息相結(jié)合,對(duì)待識(shí)別圖像進(jìn)行線性重構(gòu)得到誤差圖像,并提取人臉圖像的全局特征信息和重構(gòu)圖像的誤差特征信息,同時(shí)利用HOG 算子提取面部局部特征,最后利用分類器將全局的雙屬性特征和局部的HOG 特征進(jìn)行分類識(shí)別,該方法解決了局部遮擋條件下人臉識(shí)別和提取特征時(shí)丟失必要信息的問題,且適用于一定的光照及隨機(jī)遮擋識(shí)別的場(chǎng)合。

        盡管以上傳統(tǒng)的“淺層”魯棒特征提取方法能夠提取與遮擋無關(guān)的特征,但以上的方法仍是按照人工設(shè)計(jì)的“淺層”特征來提取相關(guān)的識(shí)別特征,這將引發(fā)在圖像預(yù)處理過程中易丟失人臉的細(xì)節(jié)信息,尤其當(dāng)光照和遮擋混合時(shí),遮擋比例會(huì)特別高,導(dǎo)致人臉識(shí)別的魯棒性差。所以為有效降低遮擋特征對(duì)識(shí)別效果的影響,需要結(jié)合深度學(xué)習(xí)的優(yōu)勢(shì),提取圖像的“深度”特征。

        3.3.2“深度”特征提取

        近年來深度學(xué)習(xí)由于能夠自動(dòng)學(xué)習(xí)特征的特點(diǎn),而且提取的“深度”特征比人工設(shè)計(jì)的特征具有表達(dá)能力更強(qiáng),穩(wěn)定性好等優(yōu)勢(shì),所以通過深度學(xué)習(xí)底層特征來獲取更抽象更具有表達(dá)性的深層特征,期望通過多層的高階特征來表示數(shù)據(jù)的抽象語義信息,獲得魯棒性特征,被認(rèn)為是克服人工設(shè)計(jì)“淺層”特征局限性的一個(gè)好方法。

        一個(gè)魯棒的“深度”特征應(yīng)同時(shí)滿足圖像最小化類內(nèi)差異和最大化類間差異,為了識(shí)別多張人臉圖像是否屬于同一個(gè)人,Sun等人[52]提出DeepID2神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí),通過人臉識(shí)別信號(hào)提取不同人臉特征,增大不同人臉圖像間的類間差異;并通過人臉驗(yàn)證信號(hào)提取同一個(gè)人臉的特征,減小類內(nèi)差異,從而學(xué)習(xí)到區(qū)分能力較強(qiáng)的特征。但由于學(xué)習(xí)的特征數(shù)太大,Sun等人[52]采用前向、后向貪心算法來選擇一些有效互補(bǔ)的DeepID2 向量,將降維后的特征輸入到聯(lián)合貝葉斯模型中進(jìn)行人臉分類識(shí)別,盡管該網(wǎng)絡(luò)結(jié)構(gòu)在設(shè)計(jì)時(shí)不是用來區(qū)分遮擋和非遮擋人臉,但深度學(xué)習(xí)的特征對(duì)遮擋卻自適應(yīng)的具有較強(qiáng)的魯棒性。為進(jìn)一步提取較好的面部特征,Sun 等人[53]在DeepID2 的網(wǎng)絡(luò)基礎(chǔ)上做了改進(jìn),提出DeepID2+網(wǎng)絡(luò)結(jié)構(gòu),在每層卷積層增加監(jiān)督信號(hào),通過使用閾值對(duì)最后輸出的512 維特征進(jìn)行二值化處理,既保證識(shí)別的精確度又提高了人臉檢索速度。通過實(shí)驗(yàn)自下往上和不同大小黑塊對(duì)人臉進(jìn)行多種尺度的遮擋,發(fā)現(xiàn)DeepID2+能夠自動(dòng)地對(duì)遮擋表現(xiàn)較好的魯棒性,并驗(yàn)證了遮擋在20%以內(nèi),塊在30×30 以內(nèi),DeepID2+的輸出量的驗(yàn)證正確率幾乎不變,進(jìn)一步為處理有遮擋的人臉識(shí)別提供新思路。

        DeepID2 與DeepID2+都是通過將人臉圖像按多尺度多通道多區(qū)域進(jìn)行劃分訓(xùn)練,增加了訓(xùn)練樣本,把訓(xùn)練到的向量連接起來得到最后的向量,使得卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的更加充分,可以較好地過濾局部異常特征(如遮擋),有效提取了人臉圖像的魯棒特征,主要應(yīng)用在判斷多張圖像是否是同一個(gè)人,如考勤簽到的場(chǎng)合。然而該網(wǎng)絡(luò)的深度特征學(xué)習(xí)過于依賴大規(guī)模的訓(xùn)練樣本和參數(shù)調(diào)整的知識(shí),所以Chan 等人[54]結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)與局部二值模式(Local Binary Patterns,LBP)的特征提取框架,提出一種較簡(jiǎn)單的深度卷積神經(jīng)網(wǎng)絡(luò)(PCANet),通過局部零均值化預(yù)處理和PCA 濾波器提取主成分特征,極大地過濾掉圖像中的遮擋特征,從而對(duì)遮擋人臉識(shí)別具有魯棒性,通過實(shí)驗(yàn)證明PCANet 域的特征維度高于原始圖像的像素域的特征維度,因此在高維的特征空間中,被PCANet 過濾的遮擋特征又進(jìn)一步被“稀釋”了,在一定程度上又極大地消除了遮擋對(duì)識(shí)別性能的影響,這意味著提升遮擋的過濾能力和特征的冗余性是魯棒特征提取的關(guān)鍵。但當(dāng)遮擋面積較大時(shí),局部零均值預(yù)處理及PCA 濾波器過濾得到的“深度”特征大部分由于遮擋特征被置為零附近的較小值,所以整體特征集中分布在零附近,遮擋噪聲的存在一般會(huì)導(dǎo)致PCANet 特征喪失冗余性,因此李小薪等人[55]提出局部球面規(guī)范化(Local Sphere Normalization,LSN)方法,將其嵌入到PCANet 的前兩個(gè)卷積層之后,即特征圖生成階段,使特征圖的各個(gè)局部區(qū)域的特征值都位于同一個(gè)球面,從而提升較小特征值的作用,同時(shí)抑制較大特征值的影響,實(shí)現(xiàn)PCANet 特征均衡化。結(jié)構(gòu)如圖2所示。

        圖2 LSN嵌入PCANet結(jié)構(gòu)圖

        由于PCANet的卷積層通過局部零均值預(yù)處理提取的特征大部分分布在零值附近,導(dǎo)致特征非常稀疏,可能造成一些判別性的特征丟失,所以需要對(duì)PCANet 進(jìn)行LSN,但對(duì)輸入圖像直接施加LSN會(huì)造成識(shí)別性能不穩(wěn)定,而且PCANet 的哈希編碼是對(duì)卷積層得到的特征進(jìn)行離散化編碼,為進(jìn)一步提取柱狀圖特征做準(zhǔn)備,嵌入LSN 會(huì)破壞其離散性,加之LSN 是針對(duì)二維結(jié)構(gòu)的圖像,局部柱狀圖不具備二維結(jié)構(gòu),又經(jīng)實(shí)驗(yàn)分析[55],在理想情況下,LSN 特征將具有單峰、雙峰或三峰分布,且峰值集中分布0 和±0.11 附近,將LSN 嵌入PCANet兩個(gè)卷積層之后,呈現(xiàn)更接近理想情況的多峰值分布,而將LSN 嵌入PCANet 兩個(gè)卷積層前后的峰值分布卻不顯著,完全不嵌入LSN 的PCANet 只出現(xiàn)單峰的情況,一方面意味著將LSN 嵌入PCANet 兩個(gè)卷積層之后的網(wǎng)絡(luò)能更好地消除噪聲的影響,另一方面意味著嵌入卷積層之后的網(wǎng)絡(luò)生成的特征更加豐富,具有更好的冗余性,所以最終將LSN 嵌入前兩個(gè)卷積層之后,提升特征的冗余性,達(dá)到魯棒特征提取的目的。除了DeepID 和PCANet 在遮擋人臉識(shí)別中具有顯著效果外,還有如GoogleNet 和ResNet 等深度神經(jīng)網(wǎng)絡(luò)相較于傳統(tǒng)方法均有明顯優(yōu)勢(shì),為克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)參數(shù)太多,容易產(chǎn)生過擬合等問題,徐迅[56]結(jié)合GoogleNet和ResNet,提出深度卷積神經(jīng)網(wǎng)絡(luò)Inception-ResNet-v1 框架進(jìn)行人臉識(shí)別,并利用Triplet Loss 損失函數(shù)直接學(xué)習(xí)人臉特征間的可分性,經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)遮擋比例在20%~30%左右時(shí),人臉識(shí)別率為98.2%,表明該網(wǎng)絡(luò)模型具有較強(qiáng)的抗遮擋性。

        深度特征提取用于遮擋人臉識(shí)別的方法從特征維數(shù)、網(wǎng)絡(luò)層數(shù)及識(shí)別率等方面進(jìn)行對(duì)比,見表3。

        通過表3對(duì)比分析,可以看出PCANet相比于DeepID2、DeepID2+、Inception-ResNet-v1 的識(shí)別率較低,但其網(wǎng)絡(luò)層數(shù)最少,更具簡(jiǎn)單的結(jié)構(gòu),雖然增加網(wǎng)絡(luò)深度可以使用更少的網(wǎng)絡(luò)參數(shù)達(dá)到更強(qiáng)的表達(dá)能力,但過度增加網(wǎng)絡(luò)層數(shù)會(huì)引發(fā)梯度消失、性能退化等問題,所以基于深度學(xué)習(xí)的“深度”特征提取網(wǎng)絡(luò)模型未來應(yīng)減少網(wǎng)絡(luò)參數(shù)的同時(shí)更加簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu),從而提高計(jì)算性能并減少存儲(chǔ)空間。

        表3 用于遮擋人臉識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)

        4 存在的問題及未來研究方向

        隨著人工智能與計(jì)算機(jī)視覺技術(shù)迅猛發(fā)展,使得面向現(xiàn)實(shí)的有遮擋人臉識(shí)別系統(tǒng)的需求急劇增加,處理好面部遮擋問題對(duì)未來人臉識(shí)別領(lǐng)域具有重要貢獻(xiàn),通過分析和研究對(duì)有遮擋人臉識(shí)別的各種方法,目前該領(lǐng)域尚存在許多問題,這些問題及未來發(fā)展總結(jié)如下。

        (1)無法準(zhǔn)確檢測(cè)遮擋存在的位置,識(shí)別率受到很大影響。通過李小薪[57]利用狒狒臉0%~90%的隨機(jī)遮擋的實(shí)驗(yàn),可以證明:已知遮擋支撐并在識(shí)別過程中丟棄遮擋區(qū)域特征的NS 分類器,就算只是和“淺層”的IGO 和Weber 及LBP 特征相結(jié)合,在遮擋比例達(dá)到80%左右時(shí),也可以達(dá)到接近100%的識(shí)別率。但利用不知道遮擋支撐的NN 分類器,即不知道遮擋的具體位置,即使和“深層”的PCANet 特征相結(jié)合,在遮擋比例達(dá)到90%時(shí),識(shí)別率也會(huì)急劇下降。這表明準(zhǔn)確檢測(cè)遮擋的位置對(duì)人臉識(shí)別的重要性,但現(xiàn)實(shí)的人臉識(shí)別系統(tǒng)中,遮擋具有隨機(jī)性、復(fù)雜性,可能會(huì)影響人臉圖像的任何部分,但現(xiàn)實(shí)的人臉識(shí)別系統(tǒng)中,遮擋具有隨機(jī)性、復(fù)雜性,可能會(huì)影響人臉圖像的任何部分,而且遮擋幅度可能會(huì)很大,因此準(zhǔn)確檢測(cè)遮擋位置仍未來研究的重點(diǎn)。

        (2)計(jì)算機(jī)感知遮擋仍是難題。人眼在識(shí)別一張有遮擋的圖像時(shí),由于視覺感知是否是遮擋,可以自動(dòng)忽略遮擋區(qū)域,只根據(jù)未遮擋區(qū)域進(jìn)行識(shí)別,但計(jì)算機(jī)需要大量的訓(xùn)練樣本進(jìn)行大規(guī)模訓(xùn)練,卻仍不能準(zhǔn)確感知到遮擋是否存在,而且訓(xùn)練樣本也有限,導(dǎo)致有遮擋人臉識(shí)別效果不能達(dá)到最佳,所以如何讓計(jì)算機(jī)準(zhǔn)確感知到遮擋區(qū)域是未來遮擋人臉識(shí)別著重研究的方向。

        (3)缺乏相關(guān)數(shù)據(jù)集。目前大部分研究實(shí)驗(yàn)都在AR 數(shù)據(jù)集上進(jìn)行的,該數(shù)據(jù)集中只有眼鏡和圍巾兩種遮擋類型,而且采集方式也都是在人為控制的環(huán)境下進(jìn)行的,與現(xiàn)實(shí)復(fù)雜遮擋模式具有較大的差距,因此未來需要關(guān)注該領(lǐng)域數(shù)據(jù)集的研究。

        (4)基于深度網(wǎng)絡(luò)的人臉識(shí)別系統(tǒng),在小樣本存在光照、表情等遮擋情況下,如何訓(xùn)練檢測(cè)遮擋的網(wǎng)絡(luò)仍是難題。盡管深度學(xué)習(xí)利用人類視覺原理進(jìn)行大規(guī)模樣本的訓(xùn)練學(xué)習(xí),但人眼識(shí)別有光照、表情、遮擋等異常因素的人臉圖像時(shí),并不需要大規(guī)模訓(xùn)練,只是需要幾張圖像就可以判斷另外一張圖像是否是人臉及是否存在遮擋,所以未來需要加大力度研究如何訓(xùn)練小樣本檢測(cè)遮擋的網(wǎng)絡(luò)。

        5 結(jié)束語

        人臉識(shí)別是人工智能研究領(lǐng)域的熱點(diǎn),在實(shí)際應(yīng)用中要解決的問題還有很多,而圖像遮擋就是這其中亟待解決的重要問題,針對(duì)該問題,本文通過回顧傳統(tǒng)的人臉識(shí)別的相關(guān)方法,總結(jié)了圖像遮擋的典型處理方法,綜述了針對(duì)遮擋圖像如何重構(gòu)的生成模型、如何檢測(cè)遮擋位置的判別模型及魯棒特征提取等方法的相關(guān)技術(shù)。通過對(duì)比分析可知,協(xié)同表示比稀疏表示對(duì)遮擋人臉表示能力更強(qiáng),能有效解決實(shí)時(shí)的人臉識(shí)別問題,但需要利用所有類別訓(xùn)練樣本共同表示待識(shí)別圖像,導(dǎo)致其計(jì)算量較大;又通過介紹類似于人眼識(shí)別機(jī)制的局部相似性的誤差權(quán)重度量和基于遮擋自身結(jié)構(gòu)的誤差支撐來估計(jì)遮擋位置,總結(jié)兩者適應(yīng)問題和局限性;并通過總結(jié)分析可知”深度”特征提取由于復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和過多的網(wǎng)絡(luò)參數(shù),導(dǎo)致遮擋人臉識(shí)別的計(jì)算量較大,但由于其較強(qiáng)的自主學(xué)習(xí)特征的特性,較“淺層”特征提取及傳統(tǒng)人臉識(shí)別方法具有較高的識(shí)別效率,可適用于實(shí)時(shí)的人臉識(shí)別系統(tǒng)。最后總結(jié)分析了目前有遮擋人臉識(shí)別存在的問題和未來研究方向,希望通過本文針對(duì)面部遮擋人臉識(shí)別問題的描述及相關(guān)方法的介紹,能夠使有遮擋人臉識(shí)別問題越來越受關(guān)注,為以后研究有遮擋人臉識(shí)別提供理論依據(jù)。

        猜你喜歡
        字典人臉識(shí)別人臉
        開心字典
        家教世界(2023年28期)2023-11-14 10:13:50
        開心字典
        家教世界(2023年25期)2023-10-09 02:11:56
        人臉識(shí)別 等
        有特點(diǎn)的人臉
        揭開人臉識(shí)別的神秘面紗
        三國(guó)漫——人臉解鎖
        我是小字典
        正版字典
        讀者(2016年14期)2016-06-29 17:25:50
        基于類獨(dú)立核稀疏表示的魯棒人臉識(shí)別
        馬面部與人臉相似度驚人
        高清日韩av在线免费观看| 国产丝袜精品不卡| 国产成人AV乱码免费观看| 国产免费网站在线观看不卡| 国产午夜免费高清久久影院| 国产精品va无码一区二区| 麻豆国产乱人伦精品一区二区| 偷拍与自偷拍亚洲精品| 色呦呦九九七七国产精品| 亚洲 另类 日韩 制服 无码| 最新亚洲人成网站在线| 性感人妻av在线播放| 在线观看视频日本一区二区| 欧美丰满熟妇xxxx性| 日本免费人成视频播放| 国产内射视频在线观看| 成年人观看视频在线播放| 人妻丰满熟妇av无码区不卡| 不卡视频一区二区三区| 久久婷婷夜色精品国产| 日本a级片免费网站观看| 88久久精品无码一区二区毛片| 国产一级在线现免费观看| 国产亚洲精品视频网站| 天天做天天摸天天爽天天爱| 精品国产18久久久久久| 亚洲AV成人无码天堂| 国产一区二区三区日韩在线观看| 久久久久av无码免费网| 国产精品11p| 国内精品久久人妻性色av| 久久777国产线看观看精品 | 国产精品成人aaaaa网站| 国产一国产一级新婚之夜| 亚洲人妻av在线播放| 丰满少妇高潮惨叫久久久| 欧美日韩精品一区二区在线观看| 亚洲成AV人在线观看网址| 日本av天堂一区二区三区| 日本高清视频www| 久久久国产精品免费无卡顿|