馬杲東，呂 非，童 瑩，曹雪虹

(1.南京郵電大學 通信與信息工程學院，江蘇 南京 210003；2.南瑞集團有限公司，江蘇 南京 211106；3.南京工程學院 信息與通信工程學院，江蘇 南京 211167)

0 引 言

人臉識別技術由于其在圖像處理、計算機視覺領域的廣泛應用而獲得了廣泛的關注。在過去的十幾年中，人臉識別技術取得了巨大的成就。但是由于待測試人臉中包含大量光照、陰影、姿勢、表情以及遮擋等面部變化，人臉識別仍然是一項極具挑戰(zhàn)性的任務。

隨著人臉識別的應用場景越來越廣泛，在執(zhí)法、身份證識別以及機場監(jiān)控等實際應用場景中，鑒于有限的存儲空間和個人隱私的考慮，每個人可能只有一張樣本。當沒有足夠多的訓練樣本來預測待測試樣本中的差異信息時，人臉識別問題就變得十分困難，這就產(chǎn)生了所謂的單樣本人臉識別問題(single sample per person，SSPP)。

如何在這種單樣本情況下得到較高的魯棒性是人臉識別中最重要也是最具挑戰(zhàn)性的一個問題。傳統(tǒng)的判別子空間方法以及流形學習算法無法直接用來應用在單樣本問題中。Wright等提出的稀疏表示分類(sparse representation-based classification，SRC)以及Zhang等提出的協(xié)作表示分類(collaborative representation-based classification，CRC)需要使用足夠過的樣本來描述測試樣本，因此無法在單樣本人臉識別中取得很好的性能。

近年來，研究者們?yōu)榱私鉀Q單樣本的人臉識別問題提出了許多方法。這些方法大致可以分為兩類：全局方法和局部方法。全局方法使用整張人臉圖像作為輸入來識別測試樣本。對于全局方法，有兩個主要方向：一是生成虛擬樣本將單樣本問題轉化為傳統(tǒng)多樣本問題，二是通用學習方法。生成虛擬樣本指的是通過奇異值分解、幾何變換等方法將原圖像生成多張?zhí)摂M樣本。例如，彭帆等提出了基于WSSRC的樣本擴充方法，采用一種三層級聯(lián)的虛擬樣本產(chǎn)生方法獲取冗余樣本,將生成的多種表情和多種姿態(tài)的新樣本當成訓練樣本。Zhang等通過幾何變換來創(chuàng)建更多的虛擬訓練樣本。這些方法的主要缺點是虛擬樣本和原始樣本總是高度相關，導致虛擬樣本所產(chǎn)生的新信息比較有限。

與虛擬樣本方法相比，通用學習方法通常借助一個通用訓練集來補充原始的SSPP驗證集。例如，Wang等提出一種通用的學習框架來學習通用訓練集中每類人的類內(nèi)差異信息，而通用訓練集中的類內(nèi)差異信息可以被所有人共享。Deng等對SRC進行了改進，提出了一種擴展稀疏表示分類器(extended sparse representation-based classification，ESRC)，該方法通過通用訓練集構建一種輔助的類內(nèi)差異字典來表示訓練樣本和測試樣本之間的差異，Yang等通過學習稀疏差異字典來描述人臉中的各種光照、遮擋等變化。Ji等提出協(xié)作概率標簽方法(collaborative probabilistic labels，CPL)通過標簽傳播來實現(xiàn)人臉識別。盡管這些方法在一定程度上可以提升SSPP的性能，但是這些方法的性能在很大程度上取決于通用訓練集的選擇。

局部方法利用面部的局部特征來識別待測試樣本。一些方法將圖像分成幾個重疊或者不重疊的圖像塊，用于生成局部特征，其中每個分塊的樣本被認為是該人的獨立樣本?；谶@種假設，研究人員對傳統(tǒng)的子空間學習方法以及基于表示的分類器進行了擴展，例如模塊化PCA、模塊化LDA、基于補丁的SRC。這些方法通過整合每個分塊的輸出結果來實現(xiàn)SSPP人臉識別。但是由于這些方法沒有考慮到每個分塊之間的相關性，因此存在一定的局限性。PCA和LDA等方法不能很好地處理復雜的非線性特征，它們的核化版本KPCA和KDA通過非線性核映射將樣本映射到一個高維空間中，然后在高維空間中進行PCA和LDA，能夠有效地提取人臉的非線性特征。

Huang等學習了一種核擴展字典(kernel extended dictionary，KED)，通過KDA對樣本進行判別分析，另外構建了一個遮擋模型來處理遮擋問題。一些方法嘗試結合LBP特征以及Gabor特征等傳統(tǒng)的人臉特征提出更具判別性的特征以用于SSPP人臉識別。例如，馬振等將分層LBP特征與金字塔模式HOG特征相融合從而得到更具判別性的特征。Wang等提出一種三重局部特征的魯棒聯(lián)合表示，提取多個方向的局部特征來構建更具判別性的特征。文獻[23]中采用旋轉主方向梯度直方圖特征算子提取非約束人臉圖像的多尺度多方向梯度特征。文獻[24]同時考慮樣本的局部結構信息和全局分布信息，提出了有效的降維算法。

受上述研究工作的啟發(fā)，該文提出了一種基于核擴展混合塊字典(kernel extended hybrid block dictionary，KEHBD)的單樣本人臉識別方法，用于解決SSPP人臉識別問題。首先，對樣本進行分塊處理，分別對分塊圖像進行核判別分析(kernel discriminant analysis，KDA)投影降維，提取圖像的局部特征信息構成更具判別性的基本塊字典；然后，為經(jīng)過KDA投影之后的分塊樣本分別構建遮擋字典和類內(nèi)差異字典來描述樣本中的大面積連續(xù)遮擋以及光照、表情等類內(nèi)差異信息，將遮擋字典和類內(nèi)差異字典共同組合成混合塊字典，使混合塊字典能夠更好地描述測試樣本中不同類型的差異信息；最后，將測試樣本表示為基本塊字典和混合塊字典的稀疏線性組合，根據(jù)重構殘差進行分類識別。

1 相關方法

1.1 稀疏表示分類和擴展稀疏表示分類

假設=[

x

,

x

,…,

x

]∈

R

×是驗證集中的

n

個樣本，其中

d

是樣本的特征維數(shù)，

x

的類別標簽是

c

。給定一張待測試樣本∈

R

×1。稀疏表示的基本原理就是將測試樣本表示為訓練樣本的稀疏線性組合并通過式(1)來求解稀疏系數(shù)∈

R

×1：

(1)

令向量

δ

()∈

R

×1表示除了與

c

類樣本相關的系數(shù)之外其余的系數(shù)全為0，通過最小化殘差來對

y

進行分類。

(2)

在很多實際的人臉識別場景中，由于測試樣本中會包含遮擋和污染，SRC通過式(3)來計算稀疏表示，其中∈

R

×是單位矩陣。

(3)

擴展稀疏表示分類(extended sparse representation-based classification，ESRC)使用類內(nèi)差異字典來代替SRC中的單位矩陣作為擴展字典。假設=[

x

,1,

x

,2,…,

x

,]∈

R

×表示第

i

類樣本，

μ

表示第

i

類樣本的標準樣本或者該類樣本的均值。則第

i

類樣本的類內(nèi)差異表示為:

E

=[

x

,1-

μ

,

x

,2-

μ

,…,

x

,-

μ

]

(4)

將所有類樣本的類內(nèi)差異組合成類內(nèi)差異字典。然后ESRC用來取代SRC中的單位矩陣,并通過式(5)計算測試樣本的稀疏表示：

(5)

1.2 核判別分析

核判別分析(kernel discriminant analysis，KDA)的基本思想是先通過一個非線性映射

φ

：

R

→

F

，將樣本映射到一個高維特征空間

F

，在此高維特征空間根據(jù)Fisher準則學習到一個最優(yōu)投影矩陣，然后用該投影矩陣將樣本投影到一個低維空間。在高維空間中學習時，其計算只需在原始圖像中完成，無需了解非線性映射的具體含義，只需定義一個與之相對應的核函數(shù)。定義高維特征空間

F

中的內(nèi)積為：〈

φ

(

x

),

φ

(

x

)〉=

k

(

x

,

x

)

(6)

(7)

〈(),

φ

(

x

)〉=(:,

x

)

(8)

2 核擴展混合塊字典

本節(jié)介紹核擴展混合塊字典的構建。首先對圖像進行分塊得到多個子塊。在SSPP的情況下，驗證集中每個人只有一張樣本，因此需要構建判別性強的字典才能用一張樣本去表示同類別的待測試樣本。由于KDA通過非線性映射能夠提取復雜的非線性特征，同時引入類別標簽可以使樣本的區(qū)分度更高。因此對每個子塊樣本分別進行KDA投影，構建每個子塊的基本字典。由于待測試樣本中包含大量光照、表情、姿勢以及遮擋等類內(nèi)變化，通過KDA投影并不能消除這些類內(nèi)變化，因此為每個子塊分別構建混合字典，分別提取通用訓練集中的遮擋信息和非遮擋類內(nèi)變化信息來構建遮擋字典和類內(nèi)差異字典，兩者共同組成的混合字典可以很好地描述每個子塊中的類內(nèi)變化。

2.1 圖像分塊方式

本小節(jié)討論圖像的分塊方式。相比于整張圖像的情況，對圖像進行分塊處理一方面可以充分提取圖像的局部特征，另一方面可以有效減少大面積遮擋的干擾。分塊處理方法可以分為無重疊的分塊和有重疊的分塊。由于分塊的大小，形狀等因素都會對效果產(chǎn)生不同的影響，該文首先采用多種無重疊分塊方式。如圖1所示，分塊1、2、3分別將圖像均勻分成1*2塊，2*1塊，2*2塊，分塊4、5、6、7分別將圖像分成4*1和1*4塊，3*3塊，4*4塊。通過實驗在上述分塊方式中選出效果最好的分塊方式，然后對該分塊方式進行有重疊的分塊，更進一步提取人臉中最為豐富的局部特征，有重疊的分塊將在實驗部分闡述。

圖1 圖像分塊方式

2.2 構建基本塊字典

=〈(),

φ

()〉

(9)

KDA的關鍵在于構建一個合適的核函數(shù)。由于使用LBP特征時

χ

距離的效果更好，故構建以下基于LBP特征的徑向基核函數(shù)：

(10)

2.3 構建混合塊字典

ESRC中統(tǒng)一構建類內(nèi)差異字典，沒有區(qū)分遮擋與光照，表情等類內(nèi)差異信息的區(qū)別從而導致字典缺乏判別性。為了區(qū)分連續(xù)的遮擋以及光照表情等類內(nèi)信息的干擾，為分塊后的樣本分別構建遮擋字典和類內(nèi)差異字典，由這兩者共同組成混合字典。

(11)

(13)

3 基于核擴展混合塊字典的單樣本人臉識別算法

本小節(jié)給出文中所提出方法的具體步驟。由于對圖像進行分塊，使用SRC分類器進行分類時，只能計算每一塊各自對應的殘差，最后將殘差進行累和，這樣每一個子塊之間就失去了關聯(lián)性，從而損失很多結構信息。文獻[25]中提出一種協(xié)作表示分類器(relaxed collaborative representation，RCR)，可用于分塊圖像的分類。RCR可以利用不同塊樣本之間的相似性和判別性來進行編碼和分類。因此文中采用RCR分類器進行分類，RCR分類器的參數(shù)設置與文獻[25]中相同。

算法：基于核擴展混合字典的單樣本人臉識別(KEHBD)。

輸出：測試樣本類別標簽。

步驟4：重復步驟1～3，得到每一塊的基本字典[,,…,]和混合字典[,,…,]。

步驟5：使用RCR分類器進行分類。

4 實驗結果與分析

本節(jié)在CAS-PEAL、AR、LFW和PubFig這四個不同的人臉數(shù)據(jù)庫上進行仿真實驗來驗證文中方法的有效性。所有的人臉圖像裁剪成120×100大小。實驗環(huán)境為：Win10 64位操作系統(tǒng)，內(nèi)存8 GB，MATLAB R2017a。

4.1 CAS-PEAL數(shù)據(jù)庫

CAS-PEAL人臉數(shù)據(jù)庫包含1 040類人(595位男性，445位女性)共99 594張人臉圖像。使用其中包含了1 040類人的9 031張圖像的子集進行實驗。圖2展示了CAS-PEAL人臉數(shù)據(jù)庫中的部分樣本。

圖2 CAS-PEAL庫中的部分圖像

在CAS-PEAL數(shù)據(jù)庫上目標對象的標準數(shù)據(jù)集，非目標對象的通用數(shù)據(jù)集，遮擋數(shù)據(jù)集以及類內(nèi)變化數(shù)據(jù)集的設計如下：

(1)非目標對象的通用數(shù)據(jù)集包含光照變化的180類人和光照變化的80類人，每類人有4張圖像，共1 040張變化樣本。同時，數(shù)據(jù)集中還包含每類人1張正臉無干擾圖像，共260張標準樣本，他們共同組成非目標對象的通用數(shù)據(jù)集，用于訓練KDA投影矩陣。

(2)非目標對象的遮擋數(shù)據(jù)集包含配飾遮擋的20類人，每類人有4張圖像，共80張圖像，用于構建遮擋字典。

(3)非目標對象的類內(nèi)變化數(shù)據(jù)集包含光照變化20類人和表情變化20類人，每類人4張圖像，共160張圖像，用于構建類內(nèi)差異字典。

(4)目標對象的驗證樣本集由CAS-PEAL數(shù)據(jù)庫中767類人(與上述目標對象不同類的人)，每類取1張正臉無干擾圖像構成，共767張樣本，用于構建基本字典。

(5)目標對象的測試樣本集由767類人包含了配飾遮擋、光照、表情、距離、時間以及背景變化的所有樣本組成。

4.1.1 非分塊實驗

為了驗證提出的混合字典的有效性，并說明混合字典的有效性是不依賴于圖像分塊的，首先不對樣本進行分塊并使用SRC分類器進行分類，將該方法記為KEHD。KEHD與KEHBD的區(qū)別在于：KEHD省略了圖像分塊的步驟；KEHD采用SCR分類器進行分類。

將KEHD與SRC、ESRC、LDA、KDA以及KED進行比較，上述所有的方法都是基于相同的LBP特征。對于SRC和ESRC，鑒于LBP特征的高維性，使用PCA將特征維數(shù)降至600。表1是不同方法在CAS-PEAL庫上的識別率。

表1 CAS-PEAL數(shù)據(jù)庫中的識別率 %

從表中可以看出，KEHD識別率為92.17%，在所有方法中最高?？梢娂词乖跊]有分塊的情況下，文中提出的核擴展混合字典由于融合了遮擋信息以及類內(nèi)差異信息，對不同的干擾信息都具有較高的魯棒性。

4.1.2 分塊實驗

本節(jié)實驗是為了對不同的分塊方式進行對比。將KEBHD按照圖1的7種分塊方式進行分塊，分別記為KEHBD-1～KEHBD-7。實驗結果如表2所示。

表2 CAS-PEAL數(shù)據(jù)庫中KEBHD的識別率 %

由表2可知，無論是哪種分塊方式都比不分塊時的識別率高，這是由于進行分塊之后可以提取圖像的局部特征，通過RCR分類器可以將每一塊的特征進行融合從而提升識別率。在KEHBD-1～KEHBD-7中，第三種分塊方式(將圖像分成4*4塊)的識別率最高，達到了96.15%。選擇分塊3的分塊方式對圖像進行重疊分塊，分別設置重疊率為0.5(相鄰兩塊的重疊面積為50%)和0.7。重疊率為0.5時會將圖像分成9塊。重疊率為0.7時分成16塊。表3是不同重疊率下KEHBD的識別率。

表3 CAS-PEAL數(shù)據(jù)庫中KEBHD不同 重疊率下的識別率 %

可以看出，設置了重疊率之后識別率進一步提高。這是由于設置了重疊率之后，能夠在整張人臉范圍內(nèi)提取出最具有判別性的特征從而提高了識別率。但是如果重疊率太高會增加計算的負擔，因此綜合考慮選擇分塊3的分塊方式，以及0.5的重疊率為最佳的分塊方式，如圖3所示。

圖3 最佳分塊方式

4.2 AR數(shù)據(jù)庫

AR人臉數(shù)據(jù)庫中包含126類人的4 000多張正面對齊人臉。每類有26張圖像，分為兩個階段，每個階段13張圖像，其中標準圖像1張，光照變化圖像3張，表情變化3張，眼鏡遮擋3張，圍脖遮擋3張。實驗選取了100類樣本。圖4為AR人臉庫中某類人的樣本圖像。

圖4 AR庫中某一類人的人臉圖像

在AR數(shù)據(jù)庫上目標對象的標準數(shù)據(jù)集，非目標對象的通用數(shù)據(jù)集，遮擋數(shù)據(jù)集以及類內(nèi)變化數(shù)據(jù)集的設計如下：

(1)非目標對象的通用數(shù)據(jù)集包含70類人的每類前7張無遮擋樣本，共490張樣本，用于訓練KDA。

(2)非目標對象的遮擋數(shù)據(jù)集包含70類人的每類第二階段6張遮擋樣本，共420張樣本，用于構建遮擋字典。

(3)非目標對象的類內(nèi)變化數(shù)據(jù)集包含70類人的每類第二階段6張無遮擋樣本，共420張樣本，用于構建類內(nèi)差異字典。

(4)目標對象的驗證樣本集包含30類人的每類第一張標準樣本(與上述目標對象不同類的人)，共30張樣本，用于構建基本字典。

(5)目標對象的測試樣本包含30類人的每類剩余25張樣本，共750張樣本。

表4是所有方法在AR人臉庫中的識別率，KEHBD是按圖3最佳分塊方式的情況。由表4可以看出，KEBHD取得了最高的識別率，證明了KEHBD的有效性。

表4 AR數(shù)據(jù)庫中單樣本情況的識別率 %

續(xù)表4

4.3 LFW和PubFig數(shù)據(jù)庫

LFW人臉數(shù)據(jù)庫和PubFig人臉數(shù)據(jù)庫中的人臉面部都是在不受環(huán)境約束和不準確對齊的情況下獲得的，這對于人臉識別具有很大的挑戰(zhàn)性。這兩個數(shù)據(jù)庫中的部分圖像如圖5和圖6所示。

圖5 LFW庫中某一類人的人臉圖像

圖6 PubFig庫中某一類人的人臉圖像

由于LFW和PubFig數(shù)據(jù)集中的人臉不對齊，選擇遮擋樣本以及相應的標準樣本較困難，因此只構建類內(nèi)差異字典來描述樣本中的差異信息。在LFW數(shù)據(jù)庫上目標對象的標準數(shù)據(jù)集，非目標對象的通用數(shù)據(jù)集，類內(nèi)變化數(shù)據(jù)集的設計如下：

(1)非目標對象的通用數(shù)據(jù)集包含100類人的每類5張樣本，共500張樣本，用于訓練KDA。

(2)非目標對象的類內(nèi)變化數(shù)據(jù)集包含100類人的每類5張樣本(與通用數(shù)據(jù)集不重疊)，共500張樣本，用于構建類內(nèi)差異字典。

(3)目標對象的驗證樣本集包含58類人的每類第一張標準樣本(與上述目標對象不同類的人)，共58張樣本，用于構建基本字典。

(4)目標對象的測試樣本由58類人的每類剩余全部樣本組成。

在PubFig數(shù)據(jù)庫上的設計如下：

(1)非目標對象的通用數(shù)據(jù)集包含70類人的每類10張樣本，共700張樣本，用于訓練KDA。

(2)非目標對象的類內(nèi)變化數(shù)據(jù)集包含70類人的每類剩余10張樣本，共700張樣本，用于構建類內(nèi)差異字典。

(3)目標對象的驗證樣本集包含30類人的每類第一張標準樣本(與上述目標對象不同類的人)，共30張樣本，用于構建基本字典。

(4)目標對象的測試樣本由30類人的每類剩余19張樣本組成，共570張樣本。

表5展示了不同方法在LFW和PubFig中的識別率，由于數(shù)據(jù)庫的難度較高，因此選擇分塊3中0.7重疊率的分塊方式，一張圖像會被分成16塊(參考圖3)。從表中可以看出，在LFW和PubFig中KEHBD在性能上均優(yōu)于其他算法，LFW中KEHBD的識別率達到了65.94%，PubFig數(shù)據(jù)庫中KEHBD的識別率達到了34.56%，與其他方法相比有很大程度的提升，可見KEHBD在非控環(huán)境下仍然有較強的魯棒性。由于人臉圖像不對齊，傳統(tǒng)的方法在這種SSPP識別場景中缺乏魯棒性。文中方法通過構建核擴展混合塊字典，通過分塊提取圖像中的局部特征，并為每個分塊圖像構建混合字典去描述可能的誤差，從而明顯提高了識別的準確率。

表5 LFW和PubFig數(shù)據(jù)庫中的識別率 %

5 結束語

針對單樣本情況下人臉識別中存在的問題，提出一種基于核擴展混合塊字典(KEHBD)的單樣本人臉識別方法。首先，對樣本進行分塊處理，分別對分塊圖像進行核判別分析投影降維，提取圖像的局部特征信息構成更具判別性的基本塊字典；然后，為經(jīng)過KDA投影之后的分塊樣本分別構建遮擋字典和類內(nèi)差異字典來描述樣本中的大面積連續(xù)遮擋以及光照、表情等類內(nèi)差異信息，將遮擋字典和類內(nèi)差異字典共同組合成混合塊字典，使混合塊字典能夠更好地描述測試樣本中不同類型的差異信息。從而實現(xiàn)真實情況下的單樣本人臉識別。