蔡曉云,尹賀峰

(1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122;2.鎮(zhèn)江市高等專科學(xué)校,江蘇 鎮(zhèn)江 212028)

在計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)等領(lǐng)域,一個(gè)重要的研究問題是如何得到具有鑒別性的數(shù)據(jù)表示,有效的數(shù)據(jù)表示在各種學(xué)習(xí)系統(tǒng)中有著重要的作用.合適的數(shù)據(jù)表示能夠揭示觀測(cè)數(shù)據(jù)的潛在信息并為機(jī)器學(xué)習(xí)方法提供便利.

稀疏表示在信號(hào)處理、機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺等領(lǐng)域得到了廣泛研究和應(yīng)用,稀疏表示的思想是每個(gè)信號(hào)可以利用過完備字典中的原子稀疏線性表示.在人臉識(shí)別領(lǐng)域最具有代表性的方法是J.WRIGHT等[1]提出的稀疏表示分類(sparse representation based classification,SRC)算法,SRC對(duì)測(cè)試樣本圖像中存在的遮擋和像素破壞等具有較好的魯棒性.SRC利用所有訓(xùn)練樣本來表示測(cè)試樣本,屬于全局的分類方法.為了利用數(shù)據(jù)的局部分布結(jié)構(gòu),殷俊等[2]提出基于局部表示的分類算法(local representation based classification,LRC).LRC使用測(cè)試樣本局部范圍內(nèi)的訓(xùn)練樣本對(duì)其進(jìn)行線性表示,這樣獲得的局部表示系數(shù)在保持稀疏性的同時(shí)包含有效的局部信息.

近年來,低秩表示成為很多研究領(lǐng)域的熱點(diǎn)課題.稀疏約束僅能確定每個(gè)數(shù)據(jù)樣本的局部結(jié)構(gòu),而低秩約束可以挖掘數(shù)據(jù)的全局結(jié)構(gòu).此外,低秩表示可以得到觀測(cè)數(shù)據(jù)間的相關(guān)性.魯棒主成分分析(robust principal component analysis,RPCA)[3]是低秩矩陣恢復(fù)的一種代表性方法,RPCA的目的是通過低秩約束從污損的觀測(cè)數(shù)據(jù)中恢復(fù)出干凈數(shù)據(jù).RPCA基于的假設(shè)是數(shù)據(jù)來自單一的子空間,并且能夠分解成2個(gè)單獨(dú)的部分,即低秩部分和稀疏噪聲部分.然而RPCA不能處理污損或異常數(shù)據(jù)來自多個(gè)子空間的情形,因此LIU G.C.等[4]提出利用LRR (low rank representation)進(jìn)行矩陣恢復(fù)并應(yīng)用于子空間的分割.此外,很多學(xué)者提出基于低秩表示的字典學(xué)習(xí)方法用于圖像分類.WEI C.P.等[5]提出了結(jié)構(gòu)不相關(guān)低秩表示(low-rank with structural-incoherence,LRSI),LRSI逐類別對(duì)訓(xùn)練樣本進(jìn)行恢復(fù).當(dāng)訓(xùn)練樣本類別較多時(shí),逐類別優(yōu)化比較耗時(shí).為了解決這個(gè)問題,ZHANG Y.M.等[6]提出了結(jié)構(gòu)化低秩表示(structured LRR,SLRR),SLRR可以同時(shí)對(duì)整個(gè)訓(xùn)練樣本集進(jìn)行低秩恢復(fù).LI Y.等[7]提出了逐類別塊對(duì)角結(jié)構(gòu)表示(representation with classwise block diagonal structure,RCBD)方法,RCBD可以同時(shí)得到訓(xùn)練樣本和測(cè)試樣本的表示系數(shù).

上述低秩表示及其改進(jìn)方法在圖像分類中取得了不錯(cuò)的結(jié)果,然而它們的性能依然有限,一個(gè)主要的原因是它們不能有效地將原始數(shù)據(jù)特征轉(zhuǎn)變成鑒別性特征表示.基于自表示特性[8],理想的塊對(duì)角結(jié)構(gòu)表示通過嵌入全局語義結(jié)構(gòu)信息和鑒別分類能力,可以捕獲樣本的潛在數(shù)據(jù)信息[6].因此如果能夠在識(shí)別任務(wù)中利用帶有塊對(duì)角結(jié)構(gòu)的數(shù)據(jù)表示,那么將會(huì)取得優(yōu)異的識(shí)別結(jié)果.筆者提出一種結(jié)構(gòu)化局部約束低秩表示(structured locality-constrained low rank representation,SLCLRR),SLCLRR引入理想編碼系數(shù)矩陣正則項(xiàng),可以增加不同類別樣本表示系數(shù)之間的鑒別性.SLCLRR可以同時(shí)得到訓(xùn)練樣本和測(cè)試樣本的表示系數(shù),增加訓(xùn)練樣本和測(cè)試樣本表示系數(shù)矩陣之間的相關(guān)性.此外為了保持?jǐn)?shù)據(jù)的流形結(jié)構(gòu),引入局部約束項(xiàng),使得相似的樣本具有相似的表示系數(shù).

1 低秩矩陣恢復(fù)及結(jié)構(gòu)化低秩表示

1.1 低秩矩陣恢復(fù)

雖然SRC方法取得了優(yōu)異的識(shí)別性能,但當(dāng)訓(xùn)練數(shù)據(jù)中存在污損(遮擋或偽裝等)時(shí),SRC的性能會(huì)下降.可以借助低秩矩陣恢復(fù)技術(shù)對(duì)訓(xùn)練樣本進(jìn)行低秩分解,低秩矩陣恢復(fù)的目的是從原始數(shù)據(jù)中分離出稀疏噪聲部分,同時(shí)得到保留低秩結(jié)構(gòu)的數(shù)據(jù).假設(shè)X=[x1,x2,…,xn]∈Rd×n為包含n個(gè)樣本的觀測(cè)數(shù)據(jù)矩陣,d為樣本維數(shù),每列為一個(gè)樣本數(shù)據(jù),則分解模型可以表示為

X=A+E,

(1)

式中:A為低秩矩陣;E為對(duì)應(yīng)的稀疏噪聲矩陣.

RPCA的目標(biāo)函數(shù)[3]為

(2)

式中:‖·‖*為核范數(shù);‖·‖1為L(zhǎng)1范數(shù);λ為噪聲平衡參數(shù).

式(2)可以通過增廣拉格朗日乘子法(augmented Lagrange multiplier,ALM)[9]求解.

RPCA基于的假設(shè)是觀測(cè)數(shù)據(jù)來自同一個(gè)單一的子空間,然而實(shí)際應(yīng)用中的數(shù)據(jù)分布并非如此.以人臉圖像數(shù)據(jù)為例,每個(gè)人的人臉圖像來自一個(gè)單獨(dú)的子空間.為了充分利用數(shù)據(jù)間的相關(guān)性,LIU G.C.等[4]提出了低秩表示,LRR的目標(biāo)函數(shù)如下:

(3)

式中:D為字典矩陣.

1.2 結(jié)構(gòu)化低秩表示

RPCA和LRR主要用于圖像去噪和背景建模等領(lǐng)域,在圖像分類中的性能有限.為了增加低秩表示的鑒別性,ZHANG Y.M.等[6]引入了理想編碼矩陣正則項(xiàng),目標(biāo)函數(shù)為

(4)

式中:β為系數(shù)稀疏項(xiàng)平衡參數(shù);α為塊對(duì)角結(jié)構(gòu)平衡參數(shù);Q為訓(xùn)練樣本的理想編碼矩陣；‖·‖F(xiàn)為F范數(shù).

該方法稱為結(jié)構(gòu)化低秩表示(SLRR),試驗(yàn)結(jié)果表明,SLRR對(duì)光照變化、遮擋和像素破壞等情形有較好的魯棒性.然而SLRR在分類時(shí)需要在學(xué)習(xí)得到的字典矩陣上求解訓(xùn)練樣本和測(cè)試樣本的表示系數(shù)矩陣,即需要2次求解如下優(yōu)化問題:

(5)

上述優(yōu)化問題是低秩稀疏表示(low rank and sparse representation,LRSR),2次求解該問題比較耗時(shí),另外會(huì)導(dǎo)致訓(xùn)練樣本和測(cè)試樣本表示系數(shù)矩陣之間的相關(guān)性降低.為了解決這個(gè)問題,提出了一種結(jié)構(gòu)化局部約束低秩表示算法(SLCLRR),該方法可以同時(shí)得到訓(xùn)練樣本和測(cè)試樣本的表示系數(shù).為了增加不同類別樣本表示系數(shù)之間的鑒別性,引入了理想編碼系數(shù)矩陣正則項(xiàng).此外為了使得相似的樣本具有相似的表示系數(shù),引入了局部約束項(xiàng).

2 結(jié)構(gòu)化局部約束低秩表示

X=DZ，

(6)

SLCLRR的目標(biāo)函數(shù)為

(7)

式中:W為樣本距離度量矩陣;‖W⊙Z‖1的作用是使得相似的樣本有相似的表示系數(shù);Q=[q1,q2,…,qn]∈Rm×n為訓(xùn)練樣本的理想表示系數(shù)；γ為字典矩陣的平衡參數(shù).

使用與文獻(xiàn)[6]相同的線性分類器來對(duì)測(cè)試樣本進(jìn)行分類.

引入輔助變量J和L,可以得到式(7)對(duì)應(yīng)的增廣拉格朗日函數(shù)[9],即

Λ(Z,J,L,E,D,Y1,Y2,Y3,μ)=

++

(8)

式中:=tr(ATB);Y1,Y2和Y3是拉格朗日乘法算子;μ為懲罰參數(shù),μ>0.

在進(jìn)行模型優(yōu)化時(shí)，采用交替優(yōu)化的策略優(yōu)化每個(gè)變量,每次迭代時(shí)變量進(jìn)行更新,更新方法參考文獻(xiàn)[9].

3 試驗(yàn)結(jié)果及分析

在4個(gè)常用的數(shù)據(jù)集上進(jìn)行試驗(yàn),即AR數(shù)據(jù)集、Extended Yale B數(shù)據(jù)集、ORL數(shù)據(jù)集和LFW數(shù)據(jù)集.為了驗(yàn)證提出的算法的有效性,對(duì)比的方法有LLC[7]，SRC[1]，RPCA[3]，LRSI[5]，SLRR[6]，F(xiàn)DDL[7]，DLRD-SR[10]和LRSR[7].LRSR的目標(biāo)函數(shù)如式(5)所示,SRW指的是使用所有訓(xùn)練樣本作為字典矩陣的SRC算法,而SRS指的是使用和本文算法一樣數(shù)目原子個(gè)數(shù)的SRC算法.所有算法均在Intel(R) Core(TM) i7- 4790 CPU @ 3.60 GHz,內(nèi)存為16 G,Windows 10(64位)的臺(tái)式機(jī)上使用MATLAB R2018b編程實(shí)現(xiàn).

3.1 AR數(shù)據(jù)集

AR數(shù)據(jù)集有126個(gè)人的超過4 000幅彩色正面人臉圖像,每人至少有26幅,這些幅圖像在2個(gè)不同階段采集,每個(gè)階段采集13幅圖像,其中有3幅墨鏡遮擋圖像,3幅圍巾遮擋圖像,其余7幅包含不同的表情和光照變化,這7幅圖像是無遮擋圖像.圖像大小為165×120像素,圖1只給出數(shù)據(jù)集中的部分圖像.試驗(yàn)中選取了50名男性和 50名女性共100人的人臉圖像,圖像下采樣為55×40像素.在如下3種遮擋情形下進(jìn)行試驗(yàn):

1) 墨鏡遮擋(見圖1d)人臉圖像大概20%的區(qū)域,在該情形下,使用階段1的7幅無遮擋圖像和隨機(jī)選擇的1幅墨鏡遮擋圖像作為訓(xùn)練樣本,使用階段2的7幅無遮擋圖像和余下的墨鏡遮擋圖像(包括階段1的2幅圖像和階段2的3幅圖像)作為測(cè)試樣本.

2) 和墨鏡遮擋相比,圍巾遮擋(見圖1e)的人臉區(qū)域更大,達(dá)到了40%.和墨鏡遮擋情形類似,使用階段1的7幅無遮擋圖像和隨機(jī)選擇的1幅圍巾遮擋圖像作為訓(xùn)練樣本,使用階段2的7幅無遮擋圖像和余下的圍巾遮擋圖像(包括階段1的2幅圖像和階段2的3幅圖像)作為測(cè)試樣本.

3) 混合情形,在該情形下考慮訓(xùn)練樣本中同時(shí)有墨鏡和圍巾遮擋圖像.使用階段1的7幅無遮擋圖像、1幅墨鏡遮擋圖像(隨機(jī)選擇)和1幅圍巾遮擋圖像(隨機(jī)選擇)作為訓(xùn)練樣本,余下的圖像作為測(cè)試樣本.

和SLRR算法一樣,提出的SLCLRR方法在上述3種情形下每類的原子數(shù)為5個(gè).不同方法在上述3種情形下的識(shí)別結(jié)果如表1所示,SLCLRR在墨鏡遮擋、圍巾遮擋和混合情形下分別比LRSR的正確識(shí)別率高出6.1%,7.9%和7.8%,說明SLCLRR對(duì)于遮擋具有較好的魯棒性.

圖1 部分AR數(shù)據(jù)庫示例圖像

表1 在AR數(shù)據(jù)集上各算法的正確識(shí)別率 %

3.2 Extended Yale B數(shù)據(jù)集

Extended Yale B數(shù)據(jù)集包含38個(gè)人的2 414幅人臉圖像,每人有59～64幅不同光照下的圖像,圖像大小為192×168像素,部分示例如圖2所示.采樣率分別為1/2,1/4和1/8 倍,對(duì)應(yīng)圖像維數(shù)為8 064,2 016,504維.隨機(jī)選擇每個(gè)人的Nc幅(Nc=8或32幅)圖像組成訓(xùn)練集,其余圖像作為測(cè)試集.當(dāng)Nc=8幅時(shí),每類字典原子數(shù)為5個(gè);當(dāng)Nc=32幅時(shí),每類字典原子數(shù)為20個(gè).SLCLRR和其他對(duì)比算法的識(shí)別結(jié)果如表2所示.當(dāng)Nc=8幅時(shí),平均來看,SLCLRR比SLRR的識(shí)別率提高了1.1%;當(dāng)Nc=32幅時(shí),平均來看,SLCLRR比SLRR的識(shí)別率高出5.3%.在Extended Yale B上的試驗(yàn)結(jié)果表明，SLCLRR算法能夠較好處理圖像中存在的光照變化.

圖2 部分Extended Yale B數(shù)據(jù)庫示例圖像

表2 在Extended Yale B數(shù)據(jù)集上各算法的正確識(shí)別率

3.3 隨機(jī)像素破壞

試驗(yàn)選擇AR數(shù)據(jù)集每個(gè)人第1階段的7幅無遮擋圖像(僅有光照和表情變化)作為訓(xùn)練集,每個(gè)人第2階段的7幅無遮擋圖像作為測(cè)試集.每類字典原子數(shù)為7個(gè).和文獻(xiàn)[6]的試驗(yàn)設(shè)置相同，隨機(jī)選擇所有訓(xùn)練樣本和測(cè)試樣本一定比例的像素,采用服從[0,Vmax]均勻分布的像素進(jìn)行替換,其中Vmax為圖像中最大的像素值，并且被替換像素的位置未知.各算法在不同比例噪聲破壞下的識(shí)別率曲線如圖3所示.

圖3 各算法在不同比例噪聲破壞下的識(shí)別率曲線

從圖3可以看出:在不同比例噪聲破壞下,SLCLRR的正確識(shí)別率比LRSR平均高出9.8%,尤其在噪聲比例為35%時(shí),SLCRR的識(shí)別率比LRSR高出20.8%,充分說明了SLCLRR對(duì)隨機(jī)像素破壞具有較好的魯棒性.

3.4 ORL數(shù)據(jù)集

ORL是基于表情和姿態(tài)變化的人臉數(shù)據(jù)庫,該數(shù)據(jù)庫由40個(gè)人,每人10幅不同姿態(tài)和表情的人臉圖像組成,總共400幅.圖像的分辨率為112×92像素,灰度級(jí)為256.試驗(yàn)中隨機(jī)選擇每個(gè)人的5幅圖像組成訓(xùn)練樣本,其余為測(cè)試樣本,圖像縮放大小為28×23像素.隨機(jī)選擇每幅訓(xùn)練和測(cè)試圖像中的圖像塊用不相關(guān)隨機(jī)圖像進(jìn)行替換,試驗(yàn)在不同的遮擋比例下進(jìn)行,部分隨機(jī)遮擋圖像如圖4所示.SLCLRR及其對(duì)比算法在不同遮擋比例下的識(shí)別結(jié)果如表3所示,在沒有遮擋時(shí),SLCLRR的識(shí)別性能低于FDDL,隨著遮擋比例的增大,SLCLRR一直能取得最好的識(shí)別結(jié)果.

圖4 ORL數(shù)據(jù)集中一幅圖像被不同比例遮擋后的圖像

表3 在ORL數(shù)據(jù)集上各算法的正確識(shí)別率 %

3.5 LFW數(shù)據(jù)集

原始LFW數(shù)據(jù)集包含5 749個(gè)人的圖像.使用LFW-a數(shù)據(jù)集,它是基于商業(yè)人臉對(duì)齊軟件對(duì)齊后的數(shù)據(jù).試驗(yàn)使用的LFW-a數(shù)據(jù)文件由文獻(xiàn)[11]作者提供,它包含158個(gè)人的每人10幅圖像.隨機(jī)選擇每個(gè)人的5幅圖像構(gòu)成訓(xùn)練集,其余5幅作為測(cè)試集.圖像大小為90×90 像素,部分LFW-a數(shù)據(jù)庫示例圖像如圖5所示.算法SLCLRR,LRSR,SLRR,LRSI,RPCA,CRC,SRC,LLC在LFW-a數(shù)據(jù)集上的正確識(shí)別率分別為71.0%,62.1%,68.2%,66.2%,66.3%,64.6%,68.3%,60.1%.試驗(yàn)結(jié)果表明,SLCLRR能夠較好處理無約束環(huán)境下采集的人臉圖像.

圖5 部分LFW-a數(shù)據(jù)庫示例圖像

4 結(jié) 論

提出了將結(jié)構(gòu)化局部約束低秩表示算法用于人臉識(shí)別,該方法考慮了如下信息:① 通過引入理想編碼系數(shù)矩陣正則項(xiàng),SLCLRR使得同類樣本的表示系數(shù)盡可能接近,同時(shí)不同類別樣本的表示系數(shù)盡可能不同,增加了編碼系數(shù)的鑒別性;② 為了保持?jǐn)?shù)據(jù)的流形結(jié)構(gòu),SLCLRR引入了局部約束項(xiàng),這樣使得相似的樣本具有相似的表示系數(shù);③ SLCLRR可以同時(shí)得到訓(xùn)練樣本和測(cè)試樣本的表示系數(shù)矩陣,增加了訓(xùn)練樣本表示系數(shù)和測(cè)試樣本表示系數(shù)之間的相關(guān)性;④ 通過字典學(xué)習(xí),SLCLRR可以降低字典矩陣的冗余,同時(shí)具有較好的表示能力.在多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上的試驗(yàn)結(jié)果表明,SLCLRR對(duì)于光照變化、表情變化、遮擋、隨機(jī)像素破壞和真實(shí)環(huán)境下的人臉圖像具有較好的魯棒性.