李爭名，楊南粵，岑 健

(1.廣東技術(shù)師范學院 工業(yè)實訓中心，廣州 510665； 2.哈爾濱工業(yè)大學深圳研究生院 生物計算研究中心，廣東 深圳 518055； 3.廣東技術(shù)師范學院 科研處，廣州 510665)

基于原子Fisher判別準則約束字典學習算法

李爭名1,2*，楊南粵1，岑 健3

(1.廣東技術(shù)師范學院 工業(yè)實訓中心，廣州 510665； 2.哈爾濱工業(yè)大學深圳研究生院 生物計算研究中心，廣東 深圳 518055； 3.廣東技術(shù)師范學院 科研處，廣州 510665)

(*通信作者電子郵箱gslzm@gpnu.edu.cn)

為了提高字典的判別性能，提出基于原子Fisher判別準則約束的字典學習算法AFDDL。首先，利用特定類字典學習算法為每個原子分配一個類標，計算同類原子和不同類原子間的散度矩陣。然后，利用類內(nèi)散度矩陣和類間散度矩陣的跡的差作為判別式約束項，促使不同類原子間的差異最大化，并在最小化同類原子間差異的同時減少原子間的自相關(guān)性，使得同類原子盡可能地重構(gòu)某一類樣本，提高字典的判別性能。在AR、FERET和LFW三個人臉數(shù)據(jù)庫和USPS手寫字體數(shù)據(jù)庫中進行實驗，實驗結(jié)果表明，在四個圖像數(shù)據(jù)庫中，所提算法在識別率和訓練時間方面均優(yōu)于類標一致的K奇異值分解(LC-KSVD)算法、局部特征和類標嵌入約束的字典學習(LCLE-DL)算法、支持矢量指導的字典學習(SVGDL)算法和Fisher判別字典學習算法；且在四個數(shù)據(jù)庫中，該算法也比稀疏表示分類(SRC)和協(xié)同表示分類(CRC)取得更高的識別率。

字典學習；Fisher判別準則；原子特征；協(xié)作表示；圖像分類

0 引言

稀疏編碼利用一組“超完備”的基向量高效地表示樣本數(shù)據(jù)，被廣泛的應用于圖像處理、模式識別和計算機視覺等領(lǐng)域。字典學習是稀疏編碼的一個重要研究方向，其基本思想是從訓練樣本中學習一組“超完備”的基向量，該組基向量通常稱為字典，每個基向量稱為一個原子。判別字典學習(Discriminative Dictionary Learning, DDL)是字典學習的一個重要研究分支，其核心問題是如何設計判別式約束項提高字典的判別性能。由于訓練樣本的類標特征在模式分類中起到非常重要的作用，研究者提出許多基于訓練樣本類標特征約束的判別字典學習算法[1-3]。典型的算法是Yang等[2]提出的Fisher判別字典學習(Fisher DDL, FDDL)算法。該算法根據(jù)同類訓練樣本對應的編碼系數(shù)應該比不同類訓練樣本對應的編碼系數(shù)更相似，構(gòu)造基于編碼系數(shù)的Fisher準則作為判別式約束項，并根據(jù)不同類原子對樣本的重構(gòu)性能構(gòu)造判別性保真度約束項，提高了字典學習算法的分類性能。隨后，Cai等[3]提出利用訓練樣本類標構(gòu)造自適應的編碼系數(shù)權(quán)重的支持矢量指導的字典學習(Support Vector Guided Dictionary Learning, SVGDL)算法，并認為FDDL算法是SVGDL算法的一種特殊形式。上述算法目的都是促使同類的訓練樣本對應的編碼系數(shù)盡可能地相似，提高判別字典學習算法的分類性能。但是它們都忽略了同類原子和不同類原子間的關(guān)系，降低了字典的判別性能。

為了利用原子的特征，研究者利用特定類字典學習算法為原子分配類標，提出利用原子類標與其他特征構(gòu)造約束項的判別字典學習算法[4-6]。Jiang等[4]利用原子類標與編碼系數(shù)構(gòu)造類標一致的 K奇異值分解算法(Label Consistent K-means-based Singular Value Decomposition, LC-KSVD)算法提高編碼系數(shù)的判別性能。由于LC-KSVD算法僅僅考慮了原子類標特征，忽略了原子間的相似性特征，提高字典的判別性能有限。為此，Li等[5]利用原子的類標和局部特征構(gòu)造嵌入約束的字典學習(Locality Constrained and Label Embedding Dictionary Learning, LCLE-DL)算法。雖然LCLE-DL算法考慮了同類原子間的相似性，但是忽略了不同類原子間的差異，也可能影響字典的判別性能。

由于理想情況下同類訓練樣本應該單獨由某些原子進行重構(gòu)，并且這些原子的類標與重構(gòu)的訓練樣本一致[7]。因此，在字典學習算法中，應該盡可能地增大不同類原子間的差異，減少同類原子間的自相關(guān)性。然而，上述字典學習算法并沒有利用該特征。為了利用原子間的相似性和自相關(guān)性特征，本文提出基于原子Fisher判別準則約束的字典學習算法AFDDL(Fisher Discriminative Dictionary Learning of Atoms)。該算法利用同類原子和不同類原子的散度矩陣的跡的差作為判別式約束項，增大不同類原子間的差異并減少原子間的自相關(guān)性，增強字典的判別性能，提高字典學習算法的分類性能。

1 原子的Fisher判別準則

根據(jù)文獻[4]可知，如果為字典中的每個原子分配一個類標，并利用原子類標構(gòu)造判別式約束項，可以提高字典的判別性能。利用特定類字典學習算法，可把訓練樣本的類標分配給對應的原子。假設：X=[x1,x2,…,xr]∈Rv×r是訓練樣本集合；v是訓練樣本的維數(shù)；r是訓練樣本的個數(shù)；D=[d1,d2,…,dk]∈Rv×k是字典，di∈Rv是第i個原子；k是原子個數(shù)；Y=[y1,y2,…,yr]∈Rk×r是編碼系數(shù)矩陣，yi=[y1i,y2i,…,yki]T∈Rk(1≤i≤r)是第i個訓練樣本對應于字典D的編碼系數(shù)。原子類標的分配方法如下：

1)針對第i類訓練樣本，利用K-SVD算法學習一個特定類字典Di。因此，c類訓練樣本可以學習得到特定類字典D=[D1,D2,…,Di,…,Dc]，字典D包含c類原子。

2)由于字典Di是利用第i類訓練樣本學習得到，如果原子di∈Di，則原子di的類標可定義為hi=[0,0,…，0,1,0,…,0]∈Rc(1≤i≤c),hi中的第i個元素為1，其余c-1個元素均為零。因此，字典D中的原子類標矩陣H可以定義為H=[h1,h2,…,hk]T∈Rk×c。

一旦獲得原子類標，可以計算原子的類內(nèi)散度矩陣SW(D)和類間散度矩陣SB(D)。

(1)

(2)

其中：Di表示第i類原子；mi表示第i類原子的均值矢量；ni表示第i類原子的數(shù)目；m是所有原子的均值矢量；c是原子的類數(shù)。在字典學習中，原子個數(shù)的選擇有很多種方式。根據(jù)文獻[4]，假設字典中的原子個數(shù)等于訓練樣本個數(shù)，且每類原子個數(shù)都為f，則字典中原子個數(shù)k=c×f。

因此，式(1)可以轉(zhuǎn)換為式(3)：

(3)

式(3)中的第i類原子對應的散度矩陣計算如式(4)：

(d(i-1)f+1-mi)(d(i-1)f+1-mi)T+(d(i-1)f+2-mi)(d(i-1)f+2-mi)T+…+(dif-mi)(dif-mi)T=d(i-1)f+1(d(i-1)f+1)T+d(i-1)f+2(d(i-1)f+2)T+…+dif(dif)T+fmi(mi)T-2(d(i-1)f+1(mi)T+d(i-1)f+2(mi)T+…+dif(mi)T)

(4)

把式(4)代入式(3)，類內(nèi)散度矩陣SW(D)可以利用式(5)計算：

(5)

由于mi是第i類原子的均值矢量，即mi=(d(i-1)f+1+d(i-1)f+2+…+dif)/f，因此式(5)可以轉(zhuǎn)換為式(6)：

(6)

另外，原子的類間散度矩陣計算式(2)可以轉(zhuǎn)換為式(7)：

(7)

(8)

為了提高編碼系數(shù)的判別性，文獻[2]提出最小化編碼系數(shù)的類內(nèi)散度矩陣和類間散度矩陣的跡的差作為判別式約束項。為了增強原子的判別性能，使得不同類原子間的差異最大化和同類原子間的差異最小化，設計的原子Fisher判別準則如式(9)。

min(Tr(SW(D))-Tr(SB(D)))

(9)

其中: Tr(·)表示矩陣的跡。式(9)最小化同類原子類內(nèi)散度矩陣和最大化不同類原子的類間散度矩陣。

根據(jù)式(6)和式(8)，式(9)轉(zhuǎn)換為式(10)。

(10)

令A為元素均為1的k階方陣，P也為k階方陣，且矩陣P=VVT/f,V=H(HTH)-1/2，式(10)可以轉(zhuǎn)換為式(11):

(11)

其中：U=I+A-2×P，I是單位矩陣。

2 AFDDL算法

2.1AFDDL算法的目標函數(shù)

根據(jù)文獻[7]，在判別字典學習算法中，對于不同類的訓練樣本，字典中的原子應該具有不同的重構(gòu)性能，在理想情況下，一些原子應該只重構(gòu)某一類樣本。根據(jù)文獻[4]，利用特定類字典學習算法為每類訓練樣本學習一類原子，在字典學習中促使該類原子盡可能地重構(gòu)該類樣本。因此，基于原子的Fisher判別準則約束字典學習算法的目標函數(shù)如式(12)。

s.t. ‖dj‖2≤1,j=1,2,…,k

(12)

雖然AFDDL算法和LC-KSVD算法都是利用特定類字典學習算法為原子分配類標特征，并在此基礎(chǔ)上設計判別式約束項。但是LC-KSVD算法主要是利用訓練樣本與原子類標的一致性構(gòu)造一個對角的矩陣，在此基礎(chǔ)上設計編碼分類誤差項，促使同類的訓練樣本對應的編碼系數(shù)盡可能地相似，增強編碼系數(shù)的判別性能，提高字典學習算法的分類性能。由于理想情況下，同類原子應該盡可能地重構(gòu)某一類訓練樣本。而LC-KSVD算法沒有考慮不同類原子間的差異，降低了字典的判別性。AFDDL算法通過構(gòu)造原子的Fisher判別準則，促使不同類原子間的差異最大化以及同類原子差異最小化，并減少原子間的自相關(guān)性，增強字典的判別性能，提高字典學習算法的分類性能。雖然AFDDL算法和LCLE-DL算法都利用了原子的特性，AFDDL算法是在原子類標的基礎(chǔ)上利用原子的相似性特征，而LC-KSVD算法僅僅利用原子的類標特征。因此，AFDDL算法能在一定程度上解決了LC-KSVD算法存在的問題。

此外，AFDDL算法和FDDL算法都利用了Fisher判別準則。FDDL算法主要是最小化同類訓練樣本對應編碼系數(shù)的散度矩陣和最大化不同類訓練樣本對應編碼系數(shù)的散度矩陣，增強編碼系數(shù)矩陣的判別性能。雖然，F(xiàn)DDL算法還利用了同類原子的重構(gòu)性能設計判別式約束想，由于其忽略了不同類原子間的差異，可能導致學習得到的字典具有一定的冗余性。而AFDDL算法通過利用原子的Fisher判別準則也能夠在一定程度上解決了FDDL算法存在的問題。

2.2AFDDL算法的求解

由于AFDDL算法的目標函數(shù)可以采取交替約束直接求導的方法進行求解，利用K-SVD算法初始化字典D和編碼系數(shù)矩陣Y，然后不斷地更新目標函數(shù)直到算法收斂。

2.2.1 字典D的求解

假設式(12)中的編碼系數(shù)矩陣Y是常量，AFDDL算法的目標函數(shù)可以轉(zhuǎn)換為式(13)：

(13)

s.t. ‖di‖2≤1,i=1,2,…,k

根據(jù)文獻[8]，利用拉格朗日函數(shù)對式(13)進行求解可得到式(14)：

(14)

其中:w=[w1,w2,…,wi,…,wk](i∈[1,2,…,k])，wi是第i個等式約束(‖di‖2≤1)的拉格朗日乘子。假設k階對角方陣為Λ∈Rk×k, 對角元素Λii=wi，式(14)可以轉(zhuǎn)換為式(15)：

(15)

為了獲得最優(yōu)字典D，對式(15)求一階導數(shù)并令其等于零可得式(16)：

D*=XYT(YYT+αU+Λ)-1

(16)

為了減少計算復雜度，利用式(17)獲得最優(yōu)字典D*：

D*=XYT(YYT+αU+γI)-1

(17)

其中：γ是參數(shù)，I是單位矩陣。利用式(17)計算字典，可能對算法性能的穩(wěn)定性產(chǎn)生一定的影響。因此，Λ的最優(yōu)求解方法見文獻[8]。

2.2.2 編碼系數(shù)矩陣Y的求解

假設AFDDL目標函數(shù)中字典D是常量，則式(12)轉(zhuǎn)換為：

(18)

式(18)可以直接求導得到編碼系數(shù)矩陣Y。因此，對式(18)求導并令其為零，則可以得到：

-DTX+DTDY+βY=0

(19)

利用式(19)獲得最優(yōu)的編碼系數(shù)矩陣Y*：

Y*=(DTD+βI)-1DTX

(20)

2.2.3 分類方法

由于AFDDL算法中原子具有類標信息，而且不同類原子具有較大的差異，擬采用FDDL算法中的全局分類方法為AFDDL算法的分類方法。

(21)

其中：η是參數(shù)；‖·‖1是L1范數(shù)約束。

(22)

其中：ω是參數(shù)；qi是第i類訓練樣本對應編碼系的均值矢量；ei是第i類字典對測試樣本的重構(gòu)誤差，測試樣本x的類標分配到獲得最小誤差ei對應的類。

AFDDL算法的分類過程如下：

1)

針對訓練樣本中的第i類樣本，利用K-SVD算法初始化特定類字典Di和編碼系數(shù)矩陣Yi。

2)

獲得初始化字典D0=[D1,D2,…,Dc]和原子的類標矩陣H以及編碼系數(shù)矩陣Y0=[Y1,Y2,…,Yc]。

3)

利用矩陣H計算矩陣P，并構(gòu)造元素全為1的k階矩陣P。

4)

利用矩陣A和矩陣P，根據(jù)公式U=I+A-2×P計算U。

5)

Fori=1:t利用式(17)計算字典Di利用式(20)計算編碼系數(shù)矩陣Yi

End

6)

獲得最優(yōu)的字典D=Dt和編碼系數(shù)矩陣Y=Yt。

7)

針對測試樣本x，利用式(21)獲得表示系數(shù)，并提取每類原子對應的表示系數(shù)。

8)

利用式(22)計算重構(gòu)誤差，測試樣本x的類標分配到最小誤差對應的類。

3 實驗結(jié)果與分析

由于AFDDL算法是在原子類標的基礎(chǔ)上構(gòu)造的基于Fisher準則的判別約束項，而LC-KSVD、SVGDL和LCLE-DL算法都利用原子類標構(gòu)造約束項，因此，把LC-KSVD、SVGDL和LCLE-DL算法作為對比算法。由于FDDL算法和AFDDL算法都利用了Fisher判別準則，不同之處在于FDDL算法利用的是編碼系數(shù)的Fisher判別準則而AFDDL利用的是原子的Fisher判別準則。因此，把FDDL算法也作為AFDDL算法的對比算法。此外，在基于字典學習的模式分類中，通常也把以訓練樣本集合作為字典的稀疏表示分類(SparseRepresentationbasedClassification,SRC)[9]和協(xié)同表示分類(CollaborativeRepresentationbasedClassification,CRC)[10]算法作為對比算法。本章給出AFDDL算法和六個對比算法在AR[11]、LFW[12]和FERET[13]人臉數(shù)據(jù)庫以及USPS[8]手寫字體數(shù)據(jù)庫中的實驗結(jié)果。對于SRC算法，根據(jù)文獻[9], 利用l1_ls方法獲得測試樣本的表示系數(shù)。由于LC-KSVD2比LC-KSVD1取得更好的分類性能，本文中的LC-KSVD算法的實驗結(jié)果指的是LC-KSVD2算法。

在本文中所有實驗中，AFDDL算法的參數(shù)為α=10-5、β=10-2和γ=10-2，最大迭代次數(shù)t=20。此外，參數(shù)ω和η與FDDL算法中的參數(shù)設置一樣，即ω=0.5和η=0.005。

3.1AR數(shù)據(jù)庫中的實驗結(jié)果

AR數(shù)據(jù)庫中共有126個人，超過4 000幅彩色人臉圖像，這些圖像采集于兩個不同的階段，每幅圖像具有不同的表情、亮度和遮擋。根據(jù)文獻[14]，選擇120個人作為子集合，圖像被調(diào)整為40×50像素大小的灰度圖像。在本文實驗中，每類第一階段的13幅圖像作為訓練樣本，第二階段的13幅圖像作為測試樣本。字典大小為1 560，實驗結(jié)果如表1所示。

表1 AR數(shù)據(jù)庫中不同算法的性能比較

從表1中可以看出，AFDDL算法比6個對比算法均取得更高的識別率。此外，LCLE-DL等4個字典學習算法也都比CRC和SRC算法取得更高的識別率。

圖1 顯示AR數(shù)據(jù)庫中的部分訓練樣本和被誤分類的樣本。從圖1中可以看出，被誤分類的樣本的表情和姿態(tài)與訓練樣本之間有較大的變化，表示利用原子的Fisher判別準則存在著不能有效地提取同類樣本的某些特征，導致部分樣本被誤分類。

圖1 AR數(shù)據(jù)庫中部分樣本

3.2LFW數(shù)據(jù)庫中的實驗結(jié)果

LFW數(shù)據(jù)庫共計有1 680個人的13 000幅來自于互聯(lián)網(wǎng)的人臉圖像。根據(jù)文獻[15]，利用LFW數(shù)據(jù)的裁剪版本(LFWcrop)為實驗所用數(shù)據(jù)集合。LFWcrop數(shù)據(jù)庫中的人臉圖像包括不對稱、尺度變化和平面外旋轉(zhuǎn)等真實情況。根據(jù)文獻[16]，從LFWcrop數(shù)據(jù)庫中選擇每類圖像個數(shù)為11～20的人臉圖像作為數(shù)據(jù)集合，則共有86人的1 215幅圖像，并把圖像調(diào)整為32×32像素大小。

在本文實驗中，每人隨機選擇5幅圖像作為訓練樣本，剩下的作為測試樣本。字典的大小為430。重復運行AFDDL算法和6個對比算法10次，實驗結(jié)果如表2所示。

表2 LFW數(shù)據(jù)庫中不同算法的性能比較

從表2中可以看出，AFDDL算法比6個對比算法均取得更高的識別率。但是，CRC算法比LC-KSVD，F(xiàn)DDL和SVGDL算法取得更高的識別率。而本文提出的AFDDL算法和LCLE-DL算法均比CRC取得更高的分類性能。上述實驗結(jié)果表明利用原子間的特征能夠有效地增強字典的判別性能。

圖2 顯示LFW數(shù)據(jù)庫中的部分訓練樣本和被誤分類的樣本。從圖2中可以看出，被誤分類的樣本除了表情和姿態(tài)與訓練樣本之間有較大的變化，還有頭發(fā)等因素導致提取的原子不能表示測試樣本間的變化。

圖2 LFW數(shù)據(jù)庫部分樣本

3.3FERET數(shù)據(jù)庫中的實驗結(jié)果

FERET數(shù)據(jù)庫包含14 051幅多姿態(tài)和光照的人臉圖像。根據(jù)文獻[17]，選擇FERET數(shù)據(jù)庫的一個子集合，包含200個人共計1 400幅圖像作為本實驗所用數(shù)據(jù)集合，圖像的分辨率被調(diào)整為40×40像素大小。

從表3中可以看出：AFDDL算法比6個對比算法均取得更高的識別率；另外，F(xiàn)DDL算法比LCLE-DL、LC-KSVD和SVGDL算法獲得更高的識別率。上述結(jié)果表明利用原子或編碼系數(shù)構(gòu)造的Fisher判別準則，能夠提高基于字典學習算法的分類性能。

表3 FERET數(shù)據(jù)庫中不同算法的性能比較

圖3 顯示FERET數(shù)據(jù)庫中的部分訓練樣本和被誤分類的樣本。從圖3中可以看出，表情和姿態(tài)仍然是影響算法的性能的重要因素。

圖3 FERET數(shù)據(jù)庫部分樣本

3.4USPS數(shù)據(jù)庫中的實驗結(jié)果

根據(jù)文獻[8]，實驗所用的USPS手寫字體數(shù)據(jù)庫共包括9 298個手寫數(shù)字圖像，每類圖像數(shù)目從708～1 553不等，圖像被調(diào)整為16×16像素大小。在本文實驗中，從每類中固定選取前50個樣本作為訓練樣本，剩余的作為測試樣本，實驗結(jié)果如表4所示。

從表4中可以看出：AFDDL算法比6個對比算法均取得更高的識別率；另外，SRC算法比LCLE-DL和SVGDL算法獲得更高的識別率，與FDDL和LCLE-DL的識別率幾乎相等。主要原因可能是USPS數(shù)據(jù)庫中樣本的背景簡單和差異較小，直接利用原始樣本的SRC算法也能夠較好地表示測試樣本。

表4 USPS 數(shù)據(jù)庫中不同算法的性能比較

圖4 顯示USPS數(shù)據(jù)庫中的部分訓練樣本和被誤分類的樣本。從圖4中可以看出，字體形狀的變化是影響算法的性能的重要因素。

3.5 實驗結(jié)果分析

1)在四個數(shù)據(jù)庫中，AFDDL算法的識別率比LC-KSVD提高了4.5、5.8、6.5和4.3個百分點，主要原因是LC-KSVD算法利用原子類標和編碼系數(shù)構(gòu)造編碼分類誤差項，促使同類的訓練樣本對應的編碼系數(shù)盡可能地相似，增強編碼系數(shù)的判別性能，但是其忽略了不同類原子間的差異。而AFDDL算法構(gòu)造原子的Fisher判別約束項促使不同類原子間的差異最大化以及同類原子差異最小化，并減少原子間的自相關(guān)性，增強字典的判別性能，能夠克服LC-KSVD算法存在的缺陷。

圖4 USPS數(shù)據(jù)庫部分樣本

2)表1～4表明AFDDL算法的識別率分別比FDDL算法提高了2.9、3.9、1.1和2.5個百分點。FDDL算法利用編碼系數(shù)的Fisher判別準則，促使同類訓練樣本對應的編碼系數(shù)盡可能地相似，并結(jié)合原子的重構(gòu)特征提高字典的判別性能，但是其忽略了原子間的自相關(guān)性特征及不同類原子間的差異。AFDDL算法利用原子的Fisher判別準則，不僅能夠最大化不同類原子間的差異，而且能夠在最小化同類原子間差異的同時最小化原子間的自相關(guān)性，促使同類的原子盡可能地重構(gòu)同類訓練樣本，增強字典的判別性能。雖然，F(xiàn)DDL算法和AFDDL算法都利用了Fisher準則設計判別式約束項，但是AFDDL算法不僅具有FDDL算法的優(yōu)點，還能夠保持原子間的特征關(guān)系。因此，AFDDL算法比FDDL算法取得更好的分類性能。

3)在四個數(shù)據(jù)庫中，AFDDL算法比LCLE-DL和SVGDL算法均取得更高的識別率。主要原因是LCLE-DL算法僅考慮了同類原子間的特征，忽略了不同類原子間的差異。SVGDL算法利用訓練樣本的類標作為編碼系數(shù)的權(quán)重，忽略了原子的特征。而AFDDL算法構(gòu)造原子的Fisher判別約束項能夠克服LCLE-DL和SVGDL算法存在的缺陷。

4)當原子個數(shù)等于訓練樣本個數(shù)時，表1～4表明AFDDL算法比CRC和SRC算法獲得更高的識別率，主要原因是在通常情況下利用學習得到的字典比直接利用原始的訓練樣本具有更好的分類性能。

5)在計算字典的訓練時間時，AFDDL算法和對比算法的迭代次數(shù)均設定為20次。表1～4表明，AFDDL算法的訓練字典的時間比FDDL、SVGDL、LC-KSVD算法都小，與LCLE-DL算法幾乎相等。主要原因是AFDDL和LCLE-DL算法都采用L2范數(shù)約束，目標函數(shù)可以直接求導，降低了算法的計算復雜度。由于使用相同的分類方法，AFDDL算法與FDDL算法的分類時間幾乎相等，比LC-KSVD和LCLE-DL算法都高。由此可見，利用L2范數(shù)約束字典學習算法中的編碼系數(shù)，不僅能夠減少字典學習算法的訓練時間，也能使得字典學習算法獲得較好的分類性能。

4 結(jié)語

為了提高基于字典學習算法的分類性能，本文提出一種新的判別式約束項模型。根據(jù)理想情況下，同類原子應該僅僅重構(gòu)同一類樣本，構(gòu)造原子的Fisher判別準則。與目前字典學習算法不同的是，該判別式約束項不僅能夠最大化不同類原子間的差異，而且能夠在最小化同類原子間差異的同時減少原子間的自相關(guān)性，促使同類原子盡可能地重構(gòu)某一類樣本，增強字典的判別性能。實驗結(jié)果表明AFDDL算法的識別率不僅比直接利用原始訓練的SRC和CRC算法高，而且比FDDL、SVGDL和LCLE-DL等字典學習算法高。因此，字典學習中不同類原子間的差異對于增強字典的判別性能具有一定的促進作用。下一步的研究方向是如何把原子間的差異與編碼系數(shù)間的差異統(tǒng)一到約束項中，增強字典學習算法的分類性能。

)

[1]ZHANGQ,LIBX.DiscriminativeK-SVDfordictionarylearninginfacerecognition[C]//CVPR2010:Proceedingsofthe2010IEEEConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEE, 2010: 2691-2698.

[2]YANGM,ZHANGL,FENGXC,etal.SparserepresentationbasedFisherdiscriminationdictionarylearningforimageclassification[J].InternationalJournalofComputerVision, 2014, 109(3): 209-232.

[3]CAISJ,ZUOWM,ZHANGL,etal.Supportvectorguideddictionarylearning[C]//ECCV2014:Proceedingsofthe13thEuropeanConferenceonComputerVision,LNCS8692.Berlin:Springer, 2014: 624-639.

[4]JIANGZL,LINZ,DAVISLS.LabelconsistentK-SVD:learningadiscriminativedictionaryforrecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2013, 35(11): 2651-2664.

[5]LIZM,LAIZH,XUY,etal.Alocality-constrainedandlabelembeddingdictionarylearningalgorithmforimageclassification[J].IEEETransactionsonNeuralNetworksandLearningSystems, 2017, 28(2): 278-293.

[6] 甘嵐,張永煥.基于字典學習的正則化魯棒稀疏表示腫瘤細胞圖像識別[J].計算機應用,2016,36(10):2895-2899.(GANL,ZHANGYH.Regularizedrobustcodingfortumorcellimagerecognitionbasedondictionarylearning[J].JournalofComputerApplications, 2016, 36(10): 2895-2899. )

[7]ZHANGY,JIANGZ,DAVISLS.Learningstructuredlow-rankrepresentationsforimageclassification[C]//CVPR2013:Proceedingsofthe2013IEEEConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 2013: 676-683.

[8]ZHENGM,BUJ,CHENC,etal.Graphregularizedsparsecodingforimagerepresentation[J].IEEETransactionsonImageProcessing, 2011, 20(5): 1327-1336.

[9]WRIGHTJ,YANGAY,GANESHA,etal.Robustfacerecognitionviasparserepresentation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2009, 31(2): 210-227.

[10]ZHANGL,YANGM,FENGXC.Sparserepresentationorcollaborativerepresentation:whichhelpsfacerecognition? [C]//ICCV2011:Proceedingsofthe2011IEEEInternationalConferenceonComputerVision.Washington,DC:IEEEComputerSociety, 2011: 471-478.

[11]MARTINEZAM,BENAVENTER.TheARfacedatabase,TR#24 [R].Barcelona,Spain:ComputerVisionCenter, 1998.

[12]HUANGGB,RAMESHM,BERGT,etal.Labeledfacesinthewild:adatabaseforstudyingfacerecognitioninunconstrainedenvironments,TR07- 49 [R].Amherst,MA:UniversityofMassachusettsAmherst, 2007.

[13]PHILLIPSPJ,MOONH,RIZVISA,etal.TheFERETevaluationmethodologyforfacerecognitionalgorithms[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2002, 22(10): 1090-1104.

[14] YANG J, ZHANG D, YANG J Y, et al. Globally maximizing, locally minimizing: unsupervised discriminant projection with applications to face and palm biometrics [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(4): 650-664.

[15] SANDERSON C, LOVELL B C. Multi-region probabilistic histograms for robust and scalable identity inference [C]// ICB 2009: Proceedings of the Third Edition of the International Conference on Biometrics, LNCS 5558. Berlin: Springer, 2009: 199-208.

[16] WANG S J, YANG J, SUN M F, et al. Sparse tensor discriminant color space for face verification [J]. IEEE Transactions on Neural Networks and Learning Systems, 2012, 23(6): 876-888.

[17] XU Y, ZHU X J, LI Z M, et al. Using the original and symmetrical face training samples to perform representation based two-step face recognition [J]. Pattern Recognition, 2013, 46(4): 1151-1158.

This work is partially supported by the National Natural Science Foundation of China (61370613, 61573248), the Guangdong Natural Science Foundation (2014A030313639), the Project of Guangdong Provincial Science and Technology Plan (2016A040403123), the Foundation for Young Talents in Higher Education of Guangdong (2015KQNCX089).

LI Zhengming, born in 1982, Ph. D. candidate, senior experimentalist. His research interests include sparse coding, dictionary learning.

YANG Nanyue, born in 1977, M. S., lecturer. Her research interests include image processing, virtual reality.

CEN Jian, born in 1967, Ph. D., professor. Her research interests include pattern recognition, intelligent control.

Dictionary learning algorithm based on Fisher discriminative criterion constraint of atoms

LI Zhengming1,2*, YANG Nanyue1, CEN Jian3

(1.IndustrialTrainingCenter,GuangdongPolytechnicNormalUniversity,GuangzhouGuangdong510665,China; 2.Bio-ComputingResearchCenter,ShenzhenGraduateSchool,HarbinInstituteofTechnology,ShenzhenGuangdong518055,China; 3.DepartmentofScientificResearch,GuangdongPolytechnicNormalUniversity,GuangzhouGuangdong510665,China)

In order to improve the discriminative ability of dictionary, a dictionary learning algorithm based on Fisher discriminative criterion constraint of the atoms was proposed, which was called Fisher Discriminative Dictionary Learning of Atoms (AFDDL). Firstly, the specific class dictionary learning algorithm was used to assign a class label to each atom, and the scatter matrices of within-class atoms and between-class atoms were calculated. Then, the difference between within-class scatter matrix and between-class scatter matrix was taken as the Fisher discriminative criterion constraint to maximize the differences of between-class atoms. The difference between the same class atoms was minimized when the autocorrelation was reduced, which made the same class atoms reconstruct one type of samples as much as possible and improved the discriminative ability of dictionary. The experiments were carried out on the AR face database, FERET face database, LFW face database and the USPS handwriting database. The experimental results show that, on the four image databases, the proposed algorithm has higher recognition rate and less training time compared with the Label Consistent K-means-based Singular Value Decomposition (LC-KSVD) algorithm, Locality Constrained and Label Embedding Dictionary Learning (LCLE-DL) algorithm, Support Vector Guided Dictionary Learning (SVGDL) algorithm, and Fisher Discriminative Dictionary Learning (FDDL) algorithm. And on the four image databases, the proposed algorithm has higher recognition rate compared with Sparse Representation based Classification (SRC) and Collaborative Representation based Classification (CRC).

dictionary learning; Fisher discriminative criterion; atom property; collaborative representation; image classification

2016- 12- 15;

2017- 03- 07。 基金項目:國家自然科學基金資助項目(61370613，61573248);廣東省自然科學基金資助項目(2014A030313639);廣東科技計劃項目(2016A040403123);廣東省普通高校青年創(chuàng)新人才項目(2015KQNCX089)。

李爭名(1982—)，男，河南汝南人，高級實驗師，博士研究生，主要研究方向：稀疏編碼、字典學習； 楊南粵(1977—)，女，廣東廣州人，講師，碩士，主要研究方向：圖像處理、虛擬現(xiàn)實； 岑健(1967—)，女，廣東恩平人，教授，博士，主要研究方向：模式識別、智能控制。

1001- 9081(2017)06- 1716- 06

10.11772/j.issn.1001- 9081.2017.06.1716

TP391.41

A