尚 麗,周 燕,孫戰(zhàn)里

(1. 蘇州市職業(yè)大學 電子信息工程學院, 江蘇 蘇州 215104;2. 安徽大學 電氣工程與自動化學院, 安徽 合肥 230039)

1 引 言

稀疏表示(sparse representation,SR)是在超完備字典空間內(nèi),用少數(shù)原子的線性組合來表達大部分或者全部的原始信號,這樣就可以大大減少計算量,節(jié)約存儲空間,目前已在數(shù)字信號處理、圖像處理及模式識別等領域被廣泛應用[1～3]。雖然采用SR模型已成功實現(xiàn)人臉圖像分類[1],但這種模型不適用于具有相同方向的不同類數(shù)據(jù),即使是線性可分時,分類效果仍舊不明顯。主要原因是特征基正則化后具有相同方向的數(shù)據(jù)存在重疊顯現(xiàn)[1,2],因此基于SR的分類方法的應用范圍受到限制。如果在SR模型中引入一個合適的核函數(shù),即基于核函數(shù)的SR(kernel based SR,KSR)模型[4～7],則可以解決上述問題。通過核變換可以把原坐標系中線性不可分的問題轉化為投影空間內(nèi)線性可分的問題[3～5],可以有效處理高維輸入,并且使得在高維空間中的SR提高識別率和判別性能[7～10],因此一些基于單核的分類方法陸續(xù)被提了出來并被用于圖像的特征分類[4～7]。由于不清楚選擇哪種核函數(shù)最適合具體分類任務,所以考慮結合幾種核函數(shù)就很有意義。Huang H C等將基于多核的方法應用于聚類問題,已取得了較好的結果[1,8～11]。

本文結合多核函數(shù)[8～11]和KSR的優(yōu)點[12～16],提出一種基于多核的稀疏表示(multipile kernels based SR,M-KSR)模型,并在多核映射空間內(nèi)采用具有二次約束的最小二乘化優(yōu)化方法訓練稀疏系數(shù)[8,11,14],同時考慮多核權重系數(shù)和圖像殘差之間反比的關系來更新權重系數(shù),最后應用所提出的基于M-KSR的特征分類方法在PolyU掌紋數(shù)據(jù)庫上驗證了該方法的有效性。

2 核函數(shù)及多重核的提出

2.1 核函數(shù)的定義和作用

機器學習中常遇到學習非線性模型的情況,使得非線性不可分的問題轉化為線性可分的問題。常用的做法是通過某非線性變換函數(shù)φ(·),將變量z所在的輸入空間Γ映射到1個高維特征空間H,即使得Γ中的變量z能夠通過φ映射得到H空間中的點h:h=φ(z)。若對所有的z,q∈Γ,存在1個函數(shù)κ(z,q)滿足式(1)條件[1,2],則稱κ(z,q)為核函數(shù)。

κ(z,q)=φ(z)·φ(q)

(1)

式中φ(z)·φ(q)為φ(z)和φ(q)的內(nèi)積。顯然,核函數(shù)是映射關系φ的內(nèi)積,并沒有增加維度的特性。但是,可以利用核函數(shù)的特性,構造能夠增加維度的核函數(shù)。比如,由二維映射到三維,數(shù)據(jù)區(qū)分就會更容易,這也是聚類、分類中常用到核函數(shù)的原因。尤其是近幾年,隨著核函數(shù)在支持向量機的成功應用[3,4],出現(xiàn)了更多的基于核的方法,例如核主成分分析、核Fisher判別分析、核SR方法等。概括地說,利用核函數(shù)或者核技巧,可以使得原本在低維空間線性不可分的數(shù)據(jù)集,在足夠高的維度中存在線性可分的超平面,從而解決數(shù)據(jù)非線性可分的問題;另外,利用核函數(shù)也可以省去高維空間里的繁瑣計算,甚至可以解決無限維空間無法計算的問題[6～8,17]。

2.2 多重核的提出

核函數(shù)的選擇要滿足Mercer定理,常見的核函數(shù)有高斯核函數(shù)、線性核函數(shù)、多項式核函數(shù)、徑向基核函數(shù)、Sigmoid核函數(shù)、B樣條核函數(shù)、張量積核函數(shù)等[11～13]。但是在具體應用時,單個核函數(shù)往往不是最合適的核,因此基于多個核函數(shù)結合的方法被提出[3,8,14]。給定M個定義在ΓP×ΓN上的Mercer函數(shù)κm(·,·),P為每一樣本的維數(shù),N為樣本個數(shù),則對樣本xi和xj構造如下的多重核函數(shù)：

(2)

(3)

由式(3)知,對樣本y來說,映射函數(shù)φ將原空間的數(shù)據(jù)映射到一個高維多重核空間?！渲?即y在Γ′空間內(nèi)的像為：

φ(y)=[φ1(y),φ2(y),…,φP(y)]T

(4)

3 核稀疏表示分類

3.1 稀疏表示分類

(5)

(6)

3.2 基于核的稀疏表示分類(K-SRC)

(7)

Ek(S,D,y)=φ(y)Tφ(y)+STφ(D)Tφ(D)S-

2φ(y)Tφ(D)S=

K(y,y)+STK(D,D)S-

2K(y,D)S

(8)

式中K(·,·)∈ΓN×N為核函數(shù)κ(·,·)的半正定Gram矩陣;K(D,D)和K(y,D)可由式(9)計算。

(9)

根據(jù)式(8),在核空間內(nèi),類似SRC方法,根據(jù)樣本重構最小誤差實現(xiàn)測試樣本的分類。

4 多核稀疏表示學習

4.1 M-KSR的優(yōu)化目標

(10)

(11)

(12)

則多核函數(shù)表達式為：

W1κ1(u,v)+

W2κ2(u,v)+

W3κ3(u,v)

(13)

顯然,多核函數(shù)的性能和所選用的單核函數(shù)的權重系數(shù)有關。

4.2 M-KSR的優(yōu)化目標

(14)

引入核關系后,式(14)改寫為：

i?Lt

(15)

(16)

則第t步稀疏系數(shù)更新規(guī)則為：

(17)

固定稀疏系數(shù)S,則訓練原子字典的目標函數(shù)為：

(18)

對式(17)關于ai求導并引入核關系則得到ai的更新規(guī)則：

Δai=-2siφ(X)[φ(y)-φ(X)aisi]=

(19)

當學習完稀疏系數(shù)后,第m個核函數(shù)對應的殘差rm計算如下：

(20)

5 多核函數(shù)權重選擇和M-KSR分類(M-KSRC)

(21)

式中權重系數(shù)Wm和殘差rm成反比,當殘差較大時,權重系數(shù)就要調(diào)小,反之,權重系數(shù)則要調(diào)大。

結合第3.2節(jié)的K-SRC法和第4.2節(jié)的M-KSR學習規(guī)則,多核稀疏表示分類的算法歸納如下：

3) 根據(jù)式(17)和式(19)更新稀疏系數(shù)向量si和原子向量ai;

4) 根據(jù)式(20)計算第m個殘差rm,并根據(jù)式(21)更新權重系數(shù)Wm;

6 實驗結果與分析

6.1 特征提取

測試圖像選自香港理工大學PolyU掌紋數(shù)據(jù)庫中的100個人的600幅掌紋圖像[18]。每1幅圖像原始大小為284×384像素,所提取的矩形感興趣區(qū)域為128×128像素。選擇每個人的前3幅圖像作為訓練圖像,后3幅圖像作為測試圖像,每1幅圖像轉化為一個列向量,則訓練集合Xtrain和測試集合Ytest的大小均為1282×300像素。為了減小計算量而不影響特征提取的精度,采用小波變換把每一幅掌紋圖像處理成64×64像素,則訓練集合和測試集合的大小為4 096×300像素。為了進一步減少核空間內(nèi)的計算量,本文首先采用主分量分析(principal component analysis,PCA)法進行降維分析[14,18],得到的前16個特征基圖像如圖1所示;然后在不同的PCA維數(shù)下采用極端學習機(extreme learning machine,ELM)、徑向基函數(shù)神經(jīng)網(wǎng)絡(radial basis function neural network,RBFNN)和距離分類器進行特征分類,從而確定核空間內(nèi)較合適的主分量個數(shù)。分類結果如表1所示,可以看出,主分量個數(shù)越多,采用ELM分類器得到的特征識別率越高,但是對另外2種分類器卻不符合這種趨勢。當主分量個數(shù)小于256時,3種分類器的分類結果基本相同。但是,當主分量個數(shù)大于256時,ELM分類器的優(yōu)勢則非常明顯。綜合考慮計算量和分類效果,我們最終選擇主分量的個數(shù)為324,這樣用于SRC、K-SRC和 M-KSRC 算法的輸入集合大小為324×300像素,算法計算量被有效降低,可以加快特征尋優(yōu)速度。

圖1 PCA的前16個特征基圖像Fig.1 The first 16 feature base images of PCA

表1 不同主分量個數(shù)下特征分類結果(PCA算法)Tab.1 Feature classification results of the different number of principal components (the PCA algorithm)(%)

6.2 特征分類

圖2 M_KSR算法得到的不同維數(shù)的特征基圖像Fig.2 Feature base images with different dimensions obtained by the M_KSR algorithm

表2 不同算法下的特征分類結果(主分量個數(shù)為324)Tab.2 Feature classification results of the different algorithms (324 principal components) (%)

7 結 論

考慮多核函數(shù)在模式識別中的應用優(yōu)勢,采用多項式核函數(shù)、高斯核函數(shù)和Sigmoid核函數(shù)的線性組合形式構成多核函數(shù),提出一種改進的基于多核函數(shù)的稀疏表示模型,并在PCA特征子空間內(nèi),把該模型應用于PolyU掌紋數(shù)據(jù)庫的圖像分類。在相同實驗條件下,采用不同的分類器進行掌紋特征分類測試,仿真結果表明,多核稀疏表示模型的掌紋特征分類效果明顯優(yōu)于單核稀疏表示模型和典型的KSVD稀疏表示模型,特別是在ELM分類器下,采用較少特征即可得到較高的分類精度。由于構成多核函數(shù)的核函數(shù)模型以及個數(shù)對特征分類結果影響較大,因此如何選擇最優(yōu)的多核函數(shù)將是進一步的研究方向。