陶 洋，鮑靈浪，胡 昊

（重慶郵電大學(xué)通信與信息工程學(xué)院，重慶 400065）

0 概述

在實(shí)際應(yīng)用中，觀察到的樣本數(shù)據(jù)通常位于高維空間，這不僅增加了計(jì)算量和存儲(chǔ)代價(jià)，而且會(huì)導(dǎo)致“維數(shù)災(zāi)難”問(wèn)題［1］。因此，如何處理高維樣本數(shù)據(jù)已成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)［2］。通過(guò)將原始高維數(shù)據(jù)映射到一個(gè)既包含大部分固有信息又保留區(qū)分能力［3］的低維子空間是非常具有挑戰(zhàn)性的任務(wù)，而降維是獲得觀測(cè)數(shù)據(jù)緊湊低維表示的一種直接有效的方法。

從不同角度對(duì)降維算法有若干種分類方式，如根據(jù)降維過(guò)程是否使用標(biāo)簽信息可分為監(jiān)督學(xué)習(xí)［4］和無(wú)監(jiān)督學(xué)習(xí)。由于在現(xiàn)實(shí)場(chǎng)景中無(wú)標(biāo)簽數(shù)據(jù)的獲取更為方便，因此無(wú)監(jiān)督學(xué)習(xí)成為降維過(guò)程中的研究重點(diǎn)，如主成分分析（PCA）［5］、局部保留投影（LPP）［6］、領(lǐng)域保留 嵌入（NPE）［7］和 稀疏保留投影（SPP）［8］等算法，都可以被視為基于圖的特征提取算法。

遮擋、照明和原始圖像中的噪聲會(huì)嚴(yán)重影響降維算法的性能，因此，基于低秩的特征提取引起了人們的重視，核主成分分析（KPCA）算法［9］和核線性判別分析算法（KLDA）［10］是其中的經(jīng)典算法。文獻(xiàn)［11］提出一種用于特征提取的低秩嵌入（LRE）算法，通過(guò)魯棒線性降維來(lái)挖掘觀測(cè)數(shù)據(jù)的潛在局部關(guān)系。低秩表示（LRR）［12］通過(guò)丟棄分解出的噪聲部分，可以有效消除噪聲、照明和遮擋的影響?？紤]到稀疏性能夠捕獲局部結(jié)構(gòu)的數(shù)據(jù)信息，低秩模型能夠幫助獲得全局結(jié)構(gòu)信息，文獻(xiàn)［13］提出一種低秩稀疏表示算法。文獻(xiàn)［14］提出一種增強(qiáng)的低秩表示（ELRR）方法，其中流形結(jié)構(gòu)被引入以充當(dāng)正則項(xiàng)。LRR 假定子空間是獨(dú)立的，但在實(shí)際情況下，這種假設(shè)是不正確的。為解決這個(gè)問(wèn)題，文獻(xiàn)［15］提出一種結(jié)構(gòu)約束的低秩表示算法用于解決不相交的子空間聚類。文獻(xiàn)［16］提出的低秩稀疏保留投影（LSPP）算法，則能在保留固有幾何結(jié)構(gòu)的同時(shí)學(xué)習(xí)魯棒表示。

然而，上述算法僅考慮了數(shù)據(jù)的局部結(jié)構(gòu)或全局結(jié)構(gòu)，即使同時(shí)考慮低秩性和稀疏性來(lái)捕獲數(shù)據(jù)結(jié)構(gòu)，也無(wú)法處理訓(xùn)練樣本外的新樣本，這是因?yàn)槟繕?biāo)函數(shù)不具有任何映射功能。良好的數(shù)據(jù)表示并不意味著良好的分類性能，應(yīng)盡可能同時(shí)獲得降維（映射函數(shù)）和最合適的信息判別表示，但是這兩者都不是預(yù)先可知的。為解決上述問(wèn)題，本文提出一種表示學(xué)習(xí)與嵌入子空間學(xué)習(xí)相結(jié)合的降維算法。利用投影樣本的低秩表示對(duì)觀測(cè)樣本的相似性判別信息進(jìn)行編碼，同時(shí)通過(guò)加權(quán)稀疏的低秩正則化項(xiàng)來(lái)保持投影樣本的全局相似性，從而更有效地保護(hù)數(shù)據(jù)的局部結(jié)構(gòu)。在此基礎(chǔ)上，通過(guò)迭代學(xué)習(xí)優(yōu)化稀疏低秩表示和投影矩陣表示過(guò)程，最終實(shí)現(xiàn)有效分類。

1 低秩稀疏表示

由于本文的工作主要基于低秩稀疏表示，因此本節(jié)簡(jiǎn)要介紹低秩稀疏表示算法。令矩陣X=[x1,x2,…,xn]?Rm×n是來(lái)自c個(gè)不同類別的n個(gè)訓(xùn)練樣本的集合，其中，xi是代表來(lái)自X的第i個(gè)訓(xùn)練樣本的列向量，m是特征維數(shù)，其值通常較高。降維算法的目標(biāo)是獲得最佳映射函數(shù)P=[p1,p2,…,pd]?Rm×d，將m維空間中的數(shù)據(jù)轉(zhuǎn)換為d維子空間數(shù)據(jù)，其中，d?m。LRR 是用于從觀察數(shù)據(jù)中保留子空間結(jié)構(gòu)的子空間聚類算法，旨在捕獲在給定詞典中觀察到的數(shù)據(jù)的最低秩表示。由于秩函數(shù)是NP 難問(wèn)題，同時(shí)考慮到實(shí)際應(yīng)用中觀測(cè)到的數(shù)據(jù)通常會(huì)包含噪聲和離群值，因此LRR 的目標(biāo)函數(shù)可以表示為：

其中，‖Z‖*表示核范數(shù)，‖E‖l表示數(shù)據(jù)噪聲，根據(jù)不同的噪聲模型，‖·‖l可以選取不同的范數(shù)，λ是一個(gè)非負(fù)常數(shù)，A?Rd×n代表由許多基向量組成的“字典”，它可以構(gòu)造一個(gè)線性子空間來(lái)表示觀測(cè)到的數(shù)據(jù)X。當(dāng)獲得式（1）中的最優(yōu)解Z*和E*時(shí)，可以使用AZ*+E*恢復(fù)原始觀測(cè)數(shù)據(jù)X。為簡(jiǎn)單起見，選擇將觀測(cè)數(shù)據(jù)X本身用作式（1）所示模型的“字典”，然后使用增強(qiáng)拉格朗日乘數(shù)（ALM）算法［17］獲得該優(yōu)化問(wèn)題的解。盡管LRR 可以針對(duì)聚類問(wèn)題實(shí)現(xiàn)更好的魯棒性能，但其不能用于獲取投影矩陣進(jìn)行降維。因此，文獻(xiàn)［16］提出一種用于尋找低維映射矩陣的低秩稀疏保持投影算法，其目標(biāo)函數(shù)為：

其中，diag(Z)=0 用于約束矩陣Z的對(duì)角元素為0，γ是平衡參數(shù)。式（2）所示模型通過(guò)同時(shí)對(duì)表示系數(shù)施加低秩約束和稀疏約束來(lái)得到數(shù)據(jù)的全局結(jié)構(gòu)及內(nèi)部的局部結(jié)構(gòu)。得到低秩稀疏表示矩陣Z后，將其嵌入低維子空間以尋找投影矩陣，即：

其中，zi是樣本xi對(duì)應(yīng)的低秩稀疏表示，P是投影矩陣，PTX即為降維后的低維空間。

2 本文降維算法

低秩稀疏表示算法雖然可以捕獲數(shù)據(jù)的全局結(jié)構(gòu)和內(nèi)部子空間的局部結(jié)構(gòu)，但該算法缺少映射函數(shù)，無(wú)法直接用于特征提取進(jìn)行降維。本文提出一種表示學(xué)習(xí)與嵌入子空間學(xué)習(xí)相結(jié)合的降維算法，通過(guò)將低秩表示、稀疏表示和降維集成到一個(gè)統(tǒng)一的框架中，并設(shè)計(jì)一種交替優(yōu)化策略，使投影矩陣和加權(quán)稀疏的低秩表示系數(shù)矩陣聯(lián)合學(xué)習(xí)和優(yōu)化。

2.1 目標(biāo)函數(shù)構(gòu)建

在本文算法中，低秩表示、加權(quán)稀疏表示和低維子空間可以聯(lián)合學(xué)習(xí)，以實(shí)現(xiàn)更魯棒的特征提取。其中，低秩表示可以獲得觀測(cè)樣本的全局結(jié)構(gòu)信息，加權(quán)稀疏表示可以更好地保持所觀察樣本的局部幾何結(jié)構(gòu)關(guān)系，低維子空間可以學(xué)習(xí)用于降維的映射函數(shù)P。本文算法的目標(biāo)函數(shù)表示為：

其中，第1 項(xiàng)是低秩約束，第2 項(xiàng)是M⊙Z的l1范數(shù)，第3項(xiàng)表示對(duì)數(shù)據(jù)噪聲E施加l2,1范數(shù)，第4項(xiàng)表示低維子空間學(xué)習(xí)。本文將加權(quán)稀疏約束條件集成到LRR 算法中以獲得更具區(qū)分性的低秩表示。在目標(biāo)函數(shù)中，參數(shù)γ、λ和β均為正數(shù)。對(duì)于權(quán)重M的構(gòu)造，本文考慮使用［18］樣本的形狀交互信息。令樣本X的瘦形奇異值分解為，r為矩陣X的秩，則每個(gè)樣本xi的形狀交互表示為Hi=。對(duì)Hi進(jìn)行規(guī)則化處理，則形狀交互權(quán)重表示為：

其中，第1 項(xiàng)是局部流形保持正則化項(xiàng)，其目的是在執(zhí)行降維過(guò)程時(shí)，使投影樣本在低維空間中保留原始樣本在高維子空間中的局部流形結(jié)構(gòu)。本文使用KNN 構(gòu)造圖權(quán)重矩陣W，其中元素表示為：

2.2 模型優(yōu)化求解

由于式（4）所示模型中有多個(gè)變量，包括Z、E和P，因此不能直接求得最優(yōu)解。本文提出一種迭代更新算法來(lái)優(yōu)化該模型，主要思想是每次優(yōu)化一個(gè)變量而保持其他變量不變，具體如下：

1）固定變量P，更新變量Z和E。

當(dāng)固定變量P時(shí)，式（4）所示模型可等式于：

引入輔助變量J后，式（7）可以表示為：

式（8）所示的優(yōu)化問(wèn)題可以通過(guò)ALM 來(lái)解決，其對(duì)應(yīng)的增強(qiáng)拉格朗日函數(shù)表示為：

其中，Y1和Y2是拉格朗日乘子。通過(guò)分別固定式（9）中的任何其他兩個(gè)變量，使函數(shù)L最小化以交替更新變量Z、J和E，從而獲得式（9）的最優(yōu)解。每個(gè)變量的更新規(guī)則如下：

由式（15）可得P=[p1,p2,…,pd]，其中向量pi對(duì)應(yīng)于第i個(gè)最小特征值的特征向量。因此，可以通過(guò)迭代更新Z和P來(lái)獲得式（4）所示目標(biāo)函數(shù)的解。

為驗(yàn)證交替優(yōu)化策略的收斂性，在Yale B［19］人臉數(shù)據(jù)庫(kù)和COIL20［20］數(shù)據(jù)庫(kù)上進(jìn)行一組實(shí)驗(yàn)。圖1顯示了本文算法的目標(biāo)函數(shù)值在這兩個(gè)數(shù)據(jù)庫(kù)上迭代次數(shù)的變化，可以看出，目標(biāo)函數(shù)值隨著迭代次數(shù)的增加而穩(wěn)定下降。

圖1 本文算法在兩個(gè)圖像數(shù)據(jù)庫(kù)上的收斂曲線Fig.1 Convergence curves of the proposed algorithm on two image databases

3 實(shí)驗(yàn)與結(jié)果分析

為評(píng)估本文算法的有效性，將其與目前主流的特征提取算法PCA、NPE、SPP、SPCA［21］和LRPP［22］進(jìn)行比較。這些對(duì)比算法在提取觀測(cè)數(shù)據(jù)的特征后都使用最近鄰分類器執(zhí)行分類任務(wù)。為進(jìn)行公平比較，每種算法在測(cè)試數(shù)據(jù)庫(kù)上獨(dú)立運(yùn)行5 次。此外，對(duì)比算法的參數(shù)設(shè)置參考其文獻(xiàn)出處或手動(dòng)調(diào)整為最佳。

3.1 實(shí)驗(yàn)數(shù)據(jù)庫(kù)

在Yale B 人臉數(shù)據(jù)庫(kù)、CMU PIE 人臉數(shù)據(jù)庫(kù)［23］和COIL20 圖像數(shù)據(jù)庫(kù)上驗(yàn)證本文算法的分類性能。3 個(gè)數(shù)據(jù)庫(kù)的示例樣本圖像如圖2 所示，其中每個(gè)對(duì)象的任意10 張或20 張圖像都被用作訓(xùn)練樣本，每個(gè)對(duì)象的其余圖像被用作測(cè)試樣本，具體設(shè)置如表1所示。

圖2 3 個(gè)數(shù)據(jù)庫(kù)的示例圖像Fig.2 Sample images of three databases

表1 數(shù)據(jù)庫(kù)設(shè)置Table 1 Setting of databases

3.2 參數(shù)選擇

本文算法包含3 個(gè)相關(guān)參數(shù)，即γ、λ和β，本節(jié)在COIL20 數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn)，以驗(yàn)證這些參數(shù)對(duì)本文算法的影響。從圖3 所示結(jié)果可以發(fā)現(xiàn)，參數(shù)γ和λ的變化對(duì)算法的性能影響很小，即本文算法對(duì)參數(shù)γ和λ非常魯棒。此外還可以看出，參數(shù)β的最佳范圍應(yīng)為1.00～1.75，當(dāng)參數(shù)β小于1.00 時(shí)，算法性能急劇下降。

圖3 本文算法分類精度與參數(shù)的關(guān)系（COIL20 數(shù)據(jù)庫(kù)）Fig.3 The relationship between the classification accuracy of the proposed algorithm and parameters（COIL20 database）

3.3 實(shí)驗(yàn)對(duì)比分析

通過(guò)觀察分類精度隨不同圖像數(shù)據(jù)庫(kù)樣本的特征維度d及訓(xùn)練樣本數(shù)m的變化，驗(yàn)證本文算法的性能優(yōu)勢(shì)。6 種算法的平均分類精度如表2～表4所示，其中加粗?jǐn)?shù)據(jù)表示最優(yōu)數(shù)據(jù)，從中可以看出：

表2 不同特征維度下6種算法的分類精度（Yale B 數(shù)據(jù)庫(kù)）Table 2 Classification accuracies of six algorithms under different feature dimension（sYale B database）%

表3 不同特征維度下6 種算法的分類精度（CMU PIE 數(shù)據(jù)庫(kù)）Table 3 Classification accuracies of six algorithms under different feature dimension（sCMU PIE database）%

表4 不同特征維度下6 種算法的分類精度（COIL20 數(shù)據(jù)庫(kù)）Table 4 Classification accuracies of six algorithms under different feature dimension（sCOIL20 database）%

1）本文算法能夠在3 個(gè)公共圖像數(shù)據(jù)庫(kù)中實(shí)現(xiàn)最高分類精度。

2）無(wú)論樣本特征維度如何變化，本文算法的分類精度均優(yōu)于對(duì)比算法。

3）低秩表示可以很好地保留所觀察樣本的全局結(jié)構(gòu)信息，加權(quán)稀疏表示也可以很好地保留局部鄰域關(guān)系。

4）線性保留投影可以獲得有效的低維投影空間，從而保留高維空間中的大部分?jǐn)?shù)據(jù)信息。

由此可見，與對(duì)比算法相比，本文算法具有更強(qiáng)的魯棒性和更好的分類性能。

4 結(jié)束語(yǔ)

本文提出一種聯(lián)合表示學(xué)習(xí)和投影學(xué)習(xí)的降維算法。該算法同時(shí)獲得觀測(cè)樣本的低維特征表示和稀疏表示，其通過(guò)交替優(yōu)化策略，可以稀疏地進(jìn)行低秩表示和投影學(xué)習(xí)，以實(shí)現(xiàn)合適的特征表示，得到更準(zhǔn)確的相似性結(jié)構(gòu)?；诠裁娌繑?shù)據(jù)庫(kù)和對(duì)象圖像庫(kù)的實(shí)驗(yàn)結(jié)果表明，與其他的對(duì)比算法相比，該算法具有性能優(yōu)勢(shì)。但是在很多實(shí)際應(yīng)用場(chǎng)景中，并不是所有的圖像數(shù)據(jù)都是無(wú)標(biāo)簽的，這些圖像數(shù)據(jù)往往帶有少部分標(biāo)簽，因此，下一步將研究如何在降維算法中有效利用這些少量標(biāo)簽數(shù)據(jù)。