邱虹 王萬良 鄭建煒

信號稀疏表示是過去近20 年來信號處理方向一個(gè)非常引人關(guān)注的研究領(lǐng)域,目的是在給定的超完備字典中用盡可能少的原子來表示信號,從而獲得信號更為簡潔的表示方式,方便進(jìn)一步對信號進(jìn)行壓縮、編碼等加工處理.隨著壓縮感知理論[1]提出在所求系數(shù)足夠稀疏時(shí),最小化l0范數(shù)的NP 難題[2]可以轉(zhuǎn)化為最小化l1范數(shù)來進(jìn)行求解,稀疏表示已廣泛應(yīng)用于機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、模式識別等領(lǐng)域.

在模式識別領(lǐng)域中,具有代表性的是Wright等[3]提出的一種基于稀疏表示的分類器(Sparse representation-based classifier,SRC),該分類器將稀疏表示成功應(yīng)用于人臉識別,有效解決了人臉圖像中遮擋、光照等問題.其核心思想是通過選取完整的輸入樣本作為訓(xùn)練樣本構(gòu)造出超完備字典,并由此得到測試樣本的稀疏表示,然后逐類構(gòu)造出測試樣本的近似線性表示,最后尋找最小重構(gòu)誤差的類別標(biāo)簽作為測試樣本的類別歸屬得以完成分類任務(wù).Wright 指出SRC 對數(shù)據(jù)缺損不敏感,當(dāng)重構(gòu)編碼系數(shù)足夠稀疏時(shí),特征空間的選取變得不再重要,這些特點(diǎn)使得SRC 成為一種優(yōu)秀的分類算法,且在圖像分類研究中獲得了成功應(yīng)用.但是,該算法仍然存在兩個(gè)關(guān)鍵問題有待關(guān)注:1)選擇l1范數(shù)作為編碼重構(gòu)系數(shù)的稀疏約束是否是比較合適的策略;2)選擇Frobenius 范數(shù)(F 范數(shù))作為線性重構(gòu)表示的約束是否對圖像表示足夠有效.基于此,眾多科研工作者致力于這兩個(gè)問題的研究.

Yang 等[4]重新探究了l1范數(shù)在模式識別任務(wù)中的作用,發(fā)現(xiàn)l1范數(shù)比l0范數(shù)能提供更多有意義的分類信息,即l0范數(shù)只能實(shí)現(xiàn)稀疏,而l1范數(shù)不僅能實(shí)現(xiàn)稀疏,還能保持?jǐn)?shù)據(jù)間的協(xié)作關(guān)系.對此,Zhang 等[5]通過理論分析和實(shí)驗(yàn)驗(yàn)證解釋了SRC分類器獲得優(yōu)秀分類性能的根本原因并非它的稀疏性,而是數(shù)據(jù)間的協(xié)作關(guān)系,并提出了協(xié)作表示分類器(Collaborative representation-based classifier,CRC).其中,CRC 用l2范數(shù)替代SRC 中的l1范數(shù),在不降低識別率的前提下大幅度提升了算法的運(yùn)行效率.此外,為了加快稀疏編碼過程,相繼提出了許多基于加權(quán)l(xiāng)1或l2范數(shù)的算法[6?8].

上述算法均采用F 范數(shù)作為線性重構(gòu)表示的約束.諸多學(xué)者認(rèn)為,找到合適的方式來描述重構(gòu)誤差的特性有利于重構(gòu)及分類性能的提升.Lu 等[9]考慮到F 范數(shù)對大規(guī)模異常點(diǎn)的處理較弱,采用l1范數(shù)對誤差重構(gòu)進(jìn)行評估,實(shí)驗(yàn)表明l1范數(shù)比F 范數(shù)對誤差的評估更可靠.Naseem 等[10]則利用Huber 估計(jì)處理一些隨機(jī)的光照和噪聲像素將所提線性回歸分類器(Linear regression classification,LRC)擴(kuò)展為強(qiáng)健的線性回歸分類器(Robust LRC,RLRC)[11],提升了LRC 在多光照及噪聲下的魯棒性.Yang 等[12]采用M 估計(jì)匹配一般的噪聲,提出了強(qiáng)健的稀疏編碼算法(Robust sparse coding,RSC).隨后,Yang 等[13]從樣本特征的概率分布形式出發(fā),對不同的特征添加貢獻(xiàn)度因子,提出正則化魯棒編碼算法(Regularized robust coding,RRC),其具有更高的抗噪能力,卻丟失了樣本的局部分布特性.而He 等[14]利用相關(guān)熵對處理噪聲和噪點(diǎn)的穩(wěn)定性優(yōu)勢,提出一種基于相關(guān)熵的稀疏表示算法(Correntropy-based sparse representation,CESR).隨后,He 等[15]又構(gòu)建了半二次框架,該框架結(jié)合兩種現(xiàn)有的稀疏健壯回歸模型:以SRC 為代表的應(yīng)對誤差修復(fù)的相加模型和以CESR 和RSC為代表的應(yīng)對誤差檢測的相乘模型.通過分而治之的策略,He 等[16]將健壯人臉識別的過程分解為異常值檢測和人臉識別兩個(gè)階段,使得稀疏表示適用于大規(guī)模數(shù)據(jù)庫.

實(shí)際上,以上算法均屬于多元分析的范疇.眾所周知,多元分析是研究多個(gè)自變量與因變量相互關(guān)系的一組統(tǒng)計(jì)理論和方法.其應(yīng)用的限制條件是,各個(gè)因素每一水平的樣本必須是獨(dú)立的隨機(jī)樣本,其重復(fù)觀測的數(shù)據(jù)服從正態(tài)分布,且各總體方差相等.總體來說,上述這些算法均假設(shè)誤差向量滿足正態(tài)性或獨(dú)立性,但這并不適用于現(xiàn)實(shí)場景,特別是在部分隨機(jī)誤差向量的分布呈現(xiàn)出重尾現(xiàn)象的情況下.對于這種情況,Kibria 等[17]提出基于多元t 誤差的線性模型.Basu 等[18]使用多元冪指數(shù)分布作為語音識別領(lǐng)域的重尾分布.Liu[19]則假定觀測的數(shù)據(jù)是相互依賴的,且將多元冪指數(shù)回歸模型擴(kuò)展為矩陣變量冪指數(shù)回歸模型.這些研究意味著假定觀測數(shù)據(jù)之間相互依賴且服從重尾分布對于描述一些實(shí)際觀測具有現(xiàn)實(shí)意義.事實(shí)上,人臉圖像中例如光照、遮擋或表情等噪聲數(shù)據(jù)之間高度相關(guān),并不完全服從于獨(dú)立同分布.因此,找到一種合適的針對矩陣變量的分布來描述誤差矩陣的特征至關(guān)重要.

本文旨在解決部分遮擋和受光照影響的圖像的重構(gòu)及分類問題.傳統(tǒng)方法往往將圖像以向量的形式進(jìn)行存儲分類,忽視了圖像數(shù)據(jù)的內(nèi)部結(jié)構(gòu)信息,且它們依據(jù)最大似然估計(jì)的觀點(diǎn)假設(shè)噪聲數(shù)據(jù)服從獨(dú)立同分布對誤差進(jìn)行處理,不適用于現(xiàn)實(shí)場景.本文所提模型強(qiáng)調(diào)誤差矩陣中各個(gè)像素間的依賴性并假定該誤差矩陣作為一個(gè)隨機(jī)矩陣變量服從于矩陣多變量橢圓分布.同時(shí),假定模型中的編碼重構(gòu)系數(shù)服從拉普拉斯分布或高斯分布.由于通過假定所得的模型具有非光滑性,不利于問題的優(yōu)化求解,本文引入輔助變量光滑模型,隨后采用迭代加權(quán)最小二乘法優(yōu)化求解模型.至此,本文得到一種新的稀疏表示算法,稱為聯(lián)合平滑矩陣多變量橢圓分布的稀疏表示算法(Sparse representation with smoothed matrix multivariate elliptical distribution,SMED).

本文后續(xù)結(jié)構(gòu)安排如下.第1 節(jié)介紹多變量分析的相關(guān)工作,包括多元分布和矩陣多變量橢圓分布.第2 節(jié)具體描述SMED 算法的目標(biāo)函數(shù),并給出模型優(yōu)化求解的方案.第3 節(jié)對SMED 算法的收斂性以及復(fù)雜度進(jìn)行分析.第4 節(jié)選擇代表性的人臉數(shù)據(jù)庫驗(yàn)證SMED 的實(shí)際重構(gòu)和分類性能.最后,第5 節(jié)總結(jié)全文工作并給出后續(xù)展望.

1 相關(guān)工作

本節(jié)比較幾種常用的多元分布并對矩陣多變量橢圓分布進(jìn)行簡要介紹.

1.1 多元分布比較

不同于以往的算法,本文旨在找到一種合適的能夠描述人臉圖像中例如光照、遮擋或表情等噪聲數(shù)據(jù)特征的分布.由于現(xiàn)實(shí)圖像中的噪聲數(shù)據(jù)均表現(xiàn)出尖峰重尾的特征,這就需要找到一種更具適應(yīng)性的分布來滿足這一需求,以減少異常值的影響,提高魯棒性.圖1 給出了幾種常用多元分布的比較圖.由圖1(d)可知,二維拉普拉斯分布及二維冪指數(shù)分布較二維高斯分布更具尖峰重尾性,且圖1(c)中二維冪指數(shù)分布的重尾范圍大于圖1(b)中的二維拉普拉斯分布.此外,通過三者在XOY面上的投影圖可知,二維高斯分布的投影面呈圓形形狀,二維拉普拉斯分布的投影面呈菱形形狀,二維冪指數(shù)分布的投影面呈橢圓形形狀,而橢圓形形狀能夠很好地兼具圓形和菱形的特點(diǎn),這使得二維冪指數(shù)分布更具靈活性,且橢圓形形狀較圓形和菱形使得分布具有更肥的尾部區(qū)域,故而對于異常值更具魯棒性.綜上所述,相對于二維高斯分布和二維拉普拉斯分布,二維冪指數(shù)分布能更好地描述噪聲數(shù)據(jù)的特征.

事實(shí)上,二維冪指數(shù)分布作為Kotz-type 分布[20]的特例是橢圓分布家族中的一員.近年來,橢圓分布被諸多學(xué)者證明是一種作為多元高斯分布、多元拉普拉斯分布的有效替代,它在統(tǒng)計(jì)學(xué)、金融學(xué)、信號處理以及模式識別等領(lǐng)域中發(fā)揮著重要作用,尤其在魯棒性研究以及數(shù)據(jù)包含異常值或呈現(xiàn)出重尾現(xiàn)象的情況下表現(xiàn)更加突出[21].依據(jù)文獻(xiàn)[22?24]可知,在一些隨機(jī)現(xiàn)象真實(shí)場景中,部分隨機(jī)向量的分布數(shù)據(jù)往往包含異常值或呈現(xiàn)出長尾、重尾現(xiàn)象,而橢圓分布對于這些現(xiàn)象具有較好的適應(yīng)性.例如:Liu 等[25]針對一般的非正態(tài)數(shù)據(jù),提出基于冪指數(shù)分布的多元回歸模型,擴(kuò)展了對于隨機(jī)誤差的一般分布假設(shè).Sun 等[26]利用重尾橢圓分布對數(shù)據(jù)的結(jié)構(gòu)協(xié)方差矩陣提供魯棒估計(jì).此外,Fang等[27]提出除了多元正態(tài)分布,橢圓分布家族中的其他多元分布均能很好地描述隨機(jī)矩陣中各個(gè)元素間的依賴關(guān)系.因此,假設(shè)誤差矩陣服從橢圓分布來描述圖像中的噪聲數(shù)據(jù)能夠更接近數(shù)據(jù)的固有特性,即噪聲像素間的依賴關(guān)系.

圖1 多元分布比較圖(常數(shù)取Ci=1, i=1,2,3)Fig.1 The comparison chart of the multivariate distribution(where the constants are Ci=1, i=1,2,3)

1.2 矩陣多變量橢圓分布

橢圓分布[28]作為概率分布家族中的一員,允許同時(shí)考慮大量非高斯分布,并且對典型未知數(shù)據(jù)的協(xié)方差矩陣提供最佳的估計(jì),能夠有效構(gòu)建誤差結(jié)構(gòu).本小節(jié)簡要介紹多變量橢圓分布和矩陣多變量橢圓分布的定義.

定義1.給定x ∈Rn是一個(gè)n維隨機(jī)向量,如果對于某個(gè)μ ∈Rn和某個(gè)對稱正定矩陣Σ∈Rn×n,x的特征函數(shù)具有如下形式:

其中,E[·]代表期望值,φ(·)是一個(gè)標(biāo)量函數(shù),稱為特征生成元,φ(·):R→R,且p ∈Rn.則稱x服從具有分布參數(shù)μ、Σ 和φ的n維多變量橢圓分布，記為x ～En(μ,Σ,φ).

定義2.給定X ∈Rm×n是一個(gè)m×n維隨機(jī)矩陣,如果對于某個(gè)矩陣M ∈Rm×n和某個(gè)對稱正定矩陣Σ∈Rm×n,X的特征函數(shù)具有如下形式:

其中,Φ(·)是特征生成元,Φ(·):Rn×n →R.則稱X服從具有分布參數(shù)M,Σ 和Φ 的m×n維矩陣多變量橢圓分布,記為X ～Em,n(M,Σ,Φ).

依據(jù)定義2 可知,矩陣多變量橢圓分布是一種對稱概率分布,也可通過概率密度函數(shù)對其進(jìn)行定義

其中,C是正數(shù),特征生成元g(·):Rn×n →R.

隨機(jī)向量、隨機(jī)矩陣的特征函數(shù)總是存在的,并且與概率密度函數(shù)存在一一對應(yīng)的關(guān)系.因而橢圓分布的特征生成元一旦確定,其分布的概率密度函數(shù)形式就確定了,例如:當(dāng)特征生成元φ(·)的形式為φ(x)=exp(?x/2)時(shí),x服從多元正態(tài)分布.橢圓分布包括的多元分布有:多元正態(tài)分布、多元柯西分布、多元拉普拉斯分布、多元logistic 分布、多元student 分布以及部分多元穩(wěn)定分布等.本節(jié)參考文獻(xiàn)[29]中的特征生成元,選擇g(·)=exp(tr(?(·)k/2)),k >0,該g(·)不僅保持了拉普拉斯分布對異常值的魯棒性,而且具有長尾特性.將g(·)=exp(tr(?(·)k/2))代入式(3)中,可得:

本文將以此概率密度函數(shù)為基礎(chǔ)構(gòu)建目標(biāo)函數(shù),并輔以平滑目標(biāo)函數(shù)、加快迭代最優(yōu)過程等優(yōu)勢.

2 SMED 算法描述

本節(jié)提出一種聯(lián)合平滑矩陣多變量橢圓分布的稀疏表示算法,簡稱SMED.首先對該算法目標(biāo)函數(shù)的構(gòu)建過程進(jìn)行描述,然后給出模型求解的優(yōu)化方案.

2.1 目標(biāo)函數(shù)構(gòu)建

探索人臉圖像數(shù)據(jù)中誤差矩陣的內(nèi)部結(jié)構(gòu)是重構(gòu)及分類識別任務(wù)的一項(xiàng)成功策略,受橢圓分布啟發(fā),采用矩陣多變量橢圓分布描述誤差矩陣,具有更直觀的物理意義和求解思路.

給定n個(gè)p×q維圖像矩陣將其作為訓(xùn)練樣本.其中,代表第c類的第i個(gè)樣本矩陣,樣本總類別數(shù)為C,ni是第i類的樣本個(gè)數(shù),且n=n1+n2+···+nC是總樣本數(shù),測試樣本表示為圖像矩陣Y ∈Rp×q.

將任意測試樣本Y通過訓(xùn)練樣本進(jìn)行線性表示,可得

其中,α=[α1,α2,···,αn]∈Rn是訓(xùn)練樣本所對應(yīng)的重構(gòu)編碼系數(shù),為n×1 維列向量,E為誤差矩陣.

定義線性映射Rd →Rp×q:

通過式(6),可將式(5)簡化為

對應(yīng)經(jīng)典的線性向量回歸模型[30],式(5)和式(7)給出了線性矩陣回歸模型的一般形式.

本文假定誤差矩陣E=Y ?X(α)～Em,n(M,Σ,Φ),即服從矩陣多變量橢圓分布,且訓(xùn)練樣本所對應(yīng)的重構(gòu)編碼系數(shù)α1,α2,···,αn獨(dú)立同分布于高斯分布(l=2)或拉普拉斯分布(l=1).則依據(jù)最大后驗(yàn)概率估計(jì)可得

其 中,P(α|Y)=C1exp(tr(?(Y ?X(α))T(Y ?X(α)))k/2),具體目標(biāo)函數(shù)描述為

令λ=2/β,且已知矩陣X的核范數(shù)表示為向量x的lp范數(shù)表示為則可將式(9)調(diào)整為

其中,k >0,l=1 或2.當(dāng)k=1,l=1 或2 時(shí),上式的右邊第1 項(xiàng)為核范數(shù),第2 項(xiàng)為l1范數(shù)或l2范數(shù)的平方,這兩項(xiàng)均為非光滑凸函數(shù).此外,當(dāng)01 時(shí),兩項(xiàng)均為非光滑凸函數(shù)。

然而,由于式(10)具有非光滑性,不利于目標(biāo)函數(shù)的優(yōu)化求解,本文通過引入輔助變量光滑上式來解決這一問題,則可將一般的平滑矩陣多變量橢圓分布模型歸納為如下優(yōu)化問題:

上式能處理的參數(shù)范圍為μ>0,k >0,k2,l=1 或2,I ∈Rq×q是單位矩陣且111∈Rn是元素值均為1 的n×1 維列向量.

文獻(xiàn)[31]和文獻(xiàn)[32]中的算法通過不同方法對非光滑目標(biāo)函數(shù)進(jìn)行了優(yōu)化求解.相比較而言,式(11)采用μI和μ111 兩項(xiàng)輔助變量來光滑目標(biāo)函數(shù)的操作擁有以下優(yōu)勢:1)當(dāng)μ >0 時(shí),ξ(α,μ)是光滑的,它較非光滑的目標(biāo)函數(shù)更容易進(jìn)行優(yōu)化求解;2)當(dāng)k≥1 時(shí),依據(jù)式(11)兩項(xiàng)的凸性質(zhì)可知ξ(α,μ)是一個(gè)凸函數(shù),則最小化目標(biāo)函數(shù)即為凸優(yōu)化問題,可得全局最優(yōu)解.

此外,根據(jù)式(12)可知ξ(α,μ)≥ξ(α),且當(dāng)且僅當(dāng)μ=0 時(shí),ξ(α,μ)=ξ(α).這意味著ξ(α,μ)是ξ(α)通過μ的優(yōu)化函數(shù),如果ξ(α,μ)是遞減函數(shù)則ξ(α)亦為遞減函數(shù).

其中,σi(·)代表矩陣的第i個(gè)正奇異值.

2.2 模型優(yōu)化求解

諸多方法可用來優(yōu)化求解模型(11),例如:半正定規(guī)劃法(Semi-definite programming,SDP)[33]是在滿足約束“對稱矩陣的仿射組合半正定”的條件下使線性函數(shù)極大(極小)化的問題.加速近端梯度法(Accelerated proximal gradient,APG)[34]是一個(gè)求解l1優(yōu)化問題較快的方法,其收斂速度為二階收斂,相比較其他方法具有明顯的速度優(yōu)勢.交替方向乘子法(Alternating direction method of multipliers,ADMM)[35]又稱增廣拉格朗日法,是求解約束優(yōu)化問題的一類重要方法,具有不需要懲罰參數(shù)趨向于無窮大等優(yōu)點(diǎn)[36].然而,SDP 因其算法復(fù)雜度高不適用于大規(guī)模數(shù)據(jù)(對于n×n維的矩陣,SDP 的算法復(fù)雜度是O(n6)).APG 需要目標(biāo)函數(shù)具有Lipschitz 連續(xù)梯度,這使得該方法的使用受到限制.相比較SDP 和APG,ADMM 以其較好的性能和嚴(yán)格的理論保證,成為眾多學(xué)者研究的熱點(diǎn).但是,ADMM 需要在非光滑目標(biāo)函數(shù)中加入多個(gè)輔助變量乘子,這大大降低了算法的收斂速度,且其在優(yōu)化求解目標(biāo)函數(shù)的過程中需要應(yīng)用奇異值分解(Singular value decomposition,SVD)[37],增加了算法的復(fù)雜度.本節(jié)采用迭代加權(quán)最小二乘法(Iteratively reweighted least squares,IRLS)[38]對模型進(jìn)行優(yōu)化求解,避免了ADMM 需要加入多個(gè)輔助變量乘子和進(jìn)行奇異值分解的缺陷.

依據(jù)相關(guān)公式,式(11)可優(yōu)化調(diào)整為

其中,αi代表向量α的第i個(gè)元素.

令

則

其中,γ(α)針對α的梯度為

令對應(yīng)γ(α)的加權(quán)矩陣R=((Y ?X(α))T(Y ?X(α))+μ2I)(k?2)/2,則上式可簡化為

其次,δ(α)針對α的梯度為

式(18)是經(jīng)典的Sylvester 方程形式(AX+XB=C),方程求解的算法復(fù)雜度是O(n3)[39?40].實(shí)驗(yàn)過程中可利用MATLAB 的lyap命令求解式(18).

綜上所述,完整的SMED 描述如算法1 所示.其中,Vec(·)代表將矩陣通過列轉(zhuǎn)化為向量的操作,Mat(·)代表將向量轉(zhuǎn)化為矩陣的操作.

算法1.SMED 描述

輸入.n個(gè)p×q維圖像矩陣(n=n1+n2+···+nC);圖像矩陣Y ∈Rp×q;模型參數(shù)λ >0,μ >0;終止條件參數(shù)ε >0.

輸出.重構(gòu)編碼系數(shù)向量α.

1)令

初始化加權(quán)矩陣R=I.

2)設(shè)迭代次數(shù)t=1.

3)固定加權(quán)矩陣Rt,Tt,依照式(19)計(jì)算更新重構(gòu)編碼系數(shù)向量αt+1

4)固定αt+1,依照式(20)和式(21)分別更新加權(quán)矩陣Rt+1，Tt+1

3 收斂性和復(fù)雜度分析

SMED 采用迭代加權(quán)最小二乘法進(jìn)行模型迭代求解,在固定部分變量的前提下優(yōu)化余下未知變量.根據(jù)算法1 描述,每次迭代的關(guān)鍵步驟(20)和(21)都是閉式解,因此其單個(gè)變量更新都存在唯一解.定理1.說明所提算法在迭代過程中使目標(biāo)函數(shù)(11)的值逐步下降,并最終收斂.

引理1.給定任意矩陣X ∈Rm×n和Y ∈Rm×n,其中,矩陣X和Y的列向量為非零向量.令fi(x),i=1,2,···,n為可微凹函數(shù),可得

其中,對角矩陣M ∈Rn×n的對角元素為Mii=

設(shè)定fi(x)=xq/2,0

證明.根據(jù)凹函數(shù)定義文獻(xiàn)[41]可知,在定義域(0,∞)中,當(dāng)p ∈(0,1]時(shí),凹函數(shù)xp滿足yp ?xp+pyp?1(x y)≥0.對矩陣X ∈Rm×n和Y ∈Rm×n,則有

將式(24)中所有的i ∈{1,2,···,n}相加,則式(22)得證.

引理2.給定任意矩陣其中,為對稱正定矩陣.令X,Y的特征值λi分別滿足λ1(X)≥λ2(X)≥···≥λn(X)≥0 及λ1(Y)≥λ2(Y)≥···≥λn(Y)≥0.則可得

證明.見文獻(xiàn)[42]中的引理2.

引理3.給定任意矩陣當(dāng)p ∈(0,1]時(shí),tr(Xp)為凹函數(shù).

證明.由引理2 可知,對X,有

則通過推論和引理1 可得

由式(26)可知,當(dāng)p ∈(0,1]時(shí),tr(Xp)為凹函數(shù).

通過上述引理1 可知,假設(shè)g(X)為可微凹函數(shù),那么對于X,可得

此外,由引理3 可知,當(dāng)l ∈(0,2]時(shí),tr(Xl/2)為凹函數(shù).則設(shè)定g(X)=tr(Xl/2),將g(X)代入上式可得

定理1.通過算法1 迭代計(jì)算,目標(biāo)函數(shù)式(11)的值逐次下降直至收斂.

證明.定義第t次迭代時(shí)的誤差矩陣Et=Y ?X(αt),由于αt+1是式(18)的解,則有

通過對式(29)兩邊分別點(diǎn)乘αt ?αt+1,可得

此外,結(jié)合式(23)和式(30)有

將式(31)與式(32)相加可以得到

即目標(biāo)函數(shù)(11)的值在迭代更新的過程中逐次下降,并具有明確的下確界0,則該算法收斂性得證.

定理2.通過算法1 產(chǎn)生的序列αt收斂到最優(yōu)解α?.

證明.結(jié)合式(25)和式(33)有

上式通過t≥1 次迭代求和得

因序列{αt}有界,故存在和子序列{αtj}使得而作為式(18)迭代過程的其中一解可表示為

式(35)意味著在j →∞的過程中,能收斂到某個(gè)

其中,R?和T?為對應(yīng)α?下的值.至此,收斂到最優(yōu)解得證.

算法1 的關(guān)鍵耗時(shí)步驟是3 個(gè)未知變量的更新操作,包括Rt,Tt和αt.其中Rt依式(20)計(jì)算,其運(yùn)算復(fù)雜度是O(d),Tt依式(21)計(jì)算,其運(yùn)算復(fù)雜度是O(n),重構(gòu)編碼系數(shù)αt通過求解式(19)獲得,式(19)是一個(gè)標(biāo)準(zhǔn)的Sylvester 公式,其求解的典型算法是Bartel-Stewart 法,先通過QR 分解將系數(shù)矩陣變換成Schur 形式,再采用回代法求解三角系統(tǒng),整體運(yùn)算復(fù)雜度是O(n3).一般情況下,dn3,因此,SMED 每次迭代的復(fù)雜度是O(n3).假設(shè)算法的實(shí)際迭代次數(shù)是tm,可得SMED 的綜合運(yùn)算復(fù)雜度是O(n3tm).通過多次實(shí)驗(yàn)發(fā)現(xiàn),迭代次數(shù)tm一般滿足tm≤30.

4 實(shí)驗(yàn)分析

為驗(yàn)證所提算法的有效性,以人臉識別為例,分別采用AR[13]、ExYaleB[43]和PubFig[44]三個(gè)公開人臉數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)分析.對SMED 來說,因其模型中k,l的取值范圍為k >0,k2,l=1 或2,且當(dāng)k=1 時(shí),式(10)第1 項(xiàng)為核范數(shù),第2 項(xiàng)為l1范數(shù)或l2范數(shù)的平方;當(dāng)01 時(shí),兩項(xiàng)均為非光滑凸函數(shù),故實(shí)驗(yàn)中分別依據(jù)上述范圍取k=1,l=1;k=1/2,l=1;k=3/2,l=2.即SMED11,SMED1/21和SMED3/22與對比算法進(jìn)行實(shí)驗(yàn)來觀察模型對于不同特點(diǎn)目標(biāo)函數(shù)優(yōu)化求解后的算法性能情況.第4.1 節(jié)討論了模型的參數(shù)敏感性并驗(yàn)證了所提算法的可視化重構(gòu)性能;第4.2～4.4 節(jié)均為識別性能測試,分別在真實(shí)影響下(光照及偽裝影響和像素污損影響)、隨機(jī)遮擋下(方形白色、黑色、baboon 圖像遮擋和非方形鮮花圖像遮擋)以及非限制場景下將SMED 與經(jīng)典算法的性能優(yōu)劣進(jìn)行了實(shí)驗(yàn)對比;最后,第4.5節(jié)對比了不同算法的模型運(yùn)行效率.實(shí)驗(yàn)中所有人臉圖像都經(jīng)過統(tǒng)一的裁剪,所有訓(xùn)練樣本和測試樣本都通過l2范數(shù)進(jìn)行規(guī)范化處理.實(shí)驗(yàn)平臺為32位Win7 操作系統(tǒng),Intel Core i5 處理器,雙核主頻2.80 GHz,4 GB 內(nèi)存以及MATLAB2014 運(yùn)行環(huán)境.

4.1 人臉重構(gòu)

在本小節(jié)中,選用AR 人臉數(shù)據(jù)庫可視化所提算法并對比各算法的重構(gòu)性能.AR 人臉庫包含126人(70 位男性和56 位女性)的4 000 多張彩色圖像,圖像通過兩個(gè)不同時(shí)段拍攝獲取,每個(gè)時(shí)段每人共拍攝13 張包含在不同表情、光照條件和現(xiàn)實(shí)遮擋(墨鏡和圍巾)下的大小為768 像素×576 像素的彩色圖像.與文獻(xiàn)[13]類似,本文抽選其中一個(gè)子集(50 位男性和50 位女性)作為實(shí)驗(yàn)測試.選取每人每時(shí)段4 張無遮擋正面人臉圖像,即100 人每人8張共800 張圖像作為訓(xùn)練樣本.此外,構(gòu)建三個(gè)測試樣本:1)選取每人每時(shí)段3 張?jiān)诓煌庹諚l件下的人臉圖像;2)選取每人每時(shí)段3 張?jiān)谀R遮擋下的人臉圖像;3)選取每人每時(shí)段3 張?jiān)趪碚趽跸碌娜四槇D像.3 個(gè)測試樣本均包含600 張圖像(100人每人6 張).本文將AR 人臉庫中的圖像統(tǒng)一裁剪至83 像素×60 像素.對比算法選用經(jīng)典的分類器SRC和CRC,抗噪性較強(qiáng)的RRC,能快速提取特征的FFS[45]以及基于半二次相加框架的HQ_A和基于半二次相乘框架的HQ_M[15],實(shí)驗(yàn)中SRC,CRC,RRC,FFS,HQ_A 和HQ_M 的參數(shù)設(shè)置分別參考了文獻(xiàn)[3]、[5]、[13]、[15]和[45],且RRC 算法采用識別率較高的l1范數(shù)約束.

4.1.1 參數(shù)μc 和ρ 的敏感度分析

參數(shù)的選擇對算法整體運(yùn)行具有重要的意義.選擇適當(dāng)?shù)膮?shù),有利于加快目標(biāo)函數(shù)的收斂速度并能精確地求解模型.本小節(jié)對SMED 算法中參數(shù)μ值選擇的敏感度進(jìn)行了分析.實(shí)驗(yàn)中通過μt+1=μt/ρ,ρ >1 來遞減參數(shù)μ,并將μ的初始值設(shè)置為因此,參數(shù)μ的值取決于μc和ρ.本小節(jié)構(gòu)建兩個(gè)實(shí)驗(yàn)來評估μc和ρ的值對SMED 算法性能的敏感度,其中選擇具有代表性的SMED11作為實(shí)驗(yàn)對象,測試樣本選取第二類包含墨鏡遮擋的人臉圖像,且統(tǒng)一設(shè)置參數(shù)λ的值為0.1.圖2 所示即為不同參數(shù)值及不同迭代次數(shù)下SMED11算法的目標(biāo)函數(shù)值.圖2(a)固定ρ=1.1,從而評估不同μc值對算法目標(biāo)函數(shù)值的影響,圖2(b)固定μc=0.01,從而評估不同ρ值對算法目標(biāo)函數(shù)值的影響.

由圖2(a)可知,當(dāng)μc=0.001 和μc=0.0001時(shí),μc的值極小,對應(yīng)的算法收斂值曲線顯示經(jīng)過不到5 次的迭代SMED11就達(dá)到了收斂,這說明μc的值越小越將導(dǎo)致算法的不精確求解.但是隨著μc值的增大,SMED11就需要更多次的迭代才能收斂算法,如圖所示,當(dāng)μc=0.01 時(shí),算法僅需約15 次的迭代就能達(dá)到收斂;當(dāng)μc=0.1 時(shí),需要約40 次;而當(dāng)μc=1 時(shí),卻需要將近約60 次的迭代才能達(dá)到收斂.由圖2(b)可知,參數(shù)ρ值的選擇對算法敏感度的情況與參數(shù)μc類似.ρ的值越大越將導(dǎo)致算法的快速收斂,使得模型求解不精確,而ρ的值越小越能提升模型求解的精確度.因此,為了兼顧算法對模型求解的效率和精確度,綜合圖2 的顯示情況可知所選參數(shù)μc的值不應(yīng)太小,而ρ的值不應(yīng)太大.綜上所述,本節(jié)選取μc=0.01,ρ=1.1 作為實(shí)驗(yàn)中的參數(shù)值輸入.

圖2 不同參數(shù)μc 和ρ 值下的SMED11算法收斂值曲線Fig.2 Convergence curves of SMED11algorithm on AR with different regularization parameters μc and ρ

4.1.2 可視化重構(gòu)性能

本小節(jié)評估所提算法的重構(gòu)性能,通過可視化所構(gòu)建的AR 人臉庫的3 個(gè)測試樣本中的圖像來比較SMED11,SMED1/21,SMED3/22和對比算法的人臉重構(gòu)能力.部分實(shí)驗(yàn)結(jié)果如圖3 所示.圖3(a)為重構(gòu)前的原始圖像,從上至下依次為光照影響的人臉圖像、墨鏡遮擋的人臉圖像、圍巾遮擋的人臉圖像.圖3(b)為通過SMED11重構(gòu)后的圖像與對應(yīng)每類圖像的重構(gòu)誤差值其中α?代表重構(gòu)編碼系數(shù)的最優(yōu)解,則Xα?為Y的重構(gòu)圖像.δi(α?)代表α?向量中除關(guān)聯(lián)第i類的元素含值外其他元素均為零,則Xδi(α?)為關(guān)聯(lián)第i類的Y的重構(gòu)圖像.而分類識別的原理是ei(Y)=mini ei(Y),即第i類的重構(gòu)誤差值最小,則圖像Y就歸屬于第i類.從圖3(b)中可見,圓點(diǎn)為重構(gòu)誤差的最小值,橫坐標(biāo)代表圖像的類別,從上至下依次可得在光照影響、墨鏡遮擋、圍巾遮擋下的人臉圖像通過SMED11重構(gòu)后均歸屬于第10 人的圖像類別,符合實(shí)際情況.此外,圖3(b)的這三張結(jié)果圖還說明了光照影響對SMED11算法的分類性能干擾最小,遮擋類的干擾明顯大于光照,特別地,圍巾遮擋的干擾最大.圖3(c)～3(k)為所提算法與對比算法基于圖3(a)的重構(gòu)圖像(左側(cè))和冗余圖像(右側(cè)),

圖3 不同光照影響及墨鏡和圍巾遮擋下的人臉重構(gòu)性能對比Fig.3 The reconfiguration performance contrast of different algorithms under illuminition changes and sunglass or scraf occlusion

由圖3(c)～3(k)可知,SMED 算法在重構(gòu)性能上較其他對比算法突出,這揭示了重構(gòu)編碼系數(shù)的稀疏性對人臉圖像的重構(gòu)具有一定程度的有效性.而對于SMED11,SMED1/21和SMED3/22這三者而言,從圖3(c)、圖3(d)和圖3(e)的比較中可以看出它們的重構(gòu)效果非常接近,僅存有細(xì)微差別,如對于光照影響,SMED11和SMED3/22的處理效果優(yōu)于SMED1/21,具體表現(xiàn)在眼睛這塊區(qū)域的重構(gòu);對于墨鏡遮擋,SMED1/21重構(gòu)的圖像棱角更為明確;而對于圍巾遮擋,雖然三者在眼睛區(qū)域的重構(gòu)都表現(xiàn)不佳,但是對圍巾遮擋處嘴巴的修復(fù)卻表現(xiàn)不錯(cuò),基本還原了遮擋處的嘴型,而且SMED1/21比SMED11和SMED3/22修復(fù)將更清晰.總體來說,對于AR 數(shù)據(jù)庫而言,屬于特例的SMED11對光照影響的處理較優(yōu),而SMED1/21對大面積遮擋情況的處理表現(xiàn)突出.此外,對于對比算法,從圖3(f)和圖3(g)可得SRC 和CRC 不太適合遮擋類圖像的修復(fù)工作,重構(gòu)的人臉圖像都帶有明顯的光照影響以及墨鏡和圍巾遮擋.而圖3(j)基于半二次相加框架的雖然它的重構(gòu)效果優(yōu)于SRC 和CRC,但是同樣存在墨鏡和圍巾的痕跡,且光照影響去除不佳.圖3(h)和圖3(i)中的RRC 和FFS,前者引入了特征加權(quán)特性,后者通過快速提取特征重構(gòu)圖像,其重構(gòu)人臉有一定程度的光照去除效果,且對于墨鏡遮擋,其消除了墨鏡效果,但存留明顯的眼鏡框架,圍巾遮擋上RRC 在眼睛區(qū)域的重構(gòu)效果優(yōu)于FFS,但對嘴巴的修復(fù)FFS 比RRC 表現(xiàn)更佳.對于對比算法中表現(xiàn)最佳的基于半二次相乘框架的來說,如圖3(k),雖然重構(gòu)圖像的清晰度高于SMED 算法且對光照影響的處理上優(yōu)于SMED,但是對于遮擋圖像,SMED 的修復(fù)較更加接近于正面無遮擋無光照影響的原圖像,特別是眼睛區(qū)域和嘴巴區(qū)域.

4.2 真實(shí)影響下的人臉識別

通過AR 數(shù)據(jù)庫進(jìn)行真實(shí)影響下的人臉識別實(shí)驗(yàn),訓(xùn)練樣本和測試樣本的選擇與第4.1 節(jié)一致.實(shí)驗(yàn)步驟為:首先采用訓(xùn)練樣本和測試樣本迭代求解模型中的最優(yōu)重構(gòu)編碼系數(shù)α?;然后通過α?和測試樣本數(shù)據(jù)得到重構(gòu)數(shù)據(jù);最后利用分類原理獲得每類測試樣本的整體識別率.本小節(jié)仍然選擇第4.1節(jié)中的對比算法進(jìn)行實(shí)驗(yàn)且參數(shù)設(shè)置保持一致.

4.2.1 光照及偽裝影響

表1 給出了所提算法和對比算法在真實(shí)影響下的識別率對比,其中粗體數(shù)據(jù)值即為同等條件下的最優(yōu)識別率.通過表1 可以發(fā)現(xiàn):除在圍巾遮擋的測試實(shí)驗(yàn)中RRC 算法共享了SMED1/21的最優(yōu)識別率外,其他情況下SMED 都具有最優(yōu)的測試值.而對于SMED 來說,SMED1/21在墨鏡、圍巾遮擋情形下的效果均優(yōu)于SMED11和SMED3/22,在光照影響下,SMED11表現(xiàn)更突出.這一現(xiàn)象與第4.1.1節(jié)表現(xiàn)一致.值得注意的是,在墨鏡遮擋情形下效果較優(yōu)卻在圍巾遮擋情形下效果較弱,而CRC 則正處于相反的情況.總體而言,在光照影響的樣本測試實(shí)驗(yàn)中,最優(yōu)的SMED11較SRC,CRC,RRC,FFS,和分別提升了5.33%,0.50%,7.66%,12.83%,8.00%,2.32% 的識別率.在墨鏡遮擋的樣本測試實(shí)驗(yàn)中,最優(yōu)的SMED1/21較SRC,CRC,RRC,FFS,和分別提升了8.34%,7.50%,6.01%,11.67%,7.17%,1.34% 的識別率.在圍巾遮擋的樣本測試實(shí)驗(yàn)中,最優(yōu)的SMED1/21較SRC,CRC,FFS,和分別提升了14.00%,6.33%,19.00%,25.33%,20.90% 的識別率.

表1 AR 人臉庫真實(shí)影響下不同算法的識別率對比(%)Table 1 Comparison of recognition rates on AR database(%)

4.2.2 像素污損影響

本小節(jié)對AR 數(shù)據(jù)庫進(jìn)行更具挑戰(zhàn)性的實(shí)驗(yàn)對比.通過對墨鏡遮擋及圍巾遮擋樣本圖像進(jìn)行不同程度的隨機(jī)像素污損來比較所提算法和對比算法的識別性能.圖4 為實(shí)驗(yàn)結(jié)果圖,其中各子圖上方顯示的即為0%～50% 像素污損程度下的測試樣本圖像.由圖4 可知,對比SRC,CRC,FFS 和SMED 表現(xiàn)突出,而其與RRC 和的識別率比較呈現(xiàn)競爭狀態(tài).總體來說,各算法對墨鏡遮擋像素污損圖像的識別率均高于圍巾遮擋的像素污損圖像,符合第4.2.1 節(jié)的一般規(guī)律,且SMED1/21在不同像素污損程度下較SMED11和SMED3/22突出.此外,從圖4(a)和圖4(b)可得,隨著污損程度的增加,CRC 比SRC 呈現(xiàn)更快的下降趨勢,這源于CRC 對于數(shù)據(jù)間的協(xié)作關(guān)系描述不適用于處理這類稀疏型噪聲.因此,對于像素污損這類稀疏型噪聲,SRC 較CRC 更具魯棒性.

圖4 不同像素污損程度下的人臉識別率對比Fig.4 Comparison of recognition rates under the different pixel corruption levels

4.3 隨機(jī)遮擋下的人臉識別

在本節(jié)中,采用ExYaleB 數(shù)據(jù)庫測試SMED在隨機(jī)遮擋下的人臉識別應(yīng)用中的算法性能.ExYaleB 包含38 人每人9 種姿態(tài)形式、64 種光照變化,總共21 888 張人臉圖像.與文獻(xiàn)[13]一致,本文抽選其中接近正面,與光照變化有關(guān)的2 414 幅圖像用于實(shí)驗(yàn).每張圖像大小都統(tǒng)一調(diào)整至32 像素×32 像素.任意選取其中每個(gè)人物20 幅圖像共760張作為訓(xùn)練樣本,其余為測試樣本.對比算法選擇在第4.2.1 節(jié)表現(xiàn)不錯(cuò)的CRC,RRC 和此外,添加抗噪性較強(qiáng)的CESR[14]算法.CRC,RRC 和的實(shí)驗(yàn)參數(shù)與第4.1 節(jié)一致,CESR 的參數(shù)設(shè)置參考文獻(xiàn)[14].此外,本小節(jié)通過參數(shù)敏感度分析設(shè)置SMED 算法中的參數(shù)μc=0.1,ρ=1.1.

實(shí)驗(yàn)中,將測試樣本做四種不同類型圖像的隨機(jī)遮擋處理:1)不同尺寸大小方形白色圖像隨機(jī)遮擋;2)不同尺寸大小方形黑色圖像隨機(jī)遮擋;3)不同尺寸大小方形baboon 圖像隨機(jī)遮擋;4)不同尺寸大小非方形鮮花圖像隨機(jī)遮擋.遮擋圖像的尺寸決定了測試樣本圖像被遮擋的程度.本小節(jié)首先對四種經(jīng)過遮擋處理的測試樣本進(jìn)行分類識別測驗(yàn),然后通過圖4 比較不同遮擋程度下所提算法與對比算法的識別率,其中各子圖上方顯示的即為0%～60% 遮擋程度下的測試樣本圖像.

由圖5 可知,方形白色圖像遮擋對各算法識別率的影響較大,而非方形鮮花圖像影響較小.此外,方形黑色及baboon 圖像對各算法識別率影響的程度相似.具體來說,圖5(a)中SMED11表現(xiàn)最佳,雖然在20% 遮擋程度時(shí)RRC 的識別率高于SMED11,但當(dāng)遮擋程度大于30% 時(shí),其識別性能均優(yōu)于RRC,特別在60% 遮擋程度時(shí),SMED11較RRC 的識別率提升了4.3%.SMED1/21和SMED3/22雖然沒有SMED11表現(xiàn)突出,但當(dāng)遮擋大于50% 時(shí),它們與RRC 的識別率結(jié)果不分伯仲.此外,當(dāng)遮擋低于20% 時(shí),表現(xiàn)不錯(cuò),識別率高于SMED1/21和SMED3/22,但隨著遮擋程度的增加其優(yōu)勢不復(fù)存在;同樣地,遮擋低于30% 時(shí),CESR 的識別率隨遮擋程度的增加遞減平穩(wěn),基本保持在85%～90%,此后其識別率急劇下降,特別當(dāng)遮擋為60% 時(shí),識別率低至6.89%;而對于CRC,隨著遮擋程度的增加識別率就開始快速遞減,60% 遮擋時(shí),識別率為21.58%,高于CESR.綜合圖5(a)可得對方形白色圖像遮擋表現(xiàn)最佳的SMED11算法在60% 遮擋程度下比CRC,RRC,CESR 和分別提升了22.56%,4.3%,37.25%,16.81% 的識別率.對于方形黑色圖像遮擋,圖5(b)顯示了各算法的識別率對比,可以看出各算法對方形黑色遮擋的處理性能優(yōu)于方形白色遮擋.特別地,表現(xiàn)突出,非常接近SMED11的識別結(jié)果,其在10%～30% 遮擋時(shí),識別率略優(yōu)于SMED11,40%～50% 時(shí),兩者識別率基本一致,到60% 時(shí),SMED11顯現(xiàn)出高于的識別性能.對于SMED1/21和SMED3/22,雖然它們在低遮擋程度下表現(xiàn)并不突出,但隨著遮擋程度的增加,逐漸體現(xiàn)出抗遮擋的能力,尤其在60% 遮擋時(shí),識別結(jié)果高于表現(xiàn)不錯(cuò)的SMED11.此外,RRC 并不像在圖5(a)中表現(xiàn)的那么出色,反而與CRC,CESR的識別效果類似,表現(xiàn)平平.總體而言,對于方形黑色圖像遮擋,在60% 遮擋程度下,識別率最高的SMED1/21比CRC,RRC,CESR 和分別提升了19.52%,12.92%,14.56%,10.22% 的識別率.此外,對于方形baboon 圖像及非方形鮮花圖像遮擋,圖5(c)和圖5(d)顯示SMED11,SMED1/21和SMED3/22均表現(xiàn)突出.60% 遮擋下,在圖5(c)中識別性能最優(yōu)的SMED1/21比CRC,RRC,CESR和分別提升了33.12%,17.95%,28.02%,11.94% 的識別率.圖5(d)中表現(xiàn)最佳的SMED11比CRC,RRC,CESR 和分別提升了8.76%,0.15%,10.44%,0.79% 的識別率.

圖5 不同遮擋程度下的人臉識別率對比Fig.5 Comparison of recognition rates under the different occlusion levels

4.4 非限制場景下的人臉識別

與第4.3 節(jié)實(shí)驗(yàn)環(huán)境一致,本節(jié)采用PubFig數(shù)據(jù)庫測試SMED 在非限制場景下人臉識別應(yīng)用中的算法性能,對比算法仍然選取CRC,RRC 和PubFig 是一個(gè)大規(guī)模、非限制場景下的真實(shí)人臉數(shù)據(jù)庫,包含從網(wǎng)絡(luò)搜集來的200 人共58 797 幅彩色圖像.圖像可能受強(qiáng)光光照、自由姿態(tài)、障礙物遮擋、配飾遮擋、夸張表情等多種復(fù)雜因素的干擾.本文抽選100 人,每人20 張,共2 000 張圖像用于實(shí)驗(yàn).每張圖像都通過統(tǒng)一的人臉部位裁剪并調(diào)整至64 像素×64 像素的灰度圖像.選取其中每個(gè)人前10 張共1 000 張圖像作為訓(xùn)練樣本,其余為測試樣本.圖6 為其中1 人的訓(xùn)練樣本和測試樣本示例,圖7 為本節(jié)實(shí)驗(yàn)的測試結(jié)果.

圖6 PubFig 中1 人的訓(xùn)練樣本和測試樣本示例圖Fig.6 Sample images for one person from PubFig face database

圖7 中SMED1 代表SMED11算法,SMED2代表SMED1/21算法,SMED3 代表SMED3/22算法.由圖7 可知,CESR 對PubFig 數(shù)據(jù)庫的識別效果最差,這是因?yàn)樗鲆暳藞D像中噪聲的空間結(jié)構(gòu),對比來說,SMED 很好地利用了空間結(jié)構(gòu)所提供的信息,其中,SMED11取得了最優(yōu)的識別率,即對于非限制場景下的人臉圖像來說,屬于特例的凸函數(shù)模型求解表現(xiàn)突出.此外,由于PubFig 中包含的是非限制場景下的人臉圖像,這使得抗噪性強(qiáng)的RRC算法因?yàn)橛?xùn)練樣本數(shù)據(jù)的不穩(wěn)定性,不能有效揭示測試樣本數(shù)據(jù)間的差異而影響識別性能,其識別結(jié)果僅略高于CRC.而對于它取得了44.3%的有競爭力的識別結(jié)果,略高于SMED1/21算法.綜上所述,SMED 由于不需要過多地依賴訓(xùn)練樣本數(shù)據(jù)之間的變化,而是通過考慮圖像中噪聲的內(nèi)部結(jié)構(gòu),采用切合實(shí)際的分布來描述誤差矩陣,故而能獲得相對更佳的識別性能.

圖7 PubFig 人臉庫中不同算法的識別率對比Fig.7 Comparison of recognition rates on PubFig database

4.5 運(yùn)行效率分析

除識別性能外,運(yùn)行效率是影響分類算法實(shí)際應(yīng)用能力的另一關(guān)鍵指標(biāo).本節(jié)對AR、ExYaleB 和PubFig 數(shù)據(jù)庫中的幾種算法進(jìn)行測試效率對比.表2 和表3 顯示了各算法在不同數(shù)據(jù)庫中單個(gè)樣本的測試時(shí)間.

表2 為第4.2.1 節(jié)實(shí)驗(yàn)狀態(tài)下的測試時(shí)間對比;表3 中ExYaleB 數(shù)據(jù)庫里白色、黑色、baboon 和鮮花遮擋的測試時(shí)間均在60% 遮擋程度下獲得.此外,所有數(shù)據(jù)都通過10 次實(shí)驗(yàn)運(yùn)行并取平均值得到.

表2 AR 數(shù)據(jù)庫中各算法測試時(shí)間對比(s)Table 2 Running time of competing algorithms on AR database(s)

結(jié)合表1 和表2 可知,CRC 在識別率上雖然與SRC、FFS 以及較為接近,但是其運(yùn)行效率卻遠(yuǎn)遠(yuǎn)優(yōu)于這些算法,達(dá)到了ms 級的反應(yīng)速度.以運(yùn)行效率減弱為代價(jià)提升鑒別性能,從表2 可見其運(yùn)行時(shí)間為CRC 的3 000 多倍,因此實(shí)用性欠佳.RRC 在光照影響、墨鏡遮擋和圍巾遮擋這三種情形下的識別率表現(xiàn)突出,接近SMED 的識別性能,但其在實(shí)現(xiàn)過程中需要迭代計(jì)算操作,因此運(yùn)行率較低.最后,在AR 數(shù)據(jù)庫中SMED 的運(yùn)行效率高于RRC、FFS、和僅次于CRC和SRC,但其識別率卻遠(yuǎn)高于CRC 和SRC.此外,結(jié)合表3、圖5、圖7 中各算法在ExYaleB、PubFig數(shù)據(jù)庫中的表現(xiàn)可知,雖然的鑒別性能在大多數(shù)情況下接近于SMED 算法,但在大部分?jǐn)?shù)據(jù)集中都需要消耗更多的運(yùn)行時(shí)間,不適宜于實(shí)際的分類應(yīng)用.而抗噪性不錯(cuò)的RRC 算法的運(yùn)行時(shí)間卻隨數(shù)據(jù)集的不同浮動(dòng)較大,穩(wěn)定性不高.綜合而言,SMED 由于采用迭代加權(quán)最小二乘法進(jìn)行模型求解,能在很少的迭代次數(shù)下獲得算法收斂,因此其綜合運(yùn)行效率領(lǐng)先于除CRC 和SRC 的其他對比算法.而且鑒于SMED 具有較高較穩(wěn)定的識別性能,故而值得推廣應(yīng)用.

表3 ExYaleB、PubFig 數(shù)據(jù)庫中各算法測試時(shí)間對比(s)Table 3 Running time of competing algorithms on ExYaleB,PubFig database(s)

5 結(jié)束語

本文提出一種聯(lián)合平滑矩陣多變量橢圓分布的稀疏表示算法,該算法強(qiáng)調(diào)誤差矩陣中各個(gè)像素間的依賴性并假定誤差矩陣作為一個(gè)隨機(jī)矩陣變量服從于矩陣多變量橢圓分布.由于通過上述假定構(gòu)建的目標(biāo)函數(shù)具有非光滑性,不利于問題的優(yōu)化求解,故先引入輔助變量光滑模型,而后采用迭代加權(quán)最小二乘法優(yōu)化求解模型.此外,文中對SMED算法的收斂性和復(fù)雜度進(jìn)行了理論分析,并討論了模型的參數(shù)敏感性.以人臉數(shù)據(jù)為例,采用AR、ExYaleB 和PubFig 數(shù)據(jù)庫驗(yàn)證了所提算法的性能優(yōu)于經(jīng)典算法.綜上所述,本文的創(chuàng)新點(diǎn)包括:1)采用矩陣多變量橢圓分布描述誤差矩陣,增強(qiáng)算法抗噪性;2)引入輔助變量光滑模型,易于獲得全局最優(yōu)解,提升算法識別能力;3)采用迭代加權(quán)最小二乘法優(yōu)化求解模型,加快算法收斂速度.

分析研究發(fā)現(xiàn),所提算法SMED 雖然易于實(shí)現(xiàn)且性能卓越,但運(yùn)行效率上仍受到限制,無法滿足視頻跟蹤等在線應(yīng)用系統(tǒng)的需求,且其與目前最先進(jìn)算法的識別率仍有一定差距,后續(xù)工作有待進(jìn)一步提升算法的識別精度.此外,SMED 是否適用于更加復(fù)雜的噪聲特征樣本和遮擋環(huán)境,且能否將該算法擴(kuò)展應(yīng)用于一般的現(xiàn)實(shí)噪聲[46],也是后續(xù)有待進(jìn)一步研究探索的問題.