楊彩鳳，劉 濤，劉國慶，程 飛

(安徽工程大學(xué)計算機與信息學(xué)院，安徽 蕪湖 241000)

0 引 言

圖像識別是人工智能[1]重要研究領(lǐng)域之一，同時，圖像識別也在機器視覺[2]和模式識別[3]中成為一個熱點研究領(lǐng)域。面對大數(shù)據(jù)時，圖像識別會面臨“維數(shù)災(zāi)難”[4]的問題。然而，在識別過程中又需要快速精準(zhǔn)地進(jìn)行識別，找到兩個或者兩個以上的低維矩陣，使其乘積等于或者約等于原始矩陣，達(dá)到對原始矩陣降維的目的，是解決問題的一個主流方法，這就是矩陣分解技術(shù)。已有的心理和生理邏輯證明，在人腦中，對事物的認(rèn)識是基于部分表示的[5]，而且在圖像數(shù)據(jù)中，像素點的值是大于等于零的。對此，提出了NMF算法來學(xué)習(xí)圖像的局部特征，NMF的目標(biāo)是找到兩個非負(fù)矩陣，它們的乘積能有效地逼近原始矩陣。NMF的這些特征既符合人腦對事物的認(rèn)識，又滿足圖像數(shù)據(jù)的表示要求，是學(xué)習(xí)物體部分表示的最佳方法。原始的NMF算法雖然能有效地對圖片進(jìn)行壓縮降維，但仍有不足之處，比如存在冗余數(shù)據(jù)、忽略某些重要特征、過度降維等等。針對NMF在圖像識別中存在的問題，提出了改進(jìn)的NMF算法，結(jié)合圖譜理論，保留數(shù)據(jù)的內(nèi)在幾何結(jié)構(gòu)關(guān)系，設(shè)置閾值，優(yōu)化基矩陣，過濾冗余信息，提高圖像識別的效果。在PIE-Pose05,YaleB和COIL20數(shù)據(jù)庫上的實驗表明，本文提出的改進(jìn)算法取得理想效果。

1 NMF算法

首次提出NMF 算法的是Lee和Seung等人[5]，指出該算法可用于圖像識別，并在同年發(fā)表的文章[6]中給出迭代公式的推導(dǎo)過程，基于兩種目標(biāo)函數(shù)，并且證明了收斂性。

有N張圖像，將每張圖像進(jìn)行向量化表示，這里用字母M表示，那么圖像數(shù)據(jù)庫可以被表示為：一個M×N的矩陣X=[x1,x2,…,xN]∈RM×N，其中，X的每一列表示一個樣本向量。進(jìn)而，問題可以轉(zhuǎn)化為：在實際中，需要找到兩個非負(fù)數(shù)據(jù)矩陣U=[uik]∈RM×K和V=[vjk]∈RN×K，兩者的乘積能很好地逼近原始矩陣X，即滿足如下公式：

X≈U×VT

(1)

在一般的現(xiàn)實應(yīng)用中K?M，K?N，所以，NMF對原始矩陣X進(jìn)行了壓縮?？梢哉J(rèn)為U包含一組基，該基對X中數(shù)據(jù)的線性逼近進(jìn)行了優(yōu)化，這里把U稱基準(zhǔn)圖像矩陣，簡稱基矩陣，V稱為編碼矩陣，本文將對基矩陣U做相應(yīng)處理，提高算法的效率。

2 改進(jìn)的圖正則化非負(fù)矩陣分解的圖像識別算法設(shè)計

通過使用非負(fù)的約束，NMF可以學(xué)習(xí)基于部分的表示，然而，它沒有發(fā)現(xiàn)數(shù)據(jù)空間固有的幾何判別結(jié)構(gòu)[7]，而這對實際應(yīng)用是至關(guān)重要的，將圖譜理論[8-9]與NMF相結(jié)合，有效揭示隱藏的語義，又尊重數(shù)據(jù)內(nèi)在的幾何結(jié)構(gòu)。并且，為了更好地提取圖像特征，對基矩陣進(jìn)行處理，使得處理過后的向量包含更多實際所需要的信息。

2.1 圖譜理論

給定一組數(shù)據(jù)，可以構(gòu)造一個有N個頂點的鄰近圖，每個頂點代表一個相應(yīng)的數(shù)據(jù)點，其中，圖中的每個數(shù)據(jù)點xj，找到它的p個最近鄰居，并在xj和它的鄰居之間設(shè)置一條邊，權(quán)矩陣W存儲每條邊的權(quán)值，本文為了簡潔，選擇0-1加權(quán)法，當(dāng)且僅當(dāng)點j和點l由一條邊連接時，Wjl=1，Wjl用于表示點xj和點xl的接近度。利用權(quán)矩陣W，可以用下面的公式來度量低維表示的光滑性：

Tr(VTDV)-Tr(VTWV)=Tr(VTLV)

(2)

其中，D是由矩陣W的列或者行構(gòu)成的一個對角矩陣，Tr則是計算矩陣的跡，Djj=∑lWjl，L=D-W，稱為圖拉普拉斯[10]。

2.2 改進(jìn)的圖正則化非負(fù)矩陣分解的圖像識別算法

將圖譜理論技術(shù)與原始的NMF相結(jié)合，利用流形假設(shè)，開發(fā)圖正則化非負(fù)矩陣分解(GNMF)；在GNMF得到的基矩陣上添加閾值，過濾冗余信息，進(jìn)而得到新的GNMF。

GNMF的歐式距離目標(biāo)最小化函數(shù)如下：

O=‖X-UVT‖+λTr(VTLV)

(3)

其中，λ≥0，是正則化參數(shù)，控制新表示的平滑度。在GNMF的目標(biāo)函數(shù)O在U和V中不是同時凸的，所以找到全局最小值是不現(xiàn)實的，但可以找到局部最小值。以下給出O的步驟，并且推導(dǎo)出最后的迭代公式。

O=‖X-UVT‖+λTr(VTLV)=

Tr((X-UVT)(X-UVT)T)+λTr(VTLV)=

Tr(XXT)-2Tr(XVUT)+Tr(UVTVUT)+

λTr(VTLV)

(4)

利用拉格朗日乘子ψik和φjk分別約束uik≥0和vjk≥0，并且Ψ=[ψik]，Φ=[φjk]，拉格朗日Γ是：

Γ=Tr(XXT)-2Tr(XVUT)+Tr(UVTVUT)+

λTr(VTLV)+Tr(ΨUT)+Tr(ΦVT)

(5)

Γ對U和V求偏導(dǎo)得：

(6)

(7)

運用KKT條件ψikuik=0和φjkvjk=0，得到uik和vjk的方程：

-(XV)ikuik+(UVTV)ikuik=0

(8)

-(XTU)jkvjk+(VUTU)jkvjk+λ(LV)jkvjk=0

(9)

解得方程的跟新規(guī)則為：

(10)

(11)

對基矩陣U進(jìn)行優(yōu)化，過濾數(shù)據(jù)之間存在的冗余信息。選擇一個閾值S，對矩陣U進(jìn)行閾值判斷處理，具體過程為，對于基矩陣U的每一列，將其與閾值S進(jìn)行比較，小于閾值S的置為s，s一般為一個很小的數(shù)，并且s大于0，得到新的基矩陣Unew，X在新的基矩陣Unew投影得到新的Vnew，從而得到優(yōu)化的迭代跟新規(guī)則，對于公式(10)和(11)有：

(12)

(13)

經(jīng)過優(yōu)化的GNMF算法，降低冗余數(shù)據(jù)的干擾，使分解后的結(jié)果中含有更多在圖像識別過程中所需的有用信息，能夠有效提高算法的效率。

3 實驗分析

3.1 實驗數(shù)據(jù)庫

為了驗證本文提出的將NMF結(jié)合圖譜理論和對基矩陣優(yōu)化的有效性，利用MATLAB平臺進(jìn)行實驗驗證，同時選用公開的兩種人臉圖像數(shù)據(jù)庫和一種物體圖像數(shù)據(jù)庫：PIE-Pose05,YaleB和COIL20圖像數(shù)據(jù)庫。表1展示了三種圖像數(shù)據(jù)庫的詳細(xì)信息。

表1 三種圖像數(shù)據(jù)庫詳情

3.2 不同算法比較

用不同算法的對比實驗，驗證本文提出算法在圖像識別中的有效性，這里選用了Kmeans,PCA,NMF,GNMF，同時為了表明本文提出的對基矩陣優(yōu)化的有效性，給出兩種優(yōu)化處理的實驗：第一種，針對NMF，在原始NMF之上運用本文提出的優(yōu)化方法，簡稱New-NMF。第二種，針對GNMF，在GNMF之上運用本文提出的優(yōu)化方法，簡稱New-GNMF。

不同參數(shù)設(shè)置為：GNMF中，p設(shè)置為5，正則化參數(shù)λ設(shè)置為100；New-NMF中，在PIE-Pose05,YaleB兩種人臉圖像數(shù)據(jù)庫上，基矩陣閾值S設(shè)置為0.7，s設(shè)置為0.00001；在COIL20物體圖像數(shù)據(jù)庫上，基矩陣閾值S設(shè)置為0.03，s設(shè)置為0.00001；New-GNMF中，p設(shè)置為5，正則化參數(shù)λ設(shè)置為100，PIE、YaleB上基矩陣閾值S設(shè)置為0.7，s設(shè)置為0.00001；COIL20上基矩陣閾值S設(shè)置為0.03，s設(shè)置為0.00001。

3.3 實驗結(jié)果

為了直觀地表示出本文提出的算法在實際應(yīng)用中的有效性，使用兩種常用的標(biāo)準(zhǔn)度量方法：正確率(AC)和歸一化互信息(NMI)。表2～7展示了實驗結(jié)果，為了隨機化實驗，對每個給定的集群號K分別測試運行10次，表中報告了不同方法的每個集群號的性能結(jié)果(取平均值，并且保留兩位小數(shù))。

表2 PIE-Pose05上的AC結(jié)果(%)

表3 PIE-Pose05上的NMI結(jié)果(%)

表4 YaleB上的AC結(jié)果(%)

表5 YaleB上的NMI結(jié)果(%)

表6 COIL20上的AC結(jié)果(%)

表7 COIL20上的NMI結(jié)果(%)

從以上實驗結(jié)果可以看出，本文提出的改進(jìn)算法對于圖像識別是有效的，可以總結(jié)為以下幾點：

1)經(jīng)過對基矩陣進(jìn)行閾值限制優(yōu)化處理后，濾除圖像識別中數(shù)據(jù)之間的冗余信息，降低冗余信息的干擾，達(dá)到了有效特征提取目的，在不同的圖像數(shù)據(jù)庫中，本文算法比Kmeans,PCA,NMF,原始GNMF的效果好，AC和NMI兩個指標(biāo)都有所提高；

2)在NMF的基礎(chǔ)上引入圖譜理論有效地描述了圖像的幾何判別結(jié)構(gòu)，提高識別效果，在三個數(shù)據(jù)庫中，不管是AC還是NMI，GNMF比NMF效果好，New-GNMF比New-NMF效果好；

3)在矩陣分解技術(shù)的基礎(chǔ)上，通過本文提出的對分解后的基矩陣設(shè)置閾值限制，進(jìn)行優(yōu)化處理，不管是對NMF還是GNMF，都能提高算法的有效性，并且在PIE-Pose05,YaleB人臉圖像數(shù)據(jù)庫上，NMF效果更加明顯，在COIL20物體圖像數(shù)據(jù)庫上，GNMF效果更加明顯?？梢?，對在NMF和GNMF的基礎(chǔ)上對基矩陣進(jìn)行優(yōu)化處理能達(dá)到理想的效果；

4)由于不同數(shù)據(jù)庫中的圖片的拍攝條件、圖片數(shù)量等有所不同，在三個數(shù)據(jù)庫上的效果有所不同，表現(xiàn)為，YaleB和COIL20數(shù)據(jù)庫上的提高結(jié)果比PIE-Pose05數(shù)據(jù)庫上的提高結(jié)果更加出色；

5)對于每個給定的集群號K(1，3，5，10，20，23)，實驗結(jié)果也存在差異，但差異不是很大，算法整體表現(xiàn)穩(wěn)定。

3.4 參數(shù)選擇

本文提出的優(yōu)化算法關(guān)鍵是對基矩陣添加閾值S，在圖像識別過程中過濾冗余信息，S具有控制優(yōu)化程度的功能。本小節(jié)以曲線圖的形式展示出在三個數(shù)據(jù)庫上AC和NMI隨閾值的變化而變化的結(jié)果，這里在集群號23上分別對NMF和GNMF兩個方法進(jìn)行實驗，并將s設(shè)置為0.00001。橫坐標(biāo)表示閾值S的取值范圍，縱坐標(biāo)表示三個數(shù)據(jù)庫上AC和NMI隨S的變化而變化的結(jié)果，如下各圖所示：

圖1 AC和NMI在PIE-Pose05上隨參數(shù)S變化而變化

圖2 AC和NMI在YaleB上隨參數(shù)S變化而變化

圖3 AC和NMI在COIL20上隨參數(shù)S變化而變化

從圖1,2和圖3可以得到以下結(jié)論：

1)對于NMF，在數(shù)據(jù)庫PIE-Pose05上，當(dāng)S在0.7和1.1之間，AC和NMI都有比較好的效果；

2)對于NMF，在數(shù)據(jù)庫YaleB上，當(dāng)S在0.5到1.1之間，AC和NMI都有比較好的效果；

3)對于NMF，在數(shù)據(jù)庫COIL20上，當(dāng)S在0.01到0.06之間，AC和NMI都有比較好的效果；

4)對于GNMF，在數(shù)據(jù)庫PIE-Pose05和YaleB上，當(dāng)S在0.3到0.9之間，AC和NMI都有比較好的效果；

5)對于GNMF，在數(shù)據(jù)庫COIL20上，當(dāng)S在0.01到0.04之間，AC和NMI都有比較好的效果。

4 結(jié) 語

提出了一種新的圖正則化非負(fù)矩陣分解算法，將圖譜理論與傳統(tǒng)的NMF相結(jié)合，利用流形假設(shè)，構(gòu)建鄰近圖，搭建模型，保留數(shù)據(jù)的內(nèi)在幾何結(jié)構(gòu)；對分解后的基矩陣設(shè)置閾值S，進(jìn)行優(yōu)化處理，過濾了數(shù)據(jù)中的冗余信息，并且將這種方法運用到圖像識別中。實驗結(jié)果表明，不管是NMF還是GNMF，本文提出的改進(jìn)方法，在圖像數(shù)據(jù)庫中都具有更強的識別能力。

但此方法也存在不足，第一，閾值處理對不同數(shù)據(jù)達(dá)不到針對性優(yōu)化，在PIE-Pose05數(shù)據(jù)庫上的表現(xiàn)不是很出色；第二，因為增加了閾值處理，使得整個識別過程所需時間增加。在未來的工作中，將對這兩點不足進(jìn)行改進(jìn)：對于閾值S如何針對性自動取值以及如何降低識別速度做進(jìn)一步地研究。