余江蘭 李向利 趙朋飛

摘 要：針對(duì)傳統(tǒng)的非負(fù)矩陣分解（NMF）應(yīng)用于聚類(lèi)時(shí)，沒(méi)有同時(shí)考慮到魯棒性和稀疏性，導(dǎo)致聚類(lèi)性能較低的問(wèn)題，提出了基于核技巧和超圖正則的稀疏非負(fù)矩陣分解算法（KHGNMF）。首先，在繼承核技巧的良好性能的基礎(chǔ)上，用L2，1范數(shù)改進(jìn)標(biāo)準(zhǔn)非負(fù)矩陣分解中的F范數(shù)，并添加超圖正則項(xiàng)以盡可能多地保留原始數(shù)據(jù)間的內(nèi)在幾何結(jié)構(gòu)信息;其次，引入L2，1/2偽范數(shù)和L1/2正則項(xiàng)作為稀疏約束合并到NMF模型中;最后，提出新算法并將新算法應(yīng)用于圖像聚類(lèi)。在6個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)集上進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，相對(duì)于非線(xiàn)性正交圖正則非負(fù)矩陣分解方法，KHGNMF使聚類(lèi)性能（精度和歸一化互信息）成功地提升了39%～54%，有效地改善和提高了算法的稀疏性和魯棒性，聚類(lèi)效果更好。

關(guān)鍵詞：非負(fù)矩陣分解;超圖正則;L2，1/2矩陣偽范數(shù);稀疏性;魯棒性;L2，1范數(shù)

中圖分類(lèi)號(hào)： TN919.81

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-9081（2019）03-0742-08

Abstract： Focused on the problem that when ?traditional Non-negative Matrix Factorization （NMF） is applied to clustering， ?robustness and sparsity are not considered at the same time， which leads to low clustering performance， a sparse Non-negative Matrix Factorization algorithm based on Kernel technique and HyperGraph regularization （KHGNMF） was proposed. Firstly， on the basis of inheriting good performance of kernel technique， L2，1 norm was used to improve F-norm of standard NMF， and hyper-graph regularization terms were added to preserve inherent geometric structure information among the original data as much as possible. Secondly， L2，1/2 pseudo norm and L1/2 regularization terms were merged into NMF model as sparse constraints. Finally， a new algorithm was proposed and applied to image clustering. The experimental results on six standard datasets show that KHGNMF can improve clustering performance （accuracy and normalized mutual information） by 39% to 54% compared with nonlinear orthogonal graph regularized non-negative matrix factorization， and the sparsity and robustness of the proposed algorithm are increased and the clustering effect is improved.

Key words： Non-negative Matrix Factorization （NMF）; hypergraph regularization; L2，1/2-matrix pseudo norm; sparsity; robustness; L2，1-norm

0 引言

近年來(lái)，矩陣分解技術(shù)在數(shù)據(jù)表示方面的應(yīng)用吸引了越來(lái)越多人的關(guān)注。傳統(tǒng)的矩陣分解方法主要有主成分分析（Principal Component Analysis， PCA）、 獨(dú)立分量分析（Independent Component Analysis， ICA）、 奇異值分解（Singular Value Decomposition， SVD） 和矢量量化（Vector Quantization， VQ）等。在這些方法中，原始矩陣被近似分解為多個(gè)低秩矩陣的乘積，但這些方法在處理數(shù)據(jù)時(shí)有兩個(gè)共同的缺點(diǎn)：1）不能保證分解結(jié)果的非負(fù)性。從計(jì)算的角度看，分解結(jié)果中存在負(fù)值是正確的，但在實(shí)際問(wèn)題中負(fù)值元素往往是沒(méi)有意義的或無(wú)法解釋的。2）傳統(tǒng)的矩陣分解方法對(duì)數(shù)據(jù)的表示是基于整體的而不是基于部分的。

1999年，Lee等[1]在《Nature》雜志上發(fā)表文章，非負(fù)矩陣分解（Non-negative Matrix Factorization， NMF）的概念才被正式提出，并立即受到廣泛的關(guān)注。NMF是一種用于數(shù)據(jù)分析的多變量分析技術(shù)[1-3]。由于它對(duì)真實(shí)存在的事物有著良好的物理解釋?zhuān)琋MF 已經(jīng)被成功應(yīng)用到各種領(lǐng)域，比如，文本聚類(lèi)[4-6]、圖像表示和圖像聚類(lèi)[7-8]、人臉識(shí)別[9]、計(jì)算機(jī)視覺(jué)[10]、機(jī)器學(xué)習(xí)[11]和模式識(shí)別[12]等領(lǐng)域很多研究表明，與傳統(tǒng)的矩陣分解方法相比，NMF都要優(yōu)于傳統(tǒng)的矩陣分解方法，例如，NMF在人臉識(shí)別[13]和文檔聚類(lèi)[14]中被證明優(yōu)于SVD。NMF是學(xué)習(xí)對(duì)象部分的最佳選擇。然而，標(biāo)準(zhǔn)的NMF也存在一些缺陷，比如：1）NMF只適用于非負(fù)數(shù)據(jù)矩陣，而數(shù)據(jù)基于部分表示的解釋能力較弱;2）NMF不能探索數(shù)據(jù)的幾何結(jié)構(gòu)和類(lèi)標(biāo)簽信息;3）NMF只能用于原始的特征空間，不能利用核化的性質(zhì)[15]等。

聚類(lèi)是特征學(xué)習(xí)和計(jì)算機(jī)視覺(jué)的重要且具有挑戰(zhàn)性的任務(wù)之一。圖像聚類(lèi)是基于內(nèi)容的圖像檢索、圖像注釋和其他高級(jí)圖像處理應(yīng)用的重要步驟。要完成這些任務(wù)，必須獲得圖像的適當(dāng)表示。而NMF方法作為一種處理大規(guī)模數(shù)據(jù)的矩陣分解方法，它已逐漸成為圖像、文本聚類(lèi)與數(shù)據(jù)挖掘等領(lǐng)域最受歡迎的工具之一。近年來(lái)，NMF在聚類(lèi)中得到了顯著的發(fā)展，特別是，具有平方誤差成本函數(shù)的NMF等價(jià)于松弛k-均值聚類(lèi)，因此對(duì)線(xiàn)性可分?jǐn)?shù)據(jù)進(jìn)行聚類(lèi)是有效的。通過(guò)在高維空間中找到低維的流形，在聚類(lèi)的過(guò)程中，流行學(xué)習(xí)可以實(shí)現(xiàn)維度的降低，其中流行學(xué)習(xí)算法包括等距映射（Isomap）[16]、 局部線(xiàn)性嵌入（Locally Linear Embedding， LLE）[17]、 拉普拉斯特征映射（Laplacian Eigenmap， LE）[18]、 局部切空間排列（Local Tangent Space Alignment， LTSA）[19]和有辨別的位置排列（Discriminative Locality Alignment， DLA）[20]等。在過(guò)去的幾十年里，為了克服標(biāo)準(zhǔn)NMF的局限性，很多學(xué)者提出了很多擴(kuò)展版的NMF。Li等[13]提出了一種局部非負(fù)矩陣分解（Locally Non-negative Matrix Factorization， LNMF）方法，以學(xué)習(xí)空間局部化的、視覺(jué)模式基于子空間的表示。Hoyer等[21]提出了稀疏非負(fù)矩陣分解，展示了如何顯式地合并“稀疏”的概念，從而改進(jìn)標(biāo)準(zhǔn)的NMF。Ding等[22]提出了凸非負(fù)矩陣分解，雖然NMF 獲得的基和編碼向量可以代表低維的原始數(shù)據(jù)，但它的表示并不總是反映嵌入在數(shù)據(jù)中的固有幾何結(jié)構(gòu)?？紤]到矩陣分解和局部流行假設(shè)，Cai 等[23]在傳統(tǒng)NMF的基礎(chǔ)上添加流行學(xué)習(xí)，提出了圖正則非負(fù)性矩陣分解（Graph regularized Non-negative Matrix Factorization， GNMF）方法。Liu等[24]提出了受限的非負(fù)矩陣分解（Constrained Non-negative Matrix Factorization， CNMF），它將標(biāo)簽信息合并為額外的硬約束，CNMF可以保證具有相同類(lèi)標(biāo)簽的數(shù)據(jù)點(diǎn)必須合并在新的表示空間中。受流行學(xué)習(xí)和凸非負(fù)矩陣分解（CNMF）的啟發(fā)，Hu等[25]提出了圖正則化的凸非負(fù)矩陣分解（Graph regularized and Convex Non-negative Matrix Factorization， GCNMF）。Babaee等[26]提出了有辨別的非負(fù)矩陣分解（Discriminated Non-negative Matrix Factorization， DNMF）。為了更好地使用類(lèi)標(biāo)簽信息，許多研究人員將標(biāo)簽信息約束合并到NMF的框架中，Yang等[27]提出了帶有硬約束的圖正規(guī)化和稀疏非負(fù)矩陣分解（Graph regularized and Sparse Non-negative Matrix Factorization with hard Constraints， GSNMFC）算法。之后，Wang等[28]提出了超圖正則非負(fù)矩陣分解（Hypergraph Regularized Non-negative Matrix Factorization， HRNMF）。Tolic等[29]進(jìn)一步擴(kuò)展了非線(xiàn)性正交NMF框架，并引入了圖形正則化，以獲得在非線(xiàn)性映射后數(shù)據(jù)的局部幾何結(jié)構(gòu)的分解。此外，基于標(biāo)準(zhǔn)的NMF模型，在添加不同的約束條件下，還有很多擴(kuò)展版的NMF被不斷提出。

雖然以上這些不同版本的NMF都在不同程度上改進(jìn)了標(biāo)準(zhǔn)的NMF方法，但它們并沒(méi)有同時(shí)考慮到算法的稀疏性和魯棒性等問(wèn)題。為了解決以上問(wèn)題，受到Wang 等[28]和Tolic等[29]的啟發(fā)，本文在繼承核技巧的良好性質(zhì)的基礎(chǔ)上，用L2，1范數(shù)改進(jìn)標(biāo)準(zhǔn)NMF中的F范數(shù)，并添加超圖正則項(xiàng)盡可能多地保留原始數(shù)據(jù)間的內(nèi)在幾何結(jié)構(gòu)信息，再將L2，1/2矩陣偽范數(shù)和L1/2正則項(xiàng)作為稀疏約束合并到NMF中，提出了一種新的非負(fù)矩陣分解方法，即基于核技巧和超圖正則的稀疏非負(fù)矩陣分解算法（a sparse Non-negative Matrix Factorization algorithm based on Kernel technique and HyperGraph regularization， KHGNMF）。本文提出的基于核技巧和超圖正則的稀疏非負(fù)矩陣分解算法有以下幾個(gè)優(yōu)點(diǎn)：

1）繼承了核技巧的良好性質(zhì)，在實(shí)際計(jì)算中很大程度上減少了CPU運(yùn)行時(shí)間，達(dá)到了優(yōu)化算法的目的;

2）用L2，1范數(shù)改進(jìn)標(biāo)準(zhǔn)NMF中的F范數(shù)作為目標(biāo)函數(shù)的殘差項(xiàng)，有效地處理原始數(shù)據(jù)中存在的噪聲值和異常值點(diǎn)，提高增強(qiáng)了算法的魯棒性;

3）將L2，1/2矩陣偽范數(shù)和L1/2正則項(xiàng)作為額外的稀疏約束，改進(jìn)了算法的稀疏性。

本文的剩余部分組織結(jié)構(gòu)如下。第一部分介紹了相關(guān)的背景理論知識(shí); 第二部分主要是本文提出的新算法，包括算法的更新迭代規(guī)則和收斂性分析; 第三部分是在6個(gè)流行數(shù)據(jù)上作的數(shù)值實(shí)驗(yàn); 最后部分是對(duì)本文的總結(jié)。本文中Ai表示矩陣A的第i列，Ai表示A矩陣的第i行，A是任意矩陣。

1 相關(guān)理論背景

1.1 標(biāo)準(zhǔn)的非負(fù)矩陣分解

1.2 超圖學(xué)習(xí)理論

超圖模型已經(jīng)被證明對(duì)各種聚類(lèi)或者分類(lèi)任務(wù)很有好處。超圖學(xué)習(xí)是在簡(jiǎn)單圖的基礎(chǔ)學(xué)習(xí)延伸而來(lái)的，簡(jiǎn)單圖的模型僅僅只考慮了數(shù)據(jù)樣本兩兩間的關(guān)系，這將導(dǎo)致對(duì)某些復(fù)雜關(guān)系信息的丟失，而這些信息在實(shí)際應(yīng)用中是至關(guān)重要的，比如，通過(guò)成對(duì)的相似性找到兩個(gè)相近的數(shù)據(jù)樣本的關(guān)系是比較容易的，但是卻很難推斷是否有一組（超過(guò)兩個(gè)）的相似數(shù)據(jù)樣本。與簡(jiǎn)單圖不同的是，超圖可以捕捉多個(gè)數(shù)據(jù)樣本之間的高階關(guān)系數(shù)據(jù)的流行結(jié)構(gòu)，從而盡可能多地保留了原始數(shù)據(jù)樣本的內(nèi)在幾何結(jié)構(gòu)信息，同時(shí)這也將有效地模擬超譜圖的譜空間連接點(diǎn)的結(jié)構(gòu)。接下來(lái)介紹一些關(guān)于超圖的常用理論[28]。

為了簡(jiǎn)便起見(jiàn)，幾何圖形解釋如圖1，所示對(duì)應(yīng)的頂點(diǎn)與超邊的關(guān)聯(lián)矩陣見(jiàn)表1。

1.3 核技巧學(xué)習(xí)

根據(jù)模式識(shí)別理論，低維空間線(xiàn)性不可分的模式通過(guò)非線(xiàn)性映射到高維特征空間則可能實(shí)現(xiàn)線(xiàn)性可分，但是如果直接采用這種技術(shù)在高維空間進(jìn)行分類(lèi)或回歸會(huì)存在確定非線(xiàn)性映射函數(shù)的形式和參數(shù)、特征空間維數(shù)等問(wèn)題。而核函數(shù)不用處理數(shù)據(jù)如何從低維空間映射到高維空間的問(wèn)題，而是直接計(jì)算低維空間兩個(gè)向量在高維空間的乘積，即把兩個(gè)低維空間的向量映射成高維空間的內(nèi)積。核函數(shù)的廣泛應(yīng)用于是因?yàn)樗泻玫男再|(zhì)，比如：核函數(shù)的引入很大程度上減少了計(jì)算量，可以有效地處理輸入的高維數(shù)據(jù);在計(jì)算過(guò)程中無(wú)需知道非線(xiàn)性變換函數(shù)的形式和參數(shù)，便于計(jì)算。

2 基于核技巧和超圖正則的NMF

2.1 目標(biāo)函數(shù)

在文獻(xiàn)[29]中，Tolic等在考慮空間數(shù)據(jù)的非線(xiàn)性時(shí)，以強(qiáng)調(diào)非線(xiàn)性NMF的正交性來(lái)保留聚類(lèi)的合理解釋?zhuān)⑦\(yùn)用了核技巧的相關(guān)知識(shí)對(duì)NMF優(yōu)化問(wèn)題進(jìn)行求解。

對(duì)原始數(shù)據(jù)作非線(xiàn)性映射，將其映射到高維（或無(wú)限）空間中，即xi→Φ（xi），或者：

非線(xiàn)性NMF旨在將兩個(gè)非負(fù)因子矩陣的乘積無(wú)限逼近原始數(shù)據(jù)矩陣的映射Φ（X）。在文獻(xiàn)[29]中，Dijana等提出的非線(xiàn)性正交圖正則非負(fù)矩陣分解方法（Nonlinear Orthogonal Graph regularized Non-negative Matrix Factorization， NOGNMF）的目標(biāo)函數(shù)如下：

此模型的優(yōu)勢(shì)在于運(yùn)用了核技巧技術(shù)大大減少了計(jì)算量，也用了圖正則項(xiàng)來(lái)保存原始數(shù)據(jù)間的在內(nèi)幾何結(jié)構(gòu)以改善算法的性能，但它們卻忽視了算法的稀疏性和魯棒性，并且簡(jiǎn)單圖的圖正則只能計(jì)算每?jī)蓚€(gè)數(shù)據(jù)樣本間的信息。

為了解決以上問(wèn)題，更好地改進(jìn)算法的稀疏性和魯棒性，本文在保留核技巧的基礎(chǔ)上，運(yùn)用超圖正則來(lái)捕捉和保留樣本數(shù)據(jù)點(diǎn)間更多的內(nèi)在和復(fù)雜的幾何結(jié)構(gòu)信息。由于L2，1范數(shù)具有良好的性質(zhì)[31]：1）在眾多的實(shí)際數(shù)據(jù)中，都包含了很多模糊的噪聲值和異常值點(diǎn)等，而L2，1范數(shù)可以有效地處理原始數(shù)據(jù)中存在的這些問(wèn)題;2）能提供一個(gè)有效的更新規(guī)則，進(jìn)而能有效提高算法的稀疏性和魯棒性;3）以它為損失函數(shù)所需的計(jì)算成本和標(biāo)準(zhǔn)的NMF幾乎差不多，并且能提高算法的性能。因此，本文用L2，1范數(shù)來(lái)替代標(biāo)準(zhǔn)NMF模型中的F范數(shù)。本文提出的基于核技巧和超圖正則的NMF的目標(biāo)函數(shù)如下：

這里的λ、 β、α、ξ、η、δ是平衡因子，定義權(quán)重矩陣S=Φ（X），P、Q是系數(shù)矩陣，LHyper表示超圖拉普拉斯矩陣，即LHyper=Dv-HW（De）-1HT。第1項(xiàng)是目標(biāo)函數(shù)的殘差項(xiàng)，即原始數(shù)據(jù)矩陣和低秩近似矩陣的殘差;第2項(xiàng)是超圖正則項(xiàng)，旨在盡可能多地保留原始數(shù)據(jù)矩陣數(shù)據(jù)樣本點(diǎn)間的內(nèi)在幾何結(jié)構(gòu)信息;第3、4項(xiàng)是L2，1/2矩陣偽范數(shù)，作用在于有效控制對(duì)應(yīng)變量的稀疏性;第5項(xiàng)是結(jié)合PPT的l1范數(shù)和P的l2范數(shù)，在具體實(shí)驗(yàn)中，期望這一項(xiàng)的值是很小的，它可以減小與冗余度和不相關(guān)特性對(duì)應(yīng)變量的權(quán)重。

是L1/2正則項(xiàng)，δ是正則化參數(shù)，L1/2正則項(xiàng)作為稀疏約束合并到NMF中，以提高算法的稀疏性。由于L1/2-NMF[29]能夠有效利用數(shù)據(jù)固有的稀疏性，與標(biāo)準(zhǔn)的NMF和其他的稀疏NMF方法相比，它更具有優(yōu)勢(shì)。

2.3 收斂性分析

類(lèi)似于文獻(xiàn)[3]，本文借助輔助函數(shù)來(lái)證明定理1。輔助函數(shù)的定義如下：

3 數(shù)值實(shí)驗(yàn)

聚類(lèi)，指根據(jù)數(shù)據(jù)點(diǎn)之間的相似性將數(shù)據(jù)集劃分為不同的類(lèi)別，如圖2所示，聚類(lèi)是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的一個(gè)基本話(huà)題。

本章主要介紹了NMF方法在圖像聚類(lèi)中的運(yùn)用。本文選取了常用的6個(gè)流行標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行聚類(lèi)實(shí)驗(yàn)，即ORL64×64，orlraws10P，Pixraws10P，ORL32×32，ORL，COIL20。對(duì)部分?jǐn)?shù)據(jù)集的圖片如圖3和圖4所示。

3.1 實(shí)驗(yàn)設(shè)置

文中本文所有的數(shù)值計(jì)算都是在處理器為Intel Core i5-6500 CPU@3.20GHz，內(nèi)存為8.00GB的64位操作系統(tǒng)上進(jìn)行的，算法代碼用Matlab R2016a進(jìn)行編寫(xiě)。經(jīng)過(guò)多次實(shí)驗(yàn)，本文最終所有的參數(shù)選取如下λ=0.01，α=10，ξ=0.9，β=3.2，η=2.66，σ=0.22。在此基礎(chǔ)上分別選取了三種核技巧技術(shù)，即高斯核技巧、冪指數(shù)技巧和拉普拉斯核技巧，計(jì)算方式分別被定義為：

3.2 實(shí)驗(yàn)結(jié)果展示及分析

這一節(jié)主要是分析本文的數(shù)值實(shí)驗(yàn)。為了驗(yàn)證KHGNMF算法的聚類(lèi)性能，將本文的KHGNMF算法與NOGNMF算法[29]比較，表1分別展示了運(yùn)用高斯核技巧、冪指數(shù)核技巧和拉普拉斯核技巧，在6個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上所獲得的實(shí)驗(yàn)結(jié)果。核函數(shù)的優(yōu)勢(shì)在于不顯示定義的映射函數(shù)，而是在高維空間中直接使用核函數(shù)進(jìn)行計(jì)算。以核技巧的計(jì)算方式來(lái)看，三種核函數(shù)具有一定的相通性。

從表1中高斯核聚類(lèi)部分可以看出，在這6個(gè)數(shù)據(jù)集中計(jì)算出的兩種算法的精度相差并不大，對(duì)NMI而言，在orlraws10P、Pixraws10P和COIL20這3個(gè)數(shù)據(jù)集上KHGNMF算法的表現(xiàn)更加明顯，因此，這說(shuō)明在運(yùn)用高斯核技巧的情況下，本文提出的新算法是有效的。分析表2的冪指數(shù)核聚類(lèi)部分，可以得到，在數(shù)據(jù)集ORL64×64，ORL32×32和ORL上，雖然NOGNMF算法和KHGNMF算法性能差別不大，但仍然是KHGNMF的結(jié)果更好一些;而在orlraws10P，Pixraws10P和COIL20這三個(gè)數(shù)據(jù)集上，與NOGNMF算法相比，KHGNMF算法的ACC分別成功提升了41%，50%和39.17%，NMI成功提升了47，52和54個(gè)百分點(diǎn)，這進(jìn)一步驗(yàn)證了本文提出的算法的有效性。

與高斯核和冪指數(shù)核的聚類(lèi)效果類(lèi)似，從拉普拉斯核部分可以看出，仍然是在orlraws10P，Pixraws10P和COIL20這三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果更好，整體來(lái)看都是KHGNMF算法的效果更好。因此，本文提出的KHGNMF方法是有效的，并且要優(yōu)于已有的算法，縱觀表2，在選取冪指數(shù)核技巧時(shí)，實(shí)驗(yàn)結(jié)果是最佳的，這說(shuō)明冪指數(shù)核技巧更有助于提高算法的新能。

4 結(jié)語(yǔ)

本文針對(duì)NMF運(yùn)用到圖像聚類(lèi)中時(shí)性能較低的問(wèn)題，提出了一種新的NMF方法（KHGNMF算法）;并將新算法用于解決圖像聚類(lèi)問(wèn)題，在6個(gè)流行圖像數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果表明，與已有的NOGNMF算法相比，KHGNMF算法成功地提升了其聚類(lèi)性能，進(jìn)而驗(yàn)證了本文提出的算法是有效的。NMF是否能運(yùn)用在更多的聚類(lèi)分析中，是有待研究的下一個(gè)新問(wèn)題。

參考文獻(xiàn) （References）

[1] LEE D， SEUNG H S. Learning the parts of objects by non-negative matrix factorization [J]. Nature， 1999， 401： 788-791.

[2] LIU W， ZHENG N. Non-negative matrix factorization based methods for object recognition [J]. Pattern Recognition Letters， 2004， 25（8）： 893-897.

[3] LEE D D， SEUNG H S. Algorithms for non-negative matrix factorization [J]. Neural Information Processing Systems， 2000（12）： 556-562.

[4] COSTA G， ORTALE R. XML document co-clustering via non-negative matrix tri-factorization [C]// Proceedings of the 2014 IEEE 26th International Conference on Tools with Artificial Intelligence. Washington， DC： IEEE Computer Society， 2014： 607-614.

[5] DHILLON I S. Co-clustering documents and words using bipartite spectral graph partitioning [C]// Proceedings of the 2001 ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2001： 269-274.

[6] SUN P， KIM K J. Document clustering using non-negative matrix factorization and fuzzy relationship [J]. Korea Communications Society Journal， 2010， 14（2）： 239-246.

[7] LIAO Q， ZHANG Q. Local coordinate based graph-regularized NMF for image representation [J]. Signal Processing， 2016， 124： 103-114.

[8] EGGERT J， WERSING H， KORNER E. Transformation-invariant representation and NMF [C]// Proceedings of the 2004 IEEE International Joint Conference on Neural Networks. Piscataway， NJ： IEEE， 2004： 2535-2539.

[9] LONG X， LU H， PENG Y， et al. Graph regularized discriminative non-negative matrix factorization for face recognition [J]. Multimedia Tools and Applications， 2014， 72（3）： 2679-2699.

[10] WANG Y， JIA Y， HU C， et al. Non-negative matrix factorization framework for face recognition [J]. International Journal of Pattern Recognition and Artificial Intelligence， 2005， 19（4）： 495-511.

[11] PEHARZ R， PERNKOPF F. Sparse non-negative matrix factorization with l0-constraints [J]. Australasian Journal of Special Education， 2012， 80（1）： 38-46.

[12] LU N， MIAO H. Structure constrained non-negative matrix factorization for pattern clustering and classification [J]. Neurocomputing， 2016， 171： 400-411.

[13] LI S Z， HOU X W， ZHANG H J， et al. Learning spatially localized， parts-based representation [C]// Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2001，1： 207-212.

[14] XU W， LIU X， GONG Y， et al. Document clustering based on non-negative matrix factorization [C]// Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Informaion Retrieval. New York： ACM， 2003： 267-273.

[15] HUA W， HE X. Discriminative concept factorization for data representation [J]. Neurocomputing， 2011， 74（18）： 3800-3807.

[16] TENENBAUM J B， SILVA V D， LANGFORD J C. A global geometric framework for nonlinear dimensionality reduction [J]. Science， 2000， 290（5500）： 2319-2323.

[17] ROWEIS S T， SAUL L K. Nonlinear dimensionality reduction by locally linear embedding [J]. Science， 2000， 290（5500）： 2323-2326.

[18] BELKIN M， NIYOGI P. Laplacian eigenmaps and spectral techniques for embedding and clustering [C]// Proceedings of the 14th International Conference on Neural Information Processing Systems： Natural and Synthetic. Cambridge， MA： MIT Press， 2001： 585-591.

[19] ZHANG Z， ZHA H. Principal manifolds and nonlinear dimensionality reduction via tangent space alignment [J]. Society for Industrial and Applied Mathematics Journal on Scientific ComputingJournal of Shanghai University （English Edition）， 2004， 8（4）： 406-424.

[20] ZHANG T， TAO D， LI X， et al. Patch alignment for dimensionality reduction [J]. IEEE Transactions on Knowledge and Data Engineering， 2009， 21（9）： 1299-1313.

[21] HOYER P O. Non-negative matrix factorization with sparseness constraints [J]. Journal of Machine Learning Research， 2004， 5（1）： 1457-1469.

[22] DING C H Q， LI T， JORDAN M I. Convex and semi-nonnegative matrix factorizations [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2009， 32（1）： 45-55.

[23] CAI D， HE X， HAN J， et al. Graph regularized non-negative matrix factorization for data representation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（8）： 1548-1560.

[24] LIU H， WU Z， CAI D， et al. Constrained non-negative matrix factorization for image representation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（7）： 1299-1311.

[25] HU W， CHOI K S， WANG P， et al. Convex non-negative matrix factorization with manifold regularization [J]. Neural Networks： the Official Journal of the International Neural Network Society， 2015， 63： 94-103.

[26] BABAEE M， TSOUKALAS S， BABAEE M， et al. Discriminative nonnegative matrix factorization for dimensionality reduction [J]. Neurocomputing， 2016， 173（P2）： 212-223.

[27] YANG S， HOU C， ZHANG C， et al. Robust non-negative matrix factorization via joint sparse and graph regularization for transfer learning [J]. Neural Computing and Applications， 2013， 23（2）： 541-559.

[28] WANG W， QIAN Y， TANG Y. Hypergraph-regularized sparse NMF for hyperspectral unmixing [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2016， 9（2）： 681-694.

[29] T0LIC D， ANTULOVFANTULIN N， KOPRIVA I， et al. A nonlinear orthogonal non-negative matrix factorization approach to subspace clustering [J]. Pattern Recognition， 2018（82）： 40-55.

DIJANA T， NINO A-F， IVICA K， et al. A nonlinear orthogonal non-negative matrix factorization approach to subspace clustering [EB/OL]. [2018-07-12]. https：//arxiv.org/pdf/1709.10323.pdf.

TOLIC D， ANTULOVFANTULIN N， KOPRIVA I. A nonlinear orthogonal non-negative matrix factorization approach to subspace clustering [EB/OL]. [2018-07-12]. https：//arxiv.org/pdf/1709.10323.pdf.

[30] GAO Y， JI R， CUI P， et al. Hyperspectral image classification through bilayer graph-based learning [J]. IEEE Transactions on Image Processing， 2014， 23（7）： 2769-2778.

[31] KONG D， DING C， HUANG H. Robust nonnegative matrix factorization using L2，1-norm [C]// Proceedings of the 20th ACM International Conference on Information and Knowledge Management. New York： ACM， 2011： 673-682.

[32] DING C， ZHOU D， HE X， et al. R1-PCA： rotational invariant L1-norm principal component analysis for robust subspace factorization [C]// Proceedings of the 23rd International Conference on Machine Learning. New York： ACM， 2006： 281-288.

[33] SHI C， RUAN Q， AN G， et al. Hessian semi-supervised sparse feature selection based on L2，1/2-matrix norm [J]. IEEE Transactions on Multimedia， 2014， 17（1）： 16-28.

[34] HUANG T-M， KECMAN V， KOPRIVA I. Kernel based algorithm for mining huge data set [J]. Studies in Computational Intelligence， 2006，17： 11-60.

[35] PAPADIMITRIOU C H， STEIGLITZ K. Combinatorial optimization： algorithms and complexity [J]. IEEE Transactions on Acoustics， Speech and Signal Processing， 1998， 32（6）： 1258-1259.

[36] 曹大為，賀超波，陳啟買(mǎi)，等.基于加權(quán)核非負(fù)矩陣分解的短文本聚類(lèi)算法[J].計(jì)算機(jī)應(yīng)用，2018，38（8）：2180-2184.（CAO D W， HE C B，CHEN Q M， et al. Short text clustering algorithm based on weighted kernel nonnegative matrix factorization[J]. Journal of Computer Applications， 2018， 38（8）： 2180-2184.）