摘" 要：針對隨著新增樣本增多魯棒非負(fù)矩陣分解的運(yùn)算規(guī)模不斷增大的現(xiàn)象，提出一種魯棒非負(fù)矩陣分解的增量式學(xué)習(xí)算法。該算法對初始和新增樣本采用L2，1范數(shù)來度量，首先對初始樣本進(jìn)行魯棒非負(fù)矩陣分解；然后利用其分解結(jié)果參與后續(xù)迭代運(yùn)算。通過對ORL和YALE人臉數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)得出，與魯棒非負(fù)矩陣分解算法、稀疏限制的非負(fù)矩陣分解算法結(jié)果進(jìn)行對比，該算法的目標(biāo)函數(shù)值在求解時最先達(dá)到平衡，得到最佳收斂效果節(jié)省運(yùn)算時間。

關(guān)鍵詞：增量式學(xué)習(xí)；魯棒非負(fù)矩陣分解；新增樣本；稀疏限制；L2，1范數(shù)

中圖分類號：O151.21" " " 文獻(xiàn)標(biāo)志碼：A" " " " " 文章編號：2095-2945（2025）08-0064-04

Abstract： Aiming at the phenomenon that the operation scale of robust non-negative matrix factorization continues to increase with the increase of new samples， an incremental learning algorithm for robust non-negative matrix factorization is proposed. The algorithm uses the L2，1 norm to measure the initial and new samples. First， the initial samples are subjected to robust non-negative matrix decomposition， and then the decomposition results are used to participate in subsequent iterative operations. Experiments on ORL and YALE face databases show that compared with the results of the robust non-negative matrix decomposition algorithm and the sparsity restricted non-negative matrix decomposition algorithm， the objective function value of this algorithm reaches balance first when solving， and the best convergence effect is obtained. Save computing time.

Keywords： incremental learning; robust non-negative matrix factorization; new sample; sparsity constraint; L2，1 norm

子空間降維是將高維數(shù)據(jù)投影到低維空間進(jìn)行處理，在模式識別和圖像處理過程中應(yīng)用廣泛，而矩陣分解是一種對高維數(shù)據(jù)進(jìn)行處理以達(dá)到降維目的最為常見的方法。因此，非負(fù)矩陣分解（Non-negative Matrix Factorization，NMF）這種典型算法就被Lee等[1-2]于1999年在Nature雜志上首次提出，它不同于主成分分析[3]、奇異值分解[4]等矩陣分解算法，該算法是在非負(fù)限制下進(jìn)行矩陣分解，使分解后的數(shù)據(jù)具有局部表達(dá)的特性可解釋性。后來國內(nèi)外學(xué)者在此基礎(chǔ)上又提出了一些改進(jìn)算法，這些改進(jìn)算法的目標(biāo)函數(shù)都使用F-范數(shù)（帶核的），并將它們成功地應(yīng)用到聚類分析[5]、機(jī)器學(xué)習(xí)[6-8]等領(lǐng)域。而2011年Kong等[9]提出了一種用L2，1范數(shù)度量的魯棒非負(fù)矩陣分解（Robust NMF，RNMF）算法，該算法自從被提出后立即引起了許多國內(nèi)外專家學(xué)者的廣泛關(guān)注，并取得了一些科研成果。為了優(yōu)化該算法以達(dá)到較好的實(shí)驗(yàn)結(jié)果，許多學(xué)者在魯棒非負(fù)矩陣分解算法基礎(chǔ)上又加入了稀疏性、圖正則性、正交性和判別性等各種約束，提出了一些改進(jìn)的算法，并將其應(yīng)用于文本聚類、模式識別等各個領(lǐng)域，獲得了較好的實(shí)驗(yàn)效果。其中稀疏約束魯棒非負(fù)矩陣分解（RNMF with Sparseness Constraints，RNMFSC）算法由Yang等[10]提出，考慮到分解后數(shù)據(jù)的稀疏性，對系數(shù)矩陣加入了稀疏約束，使分解后數(shù)據(jù)具有更好的局部表示。

本文是將初始樣本和新增樣本的分解都利用L2，1范數(shù)，提出了一種基于魯棒非負(fù)矩陣分解的增量式學(xué)習(xí)（Incremental Robust Non-negative Matrix Factorization ，IRNMF）算法。為了避免重復(fù)計算，它先是對初始樣本進(jìn)行分解所得結(jié)果參與增量部分計算，該算法不僅有效地節(jié)省了運(yùn)算時間，提高工作效率，還達(dá)到了最佳收斂效果。

1" 魯棒非負(fù)矩陣分解

當(dāng)前新增樣本加入后的數(shù)據(jù)Vn+1做了增量式非負(fù)矩陣分解，根據(jù)式（10）、（11）更新交替迭代得到了新的基矩陣Wn+1和系數(shù)矩陣增量部分hn+1，從而得到最終的系數(shù)矩陣" " " " " " " "。

3" 實(shí)驗(yàn)結(jié)果及其結(jié)論

3.1" 實(shí)驗(yàn)數(shù)據(jù)說明

實(shí)驗(yàn)分別采用ORL和YALE兩個標(biāo)準(zhǔn)人臉數(shù)據(jù)庫[12-13]進(jìn)行實(shí)驗(yàn)及驗(yàn)證，為了方便驗(yàn)證，將這2種人臉數(shù)據(jù)進(jìn)行預(yù)處理，對每張圖像的分辨率統(tǒng)一裁剪壓縮為32×32像素。

3.2" 收斂效果對比

對ORL和YALE人臉數(shù)據(jù)進(jìn)行數(shù)值驗(yàn)證時，當(dāng)初始樣本不變的情況下，RNMF[9]、RNMFSC[10]和本文IRNMF算法隨著新增樣本逐漸增大，這3種算法的收斂效果如圖2、圖3所示（選取迭代次數(shù)為200次）。

通過對ORL和YALE人臉數(shù)據(jù)庫進(jìn)行數(shù)值實(shí)驗(yàn)，當(dāng)初始樣本不變，與其他2種算法相比較，選取迭代次數(shù)為200的情況下，隨著新增樣本的增加，本文提出的算法的目標(biāo)函數(shù)值最先達(dá)到平衡，收斂效果最佳。

3.3" 運(yùn)算時間對比

對ORL和YALE人臉數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)，分別取初始樣本為100和90時，RNMF[9]、RNMFSC[10]和本文IRNMF算法隨著新增樣本數(shù)量的增加而消耗的時間情況見表1（選取迭代次數(shù)為200）。

由表1可知，本文算法與其他2個算法在運(yùn)算時間上相對比本文算法有明顯優(yōu)勢，而且隨著新增樣本的增加，本文IRNMF算法也保持較好的運(yùn)算效率。

4" 結(jié)論

本文提出了一種基于魯棒非負(fù)矩陣分解的增量式學(xué)習(xí)算法，并對ORL和YALE人臉數(shù)據(jù)進(jìn)行數(shù)值實(shí)驗(yàn)， 結(jié)果顯示該算法隨著新增樣本的增加不僅減少了計算時間而且保持較好的收斂效果。但是該算法唯一的不足是計算過程中迭代初值的選取， 目前沒有一個統(tǒng)一的標(biāo)準(zhǔn)。

參考文獻(xiàn)：

[1] LEE D. Learning the parts of objects with non-negative matrix factorization[J]. Nature， 1999，401（6755）：788.

[2] LEE D D. Algorithms for non-negative matrix factorization[J]. Advances in Neural Information Processing Systems， 2001，13（6）：556-562.

[3] SHI W Y，GUO Y F，XUE X Y.A kernel principal component analysis algorithm for solving large scale data sets problem[J].Journal of Software，2009，8（20）：2153-2159.

[4] GOLUB G H， REINSCH C. Singular value decomposition and least squares solutions[M].Springer Berlin Heidelberg，1971：403-420.

[5] 李子杰.基于非負(fù)矩陣分解的單細(xì)胞轉(zhuǎn)錄組聚類分析[D].西安：西安電子科技大學(xué)，2022.

[6] BUCAK S S， GUNSEL B. Incremental subspace learning via non-negative matrix factorization[J]. Pattern Recognition， 2009，42（5）：788-797.

[7] 李向利，梅建平，莫元健.基于超圖正則NMF的自適應(yīng)半監(jiān)督多視圖聚類[J/OL].廣西師范大學(xué)學(xué)報（自然科學(xué)版）：1-16[2024-04-25].https：//doi.org/10.16088/j.issn.1001-6600.2023 110202.

[8] 陳善學(xué)，許少華.基于圖拉普拉斯正則化的柯西非負(fù)矩陣分解高光譜解混[J/OL].激光與光電子學(xué)進(jìn)展：1-16[2024-04-25].http：//kns.cnki.net/kcms/detail/31.1690.tn.20231214.0028.0 22.html.

[9] KONG D， HUANG H， HUANG H. Robust nonnegative matrix factorization using L21-norm[J].AcmConference on Information amp; Knowledge Management，2011：673-682.

[10] YANG S， HOU C， ZHANG C， et al. Robust non-negative matrix factorization via joint sparse and graph regularization[C]//International Joint Conference on Neural Networks. IEEE，2014：541-559.

[11] 董秋宇.非負(fù)矩陣分解及其在遮擋人臉識別中的應(yīng)用[D].西安：西安電子科技大學(xué)，2022.

[12] 楊亮東.基于L_（2.1）稀疏限制的增量式非負(fù)矩陣分解[D]. 烏魯木齊：新疆大學(xué)，2019.

[13] 楊亮東，楊志霞.稀疏限制的增量式魯棒非負(fù)矩陣分解及其應(yīng)用[J].計算機(jī)應(yīng)用，2019，39（5）：1275-1281.