山東科技大學(xué)數(shù)學(xué)與系統(tǒng)科學(xué)學(xué)院 常彩霞
關(guān)于秩函數(shù)近似方法綜述
山東科技大學(xué)數(shù)學(xué)與系統(tǒng)科學(xué)學(xué)院 常彩霞
主要介紹了秩函數(shù)的近似方法,包括凸近似法和非凸近似法,討論了各自的優(yōu)點(diǎn)和不足。最后,指出了非凸近似法的研究趨勢(shì)及其應(yīng)用前景。
秩函數(shù);凸近似;非凸近似
問題在機(jī)械學(xué)習(xí)、計(jì)算機(jī)視覺、控制、信號(hào)處理、系統(tǒng)識(shí)別等領(lǐng)域普遍存在。因?yàn)橹群瘮?shù)的非連續(xù)性和非凸性,矩陣秩最小化問題為NP難問題。為了高效解決該問題,需要對(duì)秩函數(shù)進(jìn)行松弛,即尋找一個(gè)連續(xù)的函數(shù)來近似秩函數(shù),作為低秩正則化項(xiàng)。秩函數(shù)近似方法主要分為兩類:凸近似和非凸近似。凸近似中,近似秩函數(shù)最常用的方法為核范數(shù),求解核范數(shù)最小化問題的優(yōu)點(diǎn)有很多,如求解比較容易,可以設(shè)計(jì)多種有效的優(yōu)化算法等。但是,核范數(shù)近似是有一定缺陷的,如核范數(shù)最小化,就是同時(shí)將矩陣X 所有奇異值的和最小化,也就是對(duì)奇異值的懲罰力度是一樣的。眾所周知,矩陣的主要性質(zhì),通常是由矩陣的那些大的奇異值來起決定性作用,但核范數(shù)對(duì)矩陣所有奇異值的懲罰力度相同,實(shí)際上對(duì)大的奇異值是不公平的。相比于凸近似方法,非凸近似可以對(duì)實(shí)際問題有著更好的近似,能夠更好地刻畫實(shí)際問題的本質(zhì)屬性。然而非凸優(yōu)化問題具有很高的復(fù)雜性,設(shè)計(jì)快速高效的優(yōu)化算法求解非凸優(yōu)化問題是一項(xiàng)巨大的挑戰(zhàn)。
為解決(2),提出TNNR-ADMM,TNNR-APGL和TNNRADMMAP三種有效算法。
2015年,Zhong X等[2]考慮一個(gè)解決低秩矩陣最小化問題的一般性框架,使用加權(quán)核范數(shù)作為正則化項(xiàng):
問題(6)可利用ALM算法解決。
本文綜合介紹了現(xiàn)有的秩函數(shù)的近似方法,包括凸近似和非凸近似發(fā)展及研究現(xiàn)狀。在實(shí)際的問題中,非凸近似比凸近似方法有著更好的低秩矩陣恢復(fù)效果。但是核范數(shù)具有嚴(yán)格的理論保證,非凸松弛方法只有直觀的解釋,缺乏嚴(yán)格的理論論證。因此,下一步的研究重點(diǎn)是,對(duì)非凸松弛方法進(jìn)行嚴(yán)格的理論分析,使用非凸近似方法,才能完美地恢復(fù)原來的矩陣秩函數(shù),因此,秩函數(shù)近似的研究仍將是未來的一個(gè)研究熱點(diǎn)。
[1]Hu Y,Zhang D,Ye J,et al.Fast and accurate matrix completion via truncated nuclear norm regularization[J].IEEE.2013,35(9):2117-2130.
[2]Zhong X,Xu L,Li Y,et al.A Nonconvex Relaxation Approach for Rank Minimization Problems[C]. AAAI.2015:1980-1987.
[3]Kang Z,Peng C,Cheng Q.Robust subspace clustering via tighter rank approximation[C].2015:393-401.