摘要： 針對(duì)現(xiàn)有方法未考慮數(shù)據(jù)的高階鄰域信息而不能完全捕捉數(shù)據(jù)內(nèi)在結(jié)構(gòu)的問(wèn)題， 提出一種基于圖濾波與自表示的無(wú)監(jiān)督特征選擇算法. 首先，

將高階圖濾波器應(yīng)用于數(shù)據(jù)獲得其平滑表示， 并設(shè)計(jì)一個(gè)正則化器聯(lián)合高階圖信息進(jìn)行自表示矩陣學(xué)習(xí)以捕捉數(shù)據(jù)的內(nèi)在結(jié)構(gòu); 其次， 應(yīng)用l2，1范數(shù)重建誤差項(xiàng)和特

征選擇矩陣， 以增強(qiáng)模型的魯棒性與稀疏性選擇判別的特征; 最后， 用一個(gè)迭代算法有效地求解所提出的目標(biāo)函數(shù)， 并進(jìn)行仿真實(shí)驗(yàn)以驗(yàn)證該算法的有效性.

關(guān)鍵詞： 圖濾波； 自表示； 稀疏； 無(wú)監(jiān)督特征選擇

中圖分類(lèi)號(hào)： TP391" 文獻(xiàn)標(biāo)志碼： A" 文章編號(hào)： 1671-5489（2024）03-0655-10

Unsupervised Feature Selection Algorithm Based on Graph Filtering and Self-representation

LIANG Yunhui1，2， GAN Jianwen1，2， CHEN Yan3， ZHOU Peng4， DU Liang1，2

（1. School of Computer and Information Technology， Shanxi University， Taiyuan 030006， China;

2. Institute of Big Data Science and Industry， Shanxi University， Taiyuan 030006， China;

3. College of Computer， Sichuan University， Chengdu 610065， China;4. School of Computer Science and Technology， Anhui University， Hefei 230601， China）

Abstract： Aiming at the problem that existing methods could not fully capture the intrinsic structure of data without considering the higher-order neighborhood

information of the data， we proposed an unsupervised feature selection algorithm based on graph filtering and self-representation.

Firstly， a higher-order graph filter was applied to the data to obtain its smooth representation， and a regularizer was designed to combine the higher-order graph information for

the self-representation matrix learning to capture the intrinsic structure of the data. Secondly， l2，1 norm was used to reconstruct the error term and feature selection matrix to enhance the

robustness and row sparsity of the model to select the discriminant features. Finally， an iterative algorithm was applied to effectively solve the proposed objective function and simulation

experiments were carried out to verify the effectiveness of the proposed algorithm.

Keywords： graph filtering; self-representation; sparse; unsupervised feature selection

收稿日期： 2023-05-04.

第一作者簡(jiǎn)介： 梁云輝（1998—）， 男， 漢族， 博士研究生， 從事數(shù)據(jù)挖掘的研究， E-mail： 2350629530@qq.com.

通信作者簡(jiǎn)介： 杜" 亮（1985—）， 男， 漢族， 博士， 副教授， 從事數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的研究， E-mail： duliang@sxu.edu.cn.

基金項(xiàng)目： 國(guó)家自然科學(xué)基金面上項(xiàng)目（批準(zhǔn)號(hào)： 61976129; 62176001; 62376146）.

處理大量高維數(shù)據(jù)不但需要花費(fèi)大量的計(jì)算資源， 而且包含許多噪聲特征會(huì)降低算法的學(xué)習(xí)性能. 為選擇最有價(jià)值的特征提升數(shù)據(jù)處理效率， 特征選擇近

年來(lái)備受關(guān)注， 并在文本分類(lèi)［1］、 圖像處理［2］和生物信息學(xué)［3］等領(lǐng)域廣泛應(yīng)用. 根據(jù)是否使用標(biāo)簽信息

， 特征選擇方法可分為有監(jiān)督特征選擇、 半監(jiān)督特征選擇和無(wú)監(jiān)督特征選擇［4］. 根據(jù)特征選擇策

略的不同， 特征選擇方法又可分為過(guò)濾式方法、 包裝式方法和嵌入式方法［5］. 由于無(wú)法使用標(biāo)簽信

息， 無(wú)監(jiān)督特征選擇更具有挑戰(zhàn)性， 因此本文主要考慮無(wú)監(jiān)督特征選擇算法.

在無(wú)監(jiān)督場(chǎng)景中， 特征選擇的關(guān)鍵是如何從原始特征空間中估計(jì)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)， 并識(shí)別準(zhǔn)確保留結(jié)構(gòu)的特征子集. 為估計(jì)潛在的結(jié)構(gòu)信息， 不同類(lèi)型的圖結(jié)構(gòu)與數(shù)據(jù)的自表示學(xué)習(xí)

得到廣泛研究. Chen等［6］將學(xué)習(xí)靈活最優(yōu)圖用于特征選擇； Yuan等［7］通過(guò)具有自適應(yīng)圖約束的凸非負(fù)矩陣分解進(jìn)行選擇特征； You

等［8］使用多組自適應(yīng)圖進(jìn)行特征選擇； Zhang等［9］提出了一種基于自適應(yīng)圖學(xué)習(xí)和約束的無(wú)監(jiān)督特征選擇算法； Du等

［10］通過(guò)保持全局和局部結(jié)構(gòu)， 學(xué)習(xí)了用于特征選擇的自適應(yīng)圖； Nie等［11］結(jié)合l2，0范數(shù)約束與優(yōu)化圖進(jìn)行特征選擇； Zhu等［12］選擇了能很好重建原始數(shù)據(jù)的特征； Zhao等

［13］提出了一種帶有數(shù)據(jù)重構(gòu)的圖正則化特征選擇； Li等［14］將重構(gòu)函數(shù)學(xué)習(xí)過(guò)程嵌入到特征選擇中.

盡管上述方法取得了很好的性能， 但仍存在一定的局限性： 1） 數(shù)據(jù)不是平滑的， 易受噪聲異常值的影響； 2） 在建模時(shí)忽略了圖結(jié)構(gòu)的高階鄰域信息， 不能實(shí)現(xiàn)更細(xì)致聚

類(lèi)結(jié)構(gòu)的識(shí)別. 針對(duì)這些不足， 本文提出一種基于圖濾波與自表示的無(wú)監(jiān)督特征選擇算法. 首先構(gòu)造k近鄰圖， 通過(guò)其不同階鄰域圖的加權(quán)組合得到一個(gè)富含高階鄰域信息的圖濾波

器， 并將圖濾波器作用于數(shù)據(jù)得到其平滑表示， 然后同時(shí)執(zhí)行自表示學(xué)習(xí)和特征選擇. 為更細(xì)致地捕捉數(shù)據(jù)的內(nèi)在結(jié)構(gòu)， 設(shè)計(jì)一個(gè)正則化器以最小化自表示矩陣與圖濾波器之間的差

異， 利用其高階鄰域信息實(shí)現(xiàn)更好的數(shù)據(jù)重建. 此外， 將l2，1范數(shù)應(yīng)用于重建誤差項(xiàng)和特征選擇項(xiàng)， 以增強(qiáng)其魯棒性與行稀疏性， 實(shí)現(xiàn)更好的特征選擇性能. 本文算法

將圖濾波器作用于原始數(shù)據(jù)獲得其平滑表示， 聚類(lèi)假設(shè)相鄰較近的點(diǎn)更可能位于同一簇中， 因此平滑后數(shù)據(jù)有助于后續(xù)的特征選擇任務(wù)；

將數(shù)據(jù)圖結(jié)構(gòu)的高階鄰域信息融入自表示學(xué)習(xí)中以實(shí)現(xiàn)對(duì)數(shù)據(jù)內(nèi)在結(jié)構(gòu)更好的重構(gòu).

1" 預(yù)備知識(shí)

1.1" 基本概念

對(duì)數(shù)據(jù)X∈

瘙 綆 n×d， n表示樣本數(shù)量， d表示特征維度， 其中X的第i行表示為Xi∈

瘙 綆 1×d， l2，1范數(shù)定義為

‖X‖2，1=∑ni=1∑dj=1X2ij.

1.2" 圖濾波器

真實(shí)世界的信號(hào)通常是平滑的， 圖濾波器可在盡量保留圖像細(xì)節(jié)特征的基礎(chǔ)上對(duì)目標(biāo)圖像的噪聲進(jìn)行抑制， 是圖像處理中不可或缺的操作.

數(shù)據(jù)的圖結(jié)構(gòu)作為表示數(shù)據(jù)局部結(jié)構(gòu)的一種重要方式在無(wú)監(jiān)督特征選擇任務(wù)中具有重要作用， 本文采用的k近鄰圖具體形式可表示為

Sij=exp-‖Xi-Xj‖2δ2

，Xi與Xj是鄰居，0，其他，（1）

其中δ為高斯函數(shù)中帶寬， 其值為不同樣本間歐氏距離的中值. 盡管直接使用相似性圖S∈

瘙 綆 n×n可獲得良好的結(jié)果， 但仍存在一定的局限性. 相似性圖S不是光

滑的， 圖中元素大部分為0. 相似性圖僅考慮一階鄰域關(guān)系， 這樣的權(quán)重不能完全捕捉樣本與簇之間的聯(lián)系.

根據(jù)相似性圖S可得到其對(duì)應(yīng)的對(duì)角矩陣DS∈

瘙 綆 n×n、 對(duì)稱(chēng)轉(zhuǎn)換矩陣G=D-1/2SSD-1/2

S和歸一化Laplace矩陣L=I-G， DS中第i個(gè)對(duì)角元素為∑

dj=1Sij. 樣本之間的二階關(guān)系可通過(guò)G2=G×G獲得. 類(lèi)似地， 可使用一

系列矩陣G2，G3，…，G∞獲得樣本的不同高階

鄰域信息. 將這些矩陣以如下形式聚合獲得圖濾波器：

A=∑∞t=0wtGt，（2）

其中wt為權(quán)重系數(shù)， G0為單位矩陣. 采用熱核擴(kuò)散過(guò)程確定不同圖聚合的權(quán)重系數(shù)， 即

wt=e-ηηtt！，（3）

其中η表示溫度的非負(fù)值， 且∑∞t=0wt=1， wt∈［0，1］. 通過(guò)合并式（2）與式（3）， 可得圖濾波器的具體形式為

A=e-η∑∞t=0ηtt！

Gt=∑∞t=0（-η）tt！Lt=exp{-ηL}.（4）

其中最后兩個(gè)方程根據(jù)矩陣指數(shù)的定義成立. 基于此圖濾波器可獲得數(shù)據(jù)的平滑表示， 有助于更細(xì)致地捕捉數(shù)據(jù)的內(nèi)在結(jié)構(gòu)以提升選擇特征的質(zhì)量.

1.3" 自表示學(xué)習(xí)

自表示學(xué)習(xí)的核心思想是數(shù)據(jù)中每個(gè)樣本都可以表示為其相關(guān)樣本的線(xiàn)性組合. 如果一個(gè)樣本很重要， 則它將參與大多數(shù)其他樣本的表示， 從而產(chǎn)生一行重要的表示系數(shù)， 反之亦然.

如果每個(gè)樣本Xi可通過(guò)其他樣本的線(xiàn)性組合重建， 則可得以下基于自表示的重建誤差模型：

min ∑ni=1Xi-∑nj=1ZijXj22，（5）

其中Z∈

瘙 綆 n×n為自表示矩陣， 用來(lái)度量第j個(gè)樣本對(duì)第i個(gè)樣本重構(gòu)的貢獻(xiàn). 此外， 為保證概率分布與非負(fù)性， 本文對(duì)矩陣Z施加約束Z1n=1n， Z≥0， 其中1n為全為1的向量. Z1n=1n表示矩陣Z中每行求和為1使得數(shù)據(jù)點(diǎn)位于仿射子空間的并集中， Z≥0使得自表示矩陣的自表示系數(shù)為非負(fù)值.

實(shí)際應(yīng)用中的數(shù)據(jù)通常包含許多噪聲， 由于重建誤差采用平方損失， 上述模型對(duì)數(shù)據(jù)異常值非常

敏感. 如果存在較大的偏差值， 它將占據(jù)主導(dǎo)地位并嚴(yán)重降低模型的性能. 為提高模型（5）的魯棒性， 本文將其重寫(xiě)為

min ∑ni=1diXi-∑nj=1ZijXj2，（6）

其中di=12Xi-∑nj=1ZijXj2

是衡量數(shù)據(jù)重建重要性的自適應(yīng)權(quán)重. 當(dāng)數(shù)據(jù)重建誤差大時(shí)di較小， 當(dāng)數(shù)據(jù)重建誤差小時(shí)di較大. 為簡(jiǎn)便， 模型（6）可改寫(xiě)為矩陣形式：

min‖X-ZX‖2，1，

s.t. Z1n=1n，" Z≥0.（7）

對(duì)重建誤差項(xiàng)采用l2，1范數(shù)可有效增強(qiáng)其魯棒性以得到更可靠的自表示矩陣Z.

2" 算法框架

2.1" 模型的建立

通過(guò)將多維數(shù)據(jù)點(diǎn)視為多個(gè)圖信號(hào)， 圖濾波器可應(yīng)用于數(shù)據(jù)矩陣X：

=exp{-ηL}X，（8）

得到的為數(shù)據(jù)平滑表示， 其有助于后續(xù)的聚類(lèi)任務(wù). 與此同時(shí)， 在式（7）的基礎(chǔ)上添加一個(gè)新的正則化器以進(jìn)一步利用圖濾波器A的高階鄰域信息指導(dǎo)自表示矩陣Z的學(xué)習(xí)：

min‖-Z‖2，1+α‖Z-A‖2F，

s.t. Z1n=1n，" Z≥0.（9）

為同時(shí)執(zhí)行特征選擇任務(wù)與自表示學(xué)習(xí)， 本文結(jié)合模型（9）得到基于圖濾波與自表示的無(wú)監(jiān)督特征選擇算法（GFASR）的目標(biāo)函數(shù)：

min‖W-ZW‖2，1+α‖Z-A‖2F+λ‖W‖2

，1，s.t. WTW=I，" Z1n=1n，

Z≥0，（10）

其中： W∈

瘙 綆 d×c是將高維數(shù)據(jù)投影到低維子空間的投影矩陣， 也是用于特征選擇的權(quán)

重矩陣; Z∈

瘙 綆 n×n為自表示矩陣， 用于測(cè)量理想鄰居對(duì)重建每個(gè)樣本的貢獻(xiàn)

; A∈

瘙 綆 n×n是根據(jù)相似性矩陣S∈

瘙 綆 n×n得到的圖濾波矩

陣; 目標(biāo)函數(shù)第一項(xiàng)表示投影后每個(gè)樣本與其鄰居線(xiàn)性組合之間的重建誤差; 第二項(xiàng)用于將圖濾波器與自表示矩陣聯(lián)系起來(lái)， 以利用數(shù)據(jù)高階鄰域信息進(jìn)行自表示學(xué)習(xí); 第三項(xiàng)為正則

化項(xiàng)， 強(qiáng)制投影矩陣W為行稀疏以進(jìn)行特征選擇; α和λ為平衡第一項(xiàng)、 第二項(xiàng)和第三項(xiàng)的正則化參數(shù).

2.2" 模型的求解

由于模型同時(shí)包含兩個(gè)變量W和Z， 直接求解非常困難， 因此本文采用交替變量?jī)?yōu)化的方式解決該問(wèn)題.

若固定Z更新W， 則式（10）可轉(zhuǎn)化為如下問(wèn)題：

min‖W-ZW‖2，1+λ‖W‖2，1，

s.t. WTW=I.（11）

受Nie等［15］提出重加權(quán)方法的啟發(fā)， 式（11）可轉(zhuǎn)換為

min tr（（W-ZW）TD（W-ZW））

+λtr（WTQW），

s.t. WTW=I，（12）

其中D∈

瘙 綆 n×n為對(duì)角矩陣且Dii=12‖

iW-ZiW‖2， Q∈

瘙 綆 d×d為

對(duì)角矩陣且Qii=12‖Wi‖22. 進(jìn)一步模型可簡(jiǎn)化為

min tr（WT（P+λQ）W）

s.t. WTW=I，（13）

其中P=T（In-Z）TD（In-Z）

. 通過(guò)式（13）可輕松得到W的最優(yōu)解為（P+λQ）的c個(gè)最小特征值所對(duì)應(yīng)的特征向量.

若固定W更新Z， 則式（10）可轉(zhuǎn)化為

min‖W-ZW‖2，1+α‖Z-A‖2F，

s.t. Z1n=1n，" Z≥0.（14）

根據(jù)重加權(quán)方法， 式（14）可轉(zhuǎn)化為

min tr（（W-ZW）TD

（W-ZW））+αtr（（Z-A）T（Z-A）），

s.t. Z1n=1n，" Z≥0，（15）

其中D∈

瘙 綆 n×n為對(duì)角矩陣且Dii=12‖iW-

ZiW‖2. 進(jìn)一步式（15）可簡(jiǎn)化為

min tr（ZTDZC）+αtr（ZTZ）-2tr

（ZTE），s.t. Z1n=1n，" Z≥0，（16）

其中C=WWTT， E=D

WWTT+αA. 顯然式（16）是一個(gè)具有非負(fù)和線(xiàn)性約束的二次規(guī)劃問(wèn)題， 很難直接求解， 因此可借助

ADMM算法解決該問(wèn)題. 首先引入Lagrange乘子H=Z，μ，Σ得到以下問(wèn)題：

min tr（ZTDHC）+αtr（ZTH）-

2tr（ZTE）+μ2‖Z-H+1μΣ‖2F，

s.t. Z1n=1n，" Z≥0，" H≥0，（17）

其中μ為正則系數(shù)， 矩陣Σ∈

瘙 綆 n×n用于刻畫(huà)目標(biāo)變量與輔助變量之間的差異. 由于式（17）包含多個(gè)變量， 因此本文采用交替變量?jī)?yōu)化方法求解該問(wèn)題.

1） 固定其他變量更新Z， 式（17）可轉(zhuǎn)化為

min‖Z-M‖2F，

s.t. Z1n=1n，" Z≥0，（18）

其中M=H-1μΣ-12（DHC+

αH-2E）. 該問(wèn)題為具有基數(shù)約束的單純性上歐氏投影問(wèn)題， 可通過(guò)已有的算法［16］有效解決.

2） 固定其他變量更新H， 式（17）可轉(zhuǎn)化為

min‖H-N‖2F，s.t. H≥0，（19）

其中N=Z+1μΣ-1μ（BT

ZCT+αZ）， 可得H的解為

Hij=max{Nij，0}.（20）

3） 在更新變量Z和H后， 需要更新ADMM算法參數(shù)μ和Σ：

Σ=Σ+μ（Z-H），（21）μ=pμ，（22）

其中pgt;1是控制收斂速度的參數(shù)， p值越大， 需要更少的迭代次數(shù)便可收斂， 但可能降低最終目標(biāo)函數(shù)的精度.

綜上， 可得：

算法1" 用ADMM算法求解式（16）.

輸入： 自表示矩陣Z∈

瘙 綆 n×n， 對(duì)角矩陣D∈

瘙 綆 n×

n， 矩陣C∈

瘙 綆 n×n， 矩陣E∈

瘙 綆 n×n， 參數(shù)α;

輸出： 自表示矩陣Z∈

瘙 綆 n×n;

1） 初始化u=1， p=1.01， Σ=0n×n， H=Z；

2） while not do convergence

3） 利用式（18）更新Z；

4） 利用式（20）更新H；

5） 利用式（21）更新Σ；

6） 利用式（22）更新μ；

7） end while.

根據(jù)上述描述， 本文提出的基于圖濾波與自表示的無(wú)監(jiān)督特征選擇算法描述如下.

算法2" 基于圖濾波與自表示的無(wú)監(jiān)督特征選擇算法.

輸入： 數(shù)據(jù)矩陣X， 簇個(gè)數(shù)c， 參數(shù)α，λ;

輸出： 特征選擇矩陣W， 計(jì)算特征權(quán)重fi=‖Wi‖2（i=1，2，…，d）， 并以降序排序， 然后選取排名前m個(gè)特征作為特征選擇的結(jié)果;

1） 隨機(jī)初始化： 投影矩陣W∈

瘙 綆 d×c， 自表示矩陣Z∈

瘙 綆 n×n;

2） 構(gòu)造k近鄰圖并利用式（4）計(jì)算圖濾波器A∈

瘙 綆 n×n；

3） while not do convergence

4） 求解式（13）更新W， W最優(yōu)解為（A+λQ）的c個(gè)最小特征值對(duì)應(yīng)的c個(gè)最小特征向量；

5） 通過(guò)算法1更新Z；

6） 更新對(duì)角矩陣D， 其對(duì)角元素為Dii=12‖iW-ZiW‖2;

7） 更新對(duì)角矩陣Q， 其對(duì)角元素為Qii=12‖Wi‖22；

8） 判斷收斂F（t-1）-F（t）F（t）≤10-4， F為式（10）的目標(biāo)函數(shù)；

9） end while.

3" 實(shí)驗(yàn)結(jié)果分析

3.1" 數(shù)據(jù)集

為衡量本文提出的基于圖濾波與自表示的無(wú)監(jiān)督特征選擇算法的性能， 本文將在9個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)， 這些數(shù)據(jù)集都是特征選擇算法常用的數(shù)據(jù)集， 各數(shù)據(jù)集信息列于表1.

3.2" 實(shí)驗(yàn)對(duì)比方法及參數(shù)設(shè)置

為驗(yàn)證本文算法的有效性， 將其與一個(gè)基線(xiàn)（ALLFEA）和7種具有代表性的無(wú)監(jiān)督特征選擇算法進(jìn)行對(duì)比分析， 對(duì)比算法包括LapScore（Laplacian score）［17

］，MCFS（multi-cluster unsupervised feature selection）［18］，SOGFS（structured optimal graph feature selection）［19］，LLEScore［20］，

SRCFS（subspace randomization and collaboration feature selection）［21］，UDPFS（unsupervised discriminative projection for feature selection）［22］和BSFS（balan

ced spectral feature selection）［23］. 構(gòu)造k近鄰圖時(shí)設(shè)置k=5. 對(duì)于本文涉及的兩個(gè)平衡參數(shù)α和λ， 通過(guò)網(wǎng)格搜索在［10

-3，10-2，…，103］內(nèi)選定其值進(jìn)行特征選擇. 對(duì)其他比較算法， 按照原文獻(xiàn)中的原則調(diào)整參數(shù)， 并且將所有算法中類(lèi)簇?cái)?shù)量設(shè)置為類(lèi)的真實(shí)數(shù)量.

3.3" 實(shí)驗(yàn)結(jié)果分析

對(duì)選擇的特征， 本文通過(guò)3個(gè)廣泛使用的聚類(lèi)性能度量評(píng)估k均值聚類(lèi)的性能， 即準(zhǔn)確率（ACC）、 歸一化互信息（NMI）和純度（Pu

rity）. 為降低k均值聚類(lèi)受初始化的影響， 隨機(jī)初始化重復(fù)聚類(lèi)20次并記錄平均結(jié)果. 由于特征選擇的最優(yōu)數(shù)量未知， 因此為更合理地評(píng)估本文無(wú)監(jiān)督特征選擇算法，

本文記錄了選擇不同數(shù)量特征［10∶10∶100］的平均聚類(lèi)性能， 結(jié)果分別列于表2～表4.

表2～表4中最后一行顯示了在9個(gè)基準(zhǔn)數(shù)據(jù)集上所有算法的平均結(jié)果. 由表2～表4可見(jiàn)： 與使用所有特征的聚類(lèi)相比， 本文算法可以在少于100個(gè)特征的情況下獲得類(lèi)似甚至更優(yōu)的結(jié)果； 本文算法

始終比其他無(wú)監(jiān)督特征選擇算法的性能更好. 本文算法在ACC，NMI和Purity指標(biāo)上與第二最佳算法相比分別提高了10.42%，16.47%，8.82%. 實(shí)驗(yàn)結(jié)

果很好地說(shuō)明了本文算法的有效性， 不僅可以極大減少特征數(shù)量， 減少計(jì)算負(fù)擔(dān)， 而且可以在一定程度上提高聚類(lèi)性能.

圖1～圖3為不同特征選擇算法在每個(gè)數(shù)據(jù)集上對(duì)應(yīng)于不同選擇特征數(shù)量［10∶10∶100］的ACC，NMI和Purity的實(shí)驗(yàn)結(jié)果.

圖中紅線(xiàn)表示本文方法， 黑色水平虛線(xiàn)表示使用所有特征的聚類(lèi)結(jié)果. 由圖1～圖3可見(jiàn)， 在所有數(shù)據(jù)集上本文算法都優(yōu)于ALLFEA， 表明本文算法不僅可以極大減少用于聚類(lèi)的特征數(shù)量， 而且可提高聚類(lèi)性能.

雖然本文算法不能在每個(gè)特征選擇數(shù)量上都超過(guò)對(duì)比算法， 但在大多數(shù)數(shù)據(jù)集上都優(yōu)于所對(duì)比的特征選擇算法， 表明本文提出對(duì)數(shù)據(jù)應(yīng)用圖濾波獲得

其平滑表示以及數(shù)據(jù)的高階鄰域信息有助于選擇高質(zhì)量鑒別特征.

本文參數(shù)敏感性實(shí)驗(yàn)在數(shù)據(jù)集LUNG_DISCRETE上進(jìn)行可視化展示， 如圖4所示， 其他數(shù)據(jù)集的結(jié)果類(lèi)似. 由圖4可見(jiàn)， 本文算法在較寬的范圍內(nèi)性能相對(duì)

穩(wěn)定， 因此， 參數(shù)α和λ的選擇在實(shí)踐中并不困難.

綜上所述， 針對(duì)現(xiàn)有方法未考慮數(shù)據(jù)的高階鄰域信息而不能完全捕捉數(shù)據(jù)內(nèi)在結(jié)構(gòu)的問(wèn)題， 本文提出了一種基于圖濾波與自表示的無(wú)監(jiān)督特征選擇算法.

首先將圖濾波器作用于原始數(shù)據(jù)獲得其平滑表示， 并設(shè)計(jì)一個(gè)正則化器利用隱藏在原始圖中的高階鄰域信息， 然后同時(shí)執(zhí)行自表示學(xué)習(xí)與特征選擇. 為增強(qiáng)重建誤差項(xiàng)與特征選擇項(xiàng)的魯棒性和行稀疏性，

用l1，2范數(shù)重建誤差項(xiàng)和特征選擇項(xiàng). 在多個(gè)基準(zhǔn)數(shù)據(jù)集上與多個(gè)先進(jìn)的特征選擇算法進(jìn)行實(shí)驗(yàn)對(duì)比分析的結(jié)果表明， 本文算法性能良好， 驗(yàn)證了圖濾波器

作用于數(shù)據(jù)產(chǎn)生的平滑表示與原始圖中隱藏的高階鄰域信息有助于特征選擇任務(wù).

參考文獻(xiàn)

［1］" YANG Y M， PEDERSEN J O. A Comparative Study on Feature Selection in Text C

ategorization ［C］//Proceedings of the Fourteenth International Conference on Machine Learning. New York： ACM， 1997： 412-420.

［2］" RUI Y， HUANG T S， CHANG S F. Image Retrieval： Current Techniques， Promising D

irections， and Open Issues ［J］. Journal of Visual Communication and Image Representation， 1999， 10（1）： 39-62.

［3］" SAEYS Y， INZA I， LARRANAGA P. A Review of Feature Selection Techniques in Bioinformatics ［J］. Bioinformatics， 2007， 23（19）： 2507-2517.

［4］" CHEN J C， ZENG Y J， LI Y， et al. Unsupervised Featur

e Selection Based Extreme Learning Machine for Clustering ［J］. Neurocomputing， 2020， 386： 198-207.

［5］" MIAO J Y， YANG T J， SUN L J， et al. Graph Regularize

d Locally Linear Embedding for Unsupervised Feature Selection ［J］. Pattern Recognition， 2022， 122： 108299-1-108299-13.

［6］" CHEN H， NIE F P， WANG R， et al. Unsupervised Featur

e Selection with Flexible Optimal Graph ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2022， 35（2）： 2014-2027.

［7］" YUAN A H， YOU M B， HE D J， et al. Convex Non-negative Matr

ix Factorization with Adaptive Graph for Unsupervised Feature Selection ［J］. IEEE Transactions on Cybernetics， 2022， 52（6）： 5522-5534.

［8］" YOU M B， YUAN A H， ZOU M， et al. Robust Unsupervised Feat

ure Selection via Multi-group Adaptive Graph Representation ［J］. IEEE Transactions on Knowledge and Data Engineering， 2021， 35（3）： 3030-3044.

［9］" ZHANG R， ZHANG Y X， LI X L. Unsupervised Feature Selectio

n via Adaptive Graph Learning and Constraint ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2022， 33（3）： 1355-1362.

［10］" DU L， SHEN Y D. Unsupervised Feature Selection with

Adaptive Structure Learning ［C］//Proceedings of the 21th ACM SIGKDD International Conference on Knowle

dge Discovery and Data Mining. New York： ACM， 2015： 209-218.

［11］" NIE F P， DONG X， TIAN L， et al. Unsupervised Feature Selection with Constrained l2，0-Norm and Optimized Graph ［J］. IEE

E Transactions on Neural Networks and Learning Systems， 2022， 33（4）： 1702-1713.

［12］" ZHU P F， ZUO W M， ZHANG L， et al. Unsupervised Fature Selection by Regularized Self-representation ［J］. Pattern Recognition， 2015， 48（2）： 438-446.

［13］" ZHAO Z， HE X F， CAI D， et al. Graph Regularized Feature

Selection with Data Reconstruction ［J］. IEEE Transactions on Knowledge and Data Engineering， 2015， 28（3）： 689-700.

［14］" LI J D， TANG J L， LIU H. Reconstruction-Based Unsupervised Feature Selection： An Embedded Approach ［C］//

Proceedings of the 26th International Joint Conference on Artificial Intelligence. New York： ACM， 2017： 2159-2165.

［15］" NIE F P， HUANG H， CAI X， et al. Efficient and Robust Fe

ature Selection via Joint l2，1-Norms Minimization ［C］//Advances in Neural Information Processing Systems. New York： ACM， 2010： 1813-1821.

［16］" WANG W R， CARREIRA-PERPINN M A. Projection onto the

Probability Simplex： An Efficient Algorithm with a Simple Proof， and an Application ［EB/OL］. （2013-09-06）［2023-02-01］. https：//arxiv.org/abs/1309.154.

［17］" HE X F， CAI D， NIYOGI P. Laplacian Score for Featur

e Selection ［C］//Advances in Neural Information Processing Systems. New York： ACM， 2005： 507-514.

［18］" CAI D， ZHANG C Y， HE X F. Unsupervised Feature Selection for Multi-cluster Data ［C］//Proceedings of the 16th ACM SIGKDD Internatio

nal Conference on Knowledge Discovery and Data Mining. New York： ACM， 2010： 333-342.

［19］" NIE F P， ZHU W， LI X L. Unsupervised Feature Selectio

n with Structured Graph Optimization ［C］//Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto： AAAI， 2016： 1302-1308.

［20］" YAO C， LIU Y F， JIANG B， et al. LLE Score： A New Filt

er-Based Unsupervised Feature Selection Method Based on Nonlinear Manifold Embe

dding and Its Application to Image Recognition ［J］. IEEE Transactions on Image Processing， 2017， 26（11）： 5257-5269.

［21］" HUANG D， CAI X， WANG C D. Unsupervised Feature Sele

ction with Multi-subspace Randomization and Collaboration ［J］. Knowledge-Based Systems， 2019， 182： 104856-1-104856-15.

［22］" WANG R， BIAN J T， NIE F P， et al. Unsupervised Disc

riminative Projection for Feature Selection ［J］. IEEE Transactions on Knowledge and Data Engineering， 2022， 34（2）： 942-953.

［23］" ZHOU P， CHEN J Y， DU L， et al. Balanced Spectral Feature Selection ［J］. IEEE Transactions on Cybernetics， 2023， 53（7）： 4232-4244.

（責(zé)任編輯： 韓" 嘯）