李文博，劉波*，陶玲玲，羅棻，張航

L1正則化的深度譜聚類算法

李文博1，2，劉波1，2*，陶玲玲1，2，羅棻1，2，張航1，2

（1.重慶工商大學(xué) 人工智能學(xué)院，重慶 400067； 2.智能感知與區(qū)塊鏈技術(shù)重慶市重點(diǎn)實(shí)驗(yàn)室（重慶工商大學(xué)），重慶 400067）（?通信作者電子郵箱liubo7971@163.com）

針對(duì)深度譜聚類模型訓(xùn)練不穩(wěn)定和泛化能力弱等問題，提出L1正則化的深度譜聚類算法（DSCLR）。首先，在深度譜聚類的目標(biāo)函數(shù)中引入L1正則化，使深度神經(jīng)網(wǎng)絡(luò)模型生成的拉普拉斯矩陣的特征向量稀疏化，并提升模型的泛化能力；其次，通過利用參數(shù)化修正線性單元激活函數(shù)（PReLU）改進(jìn)基于深度神經(jīng)網(wǎng)絡(luò)的譜聚類算法的網(wǎng)絡(luò)結(jié)構(gòu)，解決模型訓(xùn)練不穩(wěn)定和欠擬合問題。在MNIST數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提算法在聚類精度（CA）、歸一化互信息（NMI）指數(shù)和調(diào)整蘭德系數(shù)（ARI）這3個(gè)評(píng)價(jià)指標(biāo)上，相較于深度譜聚類算法分別提升了11.85、7.75和17.19個(gè)百分點(diǎn)。此外，所提算法相較于深度嵌入聚類（DEC）和基于對(duì)偶自編碼器網(wǎng)絡(luò)的深度譜聚類（DSCDAN）等算法，在CA、NMI和ARI這3個(gè)評(píng)價(jià)指標(biāo)上也有大幅提升。

深度聚類；譜聚類；L1正則化；深度學(xué)習(xí)；無(wú)監(jiān)督學(xué)習(xí)

0 引言

計(jì)算機(jī)技術(shù)的廣泛應(yīng)用產(chǎn)生了海量的數(shù)據(jù)［1］，如視頻數(shù)據(jù)、音頻數(shù)據(jù)和文本數(shù)據(jù)等，而這些數(shù)據(jù)大多數(shù)都沒有標(biāo)記。如何處理這些無(wú)標(biāo)記數(shù)據(jù)是目前機(jī)器學(xué)習(xí)面臨的巨大挑戰(zhàn)之一。聚類是無(wú)監(jiān)督機(jī)器學(xué)習(xí)領(lǐng)域中最重要的方法。聚類通過某種度量方法將相似的數(shù)據(jù)分配到同一個(gè)聚簇，不相似的數(shù)據(jù)分配到其他聚簇［2］。

目前，聚類已經(jīng)被廣泛應(yīng)用于航路發(fā)現(xiàn)［3］、醫(yī)學(xué)圖像分析［4］、缺陷檢測(cè)［5］和左右軌道線檢測(cè)［6］等。聚類方法大致分為兩類：1）傳統(tǒng)的聚類方法。利用經(jīng)典的機(jī)器學(xué)習(xí)理論進(jìn)行研究，如基于分區(qū)的均值聚類（-means clustering，-means）［7］、譜聚類（Spectral Clustering，SC）［8］、基于層次的凝聚聚類（analysis of Agglomerative Clustering，AC）［9］和具有噪聲的基于密度的聚類方法DBSCAN（Density-Based Spatial Clustering of Applications with Noise）［10］等。2）深度聚類方法。這類方法利用深度神經(jīng)網(wǎng)絡(luò)理論進(jìn)行研究，如利用自編碼器實(shí)現(xiàn)聚類［11］，將深度學(xué)習(xí)與-means結(jié)合提升聚類性能［12］和將深度神經(jīng)網(wǎng)絡(luò)與譜聚類結(jié)合的方法［13-14］等。相較于傳統(tǒng)聚類算法，深度聚類算法性能良好，但仍舊面臨很多問題，例如聚類結(jié)果不穩(wěn)定和泛化性能差等問題。

針對(duì)上述問題，本文提出L1正則化的深度譜聚類算法（Deep Spectral Clustering algorithm with L1 Regularization，DSCLR）。首先，在深度譜聚類算法SpectralNet（Spectral Clustering using Deep Neural Network）算法［13］損失函數(shù)中加入L1正則化使拉普拉斯矩陣的特征向量稀疏化，從而增強(qiáng)模型的魯棒性和泛化性；其次，針對(duì)SpectralNet網(wǎng)絡(luò)結(jié)構(gòu)容易過擬合的問題，將神經(jīng)網(wǎng)絡(luò)模型的激活函數(shù)修改為參數(shù)化修正線性單元激活函數(shù)（Parametric Rectified Linear Unit， PReLU）［15］，使得深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練更穩(wěn)定；最后，在多個(gè)數(shù)據(jù)集上利用聚類評(píng)價(jià)指標(biāo)與基準(zhǔn)方法對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析和可視化，驗(yàn)證了所提算法的有效性。

1 相關(guān)工作

1.1　深度聚類

聚類是目前機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘領(lǐng)域研究的主要方法之一?；趧澐郑?-8］、層次［9］和密度［10］聚類等傳統(tǒng)聚類方法雖然應(yīng)用廣泛，但在聚類高維復(fù)雜的大規(guī)模數(shù)據(jù)時(shí)，性能都較差。近年，深度神經(jīng)網(wǎng)絡(luò)因具有強(qiáng)大的表示學(xué)習(xí)能力而被應(yīng)用到各個(gè)領(lǐng)域。深度學(xué)習(xí)與聚類結(jié)合（即深度聚類）使聚類性能大幅提升，如文獻(xiàn)［11-12］中使用自編碼器作為特征學(xué)習(xí)模塊，并通過同時(shí)最小化自編碼器和-means的損失函數(shù)實(shí)現(xiàn)聚類。文獻(xiàn)［13］中提出通過深度神經(jīng)網(wǎng)絡(luò)模型獲得拉普拉斯矩陣的特征向量，并稱這種算法為SpectralNet；雖然這種模型簡(jiǎn)單有效，但訓(xùn)練過程不穩(wěn)定、模型泛化性差。文獻(xiàn)［14］中利用對(duì)偶自編碼器模型生成具體判斷性和魯棒性的特征，并將這些特征作為深度譜聚類模型的輸入，從而構(gòu)建更穩(wěn)定的拉普拉斯矩陣。與之類似，文獻(xiàn)［16］中提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的譜聚類算法，通過利用預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)提取圖像邊緣并進(jìn)行特征融合，以減輕算法對(duì)相似矩陣的依賴。文獻(xiàn)［17］中結(jié)合譜聚類、生成對(duì)抗網(wǎng)絡(luò)和貝葉斯框架，通過低秩模型估計(jì)聚類數(shù)，用譜聚類獲取隱藏空間結(jié)構(gòu)，在此基礎(chǔ)上利用對(duì)抗學(xué)習(xí)完成聚類。這些模型的聚類效果通常較好，但它們的結(jié)構(gòu)非常復(fù)雜，較難訓(xùn)練。文獻(xiàn)［18-19］中結(jié)合自編碼器與子空間聚類提高樣本的非線性表達(dá)，以提升聚類效果。這類方法對(duì)噪聲較敏感且無(wú)法很好地表示樣本之間的關(guān)系。文獻(xiàn)［20］中提出將SpectralNet擴(kuò)展到多視圖場(chǎng)景，每個(gè)視圖都用一個(gè)SpectralNet進(jìn)行深度聚類；這種方法的缺點(diǎn)是計(jì)算量較大。文獻(xiàn)［21］中提出一種解決譜聚類局限的圖聚類方法，通過制定歸一化最小切問題的連續(xù)松弛并通過訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)使得該目標(biāo)最小化；但是該方法無(wú)法得到高階的連通性，并且經(jīng)常無(wú)法恢復(fù)聚簇的結(jié)構(gòu)。

1.2　L1正則化

特征選擇相關(guān)研究最先引入L1正則化，具體地，在特征選擇的損失函數(shù)中添加L1范數(shù)，讓學(xué)習(xí)到的模型具有稀疏解，以提高特征選擇的可解釋性［22］。文獻(xiàn)［23］中提出一種在回歸系數(shù)的絕對(duì)值之和小于一個(gè)常數(shù)的約束條件下，使殘差平方和最小化從而產(chǎn)生某些嚴(yán)格等于零的回歸系數(shù)，最后得到更具可解釋性的模型。文獻(xiàn)［24］中提出L1正則化的支持向量機(jī)（Support Vector Machine， SVM）聚類算法，實(shí)現(xiàn)了同時(shí)聚類和特征選擇功能。文獻(xiàn)［25］中提出了一種約束的譜聚類算法，通過引入L1正則化使模型具有稀疏性。文獻(xiàn)［26］中提出了一種具用全局特征選擇的神經(jīng)模型，將L1正則化線性回歸的特征引入深度神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)模型稀疏化。文獻(xiàn)［27］中提出了一種L1正則化對(duì)稱非負(fù)矩陣因子分解算法，解決高階協(xié)同聚類（High-Order Co-Clustering， HOCC）問題。文獻(xiàn)［28］中通過引入L1正則化減少噪聲，使模型更具魯棒性。文獻(xiàn)［29］中設(shè)計(jì)了一種平滑優(yōu)化算法求解基于L1正則化的聚類目標(biāo)函數(shù)，能夠得到較好的近似解。綜上所述，基于L1正則化的模型受到了廣泛的研究并取得了較好的應(yīng)用。

2 DSCLR

2.1　SpectralNet算法

研究表明，SpectralNet在聚類時(shí)容易出現(xiàn)結(jié)果不穩(wěn)定和泛化性差等問題。為了解決此類問題，本文提出了DSCLR。

2.2　本文算法的模型結(jié)構(gòu)

DSCLR的模型整體框架主要由自編碼器模塊、正交模塊和特征映射（Feature Map）模塊這3個(gè)模塊組成，如圖1所示。由于正交模塊和特征映射模塊是共用網(wǎng)絡(luò)結(jié)構(gòu)，因此在圖1中正交和特征映射模塊對(duì)應(yīng)一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)。

圖1　DSCLR的模型整體框架

圖1中的自編碼器模塊用于從樣本中提取特征，然后利用這些特征構(gòu)造拉普拉斯矩陣；正交模塊用于保證學(xué)習(xí)到的特征向量的正交性；特征映射模塊用于學(xué)習(xí)如何將樣本構(gòu)成拉普拉斯矩陣的特征向量。

此外，為了得到聚類結(jié)果更穩(wěn)定和擬合能力更好的模型，本文通過將深度神經(jīng)網(wǎng)絡(luò)模型的激活函數(shù)改為PReLU激活函數(shù)［15］在幾乎不增加額外參數(shù)的前提下提升模型訓(xùn)練的穩(wěn)定性并減少模型的過擬合。具體各模塊詳細(xì)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)如表1所示。

表1DSCLR的網(wǎng)絡(luò)結(jié)構(gòu)

Tab.1　Network architecture of DSCLR

2.3　DSCLR

為了提高本文算法模型的穩(wěn)定性和泛化能力，進(jìn)一步在式（1）中引入L1正則化，從而得到如下的損失函數(shù)：

算法1 L1正則化的深度譜聚類算法。

5）重復(fù)執(zhí)行步驟3）～6），直到算法收斂；

3 實(shí)驗(yàn)與結(jié)果分析

3.1　實(shí)驗(yàn)設(shè)置

3.1.1基準(zhǔn)數(shù)據(jù)集

表2匯總了本實(shí)驗(yàn)所用到的數(shù)據(jù)集的基本信息。

圖2　COIL20數(shù)據(jù)集的部分圖像

表2數(shù)據(jù)集詳情

Tab.2　Dataset details

3.1.2基準(zhǔn)算法

將本文算法分別與以下6種具有代表性的傳統(tǒng)聚類算法和深度聚類算法進(jìn)行比較。

2）AC算法［9］使用自下而上的方法進(jìn)行層次聚類，最初每一個(gè)樣本都被認(rèn)為是一個(gè)聚簇，然后根據(jù)度量策略合并這些聚簇，最后完成聚類。

3）DBSCAN算法［10］是一種基于密度的聚類算法，它將聚簇定義為密度相連的點(diǎn)的最大集合，能夠把具有足夠高密度的區(qū)域劃分為聚簇。

4）SC算法［8］是一種譜聚類算法。通過將樣本看作空間中的點(diǎn)，用邊連接這些點(diǎn)并給每條邊定義一個(gè)權(quán)值，權(quán)值大小與樣本之間的距離相關(guān)，距離較近的兩個(gè)樣本權(quán)值高，反之則低，從而構(gòu)成了無(wú)向加權(quán)圖，然后通過對(duì)圖的劃分實(shí)現(xiàn)聚類。

5）DEC（Deep Embedding Clustering）算法［11］通過學(xué)習(xí)數(shù)據(jù)到潛空間的映射，然后通過優(yōu)化目標(biāo)對(duì)潛空間數(shù)據(jù)進(jìn)行聚類。

6）SpectralNet算法［13］通過深度神經(jīng)網(wǎng)絡(luò)顯式學(xué)習(xí)樣本與拉普拉斯特征向量之間的映射，然后用-means對(duì)這些特征向量進(jìn)行聚類。

7）基于對(duì)偶自編碼器網(wǎng)絡(luò)的深度譜聚類（Deep Spectral Clustering using Dual Autoencoder Network，DSCDAN）算法［14］首先通過設(shè)計(jì)雙自動(dòng)編碼器網(wǎng)絡(luò)，對(duì)潛在表示及其噪聲版本施加重構(gòu)約束，將輸入嵌入潛在空間進(jìn)行聚類，其次利用互信息估計(jì)，從輸入中提取更多的鑒別信息，最后采用深度譜聚類方法將潛在表示嵌入特征空間，并對(duì)它進(jìn)行聚類。

8）深度嵌入譜聚類（Spectral Clustering with Deep Embedding， SCDE）算法［35］通過學(xué)習(xí)一個(gè)自編碼器估計(jì)聚簇的類別數(shù)并對(duì)它進(jìn)行聚類。

3.1.3評(píng)價(jià)指標(biāo)

為了評(píng)估聚類的效果，本文采用了3種常用的聚類評(píng)價(jià)指標(biāo)，分別是聚類準(zhǔn)確率（Clustering Accuracy， CA）［36］、歸一化互信息（Normalized Mutual Information， NMI）指數(shù)［37］和調(diào)整蘭德系數(shù)（Adjusted Rand Index， ARI）［38］。

3.1.4實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

1）實(shí)驗(yàn)環(huán)境。

本文實(shí)驗(yàn)在以下環(huán)境進(jìn)行：Intel Xeon Platinum 8358 CPU@2.60 GB處理器、NVIDIA Corporation A100 80 GB顯卡，Ubuntu 18.04.1 LTS操作系統(tǒng)，PyTorch 1.10.0，Python 3.7.12。

2）參數(shù)設(shè)置。

3.2　實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的有效性，在5個(gè)真實(shí)數(shù)據(jù)集上分別通過CA、NMI和ARI這3個(gè)聚類評(píng)價(jià)指標(biāo)比較DSCLR與其他聚類算法的性能。在實(shí)驗(yàn)中通過隨機(jī)將基準(zhǔn)數(shù)據(jù)集按照8∶2劃分為訓(xùn)練集和測(cè)試集進(jìn)行訓(xùn)練以評(píng)估所有算法的性能。

3.2.1聚類結(jié)果分析

由表3的CA評(píng)價(jià)指標(biāo)可知，本文算法在MNIST、DIGISTS和FASHION數(shù)據(jù)集的聚類精度獲得最好的結(jié)果。在5個(gè)實(shí)驗(yàn)數(shù)據(jù)集上，相較于SpectralNet，本文算法的CA分別提高了11.85、6.86、2.44、18.97和7.47個(gè)百分點(diǎn)；此外，在MNIST、DIGITS和COIL20這3個(gè)數(shù)據(jù)集上，本文算法的CA相較于DEC分別提高了1.20、12.57和8.44個(gè)百分點(diǎn)，相較于DSCDAN分別提升了8.00、5.57和21.84個(gè)百分點(diǎn)。

由表3的NMI評(píng)價(jià)指標(biāo)可知，本文算法在DIGISTS、USPS、COIL20和FASHION數(shù)據(jù)集上的NMI指數(shù)獲得了最好結(jié)果，在MNIST數(shù)據(jù)集上僅比最優(yōu)的DEC低1.68個(gè)百分點(diǎn)。在5個(gè)實(shí)驗(yàn)數(shù)據(jù)集上，相較于SpectralNet，本文算法的NMI分別提高了7.75、0.59、0.74、23.31和0.76個(gè)百分點(diǎn)。在MNIST、DIGITS和COIL20這3個(gè)數(shù)據(jù)集上，相較于DEC和DSCDAN，本文算法同樣展現(xiàn)了顯著的提升。

由表3的ARI評(píng)價(jià)指標(biāo)可知，本文算法在DIGISTS和COIL20數(shù)據(jù)集上的ARI達(dá)到了最好結(jié)果，在USPS數(shù)據(jù)集上僅比DEC低2.24個(gè)百分點(diǎn)。在MNIST、DIGITS和COIL20這3個(gè)實(shí)驗(yàn)數(shù)據(jù)集上，相較于SpectralNet，本文算法的ARI分別提高了17.19、4.66、12.05百分點(diǎn)；相較于DEC，本文算法的ARI分別提高了1.32、10.8和5.93個(gè)百分點(diǎn)。

綜上所述，本文算法具有更好的聚類性能。其中在對(duì)比的基準(zhǔn)數(shù)據(jù)集上本文算法明顯優(yōu)于SpectralNet、DEC和DSCDA等深度聚類算法，這也驗(yàn)證了L1正則化和PReLU激活函數(shù)對(duì)拉普拉斯特征稀疏化和模型訓(xùn)練的穩(wěn)定性起到了重要的作用。

表3各算法在不同數(shù)據(jù)集上的CA、NMI和ARI值 單位：%

Tab.3　CA，NMI and ARI values of different algorithms on different datasets unit：%

注：加粗?jǐn)?shù)據(jù)為最優(yōu)結(jié)果。

3.2.2T-SNE可視化分析

本文針對(duì)MNIST數(shù)據(jù)集利用t分布隨機(jī)鄰域嵌入（t-distributed Stochastic Neighbor Embedding，t-SNE）算法［38］分別對(duì)原始數(shù)據(jù)、自編碼器提取特征之后的數(shù)據(jù)、表3的SpectralNet算法的拉普拉斯矩陣數(shù)據(jù)和本文算法的拉普拉斯特征矩陣數(shù)據(jù)進(jìn)行降維可視化操作。可視化結(jié)果如圖3所示。

圖3（a）為MNIST原始數(shù)據(jù)的可視化結(jié)果，圖3（b）為自編編碼器對(duì)MNIST提取特征之后的可視化結(jié)果，圖3（c）為SpectralNet聚類結(jié)果的可視化，圖3（d）為本文算法對(duì)MNIST數(shù)據(jù)集的可視化結(jié)果。從圖3可以看出，本文算法的聚類效果最優(yōu)。具體地，SpectralNet明顯有3個(gè)聚簇邊緣是混合在一起的，本文算法聚簇之間都能較好地分開。

綜上所述，本文算法能夠通過深度神經(jīng)網(wǎng)絡(luò)模型計(jì)算更稀疏的拉普拉斯矩陣的特征向量，稀疏的特征向量在聚類時(shí)表現(xiàn)了更好的魯棒性，從而得到更好的聚類結(jié)果。

圖3　MNIST數(shù)據(jù)集的t-SNE可視化結(jié)果

3.3　超參數(shù)分析實(shí)驗(yàn)

圖4　MNIST數(shù)據(jù)集上不同的值對(duì)評(píng)價(jià)指標(biāo)的影響

3.4　L1正則化與PReLU激活函數(shù)消融實(shí)驗(yàn)

由圖5可知，采用PReLU激活函數(shù)策略的模型在聚類精度和訓(xùn)練穩(wěn)定性上顯著優(yōu)于其他策略；未采用L1正則化算法的模型在聚類精度上明顯不如采用L1正則化的策略。

以上實(shí)驗(yàn)結(jié)果充分驗(yàn)證了L1正則化和PReLU對(duì)本文算法的有效性。

圖5　不同訓(xùn)練策略對(duì)算法性能的影響

4 結(jié)語(yǔ)

本文提出了一種L1正則化的深度譜聚類算法，該算法通過L1正則化使學(xué)習(xí)到的拉普拉斯矩陣的特征向量稀疏化，通過調(diào)整深度譜聚類網(wǎng)絡(luò)結(jié)構(gòu)和激活函數(shù)，使所提算法具有更好的泛化能力和更加穩(wěn)定的聚類性能。今后的工作中，將進(jìn)一步設(shè)計(jì)新的目標(biāo)函數(shù)，強(qiáng)化特征向量的稀疏性，從而提升深度譜聚類的性能；同時(shí)考慮針對(duì)不同模態(tài)的數(shù)據(jù)引入新的網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)深度譜聚類模型。

[1] GUO X， LIU X， ZHU E， et al. Adaptive self-paced deep clustering with data augmentation［J］. IEEE Transactions on Knowledge and Data Engineering， 2019， 32（9）： 1680-1693.

[2] JAIN A K， MURTY M N， FLYNN P J. Data clustering： a review［J］. ACM Computing Surveys （CSUR）， 1999， 31（3）： 264-323.

[3] 劉海楊，孟令航，林仲航，等.基于軌跡點(diǎn)聚類的航路發(fā)現(xiàn)方法［J］. 計(jì)算機(jī)應(yīng)用， 2022， 42（3）： 890-894.（LIU H Y， MENG L H， LIN Z H， et al. GU. Route discovery method based on trajectory point clustering［J］. Journal of Computer Applications， 2022， 42（3）： 890-894.）

[4] 祝承，趙曉琦，趙麗萍，等. 基于譜聚類半監(jiān)督特征選擇的功能磁共振成像數(shù)據(jù)分類［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（8）： 2288-2293.（ZHU C， ZHAO X Q， ZHAO L P， et al. Classification of functional magnetic resonance imaging data based on semi-supervised feature selection by spectral clustering［J］. Journal of Computer Applications， 2021， 41（8）： 2288-2293.）

[5] 袁野，譚曉陽(yáng). 復(fù)雜環(huán)境下的冰箱金屬表面缺陷檢測(cè)［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（1）： 270-274.（YUAN Y， TAN X Y. Defect detection of refrigerator metal surface in complex environment［J］. Journal of Computer Applications， 2021， 41（1）： 270-274.）

[6] 曾祥銀，鄭伯川，劉丹. 基于深度卷積神經(jīng)網(wǎng)絡(luò)和聚類的左右軌道線檢測(cè)［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（8）： 2324-2329.（ZENG X Y， ZHENG B C， LIU D. Detection of left and right railway tracks based on deep convolutional neural network and clustering［J］. Journal of Computer Applications， 2021， 41（8）： 2324-2329.）

[7] KANUNGO T， MOUNT D M， NETANYAHU N S， et al. An efficient-means clustering algorithm： analysis and implementation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（7）： 881-892.

[8] VON L U. A tutorial on spectral clustering［J］. Statistics and Computing， 2007， 17（4）： 395-416.

[9] ACKERMANN M R， BL?MER J， KUNTZE D， et al. Analysis of agglomerative clustering［J］. Algorithmica， 2014， 69（1）： 184-215.

[10] ESTER M， KRIEGEL H P， SANDER J， et al. A density-based algorithm for discovering clusters in large spatial databases with noise ［EB/OL］. ［2022-10-20］. https：//cdn.aaai.org/KDD/1996/KDD96-037.pdf.

[11] XIE J， GIRSHICK R， FARHADI A. Unsupervised deep embedding for clustering analysis［C］// Proceedings of the 33th International Conference on Machine Learning. ［S.l.］： PMLR， 2016： 478-487.

[12] YANG B， FU X， SIDIROPOULOS N D， et al. Towards K-means-friendly spaces： simultaneous deep learning and clustering［C］// Proceedings of the 34th International Conference on Machine Learning. ［S.l.］： PMLR， 2017： 3861-3870.

[13] SHAHAM U， STANTON K， LI H， et al. SpectralNet： spectral clustering using deep neural networks ［C］// Proceedings of the 6th International Conference on Learning Representations. Vancouver： OpenReview.net， 2018， 1050： 10.

[14] YANG X， DENG C， ZHENG F， et al. Deep spectral clustering using dual autoencoder network［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4066-4075.

[15] HE K， ZHANG X， REN S， et al. Delving deep into rectifiers： surpassing human-level performance on ImageNet classification ［C］// Proceedings of the 2015 IEEE/CVF International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2015： 1026-1034.

[16] 蘇常保，龔世才.一種基于卷積神經(jīng)網(wǎng)絡(luò)的譜聚類算法［J］.安徽大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，46（5）：20-26.（SU C B， GONG S C. A spectral clustering algorithm based on convolutional neural network［J］. Journal of Anhui University（Natural Sciences）， 2022，46（5）：20-26.）

[17] YE X， ZHAO J， CHEN Y， et al. Bayesian adversarial spectral clustering with unknown cluster number ［J］. IEEE Transactions on Image Processing， 2020， 29： 8506-8518.

[18] JI P，ZHANG T，LI H，et al.Deep subspace clustering networks［C］// Proceedings of the 30th Advances in Neural Information Processing Systems. Long Beach： Curran Associates Inc.， 2017：24-33.

[19] ZHOU L，WANG S，BAI X，et al.Iterative deep subspace clustering［C］// Proceedings of the 2018 Joint IAPR International Workshop Structural，Syntactic，and Statistical Pattern Recognition. Cham： Springer， 2018：42-51.

[20] HUANG S， OTA K， DONG M， et al. MultiSpectralNet： spectral clustering using deep neural network for multi-view data［J］. IEEE Transactions on Computational Social Systems， 2019， 6（4）： 749-760.

[21] BIANCHIF M， GRATTAROLA D， ALIPPI C. Spectral clustering with graph neural networks for graph pooling ［C］// Proceedings of the 37th International Conference on Machine Learning. ［S.l.］： PMLR， 2020： 874-883.

[22] TIBSHIRANI R. Regression shrinkage and selection via the lasso： a retrospective［J］. Journal of the Royal Statistical Society： Series B （Statistical Methodology）， 2011， 73（3）： 273-282.

[23] TIBSHIRANI R. Regression shrinkage and selection via the lasso［J］. Journal of the Royal Statistical Society： Series B （Methodological）， 1996， 58（1）： 267-288.

[24] 劉建偉，李雙成，付捷，等.L1范數(shù)正則化SVM聚類算法［J］.計(jì)算機(jī)工程，2012，38（12）：185-187.（LIU J W， LI S C， FU J， et al. L1-norm regularized SVM clustering algorithm［J］. Computer Engineering， 2012，38（12）：185-187.）

[25] KAWALE J， BOLEY D. Constrained spectral clustering using L1 regularization［C］// Proceedings of the 2013 SIAM International Conference on Data Mining. Philadelphia，PA： SIAM， 2013： 103-111.

[26] LEMHADRI I， RUAN F， TIBSHIRANI R. LassoNet： neural networks with feature sparsity［C］// Proceedings of the 24th International Conference on Artificial Intelligence and Statistics. ［S.l.］： PMLR， 2021： 10-18.

[27] LIU K， WANG H. High-order co-clustering via strictly orthogonal and symmetric L1-norm nonnegative matrix tri-factorization［C］//Proceedings of the 27th International Joint Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press ， 2018： 2454-2460.

[28] ZHAO M， LIU J. Robust clustering with sparse corruption via ?2， 1， ?1 norm constraint and Laplacian regularization［J］. Expert Systems with Applications， 2021， 186： 115704.

[29] BAGIROV A M， MOHEBI E. An algorithm for clustering using L1-norm based on hyperbolic smoothing technique［J］. Computational Intelligence， 2016， 32（3）： 439-457.

[30] DENG L. The MNIST database of handwritten digit images for machine learning research ［J］. IEEE Signal Processing Magazine， 2012， 29（6）：141-142..

[31] HULL J J. A database for handwritten text recognition research［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1994， 16（5）： 550-554.

[32] COHEN G， AFSHAR S， TAPSON J， et al. EMNIST： extending MNIST to handwritten letters［C］// Proceedings of the 13th International Joint Conference on Neural Networks. Piscataway： IEEE， 2017： 2921-2926.

[33] XIAO H， RASUL K， VOLLGRAF R. Fashion-MNIST： a novel image dataset for benchmarking machine learning algorithms ［EB/OL］. ［2022-10-20］. https：//arxiv.org/pdf/1708.07747v1.pdf.

[34] NENE S A. Columbia object image library ［DB/OL］. ［2022-10-20］. https：//www1.cs.columbia.edu/CAVE/publications/pdfs/Nene_TR96.pdf.

[35] DUAN L， MA S， AGGARWAL C， et al. Improving spectral clustering with deep embedding， cluster estimation and metric learning［J］. Knowledge and Information Systems， 2021， 63（3）： 675-694.

[36] CAI D， HE X， HAN J. Locally consistent concept factorization for document clustering［J］. IEEE Transactions on Knowledge and Data Engineering， 2010， 23（6）： 902-913.

[37] VINH N， EPPS J， BAILEY J. Information theoretic measures for clusterings comparison： is a correction for chance necessary？［C］//Proceedings of the 26th Annual International Conference on Machine Learning. New York： ACM， 2009： 1073-1080.

[38] VAN DER MAATEN L， HINTON G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research， 2008， 9（11）： 2579-2605.

Deep spectral clustering algorithm with L1 regularization

LI Wenbo1，2， LIU Bo1，2*， TAO Lingling1，2， LUO Fen1，2， ZHANG Hang1，2

（1，，400067，；2（），400067，）

Aiming at the problems that the deep spectral clustering models perform poorly in training stability and generalization capability， a Deep Spectral Clustering algorithm with L1 Regularization （DSCLR） was proposed. Firstly， L1 regularization was introduced into the objective function of deep spectral clustering to sparsify the eigen vectors of the Laplacian matrix generated by the deep neural network model. And the generalization capability of the model was enhanced. Secondly， the network structure of the spectral clustering algorithm based on deep neural network was improved by using the Parametric Rectified Linear Unit activation function （PReLU） to solve the problems of model training instability and underfitting. Experimental results on MNIST dataset show that the proposed algorithm improves Clustering Accuracy （CA）， Normalized Mutual Information （NMI） index， and Adjusted Rand Index （ARI） by 11.85， 7.75， and 17.19 percentage points compared to the deep spectral clustering algorithm， respectively. Furthermore， the proposed algorithm also significantly improves the three evaluation metrics， CA， NMI and ARI， compared to algorithms such as Deep Embedded Clustering （DEC） and Deep Spectral Clustering using Dual Autoencoder Network （DSCDAN）.

deep clustering; spectral clustering; L1 regularization; deep learning; unsupervised learning

This work is partially supported by Science and Technology Research Program of Chongqing Municipal Education Commission （KJZD-K202200803）， Chongqing Natural Science Foundation （cstc2018jcyjAX0057）， Graduate Innovative Scientific Research Project of Chongqing Technology and Business University （yjscxx2022-112-68）.

LI Wenbo， born in 1998， M. S. candidate. His research interests include deep clustering， unsupervised learning， computer vision.

LIU Bo， born in 1977， Ph. D.， associate professor. His research interests include graph neural network， generative adversarial network， interpretability of deep learning， video analysis and understanding.

TAO Lingling， born in 1998， M. S. candidate. Her research interests include computer vision， image processing， generative adversarial network.

LUO Fen， born in 1975， M. S.，lecturer. His research interests include computer vision， medical image processing.

ZHANG Hang， born in 1998， M. S. candidate. His research interests include machine learning， computer vision， deep clustering.

TP311.5

A

1001-9081（2023）12-3662-06

10.11772/j.issn.1001-9081.2022121822

2022?12?06；

2023?02?20；

2023?02?27。

重慶市教委科學(xué)技術(shù)研究項(xiàng)目（KJZD?K202200803）；重慶市自然科學(xué)基金資助項(xiàng)目（cstc2018jcyjAX0057）；重慶工商大學(xué)研究生“創(chuàng)新型科研項(xiàng)目”（yjscxx2022?112?68）。

李文博（1998—），男，重慶人，碩士研究生，主要研究方向：深度聚類、無(wú)監(jiān)督學(xué)習(xí)、計(jì)算機(jī)視覺；劉波（1977—），男，重慶人，副教授，博士，主要研究方向：圖神經(jīng)網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)、深度學(xué)習(xí)的可解釋性、視頻分析與理解；陶玲玲（1998—），女，重慶人，碩士研究生，主要研究方向：計(jì)算機(jī)視覺、圖像處理、生成對(duì)抗網(wǎng)絡(luò)；羅棻（1975—），男，重慶人，講師，碩士，主要研究方向：計(jì)算機(jī)視覺、醫(yī)學(xué)圖像處理；張航（1998—），男，重慶人，碩士研究生，主要研究方向：機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、深度聚類。