尹 明 吳浩楊 謝勝利 楊其宇

聚類作為無監(jiān)督學(xué)習(xí)的技術(shù)[1],是許多領(lǐng)域中常用的統(tǒng)計數(shù)據(jù)分析技術(shù),如圖像分割、人臉識別、文本分析等.給定一組數(shù)據(jù),聚類算法旨在將數(shù)據(jù)分成若干簇,同一簇內(nèi)的數(shù)據(jù)具有相似特征,而不同簇的數(shù)據(jù)具有較大差異的特征,通常衡量數(shù)據(jù)相似性可采用某種距離函數(shù),如歐氏距離、閔可夫斯基距離、信息熵等.目前較流行的聚類方法有k均值(k-means)聚類[2]、層次聚類[3]、譜聚類[4]等.然而現(xiàn)實生活中存在高維數(shù)據(jù),單獨使用以上方法聚類的效率極低,并且在數(shù)據(jù)存在噪聲干擾時結(jié)果也不夠魯棒.

近年來各國學(xué)者發(fā)現(xiàn),雖然高維數(shù)據(jù)的結(jié)構(gòu)在整個數(shù)據(jù)空間很難聚類,但高維數(shù)據(jù)的內(nèi)在結(jié)構(gòu)通常小于實際維度,并且簇結(jié)構(gòu)可能在某個子空間很容易被觀測到[5].因此,為了聚類高維數(shù)據(jù),子空間聚類(Subspace clustering,SC)[6]假定高維空間可分成若干個低維子空間,然后將這些低維子空間中提取的數(shù)據(jù)點分割成不同的簇[7].子空間聚類目前主要有4 大類:迭代法[8]、代數(shù)法[9]、統(tǒng)計法[10]、基于譜聚類的方法[11?16].其中基于譜聚類的子空間聚類一經(jīng)提出就受到了廣泛的關(guān)注,其基本思想是首先計算數(shù)據(jù)點間的相似性來構(gòu)建相似度矩陣,然后再采用譜聚類算法[17]獲得最終聚類結(jié)果.其中最成功的兩種子空間聚類算法為:稀疏子空間聚類(Sparse subspace clustering,SSC)[11]通過?0范數(shù)正則化迫使每個數(shù)據(jù)由用同一子空間的其他數(shù)據(jù)點盡可能稀疏地表示,再利用表示系數(shù)構(gòu)建相似度矩陣,所得的相似度矩陣可捕捉到數(shù)據(jù)的局部結(jié)構(gòu);低秩子空間聚類(Low-rank representation,LRR)[12]通過核范數(shù)正則化來獲得數(shù)據(jù)的最低秩表示,這樣獲得的相似度矩陣具有數(shù)據(jù)的全局結(jié)構(gòu)信息.這兩種算法都采用了數(shù)據(jù)“自表示”機制,有效地刻畫出數(shù)據(jù)的子空間結(jié)構(gòu).

另一方面,隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展,自動編碼器(Autoencoders,AEs)[18]成為流行的特征學(xué)習(xí)方法.其通過編碼器將原始數(shù)據(jù)編碼成一個低維的編碼,然后再通過解碼器把低維的編碼重構(gòu)回原始數(shù)據(jù),這個低維的編碼數(shù)據(jù)可近視作原始數(shù)據(jù)的低維表示.2006 年,Hinton 等對自動編碼器進行改進提出深度自動編碼器(Deep autoencoder,DAE)[19],相較于自動編碼器,由于加深了網(wǎng)絡(luò)深度的DAE可獲得更魯棒的數(shù)據(jù)表示.之后,Vincent 等提出了去噪自動編碼器(Denoising autoencoders,DAEs)[20]通過在數(shù)據(jù)中加入噪聲來進一步提高魯棒性.為了去掉數(shù)據(jù)的冗余信息,獲得稀疏的數(shù)據(jù)表示,Bengio 等提出稀疏自動編碼器(Sparse autoecoders,SAE)[21].Masci 等將編碼器和解碼器的全連接層網(wǎng)絡(luò)替換為卷積神經(jīng)網(wǎng)絡(luò)提出堆疊卷積自動編碼器(Stacked convolutional autoencoders,CAE)[22]從而減少網(wǎng)絡(luò)的參數(shù)量.基于自動編碼器網(wǎng)絡(luò)在特征學(xué)習(xí)上的優(yōu)勢,有研究者將其與聚類[23?24]算法相結(jié)合:例如,深度嵌入聚類(Deep embedded Clusterng,DEC)[25],同時進行深度學(xué)習(xí)與聚類算法(Simultaneous deep learning and clustering,DCN)[23],深度連續(xù)聚類(Deep continuous clustering,DCC)[24]以及Ren 等提出基于深度密度的圖像聚類算法(Deep density-based image clustering,DDC)[26]和半監(jiān)督深度嵌入聚類(Semi-supervised deep embedded clustering,SDEC)[27]等.

在數(shù)據(jù)表示學(xué)習(xí)時,我們可以加深網(wǎng)絡(luò)深度學(xué)習(xí)更深層的表示[28],但通常來說網(wǎng)絡(luò)并不是越深越好,由于AE 網(wǎng)絡(luò)深度過長導(dǎo)致一些信息丟失,尤其是某個特定特征[29?30].為了解決這一問題,注意力模型(Attention model)[30]被提出來.其基本思想是模仿人類的注意力機制,即人類會根據(jù)內(nèi)部經(jīng)驗、外部感覺從一個龐大的信息快速聚焦于局部信息.其計算可分為兩步:首先對輸入信息計算注意力分布,然后根據(jù)注意力分布計算輸入信息的加權(quán)平均.采用了自注意力機制的網(wǎng)絡(luò)相較于其他特征學(xué)習(xí)網(wǎng)絡(luò),會忽視無關(guān)的背景信息.目前注意力模型主要包括軟注意力模型(Soft attention model)[30?31]、硬注意力模型(Hard attention model)[32]、自注意力模型(Self-attention model)[33]、局部注意力模型(Local attention model)和全局注意力模型(Global attention model)[34]等.

深度學(xué)習(xí)另一個突破的進展為2014 年Goodfellow 等提出生成對抗網(wǎng)絡(luò)(Generative adversarial networks,GAN)[35],由一個生成網(wǎng)絡(luò)與一個判別網(wǎng)絡(luò)組成,通過讓兩個神經(jīng)網(wǎng)絡(luò)相互博弈的方式進行學(xué)習(xí).首先,生成網(wǎng)絡(luò)從潛在空間(Latent space)中隨機采樣作為輸入,其輸出結(jié)果需要盡量模仿訓(xùn)練集里的真實樣本.而判別網(wǎng)絡(luò)的輸入則為真實樣本或生成網(wǎng)絡(luò)的輸出,其目的是將生成網(wǎng)絡(luò)的輸出從真實樣本中盡可能分辨出來.最終生成器生成的樣本近似于真實樣本.近些年有學(xué)者發(fā)現(xiàn)生成對抗模型也可以在聚類分析上起到作用,Chen 等提出的Info-GAN[36]在原本的輸入增加一個新的潛在編碼(Latent code),來控制生成結(jié)果,當(dāng)這個編碼為離散編碼時,該算法具有聚類的作用.Mukherjee 等提出ClusterGAN[37],在Info-GAN 的基礎(chǔ)上增加一個編碼器來對生成器生成的圖像再進行編碼來對輸入的潛在編碼進行約束,從而獲得更好的聚類性能.值得注意的是,Makhzani 在2016 年將自動編碼器和生成對抗網(wǎng)絡(luò)相結(jié)合的對抗自動編碼器(Adversarial autoencoders,AAE)[38],該算法在半監(jiān)督分類和無監(jiān)督聚類均有效果.

盡管上述方法在某種程度上提升了聚類精度,但如何有效地挖掘數(shù)據(jù)內(nèi)蘊的子空間結(jié)構(gòu),獲得更魯棒的數(shù)據(jù)表示仍待進一步研究.因此,本文擬提出一種基于自注意力對抗機制的深度子空間聚類方法.在包含“自表示”網(wǎng)絡(luò)層的深度自動編碼器網(wǎng)絡(luò)中,我們引入自注意力機制以捕捉重要特征信息,而且利用對抗網(wǎng)絡(luò)增強特征學(xué)習(xí)的魯棒性.由此,學(xué)習(xí)到更魯棒的數(shù)據(jù)子空間結(jié)構(gòu),獲得更優(yōu)的聚類結(jié)果.歸納而言,本文的主要貢獻為:

1) 提出一種利用對抗機制提升子空間聚類的算法,使得編碼器學(xué)習(xí)到的特征表示更具有魯棒性;

2) 引入自注意力模型來解決聚類分析中特征學(xué)習(xí)的長距離依賴問題.

本文章節(jié)安排如下:第1 節(jié)描述了和基于自注意力對抗的子空間聚類相關(guān)的算法,第2 節(jié)描述基于自注意力對抗的子空間聚類的網(wǎng)絡(luò)結(jié)構(gòu)以及原理,第3 節(jié)通過在MNIST,Fashion-MNIST 等數(shù)據(jù)集實驗并分析,第4 節(jié)總結(jié)全文,并提出進一步的研究方向.

1 相關(guān)工作

本文方法是在深度子空間聚類框架中引入自注意力模型和對抗訓(xùn)練機制的方法,因此,本節(jié)將圍繞子空間聚類、自注意力模型和生成對抗網(wǎng)絡(luò)進行簡要介紹.

1.1 深度子空間聚類

給定一數(shù)據(jù)集X={x1,x2,···xn} ∈Rd×n,假設(shè)這組數(shù)據(jù)集屬于N個線性子空間子空間維度分別為假設(shè)屬于某線性子空間Si的樣本足夠多,且張成整個子空間Si,則Si中的任意一樣本x均能表示為X中除去x的線性組合,即數(shù)據(jù)集的“自表示”特性[7],則有如下子空間學(xué)習(xí)模型:

C ∈Rn×n為輸入數(shù)據(jù)X的自表示系數(shù)矩陣,其中Ci為第i個數(shù)據(jù)Xi由其他數(shù)據(jù)表示的系數(shù)向量.∥C∥p為正則化項,∥·∥p為任意矩陣范數(shù),如稀疏子空間聚類的1-范數(shù)∥C∥1[11],低秩子空間聚類核范數(shù)∥C∥?[12]和F-范數(shù)[39].然后使用譜聚類算法對由自表示系數(shù)矩陣構(gòu)建的相似度矩陣聚類,獲得最終聚類結(jié)果.

學(xué)者們發(fā)現(xiàn)基于自表示方法利用不同的正則化項可以處理受損數(shù)據(jù),例如,包含噪聲和異常值的數(shù)據(jù),而且自表示系數(shù)矩陣呈現(xiàn)出塊對角化的結(jié)構(gòu),這非常有利于后續(xù)的譜聚類[7]處理.因此,如何獲得魯棒的自表示系數(shù)矩陣是基于譜聚類的子空間聚類算法的關(guān)鍵問題.

然而,上述子空間模型學(xué)習(xí)到的自表示結(jié)構(gòu)僅適用于線性子空間.另一方面,現(xiàn)實數(shù)據(jù)常常具有高維的非線性結(jié)構(gòu),傳統(tǒng)子空間學(xué)習(xí)受到限制.可喜的是,深度自動編碼器可將數(shù)據(jù)轉(zhuǎn)換至一個潛在的低維子空間,捕獲數(shù)據(jù)的非線性結(jié)構(gòu),從而獲得數(shù)據(jù)的低維特征表示.因此與深度神經(jīng)網(wǎng)絡(luò)結(jié)合的子空間學(xué)習(xí)旨在低維特征上學(xué)習(xí)數(shù)據(jù)的自表示系數(shù),如深度子空間聚類算法(Deep subspace clustering,DSC)[40].DSC 首先采用深度自動編碼器學(xué)習(xí)原數(shù)據(jù)的低維特征表示,然后利用一個由全連接網(wǎng)絡(luò)構(gòu)成的自表示層來學(xué)習(xí)數(shù)據(jù)的相鄰關(guān)系,該自表示層將神經(jīng)元連接的權(quán)重視為同一子空間中數(shù)據(jù)樣本之間的相似度.其目標(biāo)函數(shù)表示如下:

圖1 深度子空間聚類網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 The framework of Deep Subspace Clustering

1.2 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)(GAN)通過生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)相互博弈以達到納什均衡[35?41],用G表示為生成器,D為判別器,其訓(xùn)練目標(biāo)函數(shù)為:

式中,E(·) 表示分布函數(shù)的期望值,pdata(x) 為真樣本分布,pz(z) 定義低維噪聲分布,log(·) 表示對數(shù)運算.V(D,G)為真、假樣本的差異程度,表示當(dāng)生成器固定時,使判別器最大化地判別出樣本來自于真實數(shù)據(jù)還是生成的數(shù)據(jù),表示當(dāng)判別器固定時,期望生成器最小化真樣本與假樣本的差異.

在生成對抗模型中,首先由隨機向量或噪聲z通過生成器生成一個假樣本G(z),然后判別器對真樣本x和假樣本G(z) 進行真假判斷.當(dāng)判別器D對真樣本x甄別越嚴(yán)格,D(x) 值也越接近于1,此時logD(x)值也就越接近于0.其標(biāo)準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,通常式(3)中判別器損失采用交叉熵?fù)p失函數(shù),即通過交叉熵來判別兩個分布的相似性.當(dāng)目標(biāo)函數(shù)收斂時,生成分布將擬合于真實分布.

由于生成對抗網(wǎng)絡(luò)可以將一個生成樣本分布擬合于真實分布,使得其不僅局限于樣本生成,而且任何數(shù)據(jù)分布均可采用生成對抗網(wǎng)絡(luò)來擬合,例如,對抗自動編碼器(AAE)[38]將特征表示分布擬合于標(biāo)準(zhǔn)高斯分布,獲得與變分自動編碼器(Variational autoencoders,VAE)[42]相似的效果.

1.3 自注意力模型

目前大多數(shù)注意力模型嵌入于編?解碼器(Encoder-decoder)框架.通常一個高維的數(shù)據(jù)通過編碼輸出一個低維的特征表示時,會損失大量的信息,注意力模型可以對不同的數(shù)據(jù)信息加權(quán)平均,因此含有注意力模型的編?解碼器框架會編碼出一個低維且信息損失較少的特征表示.注意力模型的數(shù)學(xué)表達如下:

其中,s(·) 為計算Q和KT的相似度函數(shù),K=V=fe(·),Q=fd(·) .一般,注意力模型可以抽象為計算輸出信息Q與輸入信息?K,V?的關(guān)聯(lián)性.

自注意力模型是注意力模型家族中最為廣泛應(yīng)用的一種.在該模型中K,V與普通注意力模型一樣來自于輸入信息,另一方面為了能直接捕捉到輸入數(shù)據(jù)矩陣中任意兩個向量的關(guān)聯(lián)性,Q也源于輸入信息.但注意力模型不局限于編?解碼器框架,例如,自注意力生成對抗網(wǎng)絡(luò)(Self-attention generative adversarial networks,SAGAN)[43]中將自注意力模型引入生成對抗網(wǎng)絡(luò),不僅解決卷積結(jié)構(gòu)帶來的感受野大小限制,也使得在生成圖像時,每個局部區(qū)域的生成會與全局細(xì)節(jié)相協(xié)調(diào).

2 基于自注意力對抗的深度子空間聚類算法

盡管現(xiàn)有DSC 算法在一定程度上改善了聚類性能,但其網(wǎng)絡(luò)結(jié)構(gòu)的感受野受到限制[43],即過大的通道數(shù)導(dǎo)致卷積運算難以捕捉數(shù)據(jù)不同局部間結(jié)構(gòu),而且所學(xué)習(xí)到的數(shù)據(jù)隱特征分布無法重構(gòu)具有判別性的樣本.因此,本節(jié)提出一種基于自注意力對抗機制的深度子空間聚類算法,在DSC 網(wǎng)絡(luò)中引入自注意力模塊,并約束數(shù)據(jù)特征分布近似于任意的先驗概率.

2.1 網(wǎng)絡(luò)模型與結(jié)構(gòu)

基于自注意力對抗的深度子空間聚類網(wǎng)絡(luò)框架如圖4 所示,為了保證在特征學(xué)習(xí)過程中長距離依賴,我們在編碼模塊的最后一層卷積網(wǎng)絡(luò)后添加一個自注意力模塊.其中自注意力模塊結(jié)構(gòu)如圖3 所示,對前一層網(wǎng)絡(luò)的數(shù)據(jù)通過1×1 的卷積網(wǎng)絡(luò)獲得K,V,Q.將K轉(zhuǎn)置與V相乘并經(jīng)過softmax 歸一化得到注意力映射,再與Q點積得到最終的自注意力特征映射.在判別網(wǎng)絡(luò)中,倒數(shù)第二層卷積網(wǎng)絡(luò)中輸出的通道數(shù)為1 000,由于過大的通道數(shù)會導(dǎo)致卷積運算很難處理不同局部間的關(guān)系,因此我們在此處也增加一個自注意力模塊.

圖3 自注意力模塊Fig.3 Self-attention module

圖4 基于自注意力對抗的深度子空間聚類網(wǎng)絡(luò)框架Fig.4 The framework of self-attention adversarial network based deep subspace clustering

在訓(xùn)練生成對抗網(wǎng)絡(luò)時,由于判別器過于強大很容易導(dǎo)致輸出梯度值為0,即梯度消失,導(dǎo)致沒有足夠的梯度信息去更新生成器.針對生成對抗網(wǎng)絡(luò)的梯度消失問題,不少學(xué)者對其損失函數(shù)進行改進.Arjovsky 等認(rèn)為式(3)交叉熵的選擇無論是KL-散度還是JS-散度都有其局限,提出Wasserstein GAN (WGAN)[44]采用Earth-mover (EM)距離衡量兩個分布距離,并去掉了對數(shù) log 運算,其生成損失和判別損失函數(shù)分開表述如下:

但是,上式中每次更新判別器需要將梯度信息絕對值截斷,不超過某個固定常數(shù)來保證判別器的穩(wěn)定性.因此,WGAN-GP (Improved training of Wasserstein GANs)[45]將梯度截斷作為一個梯度懲罰項加入式(7)中,但這需要滿足Lipschitz 條件才能保證梯度懲罰起作用,而Lipschitz 條件又使得截斷的梯度值趨向于設(shè)定的固定常數(shù)的負(fù)值邊界或者正值邊界.為解決這個問題,Wu 等采用Wasserstein 散度的概念,提出Wasserstein divergence for gans (WGAN-div)[46]擺脫了WGAN-GP 對Lipschitz 條件約束的依賴.

綜合前人研究的GAN 及其變種,我們網(wǎng)絡(luò)中生成對抗網(wǎng)絡(luò)部分的損失函數(shù)[46]構(gòu)造如下:

其中,Zg=fe(X) 為輸入數(shù)據(jù)的特征表示.如圖4所示,在生成對抗網(wǎng)絡(luò)結(jié)構(gòu)中,編碼模塊可以視為一個生成模塊,用于生成特征表示.

因此從生成對抗網(wǎng)絡(luò)的角度看,Zg為假樣本,真樣本Zr來自于一個先驗分布的采樣,該先驗可以服從標(biāo)準(zhǔn)高斯分布、混合高斯分布等.將真假特征同時輸入至判別器網(wǎng)絡(luò),通過博弈訓(xùn)練使得生成器生成的特征分布結(jié)構(gòu)趨向于設(shè)定的先驗分布的結(jié)構(gòu),導(dǎo)致解碼器能夠?qū)⒉捎米韵闰灧植紁(z) 的樣本生成為觀測數(shù)據(jù),從而提高特征學(xué)習(xí)的魯棒性,增加網(wǎng)絡(luò)的抗干擾能力.

考慮引入了生成對抗網(wǎng)絡(luò),我們對式(2)改寫如下:

相比于式(2),上式中的特征表示已經(jīng)過生成對抗網(wǎng)絡(luò)優(yōu)化,具有先驗分布的結(jié)構(gòu)特性.

此外,除自注意力模塊外,我們還增加了一個殘差模塊來加深網(wǎng)絡(luò)的深度.由于殘差模塊是深度神經(jīng)網(wǎng)絡(luò)內(nèi)部的一部分,網(wǎng)絡(luò)的損失函數(shù)保持不變.引入殘差模塊后,自注意力模塊的輸出與殘差模塊的輸出相加作為下一個神經(jīng)網(wǎng)絡(luò)單元的輸入.其中殘差模塊為兩個卷積核大小為3×3 的卷積網(wǎng)絡(luò),卷積步長為1.

2.2 網(wǎng)絡(luò)訓(xùn)練

結(jié)合聚類和生成對抗機制,網(wǎng)絡(luò)的總體損失函數(shù)為

在訓(xùn)練生成對抗網(wǎng)絡(luò)時,通過生成損失和判別損失迭代訓(xùn)練來達成彼此互相更新.因此,首先最小化(8)的損失來獲得特征表示,然后再通過最小化判別損失和生成損失優(yōu)化特征表示,以epoch 作為一個訓(xùn)練次數(shù),反復(fù)迭代訓(xùn)練三個損失函數(shù)達到穩(wěn)定.綜上所述,我們的網(wǎng)絡(luò)訓(xùn)練步驟如下:λ2,λ3

輸.入.數(shù)據(jù)集X,學(xué)習(xí)率η,以及超參數(shù)λ1,

步驟 1.依據(jù)式(8)求得特征表示Zg.

步驟 2.依據(jù)式(7) 判斷Zg與Zr之間的相似性,并由式(6)優(yōu)化Zg.

步驟 3.依據(jù)式(8)更新Zg.

步驟 4.重復(fù)步驟1～ 步驟 3,直到達到最大epoch 值為止.

輸出.自表示系數(shù)C.

一旦完成網(wǎng)絡(luò)訓(xùn)練,將學(xué)習(xí)到數(shù)據(jù)的相鄰關(guān)系,最后利用譜聚類對C進行聚類,獲得數(shù)據(jù)的聚類結(jié)果.

3 實驗結(jié)果與分析

本實驗是基于Python 編程語言進行仿真,操作系統(tǒng)為Ubuntu,主要軟件架構(gòu)為TensorFlow 1.0,配置CUDA 8.0 和cuDNN 5.1,使用4 塊英偉達GPU GTX 1080Ti.

3.1 實驗數(shù)據(jù)集與參數(shù)設(shè)置

為了驗證所提算法的有效性,我們在5 個公開的數(shù)據(jù)集上進行了實驗,兩個手寫數(shù)字?jǐn)?shù)據(jù)集MNIST[47]和USPS,一個物品數(shù)據(jù)集COIL-20[48],一個人臉數(shù)據(jù)集Extended Yale B[49](下文統(tǒng)稱YaleB)以及一個衣服數(shù)據(jù)集Fashion-MNIST (下文統(tǒng)稱FMNIST).數(shù)據(jù)集的詳細(xì)信息見表1 所示.

表1 數(shù)據(jù)集信息Table 1 Information of the datasets

針對5 個數(shù)據(jù)集,我們的實驗參數(shù)如表2 所示.其中,λ1和λ2分別為對自表示項和正則化項貢獻度的權(quán)重參數(shù),為了方便調(diào)參,我們令λ1=1 .此外,在實驗過程中,我們發(fā)現(xiàn)式(7)中的參數(shù)λ3對結(jié)果影響式微,可能是生成對抗網(wǎng)絡(luò)中只要存在梯度懲罰便可使網(wǎng)絡(luò)穩(wěn)定.

表2 參數(shù)設(shè)置Table 2 Parameter setting

3.2 網(wǎng)絡(luò)結(jié)構(gòu)信息

實驗中編碼器網(wǎng)絡(luò)結(jié)構(gòu)為三層卷積網(wǎng)絡(luò),解碼器和編碼器的網(wǎng)絡(luò)結(jié)構(gòu)對稱,Fashion-MNIST 編碼器為一層卷積網(wǎng)絡(luò)和三個殘差模塊,解碼器也保持對稱,COIL-20 僅用一層卷積網(wǎng)絡(luò),卷積網(wǎng)絡(luò)具體參數(shù)如表3 所示.

表3 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Table 3 Network structure parameter

所有實驗中判別器網(wǎng)絡(luò)采用三層卷積網(wǎng)絡(luò),均為1×1 的卷積核,以便增加通道的信息交互,其通道數(shù)為[1 000,1 000,1].同時,我們將自注意力模塊加在判別器網(wǎng)絡(luò)的倒數(shù)第二層以增加1 000 個通道特征的長距離依賴.對于算法的預(yù)訓(xùn)練,大多數(shù)以自動編碼器為架構(gòu)的深度聚類算法均采用了自動編碼器來進行預(yù)訓(xùn)練.但由于本文算法引入了生成對抗網(wǎng)絡(luò),為了避免判別器初始訓(xùn)練過于強大而干擾特征學(xué)習(xí),因此我們使用對抗自動編碼器(AAE)進行預(yù)訓(xùn)練.

所有實驗采用Adam[50]優(yōu)化,在激活函數(shù)的選擇上,除YaleB 采用leaky relu 外,其他幾個數(shù)據(jù)集均采用relu,式(8)學(xué)習(xí)率設(shè)置為0.0001,動量因子為0.9,式(6)和(7)學(xué)習(xí)率為0.0001,動量因子為0.9,batchsize 為表1 中對應(yīng)的樣本數(shù)量.

3.3 評價指標(biāo)

為了評估我們算法的優(yōu)越性,我們采用兩個常用的度量方法:聚類精度(ACC) 和標(biāo)準(zhǔn)互信息(NMI)[51]來作為聚類的效果.

式(11) 中,I(·) 表示為互信息,即兩個隨機變量的相關(guān)程度,H(·) 為熵,A與B分別表示聚類的標(biāo)簽和正確標(biāo)簽,其中I(A,B)=H(A)+H(B)?H(A,B).

3.4 實驗結(jié)果

在實驗中,本文采用了與所提出算法相關(guān)的深度聚類方法進行實驗結(jié)果對比,其中包括:Struct-AE[52]、DASC[53]、DCN、DSC 及DEC.實驗結(jié)果如表4 所示,實驗數(shù)據(jù)均為重復(fù)30 次的平均值,其中加粗?jǐn)?shù)字表示最優(yōu)值.因StructAE 與DASC 作者沒有開源代碼,其實驗數(shù)據(jù)為引用自原論文.此外,由于其沒有在FMNIST 和USPS 上進行實驗,因此在這兩個數(shù)據(jù)集上無實驗數(shù)據(jù)對比.DSC 在數(shù)據(jù)集YaleB、COIL-20、MNIST 的實驗結(jié)果引用其論文,而在FMNIST 和USPS 的實驗結(jié)果為我們測試所得.DEC 與DCN 在YaleB 和COIL-20 上的實驗結(jié)果為我們測試,其余引用原論文結(jié)果.其中DEC 在YaleB 的實驗結(jié)果過于不合理,我們多次調(diào)節(jié)網(wǎng)絡(luò)參數(shù)均無明顯改變,因此DEC 在YaleB無測試結(jié)果,用“*”表示.

從表4 可看出,我們算法在ACC 和NMI 指標(biāo)上均優(yōu)于其他6 個深度聚類算法,通過DSC-L1、DSC-L2 和我們算法結(jié)果對比可看出經(jīng)過自注意力生成對抗網(wǎng)絡(luò)學(xué)習(xí)到的特征表示在聚類上可以獲得更好的結(jié)果,例如,在MNIST 數(shù)據(jù)集上,我們的算法相比于次優(yōu)DEC 的ACC 和NMI 分別提高了0.1110 和0.1281.DEC 在YaleB 上的結(jié)果與DCN在COIL-20 上結(jié)果欠佳是因為其沒有自表示結(jié)構(gòu),沒有很好地捕捉數(shù)據(jù)之間的關(guān)聯(lián)性.DSC、DASC以及我們的算法均含有自表示結(jié)構(gòu),因此在部分?jǐn)?shù)據(jù)上性能要優(yōu)于DEC 和DCN.為了探討我們生成對抗網(wǎng)絡(luò)的穩(wěn)定性,因此我們對MNIST 的訓(xùn)練損失可視化.如圖5 所示,可看出生成損失和判別損失存在對稱性,表明式(5)中的梯度懲罰項是的網(wǎng)絡(luò)中生成器和判別器的相互博弈均衡,不存在一方過于強大的現(xiàn)象.此外,本文算法的網(wǎng)絡(luò)訓(xùn)練損失曲線呈現(xiàn)逐漸下降的走勢,且最終趨向平緩,表明在自表示系數(shù)學(xué)習(xí)過程中,網(wǎng)絡(luò)穩(wěn)定,損失函數(shù)收斂,并沒有因生成對抗損失的引入導(dǎo)致存在不穩(wěn)定現(xiàn)象.此外DSC 網(wǎng)絡(luò)中相較于SAADSC 沒有自注意力模塊和對抗網(wǎng)絡(luò),我們選擇了DSC-L2 的結(jié)果進行對比,可發(fā)現(xiàn)增加自注意力模塊和對抗網(wǎng)絡(luò)后,算法在聚類精度和標(biāo)準(zhǔn)互信息上均有所提高.

圖5 MNIST 的網(wǎng)絡(luò)訓(xùn)練損失Fig.5 The loss function of SAADSC during training on MNIST

表4 5 個數(shù)據(jù)集的實驗結(jié)果Table 4 Experimental results of five datasets

為了探討不同先驗分布對結(jié)果的影響,我們選擇三種不同的分布在三個數(shù)據(jù)集上進行實驗對比.如表5 所示,高斯分布取得最優(yōu)的結(jié)果,這是因為當(dāng)樣本容量無限大的時候,數(shù)據(jù)的樣本分布趨向于高斯分布.其次,高斯分布的熵值很大,當(dāng)數(shù)據(jù)分布未知時選擇熵值最大的模型效果會更好.

表5 不同先驗分布的實驗結(jié)果Table 5 Clustering results on different prior distributions

3.5 各模塊作用分析 (Ablation study)

為了評估所提出網(wǎng)絡(luò)中每個模塊的作用,我們分別對其進行測試,Test1 表示去掉自注意力模塊及殘差模塊后的網(wǎng)絡(luò);Test2 為去掉自表示層的網(wǎng)絡(luò),通過譜聚類算法對構(gòu)成的鄰接矩陣進行聚類;Test3 為排除自表示層后使用K-means對Zg聚類;Test4 排除了網(wǎng)絡(luò)中殘差模塊.實驗結(jié)果如表6 所示,我們可以看出殘差模塊對網(wǎng)絡(luò)貢獻力度最小,自表示層作用最大,其次是自注意力模塊.由于自表示層構(gòu)建數(shù)據(jù)之間的線性表示,通過自表示層獲得的系數(shù)矩陣反映了類內(nèi)數(shù)據(jù)的關(guān)聯(lián)性和類間數(shù)據(jù)的不相關(guān)性.

表6 SAADSC 網(wǎng)絡(luò)中不同模塊的作用Table 6 Ablation study on SAADSC

3.6 魯棒性實驗

另外,為了測試我們的特征表示相比于深度子空間聚類算法是否更具有魯棒性,針對COIL-20和USPS 數(shù)據(jù)集我們進行了噪聲測試.具體而言,將對應(yīng)百分比的像素點替換為隨機的高斯噪聲,采用算法DSC-L1、DSC-L2 和DASC 進行對比,因DASC 代碼沒開源,因此其在USPS 噪聲實驗中,無對比數(shù)據(jù).且由于DASC 采取柱狀圖進行對比,因此表7 中COIL-20 的實驗數(shù)據(jù)為對其論文柱狀圖的近似估計.其余均為測試結(jié)果.實驗結(jié)果如表7和表8 所示.可看出,DSC-L1 和DSC-L2 隨著噪聲越大結(jié)果下降越明顯,而DASC 和SAADSC 由于引入生成對抗網(wǎng)絡(luò)使得算法具有抗干擾能力.相較于DASC,我們的網(wǎng)絡(luò)的自注意力機制會在生成對抗學(xué)習(xí)過程中起到積極作用,從而提升了算法的抗干擾能力.

表7 含有噪聲的COIL-20 聚類結(jié)果Table 7 Clustering results on the noisy COIL-20

表8 含有噪聲的USPS 聚類結(jié)果Table 8 Clustering results on the noisy USPS

4 結(jié)論

針對現(xiàn)實數(shù)據(jù)結(jié)構(gòu)復(fù)雜、如何獲得更魯棒的數(shù)據(jù)表示以便改善聚類性能問題,本文提出一種基于對抗訓(xùn)練的深度子空間聚類,利用對抗網(wǎng)絡(luò)的博弈學(xué)習(xí)能力使得編碼器網(wǎng)絡(luò)學(xué)習(xí)到的特征表示服從預(yù)設(shè)定的先驗分布特性,而且引入自注意力機制和殘差網(wǎng)絡(luò)模塊,來增強特征學(xué)習(xí)的魯棒性,從而提升聚類性能.實驗結(jié)果表明,本文算法結(jié)在精確率(ACC)和標(biāo)準(zhǔn)互信息(NMI)等指標(biāo)上都優(yōu)于目前最好的方法.