劉小蘭 葉澤慧

(華南理工大學(xué) 數(shù)學(xué)學(xué)院，廣東 廣州 510640)

現(xiàn)實世界中的許多數(shù)據(jù)集由不同的表示或視圖組成。對于同一個數(shù)據(jù)，可以根據(jù)該數(shù)據(jù)的不同特征進行劃分，每種特征代表一種視圖數(shù)據(jù)。例如，網(wǎng)頁可通過文本或網(wǎng)頁鏈接的形式獲取數(shù)據(jù)，從而構(gòu)成兩個視圖的多視圖數(shù)據(jù)；同一個故事可以在不同的新聞中被講述，一份文件可以被翻譯成多種不同的語言等等。通常，多視圖為語義相同的數(shù)據(jù)提供兼容和互補信息，因此將它們集成在一起能獲得比單視圖更好的性能[1]。多視圖聚類的目的是基于對象的多個表示將對象劃分為若干個簇。近年來利用多視圖數(shù)據(jù)的互補性和一致性，研究者們提出了很多多視圖聚類算法?，F(xiàn)有的多視圖聚類算法大致可分為4類。第1類方法是基于子空間的方法[2- 6]，這些方法學(xué)習(xí)一個潛在空間，將不同視圖的數(shù)據(jù)都投影到這個潛在空間。第2類方法是基于協(xié)同訓(xùn)練的方法[7- 9]，這些方法用迭代聚類的方式獲得聚類結(jié)果。第3類稱為后期融合[10- 12]，它通過投票或其他融合策略將不同視圖的聚類結(jié)果結(jié)合起來。最后一類方法是在多視圖數(shù)據(jù)之間學(xué)習(xí)一個一致的、可用于最終聚類的相似矩陣[13]。

應(yīng)該指出的是，以前的多視圖聚類方法通常假定所有視圖都具有完整的信息，即數(shù)據(jù)庫中的每個視圖都具有完整的特征集。然而，在實際應(yīng)用中，經(jīng)常會出現(xiàn)一些視圖缺少信息的情況。例如，一份損壞的文件有英語和中文兩個版本，即英語和中文分別為文件的兩個視圖，并且這兩個視圖都存在信息缺失，現(xiàn)在需要對文件里的內(nèi)容進行聚類，由此產(chǎn)生了缺失多視圖聚類問題。針對缺失多視圖聚類問題，常見的方法可分為兩大類。第1類是基于核的方法。RAI等[14]和Shao等[15]提出補全不完全多視圖核矩陣的方法，然后使用基于內(nèi)核的聚類方法進行聚類。然而，這些方法只能處理基于核的多視圖聚類算法，這極大地限制了它們擴展到更廣泛的多視圖聚類方法。第2類是基于非負(fù)矩陣分解(NMF)的方法。Li等[16]提出了一種基于非負(fù)矩陣分解的缺失多視圖聚類方法PVC，但它只能處理兩個視圖的問題。Shao等[17]提出了一種魯棒的帶l2,1正則化的加權(quán)非負(fù)矩陣分解的缺失多視圖聚類算法MIC。Rai等[18]探索每個視圖中數(shù)據(jù)分布的內(nèi)在幾何結(jié)構(gòu)，將PVC方法擴展到兩個視圖以上的情況，并考慮了各個視圖的圖拉普拉斯正則化，提出了GPMVC算法。Zhao等[19]考慮了多視圖數(shù)據(jù)的緊湊全局結(jié)構(gòu)，通過拉普拉斯項將不同視圖缺失的樣本數(shù)據(jù)連接起來。Yin等[1]對缺失多視圖數(shù)據(jù)學(xué)習(xí)統(tǒng)一的潛在表示和投影矩陣，所學(xué)的潛在表示即為歸一化指標(biāo)矩陣的一個近似。Xu等[20]提出了一種同時進行潛在表示學(xué)習(xí)和子空間聚類的統(tǒng)一框架。然而，這些方法都有一些局限性，限制了其應(yīng)用：

(1)利用非負(fù)矩陣分解來學(xué)習(xí)數(shù)據(jù)的潛在表示，它不能很好地處理帶有負(fù)特征表示的數(shù)據(jù)。

(2)非負(fù)矩陣分解方法利用了正則化方法來約束新表示，因此在每個視圖中沒有顯式地補全丟失的數(shù)據(jù)。

針對上述問題，受到文獻[21]提出的生成式方法的啟發(fā)，考慮先補全各視圖缺失的數(shù)據(jù)，然后再用完整的多視圖聚類方法對多視圖數(shù)據(jù)進行聚類。也就是說，通過直接補全缺失的樣本，缺失多視圖聚類問題可以轉(zhuǎn)化為完整的多視圖聚類問題，這使得在進行聚類任務(wù)時，對于聚類模型的選擇可以更廣泛。極大似然估計法、近似法、馬爾科夫鏈法等都是傳統(tǒng)的生成式方法。最近，基于深度神經(jīng)網(wǎng)絡(luò)(DNN)構(gòu)建的生成式模型在圖像合成、圖像轉(zhuǎn)換、超分辨率成像和人臉圖像合成等方面都獲得了成功，典型的網(wǎng)絡(luò)結(jié)構(gòu)包括循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)[22]、卷積神經(jīng)網(wǎng)絡(luò)(CNN)[23]、變分自編碼器(VAE)[24]和生成對抗網(wǎng)絡(luò)(GAN)[25- 28]等。其中，GAN避免了馬爾科夫鏈?zhǔn)降膶W(xué)習(xí)機制的缺點，當(dāng)真實數(shù)據(jù)樣本概率密度不可計算時，模型依然可以應(yīng)用[29]。它在結(jié)構(gòu)上受博弈論中二人零和博弈啟發(fā)，通過構(gòu)建生成模型和判別模型捕捉真實數(shù)據(jù)樣本的潛在分布并生成新的數(shù)據(jù)樣本。例如，Isola等[26]利用配對訓(xùn)練數(shù)據(jù)的條件生成對抗網(wǎng)絡(luò)[28]將圖像從一種分布轉(zhuǎn)移到另一種分布，并發(fā)展了Pix2Pix生成對抗網(wǎng)絡(luò)，在圖像成對轉(zhuǎn)換工作中取得了不錯的結(jié)果?？墒?，Pix2Pix只適用于成對的圖像。為了解決這個問題，Zhu等[27]提出了循環(huán)生成對抗網(wǎng)絡(luò)，它利用循環(huán)一致性損失保存輸入和轉(zhuǎn)換后的圖像之間的關(guān)鍵屬性來訓(xùn)練未配對圖像，具有比Pix2Pix生成對抗網(wǎng)絡(luò)更好的性能。但無論是 Pix2Pix生成對抗網(wǎng)絡(luò)還是循環(huán)生成對抗網(wǎng)絡(luò)，都只解決了從一個域到另一個域的圖像轉(zhuǎn)換問題。當(dāng)有很多域需要轉(zhuǎn)換時，對于每一對域轉(zhuǎn)換，都需要重新訓(xùn)練一個模型去解決。也就是說，對于含有K個域的轉(zhuǎn)換問題，循環(huán)生成對抗網(wǎng)絡(luò)等需要學(xué)習(xí)K*(K-1)個生成模型。最近，Choi等[30]提出的星型生成對抗網(wǎng)絡(luò)(StarGAN)，通過加入一個域的控制信息，解決了多域間的轉(zhuǎn)換問題，它僅需要學(xué)習(xí)一個模型，并且具有更好的效果。

文獻[21]中基于循環(huán)生成對抗網(wǎng)絡(luò)提出了一種缺失多視圖聚類方法CGPMVC。CGPMVC不僅可以捕獲良好的聚類結(jié)構(gòu)，還推斷出缺失的視圖數(shù)據(jù)。然而，CGPMVC存在兩個缺陷。第一，CGPMVC是基于循環(huán)生成對抗網(wǎng)絡(luò)提出的，所以它繼承了循環(huán)生成對抗網(wǎng)絡(luò)的缺點，即當(dāng)有很多域需要轉(zhuǎn)換時，對于每一對域轉(zhuǎn)換，都需要重新訓(xùn)練一個模型去解決，這可能導(dǎo)致模型難以訓(xùn)練且過于復(fù)雜。第二，CGPMVC沒有充分利用視圖的信息，對于3個及以上的缺失多視圖，它沒有考慮到不同視圖對對應(yīng)的生成模型生成的數(shù)據(jù)之間的聯(lián)系，即它的每對生成模型是割裂的。對于3個及以上的缺失多視圖聚類問題，考慮到StarGAN僅需要學(xué)習(xí)一個生成模型，通過加入一個控制信息就能指導(dǎo)各缺失視圖數(shù)據(jù)的生成，并建立各個視圖的聯(lián)系，文中提出了一種基于StarGAN和子空間學(xué)習(xí)的缺失多視圖聚類模型SSPMVC。SSPMVC首先構(gòu)建基于DNN的編碼模型將多視圖數(shù)據(jù)映射至同一表征空間，然后將編碼后的多視圖數(shù)據(jù)通過基于StarGAN的生成模型生成其它視圖缺失的數(shù)據(jù)。這里的生成模型僅要學(xué)習(xí)一個生成器就可以生成多個視圖缺失的數(shù)據(jù)，并且充分考慮了各視圖數(shù)據(jù)之間的完整性與一致性。接著構(gòu)建一個基于子空間的聚類模型，該聚類模型利用各視圖數(shù)據(jù)的互補性學(xué)習(xí)了一個具有良好聚類性質(zhì)的潛在子空間結(jié)構(gòu)。它將學(xué)習(xí)的各個視圖的低維相似矩陣進行融合，得到包含所有視圖信息的相似矩陣，最后進行譜聚類。在幾個多視圖數(shù)據(jù)庫上的實驗驗證了本文中提出算法的有效性。

1 相關(guān)工作

1.1 多視圖子空間聚類

近年來，許多論文[34- 38]致力于利用輸入數(shù)據(jù)的自表示和對自表示矩陣添加約束得到一個良好的相似矩陣。更具體地說，對數(shù)據(jù)M∈Rd×n(每列為一個數(shù)據(jù))，通過求解下面的優(yōu)化問題來得到相似矩陣C：

(1)

式中,d表示數(shù)據(jù)的維數(shù)，n表示數(shù)據(jù)的個數(shù)，C∈Rn×n對應(yīng)M的自表示矩陣，||·||F表示Frobenius范數(shù)，R(C)表示正則化條件。這些方法的主要區(qū)別在于R(C)的選擇。例如，稀疏子空間聚類(SSC)[39]中的C用“l(fā)1-范數(shù)”使C成為稀疏的，而低秩表示(LRR)[34]的C則采用核范數(shù)作為R(·)，使C成為低秩的。求得C后，通過A=|C|+|CT|建立一個親和矩陣，然后對A進行譜聚類，最終得到數(shù)據(jù)的聚類結(jié)果。

文獻[2- 6，13，38- 39]中將上述單視圖子空間聚類算法推廣到了多視圖子空間聚類算法。多視圖子空間聚類模型的一般描述如下：

(2)

式中，Xi，Ci分別表示第i個視圖的原數(shù)據(jù)和其對應(yīng)的子空間表示，R(Ci)為正則項。根據(jù)正則項R(Ci)的不同，這些多視圖子空間聚類方法可分為3類。第1類方法學(xué)習(xí)不同視圖間的互補信息[13，38]。第2類方法學(xué)習(xí)不同視圖間的共享結(jié)構(gòu)，保證視圖間聚類結(jié)果的一致性[5- 6]。第3類方法是前面兩種方法的結(jié)合，它同時學(xué)習(xí)視圖間的互補性和一致性，更全面地描述多視圖數(shù)據(jù)[39]。

1.2 星型生成對抗網(wǎng)絡(luò)(StarGAN)

近年來，生成對抗網(wǎng)絡(luò)在圖像生成、圖像轉(zhuǎn)換、超分辨率成像以及人臉圖像合成等計算機視覺任務(wù)中取得了不錯的效果[25- 26，30，40]。典型的生成對抗模型由兩個模塊組成：鑒別器和生成器。生成器G的主要作用是生成圖片，即輸入一個隨機編碼z，生成假樣本G(z)。判別器D的主要作用是判斷輸入是否為真實圖片并提供反饋機制。

由于很多圖像轉(zhuǎn)換工作在處理多個域的圖像轉(zhuǎn)換任務(wù)時，效率都比較低，因為必須為每對域訓(xùn)練不同的模型。這就導(dǎo)致它們沒有充分利用訓(xùn)練數(shù)據(jù)，影響了生成的圖像的質(zhì)量。星型生成對抗網(wǎng)絡(luò)StarGAN[30]的提出解決了這些問題，它僅用一個模型就實現(xiàn)了多個域的轉(zhuǎn)換。StarGAN的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。假定x為輸入的圖片，b′為原域，b為目標(biāo)域。訓(xùn)練生成器G時，StarGAN將(x,b)作為生成器的輸入，生成假圖片x′，再將(x′,b′)輸入生成器G，用它重構(gòu)圖片x。訓(xùn)練鑒別器D時，將(x，b′)和(x′，b)作為鑒別器的輸入，鑒別器要學(xué)會判斷圖片是否真實以及將圖片分類到其對應(yīng)的域中。StarGAN的主要工作如下：

(1)為了指導(dǎo)各個域圖像的生成，在生成器G的輸入中添加目標(biāo)領(lǐng)域信息b，得到對抗損失Ladv：

Ladv=Ex[logDsrc(x)]+

Ex，c[log(1-Dsrc(G(x,b)))]

(3)

式中，Dsrc(x)為鑒別器D給出的數(shù)據(jù)的概率分布。

(4)

(5)

式中，Dcls(b′|x)代表由D計算的原域b′上的概率分布。

(3)為了保證圖像轉(zhuǎn)換過程中圖像內(nèi)容的保存，只改變域差異的部分信息，引入圖像重構(gòu)。圖像重構(gòu)是指圖像從原始域轉(zhuǎn)換到目標(biāo)域，再將轉(zhuǎn)化后的目標(biāo)域中的圖像轉(zhuǎn)換回原域，要保證轉(zhuǎn)換后的圖像與原圖像一致，于是得到循環(huán)一致性損失Lrec：

Lrec=Ex,b,b′[||x-G(G(x,b),b′)||1]

(6)

圖1 StarGAN框架

2 基于StarGAN和子空間學(xué)習(xí)的缺失多視圖聚類

基于神經(jīng)網(wǎng)絡(luò)的缺失多視圖聚類方法CGPMVC[21]，雖然利用已有的數(shù)據(jù)信息推斷出了缺失的視圖信息，但對于每一對視圖，都需要訓(xùn)練一個模型去生成缺失的數(shù)據(jù)，并且沒有考慮到不同生成模型生成的數(shù)據(jù)之間的關(guān)系?？紤]到StarGAN能有效處理多于兩個視圖的缺失視圖的生成問題，基于自表示的多視圖子空間聚類算法能很好學(xué)習(xí)不同視圖間的互補信息，提出了一種基于StarGAN和子空間學(xué)習(xí)的缺失多視圖聚類方法SSPMVC。SSPMVC算法的網(wǎng)絡(luò)框架如圖2所示。SSPMVC算法將數(shù)據(jù)生成過程和子空間學(xué)習(xí)過程結(jié)合，充分利用已有的數(shù)據(jù)信息。首先補全缺失的數(shù)據(jù)，生成完整的多視圖數(shù)據(jù)，然后學(xué)習(xí)各個完整視圖的子空間表示，并將它們的信息融合，得到包含所有視圖信息的相似矩陣，再將該矩陣用于譜聚，以獲得更好的聚類結(jié)果。

圖2 模型框架

2.1 基于StarGAN的多視圖數(shù)據(jù)生成模型

(7)

將多視圖數(shù)據(jù)映射到同一潛在空間后，接下來就要用得到的表征向量來生成各個缺失視圖的數(shù)據(jù)。傳統(tǒng)的對抗網(wǎng)絡(luò)只以隨機變量z作為模型的輸入，無法指定生成器生成某一特定視圖對應(yīng)的數(shù)據(jù)。為此采用StarGAN的思想，在生成器和鑒別器引入條件變量b，來指導(dǎo)各個視圖數(shù)據(jù)的生成，得到對抗損失如下：

(8)

下面以三視圖缺失數(shù)據(jù)的生成為例加以說明。三視圖數(shù)據(jù)的缺失情況如圖3所示，包括6種情況。對于圖3中間的3種情況，每個實例僅在一個視圖上有數(shù)據(jù)，可以由該已知視圖上的數(shù)據(jù)去生成缺失視圖對應(yīng)的數(shù)據(jù)。對于最后一列的3種情況，也可以由已知視圖上的數(shù)據(jù)去生成缺失視圖對應(yīng)的數(shù)據(jù)，不過這時每個實例在多個視圖上存在樣本。對每個實例，每次隨機挑選兩個視圖上的樣本，用這兩個樣本分別生成缺失視圖上的樣本，這時要保證它們生成的樣本是一致的，于是得到如下的生成損失：

(9)

式中，ak∈Xk、al∈Xl為同一實例在視圖k、l上對應(yīng)的樣本，且該實例在視圖j不存在對應(yīng)的樣本。生成損失充分考慮了視圖間的兼容性和互補性，利用已有的視圖信息，保證了生成數(shù)據(jù)的一致性。

圖3 多視圖的缺失情況

(10)

(11)

式中，Dcls(b|xi)代表由D計算的域標(biāo)簽上的概率分布。

通過最小化自編碼損失、對抗損失和分類損失，訓(xùn)練生成器G可以生成真實且被分類到其正確目標(biāo)域的數(shù)據(jù)。然而，生成模型僅被訓(xùn)練成將輸入數(shù)據(jù)映射到目標(biāo)域中的任意樣本。這說明了僅靠這三個目標(biāo)損失不能保證視圖間的數(shù)據(jù)一一對應(yīng)。對于每一個樣本，在通過周期循環(huán)后，應(yīng)該被重構(gòu)回本身，即生成器應(yīng)該將給定樣本映射到期望的輸出。為此，引入StarGAN的循環(huán)一致性損失：

(12)

2.2 基于子空間學(xué)習(xí)的多視圖聚類模型

通過上一小節(jié)，已經(jīng)訓(xùn)練了生成器和鑒別器，以生成多視圖缺失的數(shù)據(jù)。這一小節(jié)主要是構(gòu)造一個用于實現(xiàn)聚類的模型。

子空間聚類利用原始數(shù)據(jù)的自表示特性，即每個數(shù)據(jù)點可以通過數(shù)據(jù)本身的有效組合來重建，來探索潛在子空間結(jié)構(gòu)。受到文獻[2- 6，9- 13，34- 38]的啟發(fā)，嘗試構(gòu)建一個基于子空間的多視圖聚類模型。首先學(xué)習(xí)各個視圖的自表示，目標(biāo)函數(shù)如下：

(13)

(14)

注意到引入權(quán)重向量W∈RV的l2范數(shù)作為正則項，是為了避免平凡解，即W中僅有一個wi等于1，其它的都為0。這意味著只有一個視圖起作用，而其它視圖沒有貢獻。

綜上所述，得到聚類模型的損失函數(shù)：

(15)

2.3 模型求解

綜合2.1和2.2節(jié)，可以得到SSPMVC的優(yōu)化模型如下：

LG=λAE×LAE+λadv×Ladv+λgen×Lgen+

λcls×Lcls+λrec×Lrec

(16)

LGC=LG+λC×LC

(17)

(18)

式中：LG是生成器的損失函數(shù)；LGC是生成損失和聚類損失函數(shù)；LD是鑒別器的損失函數(shù)；λAE、λadv、λgen、λcls、λrec、λc是用于平衡自編碼損失、對抗損失、生成損失、分類損失、循環(huán)一致?lián)p失和聚類損失的超參數(shù)。

為了使生成模型和聚類模型互相促進，SSPMVC交替優(yōu)化生成模型和聚類模型的參數(shù)。其中，LGC優(yōu)化學(xué)習(xí)編碼器、解碼器、生成器和聚類模型的參數(shù)，LD優(yōu)化學(xué)習(xí)鑒別器的參數(shù)，并且每優(yōu)化4或5次模型的其它參數(shù)，再優(yōu)化1次鑒別器的參數(shù)。

同時，為了使生成器也能更好地捕捉各個視圖的特征，還將自編碼損失LAE修改為

(19)

SSPMVC算法的具體步驟和過程見算法1。

算法1 #SSPMVC算法

輸入：缺失多視圖數(shù)據(jù)集合X={X1,…,Xi,…,Xv}，參數(shù)λAE、λadv、λgen、λcls、λrec、λc、λ1、λ2、λ3迭代次數(shù)Max，批處理數(shù)S。

步驟1 訓(xùn)練星型生成對抗網(wǎng)絡(luò)

1.for epoch=1 to Max：

2.從V個視圖各挑選S個對應(yīng)相同的樣本，若存在視圖不存在某個樣本，從該視圖隨機挑選一個樣本代替；

3.計算式(16)；

4.更新鑒別器D的參數(shù)；

5.if epoch%5==0：

6.計算式(18)；

8.end if

9.end for

步驟2 訓(xùn)練完整網(wǎng)絡(luò)

10.for epoch=1 to Max：

11.從V個視圖各挑選S個對應(yīng)相同的樣本，若存在視圖不存在某個樣本，從該視圖隨機挑選一個樣本代替；

12.計算式(16)；

13.更新鑒別器D的參數(shù)；

14.if epoch%5==0：

15.計算式(18)；

17.end if

18.end for

輸出：C*

3 實驗分析

本節(jié)中將本文提出的算法SSPMVC在4個數(shù)據(jù)庫(3Sources、COIL20、UCI Digit、MNIST)上與一些先進的缺失多視圖聚類方法，包括傳統(tǒng)的缺失多視圖聚類方法PVC[16]、MIC[17]、GPMVC[18]以及基于神經(jīng)網(wǎng)絡(luò)的多視圖聚類方法CGPMVC[21]進行了比較。

3.1 數(shù)據(jù)庫

實驗采用的4個數(shù)據(jù)庫：3Sources，COIL20，UCI Digit和MNIST的詳細信息如表1所示。

表1 數(shù)據(jù)集描述

3Sources：它來自3個在線新聞源：BBC，Reuters和Guardian，每個新聞源都可以看作是新聞報道的一個視圖?？偣灿?48篇報道，包含416個不同的新聞報道。在這些不同的故事中，有169個在所有3個新聞源中均有報告，194個在兩個新聞源中有報告，53個出現(xiàn)在單一新聞源中。每個故事都有6個主題標(biāo)簽之一：商業(yè)、娛樂、健康、政治、體育、科技。其中，BBC、Reuters和Guardian新聞源的缺失率分別為15.38%、29.33%、27.40%。用IF-TDF對這3個視圖進行預(yù)處理，得到3 068維的BBC特征，3 560維的Guardian特征和3 632維的Reuters特征。

COIL20：由1 440幅圖像組成，有20個類別，每個類別有72個角度。同樣的，實驗提取它的兩個不同的特征：1 024維的Intensity特征和3 304維的LBP特征，構(gòu)成兩個視圖的數(shù)據(jù)。

UCI Digit：由從0到9的10個類組成的包含 2 000 幅圖像的手寫數(shù)字?jǐn)?shù)據(jù)庫。每個類包含200個樣本，一共有5個特征。在實驗中，選取其中兩個特征：76維的Fourier coefficients和216維的Profile coefficients，構(gòu)成兩個視圖的數(shù)據(jù)。

MNIST：它是一個手寫數(shù)字圖像數(shù)據(jù)集，每個圖像裁剪為28×28像素。類似于論文[21]的實驗設(shè)置，隨機選擇4 000個圖像作為一個子集。論文用VGG網(wǎng)絡(luò)提取了它的兩個特征：784維的Intensity特征和4 096維的Edge特征。

3.2 實現(xiàn)細節(jié)

由于3Sources數(shù)據(jù)庫本身是缺失的數(shù)據(jù)庫，BBC、Reuters和Guardian新聞源的缺失率分別為15.38%、29.33%、 27.40%，直接使用該數(shù)據(jù)庫。而數(shù)據(jù)庫COIL20和UCI Digit為完整數(shù)據(jù)庫，所以在每個缺失率下隨機挑選數(shù)據(jù)形成缺失的多視圖數(shù)據(jù)。缺失率(PER)設(shè)置為0.1、0.3、0.5、0.7和0.9。缺失率為0.1表示每個視圖的完整度為90%。

3.3 實驗結(jié)果

使用聚類精確度(ACC)和歸一化互信息(NMI)這兩個指標(biāo)來對聚類結(jié)果進行評價。為了保證結(jié)果的穩(wěn)定性和準(zhǔn)確性，SSPMVC和其他4個比較的算法都進行10次試驗，取10次的平均值作為最終結(jié)果，結(jié)果見表2、表3、表4和表5，黑體表示最佳結(jié)果。從表2-5可以看出：

表2 3Sources上的聚類結(jié)果

表3 COIL20(Intensity-LBP)上的聚類結(jié)果

表4 UCI Digit(Fourier-Profile)上的聚類結(jié)果

表5 MNIST(Intensity-Edge)上的聚類結(jié)果

(1)與已有的4個算法相比，除了COIL20數(shù)據(jù)集和MNIST數(shù)據(jù)集上缺失率0.9的NMI，以及UCI Digit數(shù)據(jù)集上缺失率0.3、0.9的NMI外，SSPMVC在4個數(shù)據(jù)庫上的ACC和NMI都是最高的。與傳統(tǒng)多視圖聚類方法PVC、MIC和GPMVC相比，對于3Sources數(shù)據(jù)庫，SSPMVC在ACC和NMI指標(biāo)上分別相對獲得超過至少28%和18%以上的聚類質(zhì)量；對于COIL20數(shù)據(jù)庫中的多視圖Intensity-LBP，SSPMVC在ACC指標(biāo)上相對獲得超過至少8%以上的聚類質(zhì)量，在NMI指標(biāo)上，除缺失率為0.9的情況，可以相對獲得超過至少3%以上的聚類質(zhì)量；對于UCI Digit數(shù)據(jù)庫中的多視圖Fourier-Profile，SSPMVC在ACC指標(biāo)上可以相對獲得超過至少10%以上的聚類質(zhì)量，在NMI指標(biāo)上，

除缺失率為0.9的情況，可以相對獲得超過至少6%以上的聚類質(zhì)量；對于MNIST數(shù)據(jù)庫中的多視圖Intensity-Edge，SSPMVC在ACC指標(biāo)上可以相對獲得超過至少13%以上的聚類質(zhì)量，在NMI指標(biāo)上，可以相對獲得超過至少6%以上的聚類質(zhì)量。與基于神經(jīng)網(wǎng)絡(luò)的多視圖聚類方法CGPMVC相比，對于3Sources數(shù)據(jù)庫，SSPMVC在ACC和NMI指標(biāo)上分別相對獲得超過至少86%和76%以上的聚類質(zhì)量，對于COIL20數(shù)據(jù)庫中的多視圖Intensity-LBP，SSPMVC在ACC指標(biāo)上可以相對獲得超過至少4%以上的聚類質(zhì)量，在NMI指標(biāo)上基本可以相對獲得超過至少1%以上的聚類質(zhì)量；對于UCI Digit數(shù)據(jù)庫中的多視圖Fourier-Profile，SSPMVC在ACC指標(biāo)上可以相對獲得超過至少1%以上的聚類質(zhì)量，在NMI指標(biāo)上，除缺失率為0.3的情況，基本可以相對獲得超過至少1%以上的聚類質(zhì)量；對于MNIST數(shù)據(jù)庫中的多視圖Intensity-Edge，SSPMVC在ACC指標(biāo)上可以相對獲得超過至少18%以上的聚類質(zhì)量，在NMI指標(biāo)上，除缺失率為0.9的情況，可以相對獲得超過至少4%以上的聚類質(zhì)量。

(2)圖4的兩幅圖分別展示了5個算法在UCIDigit和COIL20數(shù)據(jù)集不同缺失率的聚類精確度。從圖4可以看出，由于缺失數(shù)據(jù)會降低多視圖聚類方法的性能，所以隨著缺失率越來越大，所有方法的聚類性能基本都會下降，但是文中的方法SSPMVC相對而言下降較小，說明SSPMVC是比較魯棒的。當(dāng)缺失率由0.9減小到0.7或由0.7減小到0.5時，SSPMVC的聚類性能迅速上升，這說明在缺失率為0.7或者0.5時，生成模型已經(jīng)能夠較好的生成缺失的數(shù)據(jù)，使得聚類模型能夠獲得較好的聚類結(jié)果。

(a)UCI Digit

(b) COIL20

(3)SSPMVC之所以能獲得好的性能是因為它不僅生成了各視圖缺失的數(shù)據(jù)，保證了各視圖的完整性和一致性，同時還學(xué)習(xí)了各個視圖的潛在子空間表示，揭示了嵌入在原始數(shù)據(jù)中的潛在子空間結(jié)構(gòu)。

3.4 收斂性分析

本節(jié)中給出SSMPVC算法的收斂性分析。其中，圖5分別展示了SSMPVC算法在3Sources數(shù)據(jù)庫中BBC-Guardian和兩對多視圖以及數(shù)據(jù)庫COIL20和UCI Digit在缺失率為0.5時在SSMPVC算法上ACC和NMI上的收斂性情況。圖6展示了生成器和鑒別器的目標(biāo)函數(shù)在缺失率為0.1的MNIST數(shù)據(jù)庫的收斂情況，其中g(shù)_loss為生成器損失，d_loss為鑒別損失，real_loss為鑒別器對真實圖像的預(yù)測值，fake_loss為鑒別器對生成圖像的預(yù)測值。從圖中可以看出，最終生成器判別器的損失函數(shù)趨于平穩(wěn)，real_loss和fake_loss在一條水平線上波動，即判別器最終對于真假圖像已經(jīng)沒有判別能力，而是進行隨機判斷。可以看出，本文中的算法SSMPVC在這4個數(shù)據(jù)庫上都具有不錯的穩(wěn)定性。

(a)3Sources(BBC-Guardian)

(b)UCI Digit(PER=0.5)

(c) COIL20(PER=0.5)

(a)生成器損失

(b)鑒別器損失

4 結(jié)論

提出了一種適用于缺失多視圖聚類任務(wù)的算法SSPMVC。SSPMVC利用生成對抗網(wǎng)絡(luò)生成視圖缺失的數(shù)據(jù)，將補全的多視圖在子空間進行聚類，將生成網(wǎng)絡(luò)和聚類模型聯(lián)合訓(xùn)練。SSPMVC學(xué)習(xí)了良好的聚類結(jié)構(gòu)，并對不完全視圖的缺失數(shù)據(jù)進行了推斷。實驗結(jié)果表明，論文中提出的算法優(yōu)于與之比較的經(jīng)典的多視圖聚類方法。接下來的研究方向是如何將生成模型和聚類模型更好的結(jié)合起來，以取得更好的效果。