陳泓達 陳培欽

學術(shù)研究

基于交叉分布對齊的深度自監(jiān)督多視圖聚類方法

陳泓達 陳培欽

（廣東工業(yè)大學，廣東 廣州 510006）

為高效利用多視圖數(shù)據(jù)的一致性和互補性信息，提高多視圖聚類效果，提出一種基于交叉分布對齊的深度自監(jiān)督多視圖聚類方法。首先，采用交叉對齊策略學習視圖間的潛在聯(lián)系，得到多視圖共享潛在表示；然后，執(zhí)行聚類操作，并將聚類結(jié)果作為偽標簽信息，建立一條自監(jiān)督路徑；接著，在統(tǒng)一的框架中聯(lián)合學習優(yōu)化；最后，在3個公共多視圖數(shù)據(jù)上進行實驗，結(jié)果表明，本文提出方法的聚類評價指標均表現(xiàn)出較好性能。

多視圖聚類；變分自編碼器；交叉分布對齊；自監(jiān)督

0　引言

聚類作為一種無監(jiān)督學習方法備受研究者關(guān)注，并在計算機視覺和機器學習等領(lǐng)域被廣泛研究[1-2]。隨著互聯(lián)網(wǎng)和傳感器技術(shù)的迅速發(fā)展，相關(guān)領(lǐng)域的數(shù)據(jù)每天都呈指數(shù)增長，且這些數(shù)據(jù)已從單一視圖描述演變成各種類型的多視圖描述，從而形成多視圖數(shù)據(jù)。多視圖數(shù)據(jù)從不同角度描述同一對象的多種信息，提供豐富互補信息，使不同視圖之間既存在聯(lián)系又存在差異。

多視圖聚類（multi-view clustering, MVC）是將多視圖特征信息相似的對象分到同一類，不相似的對象分到不同類，且可跨不同視圖搜索其一致性的集群。自1967年以來，研究人員已提出許多聚類算法，如K-means[3]、譜聚類[4]和子空間聚類[5-8]等。但這些算法僅適用于單視圖數(shù)據(jù)，無法擴展應用于多視圖數(shù)據(jù)。

從21世紀初開始，多視圖聚類方法得到多方面研究。NGIAM等[9]通過訓練雙峰深度自動編碼器獲取視圖共享表示；WANG等[10]擴展典型相關(guān)性分析，引入自編碼器正則化，提出一種深度典型性相關(guān)自動編碼器（deep canonically correlation autoencoder, DCCAE），但上述方法僅適用于2個視圖的情況。2012年，HUANG等[11]提出譜聚類的親和度聚合（affinity aggregation for spectral clustering, AASC）算法，將譜聚類擴展應用于多視圖數(shù)據(jù)，并取得較好效果。2014年，XIA等[12]利用各視圖轉(zhuǎn)移概率矩陣獲取共享低秩轉(zhuǎn)移概率矩陣，并通過低秩和稀疏分解的魯棒多視圖光譜聚類（robust multiview spectral clustering, RMSC）方法，取得令人滿意的聚類效果?？紤]到不同視圖對全局聚類能力的差異，NIE等[13]提出多視圖自適應Procrustes加權(quán)（adaptively weighted Procrustes, AWP）方法，對Procrustes均值進行加權(quán)改進，并應用于多視圖數(shù)據(jù)。隨著圖學習的快速興起，許多研究者將圖學習應用于多視圖聚類。ZHAN等[14]提出的多視圖共識圖聚類（multiview consensus graph clustering, MCGC），通過多視圖學習具有個連通分量的共識圖，可直接從共識圖中獲取聚類結(jié)果。LIANG等[15]在統(tǒng)一的目標函數(shù)中，同時對多視圖一致性和不一致性進行建模，提出相似圖融合（similarity graph fusion, SGF）和相異圖融合（dissimilarity graph fusion, DFG）2種方法，前者通過相似圖對多個視圖信息進行融合，后者利用距離進行視圖信息融合。

雖然現(xiàn)有的多視圖聚類研究取得了一些進展，但多視圖數(shù)據(jù)內(nèi)在的有用信息尚未被充分利用，主要難點在于如何挖掘多視圖數(shù)據(jù)的一致性和互補性信息來提升聚類效果。為此，本文將深度學習應用于多視圖學習，并受自監(jiān)督思想啟發(fā)，提出一種基于交叉分布對齊的深度自監(jiān)督多視圖聚類（deep self- supervision multi-view clustering based on cross- distribution alignment, DSMVCCDA）方法，可有效提升多視圖數(shù)據(jù)聚類效果。

1 基本架構(gòu)

本文提出的基于交叉分布對齊的深度自監(jiān)督多視圖聚類（DSMVCCDA）網(wǎng)絡架構(gòu)如圖1所示。

圖1 基于交叉分布對齊的深度自監(jiān)督多視圖聚類網(wǎng)絡架構(gòu)

由圖1可知，DSMVCCDA主要由3部分構(gòu)成：

1.1 交叉分布對齊

交叉分布對齊是指利用VAE網(wǎng)絡中編碼器（encoder）對視圖潛在分布進行對齊，同時為減少分布對齊損失的信息，在解碼器（decoder）重構(gòu)過程中引入交叉對齊來平衡多視圖數(shù)據(jù)的學習。

由于DSMVCCDA的目標是學習多個視圖間的交叉互補信息的組合形式，故VAE網(wǎng)絡結(jié)構(gòu)包含個視圖編碼器，且每一個視圖編碼器對應一個解碼器，以映射到潛在表示空間。為使VAE網(wǎng)絡在學習多個視圖交叉互補信息的同時，能最大限度地減少信息丟失，需通過解碼器網(wǎng)絡重建原始數(shù)據(jù)，所以DSMVCCDA模型的基本VAE損失是個視圖的VAE損失之和：

式中：

對具有組分布對齊的多視圖數(shù)據(jù)，分布對齊損失函數(shù)可表示為

考慮到分布對齊給學習多視圖一致性信息帶來的較強約束，引入交叉對齊可以平衡DSMVCCDA模型對多視圖一致性和互補性信息的學習。交叉對齊利用其他視圖在VAE學習到的潛在表示，加入自身視圖特定的解碼器進行交叉學習，可以在保留特定視圖信息的情況下，利用其他視圖信息提高模型的學習能力。交叉對齊損失函數(shù)為

式中：

1.2 共享潛在表示

式中：

式中：

1.3 自監(jiān)督聚類

式中：

式中：

上述目標分布可通過提高軟分配的高置信度得分來指導聚類[19]，故聚類損失為

由于多視圖聚類是不受監(jiān)督學習的過程，無法得知學習的多視圖特征信息的有效貢獻程度。因此，為進一步挖掘多視圖數(shù)據(jù)內(nèi)在信息，提出了自監(jiān)督學習方法。與無監(jiān)督學習相比，自監(jiān)督學習可利用數(shù)據(jù)集本身信息構(gòu)造偽標簽信息，監(jiān)督網(wǎng)絡的訓練過程。本文提出的DSMVCCDA，將VAE網(wǎng)絡學習到的多視圖共享潛在表示執(zhí)行聚類操作后得到的具有標簽信息的分布作為偽標簽，設(shè)計一個具有兩層全連接層的分類器作為下游任務，該分類器的輸入由所有視圖的潛在表示和共享潛在表示組合而成，輸出層則使用Softmax函數(shù)得到預測分類的概率分布。

本文采用KL散度來衡量2個概率分布的差異，并將其作為損失函數(shù)來優(yōu)化分類器網(wǎng)絡參數(shù)。自監(jiān)督分類器損失函數(shù)為

式中：

結(jié)合多視圖特征學習和聚類損失，DSMVCCDA模型的總體目標損失函數(shù)為

式中：

2　數(shù)據(jù)集與參數(shù)設(shè)置

為驗證本文提出DSMVCCDA方法的有效性，選取3個公開數(shù)據(jù)集MSRC-v1[20]、NUS-WIDE[21]和Caltech101進行對比實驗，數(shù)據(jù)集統(tǒng)計信息如表1所示。

表1 3個數(shù)據(jù)集統(tǒng)計信息

表2 3個數(shù)據(jù)集的最優(yōu)參數(shù)設(shè)置

3　實驗結(jié)果與分析

3.1 實驗環(huán)境配置

本文實驗基于Python3.6編程語言，采用深度學習框架Pytorch1.1.0搭建環(huán)境，顯卡配置為GTX 1080Ti和CUDA10.0。

3.2 實驗結(jié)果與分析

實驗選用AASC、RMSC、AWP、MCGC、SGF、DFG等多視圖聚類算法，在3個數(shù)據(jù)集上進行對比實驗。聚類評價指標使用聚類準確性（accuracy，ACC）和純度（purity）。其中，ACC用于測量聚類算法獲得的實際標簽和預測標簽之間的準確性；purity則計算正確聚類數(shù)占總數(shù)的比例。2個指標值越大說明聚類算法性能越好。ACC和purity結(jié)果取10次實驗平均值和標準差作為最終的聚類結(jié)果，結(jié)果分別如表3和表4所示。

表3 多視圖聚類算法在不同數(shù)據(jù)集上的ACC值 %

表4 多視圖聚類算法在不同數(shù)據(jù)集上的purity值 %

由表3、表4可知：DSMVCCDA方法在聚類指標ACC上，數(shù)據(jù)集MSRC-v1、NUS-WIDE和Caltech101分別比次優(yōu)值高7.15%、4.5%和3.86%；在聚類指標purity上，數(shù)據(jù)集MSRC-v1、NUS-WIDE和Caltech101分別比次優(yōu)值高7.15%、2.78%和4.07%。

從不同數(shù)據(jù)集聚類效果的數(shù)值和穩(wěn)定性來看，同一種多視圖聚類方法在3個數(shù)據(jù)集上表現(xiàn)不盡相同，主要原因是多視圖數(shù)據(jù)集本身結(jié)構(gòu)的復雜性。主要表現(xiàn)在：

1）視圖間相關(guān)性不強，如NUS-WIDE是由5個低級特征組成的多視圖，其中顏色直方圖（color histogram, CH）、塊方式顏色矩（color moment of block mode, CM）和顏色相關(guān)圖（color correlation, CORR）具有一定的相關(guān)性，而與邊緣方向直方圖（edge direction histogram, EDH）和小波紋理（wavelet texture, WT）相關(guān)性不強，可能造成聚類結(jié)果偏低；

2）低質(zhì)量分類，數(shù)據(jù)集需要聚類的類別數(shù)量是按照人為擬定的標準給定，標準可能過于苛刻，且由于網(wǎng)絡沒有監(jiān)督信息，也可能造成聚類結(jié)果偏低；

3）不平衡分類，即數(shù)據(jù)集的聚類類別數(shù)量和樣本數(shù)不平衡，給網(wǎng)絡訓練帶來一定的學習偏差。

得益于深度神經(jīng)網(wǎng)絡強大的擬合非線性能力，本文提出的DSMVCCDA方法采用深度生成式模型變分自編碼器，可通過學習共享潛在表示來挖掘視圖間的潛在相關(guān)性，且引入自監(jiān)督學習方法可使網(wǎng)絡減弱數(shù)據(jù)集本身結(jié)構(gòu)帶來的影響，充分挖掘多視圖數(shù)據(jù)集內(nèi)在信息，因此，本文方法在3個數(shù)據(jù)集上表現(xiàn)穩(wěn)定且優(yōu)異。

4　結(jié)語

為高效挖掘多視圖數(shù)據(jù)的一致性和互補性信息，本文提出一種基于交叉分布對齊的深度自監(jiān)督多視圖聚類方法。該方法在變分自編碼器中使用交叉分布對齊策略學習多視圖共享潛在表示，執(zhí)行聚類操作，并將聚類結(jié)果標簽信息作為偽標簽來監(jiān)督網(wǎng)絡的學習，共同優(yōu)化網(wǎng)絡參數(shù)。實驗結(jié)果表明，本文方法在3個公共數(shù)據(jù)集上的聚類效果比其他多視圖聚類方法表現(xiàn)更優(yōu)異穩(wěn)定，證明了該方法的有效性。

[1] CARON M, BOJANOWSKI P, JOULIN A et al. Deep clustering for unsupervised learning of visual features[C]// Proceedings of the European conference on computer vision (ECCV), 2018:132-149.

[2] CHANG J, WANG L, MENG G, et al. Deep adaptive image clustering[C]//Proceedings of the IEEE International Confe- rence on Computer Vision, 2017:5879-5887.

[3] HARTIGAN J A, WONG M A. A K-means clustering algorithm[J]. Journal of the Royal Statistical Society(Applied Statistics), 1979,28(1):100-108.

[4] GUO C, ZHENG S, XIE Y, et al. A survey on spectral clustering[C]//World Automation Congress. IEEE, 2012:53-56.

[5] VIDAL R. Subspace clustering[J]. IEEE Signal Processing Magazine, 2011,28(2):52-68.

[6] GAO H, NIE F, LI X, et al. Multi-view subspace clustering [C]//IEEE International Conference on Computer Vision. IEEE, 2015:4238-4246.

[7] ZHANG C, FU H, LIU S, et al. Low-rank tensor constrained multiview subspace clustering[C]//IEEE International Conference on Computer Vision. IEEE, 2015:1582-1590.

[8] YIN M, GAO J, XIE S, et al. Multiview subspace clustering via tensorial t-product representation[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018,30(3):851-864.

[9] NGIAM J, KHOSLA A, KIM M, et al. Multimodal deep learning[C]//ICML, 2011.

[10] WANG W, ARORA R, LIVESCU K, et al. On deep multi- view representation learning[C]//International Conference on Machine Learning. PMLR, 2015:1083-1092.

[11] HUANG H C, CHUANG Y Y, CHEN C S. Affinity aggregation for spectral clustering[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2012: 773-780.

[12] XIA R, PAN Y, Du L, et al. Robust multi-view spectral clustering via low-rank and sparse decomposition[C]//Procee- dings of the AAAI conference on artificial intelligence, 2014, 28(1).

[13] NIE F, TIAN L, LI X. Multiview clustering via adaptively weighted Procrustes[C]//Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining, 2018:2022-2030.

[14] ZHAN K, NIE F, WANG J, et al. Multiview consensus graph clustering[J]. IEEE Transactions on Image Processing, 2018, 28(3):1261-1270.

[15] LIANG Y, HUANG D, WANG C D, et al. Multi-view graph learning by joint modeling of consistency and inconsistency [J]. arXiv preprint arXiv, 2008:10208,2020.

[16] KINGMA D P, WELLING M. Auto-encoding variational bayes y[J]. arXiv preprint arXiv;1312.6114,2013.

[17] GIVENS C R, SHORTT R M. A class of Wasserstein metrics for probability distributions[J]. The Michigan Mathematical Journal,1984,31(2):231-240.

[18] RUMELHART D E, HINTON G E, WILLIAMS R J. Learning representations by back-propagating errors[J]. Na- ture, 1986,323(6088):533-536.

[19] XIE J, GIRSHICK R, FARHADI A. Unsupervised deepembedding for clustering analysis[C]//Proceedings of the 33rd International Conference on International Conference on Ma- chine Learning-Volume 48, 2016:478-487.

[20] WINN J, JOJIC N. LOCUS: learning object classes with unsupervised segmentation[C]//Tenth IEEE International Conference on Computer Vision (ICCV'05), 2005,1:756-763.

[21] CHUA T S, TANG J, HONG R, et al. Nus-wide: a real-world web image database from national university of Singapore [C]//Proceedings of the ACM international conference on image and video retrieval, 2009:1-9.

Deep Self Supervision Multi View Clustering Based on Cross Distribution Alignment

CHEN Hongda CHEN Peiqin

(Guangdong University of Technology, Guangzhou 510006, China)

In order to efficiently use the consistency and complementarity information of multi view data to improve the multi view clustering effect, a deep self supervised multi view clustering method based on cross distribution alignment is proposed. First, the cross alignment strategy is used to learn the potential relationship between views and obtain the potential representation shared by multiple views; Then, the clustering operation is performed, and the clustering result is taken as pseudo label information to establish a self supervised path; Then, joint learning optimization in a unified framework; Finally, experiments are carried out on three public multi view data, and the results show that the clustering evaluation indexes of the proposed method show good performance.

multi view clustering; variational autoencoder; cross distribution alignment; self supervision

TP391

A

1674-2605(2022)04-0003-06

10.3969/j.issn.1674-2605.2022.04.003

陳泓達,陳培欽.基于交叉分布對齊的深度自監(jiān)督多視圖聚類方法[J].自動化與信息工程,2022,43(4):12-17.

CHEN Hongda, CHEN Peiqin. Deep self supervision multi view clustering based on cross distribution alignment[J]. Automation & Information Engineering, 2022,43(4):12-17.

陳泓達，男，1995年生，碩士研究生，主要研究方向：深度多視圖聚類、機器視覺等。E-mail: chenhongdaCHD@163.com

陳培欽，男，1996年生，碩士研究生，主要研究方向：模式識別、機器視覺等。