楊暄皓 潘柏丞* 蔡松岳

（1.西南大學(xué)電子信息工程學(xué)院 重慶市 400715 2.重慶大學(xué)計(jì)算機(jī)學(xué)院 重慶市 401331）

多視圖聚類在模式識別和機(jī)器學(xué)習(xí)領(lǐng)域引起了廣泛的關(guān)注。它具體應(yīng)用于人體動作識別，圖像聚類，疾病識別，圖片分割，人臉識別，文檔聚類等方向。

多視圖聚類是對比于單視圖聚類形成的一個(gè)概念，單視圖聚類是對一個(gè)視圖組成的數(shù)據(jù)進(jìn)行聚類，而多視圖聚類是對不同來源和不同描述方式組成的多視圖數(shù)據(jù)進(jìn)行聚類。由于利用了不同視圖的信息，多視圖聚類的性能通常要優(yōu)于單試圖聚類。當(dāng)前較為流行的多視圖聚類方法有基于圖的方法和基于張量的方法等。

基于圖的方法通常是將原始的多視圖數(shù)據(jù)劃分成一個(gè)表示點(diǎn)與點(diǎn)之間關(guān)系的圖。文獻(xiàn)和文獻(xiàn)將拉普拉斯矩陣加入目標(biāo)函數(shù)中來達(dá)成一個(gè)圖正則化的作用。王等人將一種被稱為概念分解（Concept Factorization）的矩陣分解技術(shù)與圖正則化結(jié)合，試圖通過分解出的投影矩陣進(jìn)行圖正則化，增強(qiáng)聚類效果。聶等人提出了一種基于自適應(yīng)圖近鄰的聚類方法，這種方法通過每個(gè)點(diǎn)的近鄰的距離自適應(yīng)地學(xué)習(xí)圖的相似矩陣。

基于張量的方法是將所有視圖的表達(dá)矩陣結(jié)合成一個(gè)三維張量，然后用張量低秩表示的方法對視圖間信息充分利用，從而提高聚類性能。張等人最早提出張量多視圖聚類，但是所使用的范數(shù)還是基于矩陣奇異值分解的，對視圖間的信息運(yùn)用的并不是很充分。謝等人提出了一種基于張量奇異值分解的方法，這種方法彌補(bǔ)了張的方法的缺點(diǎn)，兼顧視圖間的信息使得謝的方法具有優(yōu)異的效果。

除了以上兩種方法，還有大量其他類型的多視圖聚類方法。例如基于矩陣分解的方法，子空間聚類方法，深度學(xué)習(xí)或基于神經(jīng)網(wǎng)絡(luò)的方法，基于支持向量機(jī)的方法，線性判別分析的方法，共訓(xùn)練方法等。

本文提出的模型是基于張量與圖的方法。通過張量低秩表示，使得本文的模型可以使用高維的信息，增強(qiáng)聚類效果。在張量低秩表示上加入了自適應(yīng)圖近鄰的方法，表現(xiàn)了局部圖中點(diǎn)與點(diǎn)之間的距離，從而自適應(yīng)地學(xué)習(xí)相似矩陣，對我們所要得到的表達(dá)張量形成一個(gè)正則化，使聚類的性能增強(qiáng)。

本文的主要貢獻(xiàn)總結(jié)如下：

（1）本文提出一種自適應(yīng)圖近鄰的張量低秩表示模型(LRTRAGN)，在張量低秩表示的基礎(chǔ)上增加了自適應(yīng)圖近鄰約束，能提升算法的聚類性能。

（2）本文提出了一種基于交替乘子法的優(yōu)化方法，用于優(yōu)化提出的自適應(yīng)近鄰的張量低秩模型。

（3）本文將提出的方法與其它先進(jìn)的聚類方法在多個(gè)真實(shí)數(shù)據(jù)集上進(jìn)行對比，表現(xiàn)出了該方法的優(yōu)越性和先進(jìn)性。

本文剩下的部分如下組織。第一節(jié)說明符號和定義以及介紹最近關(guān)于多視圖聚類的一些研究工作。第二節(jié)提出自適應(yīng)圖近鄰的張量表示模型(LRTRAGN)，并對該模型進(jìn)行優(yōu)化。第三節(jié)是該模型與其它先進(jìn)方法在聚類表現(xiàn)上的對比與分析。第四節(jié)是對本文的總結(jié)。

1 基礎(chǔ)知識

本節(jié)我們將介紹本文中用到的符號和關(guān)于多視圖聚類的最近的一些研究工作。

1.1 符號和定義

一個(gè)張量的塊對角矩陣表示為：

塊循環(huán)矩陣表示為：

定義3（f-對角張量（f-Diagonal Tensor））：當(dāng)一個(gè)張量的所有正切片全為對角矩陣時(shí)，它被稱為f-對角張量。

其中*代表張量乘法。

1.2 最近的工作

根據(jù)低秩張量表示的思想，謝等人提出了一個(gè)基于張量低秩的多視圖統(tǒng)一自表示聚類模型：

圖近鄰聚類的思想是當(dāng)兩個(gè)點(diǎn)距離越近時(shí)，它們是同一類的概率就越高；所以取一個(gè)點(diǎn)的所有近鄰，最小化它與每個(gè)其它近鄰的歐氏距離與相似概率相乘的積。聶等人提出了自適應(yīng)圖近鄰模型：

2 自適應(yīng)圖近鄰的張量低秩表示模型

我們將自適應(yīng)圖近鄰的思想加入張量低秩表示中，可以得到：

但是問題（4）依然難以直接解決，但是根據(jù)文獻(xiàn)的方法，我們可改寫問題（4）并得到最終的目標(biāo)函數(shù)為：

我們采用交替方向乘子法來解決問題。我們可以得到問題（6）的增廣拉格朗日形式如下：

從問題（10），我們可以得到：

算法1是對本算法的總結(jié)。我們設(shè)置收斂條件如下：

此處tol是一個(gè)較小的正參數(shù)，本文中設(shè)為10。

算法 1 自適應(yīng)鄰居的張量低秩表示算法(LRTRAGN)輸入：多視圖數(shù)據(jù)images/BZ_182_698_2319_808_2374.png，參數(shù)（1）初始化：根據(jù)K近鄰方法得出初始矩陣 ，讓， ，并用初始的 通過（13）構(gòu)造初始的 。， ， ，，images/BZ_182_1056_2495_1141_2537.png，，，。（2）While not converged do（3）用等式（9）更新 ；（4）解決問題（12）更新 ；（5）解決問題（13）更新 ；（6）解決問題（16）更新images/BZ_182_691_2805_727_2856.png；（7）根據(jù)式子（19）更新images/BZ_182_691_2868_722_2909.png；（8）分別根據(jù)等式（20）,（21）,（22）,（23）更新， ， ， 。（9）End While輸出：images/BZ_182_355_3078_398_3122.png和images/BZ_182_438_3078_470_3122.png。

3 實(shí)驗(yàn)結(jié)果

本節(jié)我們將介紹實(shí)驗(yàn)所用真實(shí)數(shù)據(jù)集，對比方法和實(shí)驗(yàn)指標(biāo)。然后，我們對實(shí)驗(yàn)結(jié)果進(jìn)行對比分析。

3.1 數(shù)據(jù)集與對比方法

BBCsport: BBCsport數(shù)據(jù)集是來源于BBC新聞網(wǎng)站的體育新聞。它有兩個(gè)視圖，包含544個(gè)文檔，其中有5類體育主題。

UCI: UCI手寫數(shù)據(jù)集包含了從“0”到“9”的十類手寫數(shù)據(jù)。每個(gè)類別有200個(gè)樣本，所以一共包含2000張圖片。本數(shù)據(jù)集包含三個(gè)視圖，包括240維的像素，76維的傅里葉系數(shù)，6維的形態(tài)特征。圖1為UCI數(shù)據(jù)集部分樣本圖。

圖1：UCI數(shù)據(jù)集部分樣本

3.2 對比方法

SSCbest：一種稀疏表示的單視圖子空間聚類方法。

LRRbest：一種通過低秩表示尋找子空間字典的聯(lián)系的單視圖子空間聚類方法。

RMSC：一種多視圖譜聚類方法，它基于馬爾可夫鏈方法，通過低秩和稀疏表示來尋找最優(yōu)的可能性轉(zhuǎn)移矩陣。

LT-MSC：一種多視圖聚類方法，它將多個(gè)視圖的代表矩陣重構(gòu)成一個(gè)代表張量，通過張量低秩表示提高算法性能。

MVCC：一種帶有局部流形約束的多視圖聚類方法。

CSMSC：一種同時(shí)考慮了代表矩陣之間的一致性與互補(bǔ)性的子空間多視圖聚類方法。

MLRSSC：一種同時(shí)考慮了仿射矩陣的低秩性和稀疏性以及不同視圖間代表矩陣的一致性的子空間多視圖聚類方法。

tSVDMSC：一種將表達(dá)矩陣構(gòu)造為表達(dá)張量并對其使用張量低秩表示的多視圖聚類方法。

3.3 實(shí)驗(yàn)指標(biāo)

我們在對比實(shí)驗(yàn)結(jié)果時(shí)選取了6個(gè)流行的參數(shù)，包括準(zhǔn)確度(ACC)，歸一化互信息(NMI)，調(diào)整蘭德系數(shù)(AR)，F(xiàn)-分?jǐn)?shù)(F-score)，精確率(Presision)，召回率(Recall)。對于所有的指標(biāo)而言，值越高，那么表現(xiàn)出來的聚類效果就越好。

3.4 實(shí)驗(yàn)效果對比

表1和表2是在真實(shí)數(shù)據(jù)集上的對比實(shí)驗(yàn)結(jié)果。我們將所有的實(shí)驗(yàn)運(yùn)行10次，然后取均值和標(biāo)準(zhǔn)差作為實(shí)驗(yàn)結(jié)果。在所有表格中，加粗字體表示此數(shù)據(jù)是對比方法中的最優(yōu)。

表1：不同方法在BBCsport數(shù)據(jù)集上的表現(xiàn)

表2：不同方法在UCI數(shù)據(jù)集上的表現(xiàn)

LRTRAGN在BBCsport和UCI數(shù)據(jù)集上的所有指標(biāo)的表現(xiàn)都是最優(yōu)。LRTRAGN與tSVDMSC和LT-MSC都是基于張量的方法，并且LRTRAGN可視為tSVDMSC的改進(jìn)方法。LRTRAGN分別在BBCsport與UCI上比tSVDMSC提高約9%和3%的性能；比LT-MSC提高了約95%和27%的性能。LRTRAGN與MVCC都對目標(biāo)函數(shù)運(yùn)用了基于圖的正則項(xiàng)，但LRTRAGN分別在BBCsport與UCI上比MVCC提高了約15%和50%的性能。以上實(shí)驗(yàn)對比充分說明了LRTRAGN的優(yōu)越性和先進(jìn)性。

4 結(jié)論

本文提出了一種自適應(yīng)鄰居的張量低秩表示模型，用于解決多視圖聚類問題。通過低秩張量表示和圖近鄰的方法，該模型將視圖間的高維信息以及局部圖的近鄰信息高效地運(yùn)用了起來。通過在兩個(gè)真實(shí)數(shù)據(jù)集上，與多種先進(jìn)方法對比的實(shí)驗(yàn)凸顯出了該模型的先進(jìn)性和有效性。