賀艷芳，李莉杰

（河南開(kāi)封科技傳媒學(xué)院 理工學(xué)院，河南 開(kāi)封 475004）

0 引 言

聚類(lèi)是機(jī)器學(xué)習(xí)中最重要的研究課題之一，其目的是在不知道樣本標(biāo)簽的情況下，將樣本分成不同的組，稱(chēng)為聚類(lèi)。在當(dāng)今時(shí)代，聚類(lèi)技術(shù)在人工智能、數(shù)據(jù)挖掘和模式識(shí)別中占有重要的地位，通過(guò)聚類(lèi)能夠進(jìn)行圖像識(shí)別、數(shù)據(jù)的分類(lèi)等。聚類(lèi)技術(shù)屬于無(wú)監(jiān)督學(xué)習(xí)，利用數(shù)據(jù)之間內(nèi)在結(jié)構(gòu)技術(shù)，它是把相似的數(shù)據(jù)結(jié)構(gòu)分為一類(lèi)。多視角數(shù)據(jù)的特征包含了同一個(gè)對(duì)象不同角度的信息。例如：一個(gè)網(wǎng)頁(yè)數(shù)據(jù)中有兩個(gè)視角的數(shù)據(jù)既包含網(wǎng)頁(yè)內(nèi)容又包含網(wǎng)頁(yè)鏈接信息，其中網(wǎng)頁(yè)內(nèi)容是一個(gè)視角，而網(wǎng)頁(yè)鏈接信息是另一個(gè)視角；視頻中包含音頻、圖像等特征；圖像數(shù)據(jù)中既涉及顏色直方圖特征、紋理特征等圖像特征，又設(shè)計(jì)描述該圖像內(nèi)容的文本。多視圖聚類(lèi)就是將多個(gè)特征集聚成在一起進(jìn)行聚類(lèi)。由于這種方法解決了聚類(lèi)的很多問(wèn)題，所以多視圖聚類(lèi)算法已被廣泛的使用和開(kāi)發(fā)，以獲得額外的信息，以改善最終的聚類(lèi)。而在這些方法中，譜聚類(lèi)方法因其定義明確的數(shù)學(xué)框架和易于實(shí)現(xiàn)而成為最流行的方法。目前常見(jiàn)的多視角方法可以分為以下幾種方法：（1）協(xié)同訓(xùn)練方法；（2）多核學(xué)習(xí)方法；（3）多視圖融合方法；（4）多視角子空間學(xué)習(xí)方法。協(xié)同訓(xùn)練算法在多視角算法中屬于半監(jiān)督學(xué)習(xí)方法，該算法只能解決兩個(gè)視角的問(wèn)題，當(dāng)出現(xiàn)多個(gè)視角特征，用該算法會(huì)有局限性。它是通過(guò)訓(xùn)練兩個(gè)視圖中的兩個(gè)分類(lèi)器，這兩個(gè)分類(lèi)器進(jìn)行分類(lèi)，一起相互訓(xùn)練，兩個(gè)視覺(jué)之間相互學(xué)習(xí)，不斷迭代，直到信息一致。多核學(xué)習(xí)方法是將不同數(shù)據(jù)用多核表示，多視角數(shù)據(jù)通過(guò)多核框架，將多特征數(shù)據(jù)映射到高維空間，在高維空間構(gòu)造組合空間，利用各個(gè)核的特征映射組合，在高維空間得到精確度更高的聚類(lèi)結(jié)果。多視圖融合方法，通過(guò)構(gòu)建多視圖親和矩陣來(lái)進(jìn)行聚類(lèi)，一個(gè)視圖用來(lái)約束另一個(gè)視圖的相似度矩陣，通過(guò)強(qiáng)化不同視圖的聚類(lèi)來(lái)達(dá)成一致。大多數(shù)現(xiàn)有的基于圖的聚類(lèi)方法用圖結(jié)構(gòu)分離數(shù)據(jù)聚類(lèi)。同時(shí)基于圖學(xué)習(xí)的方法能更好地捕獲數(shù)據(jù)空間的圖結(jié)構(gòu)。多視角子空間學(xué)習(xí)方法，學(xué)習(xí)目的從多視圖中獲得合適的子空間，這些視圖生成一致性表示。

現(xiàn)實(shí)生活中的數(shù)據(jù)往往是多角度或多領(lǐng)域的，而傳統(tǒng)的數(shù)據(jù)表示僅僅用一種數(shù)據(jù)表示，多數(shù)據(jù)的共性是有多個(gè)特征，使用多視角聚類(lèi)算法能同時(shí)處理多特征數(shù)據(jù)。盡管這些多視角中的單個(gè)視角能充分完成聚類(lèi)學(xué)習(xí)任務(wù)，但是結(jié)合不同視角的互補(bǔ)信息能減少任務(wù)的復(fù)雜性。由于稀疏表示和低秩約束利用不包含噪聲的數(shù)據(jù)集且具有自表達(dá)的特性對(duì)數(shù)據(jù)點(diǎn)進(jìn)行重建，即每個(gè)數(shù)據(jù)點(diǎn)能用其他樣本點(diǎn)的線性組合來(lái)表示。本文研究前人的稀疏表示和低秩約束多視角算法，發(fā)現(xiàn)文獻(xiàn)Elhamifar等人提出了使用稀疏矩陣表示的子空間聚類(lèi)，該算法中的數(shù)據(jù)點(diǎn)和其他數(shù)據(jù)點(diǎn)之間是線性組合關(guān)系。文獻(xiàn)LIU等提出的多視角子空間聚類(lèi)算法，該算法用二維數(shù)據(jù)矩陣來(lái)描述系數(shù)之間的關(guān)聯(lián)性，最終讓數(shù)據(jù)構(gòu)成的相關(guān)系數(shù)矩陣的秩達(dá)到最小。Kheirandishfard等人提出的DLRSC算法（Deep Low-Rank Subspace Clustering），該算法將低秩表示約束融入深度學(xué)習(xí)子空間聚類(lèi)中，主要方法是將深度學(xué)習(xí)中的自編碼器中間的單個(gè)自表達(dá)層替換成兩個(gè)低秩自表達(dá)層，從而實(shí)現(xiàn)對(duì)自表達(dá)矩陣的低秩約束。該算法實(shí)驗(yàn)表明，基于深度學(xué)習(xí)的子空間聚類(lèi)模型DSC往往可以更好地挖掘出數(shù)據(jù)之間的復(fù)雜結(jié)構(gòu)，用更有的表示方法表述數(shù)據(jù)間的數(shù)據(jù)結(jié)構(gòu)，為了最終獲得更好的聚類(lèi)效果。從以上多視角算法研究中，發(fā)現(xiàn)稀疏矩陣和低秩約束在多視角中占有重要地位。然而，主要的挑戰(zhàn)是如何集成這些信息，利用稀疏矩陣和低秩約束提供一個(gè)融合兼容所有視圖的解決方案。

1 低秩約束算法

構(gòu)建一個(gè)功能強(qiáng)大，能有效描述數(shù)據(jù)點(diǎn)之間內(nèi)在聯(lián)系的圖是當(dāng)前多視圖聚類(lèi)算法實(shí)現(xiàn)的目標(biāo)，基于圖的半監(jiān)督學(xué)習(xí)算法取得了良好的性能。當(dāng)前較為火的基于圖的構(gòu)造算法中，低秩表示（low-rank representation, LRR）它可以同時(shí)探索數(shù)據(jù)的全局結(jié)構(gòu)。因此，可以利用LRR學(xué)習(xí)到低秩系數(shù)矩陣來(lái)構(gòu)建數(shù)據(jù)的近鄰矩陣。除了傳統(tǒng)的LRR模型，還有許多先進(jìn)的方法，例如最近有人提出了變體。為了有效地探索結(jié)構(gòu)信息的數(shù)據(jù)，鄭等人施加局部表示系數(shù)的約束特征從而形成了局部的低秩代表約束（LRRLC）模型。

LRR中考慮一組樣本=[，,…，x]∈R，LRR的目的是將數(shù)據(jù)中的每個(gè)樣本表示為=[，，…，a]∈R，通過(guò)=，其中=[，，…，z]是一個(gè)矩陣，每個(gè)z和樣本x的系數(shù)對(duì)應(yīng)一個(gè)線性組合。因此在中每條記錄都可以看成對(duì)于的x的重構(gòu)。LRR算法能通過(guò)下面式子獲得最小秩的解優(yōu)化問(wèn)題：

其中直接優(yōu)化秩函數(shù)是NP難問(wèn)題，很難求出該解。因此，我們通常使用跟蹤規(guī)范（也稱(chēng)為核規(guī)范）。作為最接近秩范數(shù)的凸代理，它實(shí)現(xiàn)以下目標(biāo)：

其中‖·‖*是某個(gè)矩陣的奇異值之和。考慮到樣本通常是有噪聲的或者缺失數(shù)據(jù)構(gòu)成，LRR可以用一個(gè)更合理的目標(biāo)可以表示為：

2 基于低秩約束的多視角聚類(lèi)算法

子空間聚類(lèi)算法被用于處理高維數(shù)據(jù)，它是機(jī)器學(xué)習(xí)中常用的聚類(lèi)算法，而具有高維數(shù)據(jù)特征的數(shù)據(jù)在數(shù)據(jù)結(jié)構(gòu)中較復(fù)雜。首先它將輸入的數(shù)據(jù)特征映射到子空間的低維，其次在低維空間中，利用數(shù)據(jù)特征的不同，最后在子空間中把數(shù)據(jù)進(jìn)行不同的聚類(lèi)劃分。從上面可以看出，基于子空間的聚類(lèi)算法能把輸入到不同子空間的數(shù)據(jù)融合在一起，子空間中聚類(lèi)能夠計(jì)算出子空間聚類(lèi)的數(shù)目、數(shù)據(jù)的維度和每個(gè)子空間對(duì)應(yīng)的基。由于子空間在處理高維度數(shù)據(jù)具有一定的優(yōu)勢(shì)，子空間被廣泛用于圖像的處理。

2.1 子空間聚類(lèi)算法

給定數(shù)據(jù)矩陣∈R，子空間自表示特性可以表示為=，其中，為自表示系數(shù)矩陣，通過(guò)使用最小化矩陣的范數(shù)，求出的最優(yōu)解，該解具有對(duì)角結(jié)構(gòu)。求解過(guò)程可以由下列式子表示：

其中，‖·‖表示矩陣的范數(shù)，不同算法使用的范數(shù)不同，如在稀疏子空間聚類(lèi)（SSC）算法應(yīng)該采用范數(shù)。

2.2 基于核的低秩子空間聚類(lèi)算法

基于子空間聚類(lèi)算法，該文獻(xiàn)[9]提出的算法是通過(guò)學(xué)習(xí)一個(gè)低秩核的映射，該核函數(shù)將數(shù)據(jù)從低維度空間映射到高維空間，在高維特征空間中具有線性子空間的結(jié)構(gòu)。當(dāng)高維特征子空間呈現(xiàn)線性結(jié)構(gòu)時(shí)，數(shù)據(jù)對(duì)應(yīng)的核函數(shù)()是低秩的。映射到高維特征線性子空間上，優(yōu)化目標(biāo)函數(shù)可以表示為：

其中：=(,)=()()表示未知的核Gram矩陣；是一個(gè)平衡參數(shù)。在這里，最優(yōu)化‖()‖使得()是低秩的?？梢詫⑹剑?）轉(zhuǎn)為以下形式：

上述式（5）優(yōu)化需要解決‖()‖的問(wèn)題，因?yàn)樯鲜鍪阶舆^(guò)于依賴(lài)()。通過(guò)使用LEE等人提出的重參數(shù)，解決上述的最小的解。因?yàn)楹司仃?span id="uia0awi" class="emphasis_bold">是對(duì)稱(chēng)半正定矩陣，故可以把它分解成=，同時(shí)在該式子中，是一個(gè)方陣。可以得到以下式子：

利用‖‖來(lái)代替‖()‖，則目標(biāo)函數(shù)表示為：

其中：()()=，在該式子中，假設(shè)數(shù)據(jù)點(diǎn)在離線性子空間距離很近，因此可以使用比較簡(jiǎn)單的核函數(shù)去定義。本算法的主要通過(guò)學(xué)習(xí)一個(gè)核矩陣=來(lái)解決問(wèn)題。

3 基于深度學(xué)習(xí)的低秩多視角子空間聚類(lèi)算法研究

3.1 深度學(xué)習(xí)算法

深度學(xué)習(xí)是當(dāng)前學(xué)者研究的熱點(diǎn)內(nèi)容，它是以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，在對(duì)深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，需要大量的數(shù)據(jù)和計(jì)算能力，當(dāng)前研究者主要研究卷積層的深度學(xué)習(xí)框架。主要的深度學(xué)習(xí)框架有AWS亞馬遜MXNet，谷歌的Tensorflow，F(xiàn)acebook的PyTorch等，上述的框架都是利用稠密矩陣乘法實(shí)現(xiàn)卷積計(jì)算。

將深度學(xué)習(xí)引入到多視角模型中，可以使用合適的自表達(dá)關(guān)系。深度學(xué)習(xí)在算法中能更深層次挖掘數(shù)據(jù)之間的關(guān)系。通過(guò)挖掘出比較好的數(shù)據(jù)自表達(dá)方式，提高聚類(lèi)性能。

3.2 深度低秩多視角子空間聚類(lèi)

為了向自表達(dá)矩陣中添加低秩表示約束，通常是直接在目標(biāo)函數(shù)中增加自表達(dá)矩陣的核范數(shù)正則化‖‖。但是在反向傳播算法中，這種方法不適用。因?yàn)殡y以計(jì)算出核范數(shù)約束的梯度，讓這一方法變得困難。為了解決這個(gè)問(wèn)題，通過(guò)在該文在提出的DMSC算法中添加秩約束rank()≤來(lái)解決?？梢杂梢韵率阶咏鉀Q：

4 基于低秩約束的熵加權(quán)多視角模糊聚類(lèi)算法

針對(duì)當(dāng)前基于K-means的多視角模糊聚類(lèi)算法研究中存在的問(wèn)題，文獻(xiàn)[13]提出的一種基于低秩約束的熵加權(quán)多視角模糊聚類(lèi)新方法。它主要通過(guò)向多視角模糊聚類(lèi)算法的目標(biāo)學(xué)習(xí)準(zhǔn)則中引入低秩約束項(xiàng)，在整體上控制聚類(lèi)過(guò)程中各視角的一致性；另一方面由于所有視圖都被平等對(duì)待，在這些方法中沒(méi)有考慮每個(gè)視圖的差異基于香農(nóng)熵理論，通過(guò)熵加權(quán)機(jī)制來(lái)控制各視角之間的差異性。

設(shè)多視角隸屬度,…,，融合成為一個(gè)隸屬度矩陣，將矩陣的秩函數(shù)凸松弛為核函數(shù)，在矩陣中進(jìn)行低秩約束，可以將多視角數(shù)據(jù)之間的一致性問(wèn)題轉(zhuǎn)為核范數(shù)最小問(wèn)題進(jìn)行求解，具體定義為：

其中約束條件為：

以上算法是在k-means算法的基礎(chǔ)上進(jìn)行研究，該算法的優(yōu)點(diǎn)對(duì)噪音跟離群點(diǎn)比較敏感。由于在高維數(shù)據(jù)的情況下，數(shù)據(jù)點(diǎn)的距離相近，使用歐式距離無(wú)法測(cè)量數(shù)據(jù)點(diǎn)的關(guān)系，故該算法也不能解決高維數(shù)據(jù)的問(wèn)題。雖然利用低秩約束的子空間聚類(lèi)能夠解決高維數(shù)據(jù)的問(wèn)題，但是利用K-means算法的多視角聚類(lèi)在結(jié)構(gòu)上具有一定的優(yōu)勢(shì)，它能夠構(gòu)建多視角的隱式結(jié)構(gòu)，能夠充分利用多視角數(shù)據(jù)的互補(bǔ)性，同時(shí)在K-means算法的基礎(chǔ)上利用低秩約束和稀疏約束算法，能解決解決數(shù)據(jù)的局部結(jié)構(gòu)和稀疏結(jié)構(gòu)問(wèn)題。

5 結(jié) 論

在將來(lái)的工作中，我們會(huì)將低秩約束融入多視圖聚類(lèi)算法中，融合多視圖不同的相似矩陣，同時(shí)會(huì)研究由于多視角數(shù)據(jù)集在收集過(guò)程中導(dǎo)致數(shù)據(jù)的丟失即不完備數(shù)據(jù)，設(shè)計(jì)新的算法處理不完備數(shù)據(jù)。同時(shí)針對(duì)大數(shù)據(jù)，進(jìn)一步研究在大數(shù)據(jù)背景下，多視角聚類(lèi)的算法。