林燕銘 陳曉云

隨著數(shù)據(jù)采集設(shè)備和技術(shù)的不斷完善，多源異構(gòu)數(shù)據(jù)不斷涌現(xiàn)，而描述同一事物在不同角度或不同特征下表示信息的多視角數(shù)據(jù)是其典型代表.由于單視角學(xué)習(xí)方法無(wú)法直接用于多視角數(shù)據(jù)分析，因此，多視角學(xué)習(xí)成為機(jī)器學(xué)習(xí)領(lǐng)域的重要研究方向.

現(xiàn)有多視角聚類(lèi)算法主要包括如下4類(lèi)：基于協(xié)同訓(xùn)練的多視角聚類(lèi)算法[1]、基于多核學(xué)習(xí)的多視角聚類(lèi)算法[2]、基于圖學(xué)習(xí)的多視角聚類(lèi)算法[3]、基于子空間學(xué)習(xí)的多視角聚類(lèi)算法[4].

基于圖學(xué)習(xí)的多視角聚類(lèi)算法和基于子空間學(xué)習(xí)的多視角聚類(lèi)算法由于其良好的聚類(lèi)性能，近年來(lái)引起學(xué)者們廣泛關(guān)注.Nie等[5]提出AMGL(Auto-Weighted Multiple Graph Learning)，將學(xué)習(xí)得到的不同視角圖鄰接矩陣融合成公共圖鄰接矩陣.Hajjar等[6]使用集群標(biāo)簽相關(guān)性構(gòu)建一個(gè)額外的圖，并利用平滑約束對(duì)聚類(lèi)標(biāo)簽矩陣進(jìn)行約束.

基于子空間學(xué)習(xí)的多視角聚類(lèi)算法通常利用自表示學(xué)習(xí)獲取不同視角一致的自表示矩陣，忽視對(duì)多視角數(shù)據(jù)多樣性及互補(bǔ)性信息的描述，因此Si等[7]提出CDMSC2(Consistent and Diverse Multi-view Subspace Clustering with Structure Constraint)，引入排他項(xiàng)(Exclusivity Term)強(qiáng)化不同視角差異的描述.Chen等[8]提出GLSR(Graph-Regularized Least Squares Regression)，引入流形正則約束,保持不同視角的局部幾何結(jié)構(gòu)，并采用列稀疏性范數(shù)度量殘差信息.Wang等[9]提出ARMSC(Auto-Weighted Graph Regulari-zation and Residual Compensation for Multi-view Sub-space Clustering)，構(gòu)造自適應(yīng)圖正則項(xiàng)以自適應(yīng)調(diào)整不同視角權(quán)重，利用該權(quán)重集成多視角殘差表示并融合一致表示,獲取多視角數(shù)據(jù)的一致性和互補(bǔ)性特征.曹容瑋等[10]提出雙加權(quán)多視角子空間聚類(lèi)算法，采用自適應(yīng)加權(quán)策略構(gòu)建共享系數(shù)矩陣，同時(shí)利用加權(quán)核范數(shù)將共享系數(shù)矩陣不同奇異值賦予不同權(quán)重.胡世哲等[11]提出基于內(nèi)容的多視角特征表示和基于上下文的多視角相似度表示的雙重加權(quán)多視角聚類(lèi)算法，可充分利用多視角數(shù)據(jù)間的互補(bǔ)信息.

由于不同視角數(shù)據(jù)間既有共性又有特性，且不同視角數(shù)據(jù)質(zhì)量也有差異，現(xiàn)有多視角子空間聚類(lèi)方法或認(rèn)為不同視角對(duì)一致性和差異性描述的貢獻(xiàn)相同，或利用自適應(yīng)學(xué)習(xí)方法對(duì)視角權(quán)重進(jìn)行調(diào)整.前者導(dǎo)致最終結(jié)果容易受到噪聲視角干擾，后者可能導(dǎo)致某一視角權(quán)重遠(yuǎn)大于其它視角的權(quán)重，進(jìn)而陷入單一使用某個(gè)視角的困境.因此，本文提出流形正則引導(dǎo)的自適應(yīng)加權(quán)多視角子空間聚類(lèi)算法(Adaptive Weighted Multi-view Subspace Clustering Guided by Manifold Regularization, MR-AWMSC).算法采用核范數(shù)學(xué)習(xí)每個(gè)視角的一致性全局低秩表示信息,并利用F范數(shù)的組效應(yīng)刻畫(huà)不同視角的差異信息.根據(jù)流形正則的思想，自適應(yīng)學(xué)習(xí)每個(gè)視角的權(quán)重，自動(dòng)為每個(gè)視角的差異信息分配貢獻(xiàn)度.再根據(jù)自適應(yīng)權(quán)重集成差異信息并融合一致信息，獲得最終的共識(shí)表示.最后利用該共識(shí)表示實(shí)現(xiàn)聚類(lèi).在6個(gè)公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)表明本文算法能有效提升多視角聚類(lèi)性能.

1 相關(guān)知識(shí)

1.1 多視角子空間聚類(lèi)

假設(shè)高維數(shù)據(jù)分布于多個(gè)低維子空間，子空間聚類(lèi)目的是尋找這些低維嵌入子空間.該類(lèi)方法通常利用字典表示思想(X=DZ)學(xué)習(xí)高維樣本數(shù)據(jù)X的表示矩陣Z，并以樣本集本身作為字典(D=X)，所以也稱(chēng)為自表示模型.其表示矩陣Z可通過(guò)求解以下優(yōu)化模型獲得：

其中，第1項(xiàng)為自表示矩陣約束，第2項(xiàng)為重構(gòu)損失，α為平衡參數(shù)，l-范數(shù)針對(duì)不同類(lèi)型的噪聲而有所不同.不同子空間聚類(lèi)方法的差異主要在于模型目標(biāo)函數(shù)第1項(xiàng)函數(shù)與第2項(xiàng)范數(shù)定義的不同.稀疏子空間聚類(lèi)(Sparse Subspace Clustering， SSC)利用l1范數(shù)約束自表示矩陣(Ω(Z)=‖Z‖1)[12]，且約束diag(Z)=0，第2項(xiàng)采用F范數(shù)約束噪聲.而低秩表示(Low-Rank Representation， LRR)子空間聚類(lèi)使用秩函數(shù)或核范數(shù)約束自表示矩陣(Ω(Z)=‖Z‖*)[13]，并利用l2,1范數(shù)約束噪聲.

多視角子空間聚類(lèi)為每個(gè)視角數(shù)據(jù)Xv構(gòu)造自表示矩陣Cv，公式如下：

(1)

其中，第1項(xiàng)Ω{·}為對(duì)不同視角自表示矩陣的約束，第2項(xiàng)L{·}為不同視角的重構(gòu)損失.多視角樣本集的最終鄰接矩陣：

多視角數(shù)據(jù)不但具有一致性信息，并且每個(gè)視角又蘊(yùn)含差異信息.為了同時(shí)表示多視角數(shù)據(jù)的一致信息和差異信息，分解式(1)的Cv=Z+Dv.則式(1)的多視角形式為

其中：第1項(xiàng)Ω{·}為自表示矩陣的一致性約束，可保證多視角數(shù)據(jù)一致表示矩陣的高類(lèi)內(nèi)同質(zhì)性，刻畫(huà)不同視角的共享信息；第2項(xiàng)R{·}為自表示的差異性約束，刻畫(huà)每個(gè)視角的差異信息；第3項(xiàng)L{·}為重構(gòu)損失.多視角樣本集的最終鄰接矩陣為：

然后將構(gòu)造的鄰接矩陣W輸入傳統(tǒng)的譜聚類(lèi)中，得到聚類(lèi)結(jié)果.

1.2 流形學(xué)習(xí)

本文假設(shè)在多個(gè)視角中距離越近的樣本越可能來(lái)自同一子空間，以此描述多視角聚類(lèi)的一致性原則，構(gòu)造多視角流形正則項(xiàng)如下：

其中拉普拉斯矩陣Lv=Dv-Sv，Dv為對(duì)角矩陣，

2 流形正則引導(dǎo)的自適應(yīng)加權(quán)多視角子空間聚類(lèi)

本文提出流形正則引導(dǎo)的自適應(yīng)加權(quán)多視角子空間聚類(lèi)算法(MR-AWMSC).考慮數(shù)據(jù)局部幾何結(jié)構(gòu)，利用流形正則動(dòng)態(tài)調(diào)整每個(gè)視角貢獻(xiàn).然后使用交替方向乘子法(Alternating Direction Method of Multipliers， ADMM)[15]求解MR-AWMSC，推導(dǎo)每個(gè)子問(wèn)題的閉式解.表1列出本文主要數(shù)學(xué)符號(hào)說(shuō)明.

表1 主要符號(hào)說(shuō)明Table 1 Description of main symbols

2.1 模型建立

多視角數(shù)據(jù)是對(duì)同一數(shù)據(jù)的不同特征描述，理想情況下每個(gè)視角學(xué)習(xí)的自表示矩陣Z應(yīng)趨于一致，但是實(shí)際上多視角數(shù)據(jù)含有每個(gè)視角固有差異屬性，Z不一定滿足所有視角的相似性.因此本文提出MR-AWMSC,同時(shí)學(xué)習(xí)多視角數(shù)據(jù)的一致性和差異性信息，具體為

(2)

其中:第1項(xiàng)為所有視角的一致性自表示矩陣Z∈Rn×n的核范數(shù)，該項(xiàng)學(xué)習(xí)全局低秩表示，充分刻畫(huà)多視角數(shù)據(jù)共享信息；第2項(xiàng)為第v個(gè)視角的差異信息表示矩陣Dv∈Rn×n的F范數(shù)，該項(xiàng)利用F范數(shù)的組效應(yīng)性質(zhì)，使不同視角的差異表示矩陣具有塊對(duì)角性，更利于聚類(lèi)；第3項(xiàng)為重構(gòu)損失項(xiàng)，Ev∈Rdv×n為第v個(gè)視角的誤差矩陣，利用l2,1范數(shù)約束Ev列稀疏，盡可能有效消除噪聲視角，得到較干凈的自表示矩陣Z；第4項(xiàng)為不同視角流形正則項(xiàng)，可在新的表示空間Z中保持不同視角數(shù)據(jù)的局部幾何結(jié)構(gòu)，利用該流形正則項(xiàng)可得到每個(gè)視角的貢獻(xiàn)；平衡參數(shù)λD和λE分別用于平衡差異信息表示項(xiàng)和誤差項(xiàng).

已有多數(shù)方法計(jì)算最終鄰接矩陣Z*時(shí)，是以平均加權(quán)策略集成不同視角差異表示Dv，再融合一致表示矩陣Z.

MR-AWMSC的視角權(quán)重可隨流形正則項(xiàng)的大小同步迭代更新，對(duì)于m個(gè)視角權(quán)重{α1,α2,…,αm}:

(3)

在式(3)中，每個(gè)視角的權(quán)重能被自適應(yīng)地設(shè)置和更新，根據(jù)流形正則項(xiàng)的大小自動(dòng)為每個(gè)視角分配不一樣的權(quán)重.由式(2)給出的目標(biāo)函數(shù)可知，需要最小化各視角的流形正則項(xiàng)tr(ZLvZT)，因此tr(ZLvZT)的值越小表明對(duì)應(yīng)視角v的權(quán)重αv應(yīng)越大，該視角也越重要.

利用m個(gè)視角權(quán)重可集成多視角差異表示矩陣Dv，并融合一致表示矩陣Z，得到最終的鄰接矩陣：

(4)

MR-AWMSC示意圖如圖1所示.在圖中，全局一致性表示矩陣Z體現(xiàn)多視角數(shù)據(jù)學(xué)習(xí)的一致性準(zhǔn)則，視角差異矩陣Dv刻畫(huà)不同視角信息質(zhì)量的差異性.在保持多視角流形結(jié)構(gòu)的同時(shí)，MR-AWMSC在優(yōu)化過(guò)程中通過(guò)流形正則項(xiàng)自適應(yīng)學(xué)習(xí)每個(gè)視角的權(quán)重，避免人工賦權(quán)方式導(dǎo)致權(quán)重設(shè)置困難.最終通過(guò)自適應(yīng)學(xué)習(xí)得到Dv，并融合一致表示矩陣Z，獲得鄰接矩陣Z*，輸入譜聚類(lèi)中，得到聚類(lèi)結(jié)果.

圖1 MR-AWMSC示意圖Fig.1 Architecture of MR-AWMSC

2.2 模型求解

MR-AWMSC目標(biāo)函數(shù)(式(2))同時(shí)從多個(gè)視角中學(xué)習(xí)一致自表示矩陣和多個(gè)差異表示矩陣.該問(wèn)題有多個(gè)變量，本文可利用ADMM求解變量.此外，本文還引入輔助變量J∈Rn×n，使目標(biāo)函數(shù)中變量可分離，并分為多個(gè)子問(wèn)題求解.首先，引入變量J作為核范數(shù)中Z的替代，則式(2)等價(jià)于：

因此，上述模型的增廣拉格朗日函數(shù)形式可寫(xiě)為

λE‖Ev‖2,1+tr(ZLvZT)) +

1)更新一致表示矩陣Z，固定其余變量，

(5)

令上式對(duì)變量Z的導(dǎo)數(shù)為0，得到方程

AZ+ZB=C.

該方程是Sylvester等式，可利用MATLAB內(nèi)置函數(shù)(lyap)直接求解,其中，

2)更新變量J，固定其余變量.J的優(yōu)化問(wèn)題只與Zt+1和Y2(t)有關(guān)，等價(jià)于求解如下問(wèn)題：

(6)

上述問(wèn)題可使用奇異值閾值[16]求解.令

先對(duì)Kt+1執(zhí)行矩陣奇異值分解(即Kt+1=UΣVT)，得到問(wèn)題的解:

Jt+1=US1/μt(Σ)VT，

其中，Sε(x)為軟閾值算子，Σ經(jīng)過(guò)軟閾值算子Sε(x)按元素操作，得到輸出矩陣的對(duì)應(yīng)元素為

3)更新差異信息表示矩陣Dv，固定其余變量,則

為了得到最優(yōu)解，令上式目標(biāo)函數(shù)關(guān)于變量Dv的導(dǎo)數(shù)為0，可得到差異信息表示矩陣的最優(yōu)解：

(7)

其中I∈Rn×n為單位矩陣.

4)更新誤差矩陣Ev，固定其余變量,則

令

(8)

5)更新自適應(yīng)參數(shù)αv，固定其余變量.按照式(3)更新αv:

(9)

其中，γ>1，為控制收斂速度的常數(shù)，懲罰參數(shù)μ通過(guò)γ單調(diào)上升，直到滿足最大值μmax.

當(dāng)算法收斂后計(jì)算得到一致自表示矩陣Z和多個(gè)視角的差異信息矩陣{D1,D2,…,Dm}.最后，根據(jù)式(4)計(jì)算鄰接矩陣Z*，并對(duì)Z*利用譜聚類(lèi)的Ncut分割方法，得到最終的聚類(lèi)結(jié)果.

綜上分析，MR-AWMSC步驟如下.

算法MR-AWMSC

Θ1為0矩陣

輸出聚類(lèi)結(jié)果

μ=10-6,μmax=106,，迭代次數(shù)t=1,

最大迭代次數(shù)M=90，ε=10-6，

Repeat:

step 1 根據(jù)式(5)更新一致表示矩陣Zt+1.

step 2 根據(jù)式(6)更新變量矩陣Jt+1.

step 3 Forv=1 tom：

step 5 計(jì)算

Until:

(Θt+1-Θt)<ε或t>M.

根據(jù)式(4)計(jì)算鄰接矩陣Z*，并對(duì)Z*執(zhí)行

Ncut譜聚類(lèi),得到聚類(lèi)結(jié)果.

MR-AWMSC主要的時(shí)間復(fù)雜度由如下變量控制：Z，J，Dv，Ev和αv.更新變量Z為求解Sylvester方程，時(shí)間復(fù)雜度為O(n3).更新變量J為進(jìn)行奇異值閾值分解，時(shí)間復(fù)雜度為O(n3).更新Dv的過(guò)程主要是對(duì)矩陣求逆，時(shí)間復(fù)雜度為O(n3+dvn2).更新αv的時(shí)間復(fù)雜度為O(n3).更新Ev的時(shí)間復(fù)雜度為O(dvn).因此，總的時(shí)間復(fù)雜度為O(n3+dmaxn2),dmax為多視角數(shù)據(jù)的最高維度.

3 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)環(huán)境為Intel(R) Core(TM) i9-9900K CPU @3.60 GHz，內(nèi)存32 GB，64位Windows 10系統(tǒng)，并用MATLABR 2019b軟件編程實(shí)現(xiàn).

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文采用如下6個(gè)多視角聚類(lèi)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)：圖像數(shù)據(jù)集MSRC_v1[18]、樹(shù)葉數(shù)據(jù)集100leaves[8]、電影數(shù)據(jù)集Movies617[19]、文本數(shù)據(jù)集BBCSport[9]、手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集UCI-digit[20]和物體識(shí)別數(shù)據(jù)集Caltech101-20[9].實(shí)驗(yàn)前先對(duì)每個(gè)視角數(shù)據(jù)進(jìn)行歸一化處理.6個(gè)公開(kāi)數(shù)據(jù)集的主要信息如表2所示.

表2 多視角數(shù)據(jù)集主要信息Table 2 Description of multi-view datasets

MSRC_v1數(shù)據(jù)集包括210幅圖像，9個(gè)類(lèi)別.本文從中選擇樹(shù)、建筑、飛機(jī)、奶牛、臉、汽車(chē)、自行車(chē)這7個(gè)類(lèi)別，從每幅圖像提取5 個(gè)視覺(jué)特征.

100leaves數(shù)據(jù)集包含100種不同植物葉片，每種植物都有16個(gè)樣本，共1 600個(gè)樣本.本文提取形狀描述符、細(xì)尺度邊緣和紋理直方圖這3種特征.

Movies617數(shù)據(jù)集包含從IMDb網(wǎng)站收集的17種類(lèi)別共617部電影，包含2個(gè)視角.

BBCSport數(shù)據(jù)集為包含5個(gè)主題領(lǐng)域的體育新聞數(shù)據(jù)集，包括2004年至2005年從BBC體育網(wǎng)站收集的544份文檔，包含2個(gè)視角.

UCI-digit數(shù)據(jù)集共有2 000幅手寫(xiě)數(shù)字圖像，0～9，共有10類(lèi)，每類(lèi)包含200幅圖像，每幅圖像采用3種視覺(jué)特征，構(gòu)建3個(gè)視角.

Caltech101-20數(shù)據(jù)集包含101個(gè)圖像類(lèi)別.本文選擇20個(gè)物體的2 386幅圖像作為最終的數(shù)據(jù)集，使用6種特征提取方法提取6個(gè)視角特征.

3.2 對(duì)比算法

為了驗(yàn)證MR-AWMSC的有效性，與如下算法進(jìn)行對(duì)比.

1)2種經(jīng)典單視角子空間聚類(lèi)算法.

(1)SSC[12].采用l1范數(shù)約束樣本自表示矩陣.

(2)LRR[13].采用核范數(shù)約束樣本自表示矩陣.

2)9種經(jīng)典多視角聚類(lèi)方法.

(1)ECMSC(Exclusivity Consistency Regularized Multi-view Subspace Clustering)[21].引入位置注意力排他項(xiàng)，衡量不同視角之間的差異性，同時(shí)定義指示向量一致性項(xiàng).

(2)DiMSC(Diversity-Induced Multi-view Sub-space Clustering)[22].利用希爾伯特-施密特獨(dú)立性準(zhǔn)則生成異構(gòu)性項(xiàng)，描述多視角表示的相關(guān)性，多視角融合采用平均加權(quán)策略.

(3)LMSC(Latent Multi-view Subspace Cluste-ring)[23].學(xué)習(xí)多視角數(shù)據(jù)潛在的統(tǒng)一子空間表示.

(4)CSMSC(Consistent and Specific Multi-view Subspace Clustering)[24].利用一致表示刻畫(huà)不同視角間的共同屬性和一組特定表示描述每個(gè)視角的內(nèi)在特性，多視角融合采用平均加權(quán)策略.

(5)FCMSC(Feature Concatenation Multi-view Subspace Clustering)[19].拼接多視角數(shù)據(jù)特征，利用l2,1范數(shù)處理多視角數(shù)據(jù)中基于樣本和簇類(lèi)的噪聲，多視角融合采用平均加權(quán)策略.

(6)ARMSC[9].采用核范數(shù)學(xué)習(xí)一致性全局低秩表示，具有組效應(yīng)的F范數(shù)學(xué)習(xí)殘差補(bǔ)償項(xiàng)，并構(gòu)造自動(dòng)加權(quán)多視角正則項(xiàng)，保持局部幾何結(jié)構(gòu).

(7)GMC(Graph-Based Multi-view Clustering)[25].將不同視角的圖矩陣通過(guò)圖學(xué)習(xí)誤差自動(dòng)加權(quán)融合為一個(gè)一致圖矩陣，并約束圖拉普拉斯矩陣的秩.

(8)文獻(xiàn)[26]算法.核學(xué)習(xí)多視角聚類(lèi)算法，定義鄰居核以保持塊對(duì)角結(jié)構(gòu)，增強(qiáng)對(duì)基核間噪聲和異常值的魯棒性.線性組合基鄰居核，通過(guò)精確秩約束子空間分割構(gòu)造一致鄰接矩陣.

(9)MVC-LFA(Multi-view Clustering via Late Fusion Alignment Maximization)[27].核學(xué)習(xí)多視角聚類(lèi)方法，最大限度對(duì)齊一致核矩陣與加權(quán)基核矩陣，集成多視角數(shù)據(jù).

3.3 聚類(lèi)實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)采用如下4個(gè)聚類(lèi)性能評(píng)價(jià)指標(biāo)：聚類(lèi)準(zhǔn)確率(Clustering Accuracy， ACC)、標(biāo)準(zhǔn)互信息(Normalized Mutual Information, NMI)、調(diào)整蘭德指數(shù)(Adjusted Rand Index, ARI)和F-score.指標(biāo)值越高,聚類(lèi)性能越優(yōu).

由于本次實(shí)驗(yàn)采用多視角數(shù)據(jù)集，因此2種單視角子空間聚類(lèi)算法(SSC和LRR)僅給出最佳視角的聚類(lèi)結(jié)果.為了減少譜聚類(lèi)結(jié)果的隨機(jī)性，MR-AWMSC執(zhí)行10次，取10次結(jié)果的平均值作為最終結(jié)果.

12種聚類(lèi)算法在6個(gè)多視角實(shí)驗(yàn)數(shù)據(jù)集上的聚類(lèi)指標(biāo)分別如表3～表8所示.在表中，黑體數(shù)字表示最優(yōu)值，斜體數(shù)字表示次優(yōu)值.由表3～表8可得如下結(jié)論.

1)MR-AWMSC在6個(gè)數(shù)據(jù)集上的ACC、ARI、F-score值均是最高的.除Caltech101-20數(shù)據(jù)集之外，MR-AWMSC在其它5個(gè)數(shù)據(jù)集上的NMI值也是最高的.該結(jié)果表明流形正則引導(dǎo)的自適應(yīng)視角權(quán)重學(xué)習(xí)算法是有效的.

2)多視角聚類(lèi)算法雖然綜合多視角的信息，但單視角子空間聚類(lèi)算法(SSC、LRR)在MSRC_v1、Caltech101-20數(shù)據(jù)集上的聚類(lèi)表現(xiàn)優(yōu)于ECMSC、DiMSC、FCMSC這3種多視角子空間聚類(lèi)算法.該結(jié)果說(shuō)明如果未采用合理方式融合多視角數(shù)據(jù)間的關(guān)聯(lián)信息，多視角聚類(lèi)算法性能反而不如單視角聚類(lèi)算法.

3)相比基于子空間學(xué)習(xí)的多視角聚類(lèi)算法FCM-SC、DiMSC和ECMSC，MR-AWMSC引入流形正則項(xiàng)，保持?jǐn)?shù)據(jù)的局部幾何結(jié)構(gòu)，并使用流形正則引導(dǎo)不同視角權(quán)重的自適應(yīng)學(xué)習(xí)，因此聚類(lèi)性能更優(yōu).FCMSC直接拼接多視角特征，忽略不同視角的差異性.DiMSC將所有視角的相似矩陣進(jìn)行相加，結(jié)果易受噪聲視角的影響.ECMSC只考慮不同視角數(shù)據(jù)的全局結(jié)構(gòu)卻忽視不同視角數(shù)據(jù)局部流形結(jié)構(gòu)的差異.

表3 各算法在MSRC_v1數(shù)據(jù)集上的聚類(lèi)結(jié)果對(duì)比Table 3 Clustering result comparison of different methods on MSRC_v1 dataset

表4 各算法在100leaves數(shù)據(jù)集上的聚類(lèi)結(jié)果對(duì)比Table 4 Clustering result comparison of different methods on 100leaves dataset

表5 各算法在Movies617數(shù)據(jù)集上的聚類(lèi)結(jié)果對(duì)比Table 5 Clustering result comparison of different methods on Movies617 dataset

表6 各算法在BBCSport數(shù)據(jù)集上的聚類(lèi)結(jié)果對(duì)比Table 6 Clustering result comparison of different methods on BBCSport dataset

表7 各算法在UCI-digit數(shù)據(jù)集上的聚類(lèi)結(jié)果對(duì)比Table 7 Clustering result comparison of different methods on UCI-digit dataset

表8 各算法在Caltech101-20數(shù)據(jù)集上的聚類(lèi)結(jié)果對(duì)比Table 8 Clustering result comparison of different methods on Caltech101-20 dataset

4)相比基于圖學(xué)習(xí)的多視角聚類(lèi)方法GMC，MR-AWMSC在6個(gè)數(shù)據(jù)集的各項(xiàng)評(píng)價(jià)指標(biāo)上均更優(yōu).其原因是GMC未考慮多視角差異信息，構(gòu)造的統(tǒng)一相似圖易受噪聲影響.而MR-AWMSC利用流形正則項(xiàng)自適應(yīng)學(xué)習(xí)視角權(quán)重，可更恰當(dāng)?shù)丶刹煌暯堑牟町愋畔ⅲ@得更優(yōu)的聚類(lèi)性能.

5)相比基于核學(xué)習(xí)的多視角聚類(lèi)方法(文獻(xiàn)[26]算法和MVC-LFA)，MR-AWMSC在MSRC_v1、UCI-digit、Caltech101-20數(shù)據(jù)集上的聚類(lèi)性能更具競(jìng)爭(zhēng)力.其原因在于，核方法中核函數(shù)的選擇可直接影響最終聚類(lèi)性能，同時(shí)二者的多視角加權(quán)融合策略未考慮不同視角非線性結(jié)構(gòu)的差異.然而相比其它多視角聚類(lèi)算法，文獻(xiàn)[26]算法和MVC-LFA在一些數(shù)據(jù)集上的聚類(lèi)準(zhǔn)確率較高，說(shuō)明核方法對(duì)于改善非線性數(shù)據(jù)的聚類(lèi)性能也是有效的.

6)相比同是自適應(yīng)視角權(quán)重學(xué)習(xí)的ARMSC，MR-AWMSC的聚類(lèi)準(zhǔn)確率更高.其原因在于，相比ARMSC 的自適應(yīng)圖正則項(xiàng)，本文的流形正則引導(dǎo)的自適應(yīng)視角權(quán)重更能充分刻畫(huà)每個(gè)視角的一致信息和差異信息，而 ARMSC在某些視角上的權(quán)重分配較低，往往導(dǎo)致過(guò)于關(guān)注某個(gè)單一視角的困境，無(wú)法充分綜合利用多視角信息.

MR-AWMSC在MSRC_v1、BBCSport數(shù)據(jù)集上學(xué)習(xí)的鄰接矩陣的可視化結(jié)果如圖2所示.

(a)MSRC_v1

由圖2可看出，MR-AWMSC在MSRC_v1、BBC-Sport數(shù)據(jù)上得到的鄰接矩陣都具有明顯的塊對(duì)角結(jié)構(gòu)，由此可說(shuō)明MR-AWMSC學(xué)習(xí)得到的鄰接矩陣適用于聚類(lèi).

3.4 不同加權(quán)策略實(shí)驗(yàn)

為了對(duì)比不同加權(quán)組合策略對(duì)多視角子空間聚類(lèi)的影響，本文分別采用平均加權(quán)策略和自表示學(xué)習(xí)誤差加權(quán)策略作為對(duì)比方法.平均加權(quán)策略的第v個(gè)視角權(quán)重αv=1/m，m為視角數(shù)，所有視角權(quán)重相同.算法其它部分與MR-AWMSC相同，記為AWMSC(Average Weighted Multi-view Subspace Clustering)，組合得到鄰接矩陣：

自表示學(xué)習(xí)誤差加權(quán)策略的第v個(gè)視角權(quán)重為：

在6個(gè)多視角數(shù)據(jù)集上對(duì)AW-MSC、SL-MSC和MR-AWMSC進(jìn)行聚類(lèi)實(shí)驗(yàn)，每種方法均取10次聚類(lèi)平均準(zhǔn)確率，結(jié)果如圖3所示.

圖3 3種加權(quán)策略的聚類(lèi)準(zhǔn)確率Fig. 3 Clustering accuracy of 3 weighting strategies

由圖3可看出，MR-AWMSC在6個(gè)數(shù)據(jù)集上的聚類(lèi)準(zhǔn)確率最高，而SL-MSC在除了UCI-digit數(shù)據(jù)集以外的數(shù)據(jù)集上的聚類(lèi)準(zhǔn)確率均低于AW-MSC.其原因是SL-MSC學(xué)習(xí)獲得的視角權(quán)重與數(shù)據(jù)線性自表示有關(guān)，不能較好地捕獲非線性多視角數(shù)據(jù)的非線性結(jié)構(gòu)特征，因此學(xué)習(xí)的視角權(quán)重多數(shù)情況下還不如AW-MSC有效.相比MR-AWMSC，AW-MSC同等看待每個(gè)視角，忽略不同視角對(duì)于聚類(lèi)效果的貢獻(xiàn)具有差異性，某些數(shù)據(jù)集上的聚類(lèi)性能不佳.總之，MR-AWMSC的流形正則引導(dǎo)的視角權(quán)重有效提取數(shù)據(jù)的流形結(jié)構(gòu)信息，并自動(dòng)為不同視角差異性分配貢獻(xiàn)度，因此優(yōu)于SL-MSC和AW-MSC.

3.5 數(shù)值收斂性分析和參數(shù)選擇

為了觀察MR-AWMSC的數(shù)值收斂性，給出100leaves、UCI-digit數(shù)據(jù)集上算法的迭代誤差曲線，如圖4所示.

圖4 MR-AWMSC在2個(gè)數(shù)據(jù)集上的收斂性分析Fig.4 Convergence analysis of MR-AWMSC on 2 datasets

由圖4可看出，隨著迭代次數(shù)增加，迭代誤差不斷下降，45次后趨近于收斂，說(shuō)明MR-AWMSC是數(shù)值收斂的.

MR-AWMSC包含2個(gè)平衡參數(shù)λE和λD，分別用于平衡誤差項(xiàng)和不同視角差異表示矩陣項(xiàng).為了觀察平衡參數(shù)對(duì)聚類(lèi)準(zhǔn)確率的影響，采用網(wǎng)格搜索法計(jì)算λE和λD不同取值下的聚類(lèi)準(zhǔn)確率，如圖5所示.λE和λD的取值范圍均為{0.001,0.005,0.01,0.05,0.1,0.2,0.4,0.5,1}.

由圖5可看出，λE和λD的取值對(duì)聚類(lèi)準(zhǔn)確率的影響是明顯的.在Movies617、100leaves數(shù)據(jù)集上，平衡參數(shù)λD值為0.4～1，λE值為0.001～0.01時(shí)，可得到較高的聚類(lèi)準(zhǔn)確率.在MSRC_v1、UCI-digit數(shù)據(jù)集上，λD和λE的值均為0.001～0.01時(shí)，聚類(lèi)準(zhǔn)確率較高.在Caltech101-20、BBCSport數(shù)據(jù)集上，λD和λE值均為0.2～1時(shí)，可得到較高的聚類(lèi)準(zhǔn)確率.因此若在一個(gè)合理的范圍內(nèi)選擇參數(shù)，可得到較好的聚類(lèi)結(jié)果.

(a)Movies617 (b)100leaves (c)MSRC_v1

4 結(jié) 束 語(yǔ)

本文提出流形正則引導(dǎo)的自適應(yīng)加權(quán)多視角子空間聚類(lèi)算法(MR-AWMSC).算法的視角權(quán)重可隨流形正則項(xiàng)的大小迭代更新，利用視角權(quán)重集成多視角差異表示矩陣，并融合一致表示矩陣,得到最終的鄰接矩陣.MR-AWMSC通過(guò)對(duì)視角自適應(yīng)加權(quán)獲得的鄰接矩陣既蘊(yùn)含不同視角的全局低秩一致性信息，也考慮不同視角的差異，得到比經(jīng)典平均賦權(quán)的視角組合方法更優(yōu)的結(jié)果.在6個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行聚類(lèi)實(shí)驗(yàn)，結(jié)果表明MR-AWMSC是有效的.