馬志峰，于俊洋，王龍葛*

（1.河南大學(xué) 軟件學(xué)院，河南 開封 475004；2.河南省智能數(shù)據(jù)處理工程研究中心（河南大學(xué)），河南 開封 475004）

0 引言

聚類分析一直以來都是數(shù)據(jù)挖掘的主要任務(wù)之一，常見的聚類算法分為很多種，例如基于劃分的聚類算法、基于層次的聚類算法、基于神經(jīng)網(wǎng)絡(luò)的聚類算法和基于模糊的聚類算法等，其中不乏一些優(yōu)秀的算法，例如偏差稀疏模糊C 均值（Deviation-Sparse Fuzzy C-Means，DSFCM）聚類算法［1］和基于塊的模糊局部相似C 均值（Patch-based Fuzzy Local Similarity C-Means，PFLSCM）聚類算法［2］，這些算法都是在模糊C 均值（Fuzzy C-Means，F(xiàn)CM）聚類算法［3］的基礎(chǔ)上獲得改進(jìn)并成功應(yīng)用于圖像分割領(lǐng)域。近年來，隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展，子空間聚類成為專家和學(xué)者研究的熱點(diǎn)，在圖像分割［4-5］、人臉聚類［6-7］和推薦系統(tǒng)［8-9］的實(shí)際應(yīng)用中，傳統(tǒng)聚類算法對高維數(shù)據(jù)往往難以達(dá)到理想的聚類效果。子空間聚類是解決這些高維數(shù)據(jù)聚類的有效方法之一，子空間聚類的任務(wù)就是將來自不同子空間的高維數(shù)據(jù)分割到本質(zhì)上所屬的低維子空間。

研究者提出了大量的傳統(tǒng)子空間聚類算法，其中基于譜聚類的算法［10］由于具有無須預(yù)先設(shè)定子空間的維度以及不受初始化影響的優(yōu)勢而越來越受到關(guān)注，例如稀疏子空間聚類（Sparse Subspace Clustering，SSC）［11-12］、低秩表示（Low Rank Representation，LRR）［13-14］等。這類算法通常將問題分為三步：首先，通過自表示學(xué)習(xí)從數(shù)據(jù)中學(xué)習(xí)一個(gè)表示數(shù)據(jù)對相似性的自表示矩陣C；然后，通過自表示矩陣構(gòu)造相似度矩陣W；最后，將相似度矩陣應(yīng)用到譜聚類算法得到最終的聚類結(jié)果。然而這些傳統(tǒng)算法的目標(biāo)只在于學(xué)習(xí)樣本的低維表示結(jié)構(gòu)而忽略了局部距離關(guān)系，而且每一個(gè)樣本的表示系數(shù)不能清晰地展示樣本之間的相似度。因此，這些傳統(tǒng)算法沒有很好的可解釋性并且不能揭示數(shù)據(jù)的內(nèi)在結(jié)構(gòu)。

深度子 空間聚類（Deep Subspace Clustering，DSC）網(wǎng)絡(luò)［15］在編碼器與解碼器間加入自表示層，在編碼器映射的低維非線性空間中學(xué)習(xí)自表示系數(shù)矩陣，該網(wǎng)絡(luò)可以對具有復(fù)雜或非線性潛在結(jié)構(gòu)的數(shù)據(jù)進(jìn)行有效聚類，從而彌補(bǔ)了傳統(tǒng)子空間聚類算法只能探索線性數(shù)據(jù)關(guān)系的弊端；深度對抗子空間聚類（Deep Adversarial Subspace Clustering，DASC）［16］采用基于子空間特異性的對抗學(xué)習(xí)網(wǎng)絡(luò)來監(jiān)督樣本的表示；神經(jīng)協(xié)同過濾子空間聚類（Neural Collaborative Subspace Clustering，NCSC）［17］將子空間聚類問題重新定義為分類問題，將譜聚類步驟從經(jīng)典的DSC 網(wǎng)絡(luò)中解放出來；自監(jiān)督卷積子空間聚類網(wǎng)絡(luò)（Self-Supervised Convolutional Subspace Clustering Network，S2ConvSCN）［18］在DSC 的基礎(chǔ)上加入了自監(jiān)督模塊，將自表示系數(shù)矩陣的學(xué)習(xí)與譜聚類結(jié)合，首次利用聚類標(biāo)簽信息監(jiān)督自表示系數(shù)矩陣的學(xué)習(xí)；在基于深度自編碼器的子空間聚類中，較淺的層學(xué)習(xí)更多的像素級信息，較深的層提取更多的語義級或抽象級信息，輸入數(shù)據(jù)的多尺度特征內(nèi)在地嵌入在深度自編碼器的不同層中。上述工作在學(xué)習(xí)自表示矩陣時(shí)只考慮了從最深層提取的特征的自表示學(xué)習(xí)，而忽略了較淺層次中有用的特征以及深度自編碼器中嵌入的多尺度信息的融合，浪費(fèi)了大量現(xiàn)成的、但很有用的信息，總是無法達(dá)到理想的聚類性能。多層次表示的深度子空間聚類（Multi-Level Representation learning for Deep Subspace Clustering，MLRDSC）［19］通過組合不同網(wǎng)絡(luò)層的自表示系數(shù)矩陣，融合了不同尺度的信息，提高了聚類效果，然而此算法沒有充分考慮不同尺度信息的多樣性。

為了得到原始數(shù)據(jù)更好的特征表示，本文所提算法從充分挖掘多個(gè)中間層數(shù)據(jù)的多樣性表示、探索不同尺度特征之間的互補(bǔ)信息的角度出發(fā)，增強(qiáng)聚類效果。本文工作與其他算法的不同點(diǎn)主要體現(xiàn)在：其他算法主要是為了獲得更好的相似度矩陣，很少從原始數(shù)據(jù)的特征表示出發(fā)；而本文工作的目的與創(chuàng)新主要是為了增加多層次特征表示之間的互補(bǔ)性，減少多層次特征表示之間的冗余信息，從而獲得原始數(shù)據(jù)更好的特征表示，即增加特征表示的多樣性，增強(qiáng)聚類效果。本文的主要工作如下：

1）建立了深度自編碼器中不同層次特征衡量多樣性表示的模型。

2）在基于深度自編碼器的網(wǎng)絡(luò)結(jié)構(gòu)中引入多樣性表示模塊，挖掘有利于提升聚類效果的圖像特征。

3）更新了損失函數(shù)表示項(xiàng)，有效融合多層次表示的底層子空間。

4）在多個(gè)常用聚類數(shù)據(jù)集上進(jìn)行了多次實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法具有更優(yōu)的聚類效果。

1 相關(guān)工作

1.1 多層次表示的深度子空間聚類模型

在基于深度自編碼器的網(wǎng)絡(luò)結(jié)構(gòu)中常利用重構(gòu)損失約束自編碼器中的網(wǎng)絡(luò)參數(shù)，確保經(jīng)過編碼器編碼得到的特征數(shù)據(jù)能通過解碼器還原回原始數(shù)據(jù)。重構(gòu)損失的表現(xiàn)形式如式（1）所示：

其中：‖·‖F(xiàn)表示F 范數(shù)，X表示原始輸入數(shù)據(jù)，表示經(jīng)過深度自編碼器獲得的重構(gòu)數(shù)據(jù)。

MLRDSC 充分利用了自編碼器網(wǎng)絡(luò)中的多個(gè)中間層特征數(shù)據(jù)，利用自表示層學(xué)習(xí)中間層數(shù)據(jù)共享和私有的自表示系數(shù)矩陣，融合了多個(gè)中間層數(shù)據(jù)的有用信息，從而提高了聚類效果。在MLRDSC 中，為了獲取每個(gè)層共享和私有的自表示系數(shù)矩陣，引入如式（2）所示的自表示損失項(xiàng)：

其中：L表示網(wǎng)絡(luò)深度；θ表示深度自編碼器網(wǎng)絡(luò)中的參數(shù)，包含θe、C、Di和θd，θe表示編碼器中的參數(shù)，C表示各層共享的自表示系數(shù)矩陣，Di表示各層私有的自表示系數(shù)矩陣，θd表示解碼器中的參數(shù)；表示原始數(shù)據(jù)經(jīng)過編碼器得到的在子空間中的數(shù)據(jù)表示。

除此之外，為了促進(jìn)編碼器不同層次的自表示系數(shù)的學(xué)習(xí)，對于各層數(shù)據(jù)私有的自表示系數(shù)矩陣Di施加F 范數(shù)，確保相似度矩陣與各層數(shù)據(jù)都有關(guān)聯(lián)。對于各層數(shù)據(jù)共享的自表示系數(shù)矩陣C施加l1范數(shù)來確保C的稀疏性，如式（3）、（4）所示：

其中：‖·‖1計(jì)算其輸入矩陣的絕對值之和；Q∈RN×K是一個(gè)偽標(biāo)簽矩陣，即聚類得到的標(biāo)簽矩陣。

然而MLRDSC并沒有考慮深度自編碼器的不同層級學(xué)習(xí)的特征間的差異性和特征表示之間的多樣性。為了增強(qiáng)深度自編碼器的學(xué)習(xí)能力，得到原始數(shù)據(jù)更好的特征表示，本文算法從增加原始數(shù)據(jù)特征表示多樣性的角度，在深度自編碼器學(xué)習(xí)到的低層和高層特征之間采用希爾伯特-施密特獨(dú)立性準(zhǔn)則（Hilbert-Schmidt Independence Criterion，HSIC）［20-21］來衡量特征表示的多樣性，并反饋給深度自編碼器，使其學(xué)習(xí)更多有利于提升聚類效果的特征。

1.2 希爾伯特-施密特獨(dú)立性準(zhǔn)則

高獨(dú)立性意味著高多樣性，本文將來自兩個(gè)不同尺度的特征作為二元可觀測變量空間，采用HSIC 來衡量二元可觀測變量的獨(dú)立性，用高獨(dú)立性來表示高多樣性。主要原因：1）HSIC 通過將變量映射到再生核希爾伯特空間（Reproducing Kernel Hilbert Space，RKHS）來測量相關(guān)性，使得在該空間中測量的相關(guān)性對應(yīng)于原始分布之間的更復(fù)雜、更高階的非線性相關(guān)性；2）HSIC 無需顯式估計(jì)隨機(jī)變量的聯(lián)合分布，即可估計(jì)變量之間的相關(guān)性；3）HSIC 在計(jì)算上等于矩陣的乘積的跡。本文使用HSIC 來懲罰不同尺度特征表示中數(shù)據(jù)的相關(guān)性來提升深度編碼器的學(xué)習(xí)能力，增加特征表示的多樣性。

HSIC 與交叉協(xié)方差密切相關(guān)。首先，假設(shè)X，Y是兩個(gè)可觀測變量空間，定義一個(gè)非線性映射空間?(x) ∈F，F(xiàn) 屬于RKHS 且x∈X，再定義一個(gè)φ(y) ∈G，G同樣屬于RKHS且y∈Y。相應(yīng)的核函數(shù)如式（5）（6）所示：

交叉協(xié)方差算子如式（7）所示：

其中：μx=E(?(x))，μy=E(φ(y))，?表示張量積。Cxy可以看作Hilbert-Schmidt 算子，然后將F 范數(shù)擴(kuò)展到該算子上，得到Hilbert-Schmidt 范數(shù)，將該范數(shù)平方即可得到Hilbert-Schmidt 獨(dú)立性準(zhǔn)則，如式（8）所示：

其中‖A‖HS表示矩陣A的Hilbert-Schmidt 范數(shù)，如式（9）所示：

最終，得到關(guān)于HSIC 的定義表達(dá)式如式（10）所示，詳細(xì)推導(dǎo)過程可參考文獻(xiàn)［22］。

其中：K1、K2表示核矩陣；H使得核矩陣能夠在特征空間中具有零均值，hij表示H中元素，hij=δij-1/N。

2 本文工作

為了提高自編碼器的學(xué)習(xí)能力，提升自編碼器學(xué)習(xí)到的不同尺度特征之間的特征多樣性表示，探索低層特征和高層特征之間的互補(bǔ)信息，本文在MLRDSC 的基礎(chǔ)上提出了多樣性表示的深度子空間聚類（Diversity Represented Deep Subspace Clustering，DRDSC）算法，設(shè)計(jì)了衡量不同層次特征多樣性衡量的模型，并將特征多樣性規(guī)范化項(xiàng)應(yīng)用于對多層次深度子空間聚類網(wǎng)絡(luò)參數(shù)優(yōu)化。

2.1 多樣性表示

本文將不同尺度特征的多樣性表示反饋給編碼器網(wǎng)絡(luò)，提出了衡量不同層次特征多樣性表示的模型，在衡量特征多樣性表示時(shí)，要求同一樣本數(shù)據(jù)的低層和高層特征的數(shù)量相同。設(shè)計(jì)的方案是將編碼器提取到的圖像的低層和高層特征展開為一維特征空間，然后隔行提取特征，取得使低層與高層特征數(shù)量相同。間隔采樣特征是根據(jù)圖像自編碼器在圖像低層和圖像高層所提取的特征數(shù)量所決定的，本文提出的間隔特征數(shù)量的計(jì)算模型如式（11）所示：

其中：Count(Zi)、Count(Zj)分別代表第i和j層特征編碼器提取到的圖像特征總數(shù)；d代表間隔采樣的特征數(shù)。采用HSIC來衡量不同尺度特征的多樣性表示，用高獨(dú)立性來表示高多樣性。計(jì)算過程如圖1 所示（以d=2 為例），假設(shè)、和分別表示第i個(gè)樣本數(shù)據(jù)經(jīng)過第1、2、3 層卷積得到的特征數(shù)據(jù)。為了衡量和的多樣性表示，本文將變換為一維特征數(shù)據(jù)然后間隔d行采樣得到，然后計(jì)算和的多樣性表示以代表原始特征的多樣性表示，采用同樣的方法衡量和以及和的多樣性表示。

圖1 衡量特征多樣性表示Fig.1 Measuring diversity representation of features

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

DRDSC 的網(wǎng)絡(luò)結(jié)構(gòu)由編碼器模塊、多樣性表示模塊、自表示模塊、譜聚類模塊和解碼器模塊五部分構(gòu)成，如圖2 所示。編碼器模塊負(fù)責(zé)提取原始數(shù)據(jù)的尺度特征；多樣性表示模塊負(fù)責(zé)增加原始數(shù)據(jù)特征表示多樣性；自表示模塊負(fù)責(zé)獲取自表示矩陣，從而計(jì)算相似度矩陣；譜聚類模塊負(fù)責(zé)由相似度矩陣計(jì)算聚類標(biāo)簽；解碼器模塊負(fù)責(zé)將子空間特征恢復(fù)為原始空間數(shù)據(jù)。本文在深度自編碼器網(wǎng)絡(luò)結(jié)構(gòu)獲取的不同層次特征間施加多樣性表示模塊，目的是使自編碼器在學(xué)習(xí)過程中學(xué)習(xí)更多的有用特征。假設(shè)N個(gè)數(shù)據(jù)樣本構(gòu)成原始輸入矩陣為X，設(shè)由三層編碼器網(wǎng)絡(luò)提取到的低層和高層特征分別為Z1、Z2和Z3。多樣性表示模塊首先將不同層次特征進(jìn)行抽樣處理；然后，用HSIC 衡量不同層次特征的多樣性表示；最后，將不同層次特征相關(guān)性反饋給自編碼器網(wǎng)絡(luò)，使得網(wǎng)絡(luò)在學(xué)習(xí)過程中提升編碼器網(wǎng)絡(luò)提取特征的多樣性，得到原始數(shù)據(jù)更多樣、更好的特征表示。

圖2 DRDSC網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of DRDSC

2.3 目標(biāo)函數(shù)

根據(jù)DRDSC 的網(wǎng)絡(luò)結(jié)構(gòu)，本文的目標(biāo)函數(shù)一共包含四部分：重構(gòu)損失、自表示損失、多樣性表示規(guī)范化項(xiàng)和其他約束，其中多樣性表示規(guī)范化項(xiàng)是研究的重點(diǎn)。

為了衡量不同層次圖像特征的多樣性表示，本文引入了多樣性表示規(guī)范化項(xiàng)。首先，深度自編碼器獲取原始數(shù)據(jù)的不同層次特征表示Zi；然后，將不同層次特征Zi輸入到多樣性表示模型中計(jì)算多樣性表示規(guī)范化項(xiàng)；最后，將結(jié)果反饋給深度自編碼器網(wǎng)絡(luò)。多樣性表示規(guī)范化項(xiàng)是對編碼器中的網(wǎng)絡(luò)參數(shù)施加約束，增加特征表示的多樣性。多樣性表示規(guī)范化項(xiàng)的表現(xiàn)形式如式（12）所示：

其中：Ki和Kj分別表示Zi和Zj的核矩陣，本文采用正交核，即Kj=ZjTZj。H使得核矩陣能夠在特征空間中具有零均值，hij=δij-1/N。

在基于MLRDC 算法的基礎(chǔ)上，綜合式（1）～（4）、（12）和（13），得到本文優(yōu)化后的損失函數(shù)，如式（14）所示：

s.t.diag (C+Di)=0；i∈{1，2，…，L}

其中：λ1，λ2，λ3，λ4>0 是平衡各項(xiàng)做出貢獻(xiàn)的超參數(shù)，采用標(biāo)準(zhǔn)的反向傳播（Back Propagation，BP）算法來獲得式（14）的解。根據(jù)求得的C和，創(chuàng)建相似度矩陣W，如式（15）所示：

最后，將W輸入到譜聚類算法中來獲得聚類標(biāo)簽。

DRDSC 整體算法流程如算法1 所示。

算法1 DRDSC。

輸入 原始樣本數(shù)據(jù)X，樣本標(biāo)簽數(shù)據(jù)Q，Q的更新周期T0，最大迭代次數(shù)Tmax，隨機(jī)初始化自編碼器網(wǎng)絡(luò)參數(shù)；

輸出 聚類結(jié)果Q。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

為了客觀評估和比較本文算法與其他聚類算法的性能，在數(shù)據(jù)集Extended Yale B、ORL、COIL20 和Umist［23-25］上分別進(jìn)行了實(shí)驗(yàn)。上述4 個(gè)數(shù)據(jù)集作為子空間聚類的基準(zhǔn)數(shù)據(jù)集，曾廣泛應(yīng)用于其他子空間聚類算法來評估子空間聚類的性能。每個(gè)數(shù)據(jù)集的示例數(shù)據(jù)如圖3 所示。

圖3 聚類數(shù)據(jù)集Fig.3 Clustered datasets

數(shù)據(jù)集Extended Yale B 包含2 432 張正面人臉圖像，分別由38 個(gè)不同的人拍攝，每個(gè)人有64 張?jiān)诓煌庹蘸筒煌藙菹屡臄z的照片。

數(shù)據(jù)集ORL 由400 張大小為112×92 的人臉圖像，分別來自40 個(gè)不同的人，每個(gè)人有10 張不同姿勢、光照條件和面部表情的照片。本文將圖像原始尺寸降維到32×32，因?yàn)樵摂?shù)據(jù)集面部表情變化較大，且每個(gè)人的圖像數(shù)據(jù)相當(dāng)少，所以在該數(shù)據(jù)集上的子空間聚類非常具有挑戰(zhàn)性。

數(shù)據(jù)集COIL20 被廣泛用于不同類型的聚類算法，它是由包含20 個(gè)目標(biāo)對象的1 440 張圖像構(gòu)成，其中每個(gè)目標(biāo)對象由72 張?jiān)诤谏尘跋乱? 度的間隔拍攝的照片構(gòu)成。

數(shù)據(jù)集Umist 包含了20 個(gè)人的480 張圖片，每張照片的姿勢變化都比較大，本文采樣到32×32 的尺寸。

3.2 實(shí)驗(yàn)過程

在數(shù)據(jù)集Extended Yale B 上，對連續(xù)的不同數(shù)量的聚類目標(biāo)進(jìn)行了多次實(shí)驗(yàn)，取結(jié)果的平均數(shù)和中位數(shù)進(jìn)行對比。為了增加對比性，分別將該數(shù)據(jù)集在MLRDSC 與DRDSC 上進(jìn)行實(shí)驗(yàn)，兩者的超參數(shù)λ1、λ2、λ3設(shè)置相同，DRDSC 的超參數(shù)λ4統(tǒng)一設(shè)置為1×10-2，聚類標(biāo)簽Q的更新周期設(shè)置為T=100，最大迭代次數(shù)設(shè)置為1 500。

數(shù)據(jù)集Extended Yale B 前5 個(gè)聚類目標(biāo)在算法DSC、MLRDSC、DRDSC 上學(xué)習(xí)到的自表示系數(shù)矩陣可視化如圖4所示。

圖4 自表示系數(shù)矩陣可視化Fig.4 Self-represention coefficient matrix visualization

在數(shù)據(jù)集ORL 上的實(shí)驗(yàn)，實(shí)驗(yàn)中使用的參數(shù)設(shè)置為λ1=1，λ2=1×10-2，λ3=1×10-1，λ4=1×10-4，T=10，最大迭代次數(shù)設(shè)置為580。

對于數(shù)據(jù)集COIL20，文獻(xiàn)［15-16］算法使用一層卷積自動(dòng)編碼器來學(xué)習(xí)特征表示，濾波器數(shù)量通常為15，但這并不能體現(xiàn)多層次特征融合與探索多層次特征的多樣性。為了體現(xiàn)DRDSC 的優(yōu)勢，本實(shí)驗(yàn)在保留第一層的設(shè)置的基礎(chǔ)上又增加了一層編碼器。COIL20 數(shù)據(jù)集的參數(shù)設(shè)置如下：λ1=10，λ2=1，λ3=90，λ4=5，T=5，最大迭代次數(shù)設(shè)置為60。

對于數(shù)據(jù)集Umist 上的實(shí)驗(yàn)參數(shù)設(shè)置為λ1=10，λ2=1，λ3=1，λ4=1×10-2，T=10，最大迭代次數(shù)設(shè)置為190。各數(shù)據(jù)集網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)設(shè)置、濾波器數(shù)量、濾波器大小詳細(xì)設(shè)置如表1 所示。

表1 不同數(shù)據(jù)集的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab.1 Network structure parameters of different datasets

為了分析不同損失項(xiàng)對聚類效果的影響，進(jìn)行了參數(shù)設(shè)置進(jìn)行了研究。首先固定所有超參數(shù)初始值為1，在參數(shù)λ1進(jìn)行調(diào)整時(shí)，固定其他參數(shù)，在｛10-4，10-3，10-2，10-1，1，10｝范圍內(nèi)調(diào)整λ1的取值，獲得λ1的相對最佳值后，固定λ1，以相同方式調(diào)整其他參數(shù)，直到獲得所有參數(shù)的妥協(xié)最佳值。為了更進(jìn)一步得到更好的聚類效果，本實(shí)驗(yàn)又對λ1～λ4的值在小范圍整數(shù)倍范圍內(nèi)調(diào)整。以COIL20 數(shù)據(jù)集為例，首先在｛10-4，10-3，10-2，10-1，1，10｝的范圍內(nèi)調(diào)整λ1～λ4以取得較好的聚類效果，例如λ1～λ4分別取λ1=10，λ2=1，λ3=10，λ4=1，為了更進(jìn)一步取得更好的參數(shù)設(shè)置，以λ1=10 來說，繼續(xù)在λ1的整數(shù)倍[3，5，7，9]范圍內(nèi)調(diào)整。其他參數(shù)的調(diào)參過程與λ1類似，直至實(shí)驗(yàn)取得最好的參數(shù)設(shè)置λ1=10，λ2=1，λ3=90，λ4=5。

3.3 實(shí)驗(yàn)結(jié)論

在數(shù)據(jù)集Extended Yale B 上的實(shí)驗(yàn)結(jié)果如表2 所示，由表2 可以看出，DRDSC 與LRR［11］、SSC［13］、核稀疏子空間聚類（Kernel Sparse Subspace Clustering，KSSC）［26］、高效稠密子空間聚類（Efficient Dense Subspace Clustering，EDSC）［27］、AE+EDSC、DSC［15］、S2ConvSCN［17］、MLRDSC［18］相比在聚類錯(cuò)誤率上取得了更好的結(jié)果。在連續(xù)20、25、30、35、38 個(gè)目標(biāo)上進(jìn)行的聚類實(shí)驗(yàn)平均錯(cuò)誤率分別達(dá)到0.98%、1.00%、1.13%、1.42%和1.23%，聚類效果均優(yōu)于MLRDSC，各聚類實(shí)驗(yàn)在Extended Yale B 上的平均錯(cuò)誤率如圖5 所示。

圖5 Extended Yale B數(shù)據(jù)集上的平均錯(cuò)誤率Fig.5 Average error rate on Extended Yale B dataset

表2 Extended Yale B數(shù)據(jù)集上的聚類錯(cuò)誤率結(jié)果對比 單位：%Tab.2 Clustering error rate result comparison on Extended Yale B dataset unit：%

DRDSC 在ORL、COIL20 和Umist 數(shù)據(jù)集的結(jié)果如表3所示。

表3 ORL、COIL20和Umist數(shù)據(jù)集上的聚類錯(cuò)誤率結(jié)果對比 單位：%Tab.3 Clustering error rate result comparison on ORL，COIL20 and Umist datasets unit：%

從表3 可以看出，在ORL 數(shù)據(jù)集上的聚類錯(cuò)誤率與S2ConvSCN 持平，均達(dá)到10.50%，與MLRDSC 相比錯(cuò)誤率降低了0.75 個(gè)百分點(diǎn)；在COIL20 上的實(shí)驗(yàn)結(jié)果表明，本文在增加了一層卷積編碼器的網(wǎng)絡(luò)結(jié)構(gòu)上，取得了更好的聚類結(jié)果；在Umist 上的實(shí)驗(yàn)結(jié)果表明，DRDSC 與KSSC、EDSC 和DSC 相比在錯(cuò)誤率上分別降低了16.98、12.92 和9.17 個(gè)百分點(diǎn)，聚類效果有了相對較大提升。

4 結(jié)語

本文針對深度自編碼器網(wǎng)絡(luò)結(jié)構(gòu)中不同層次特征互補(bǔ)信息挖掘困難的問題，提出了一種探索不同尺度特征多樣性表示的深度子空間聚類算法，為基于深度自編碼器聚類任務(wù)中，挖掘原始數(shù)據(jù)特征表示多樣性與不同層次特征互補(bǔ)信息提供了解決方案。在常用的聚類數(shù)據(jù)集Extended Yale B、ORL、COIL20 和Umist 上的聚類錯(cuò)誤率分別達(dá)到1.23%、10.50%、1.74%和17.71%，驗(yàn)證了本文提出算法的有效性。在實(shí)際應(yīng)用中，數(shù)據(jù)分析涉及到的高維數(shù)據(jù)，往往具有多種表現(xiàn)形式，在未來的工作中，會(huì)進(jìn)一步探索多尺度信息的一致性和多樣性對深度多模態(tài)子空間聚類的影響。