王 錦，尹汪宏

(安徽電子信息職業(yè)技術(shù)學(xué)院 信息與智能工程系，安徽 蚌埠 233030)

聚類作為最常用的無(wú)監(jiān)督學(xué)習(xí)方法之一，已成功應(yīng)用于許多場(chǎng)景，如文本分析、圖像分割和臨床決策支持[1-5]。聚類旨在將具有高相似性的對(duì)象分組到相同的簇中，將具有低相似性的對(duì)象分組到不同的簇中[6-8]。它可以將數(shù)據(jù)按照性質(zhì)的相似程度進(jìn)行歸類。如此處理有利于后續(xù)的數(shù)據(jù)分析。但是在我們的現(xiàn)實(shí)生活中，數(shù)據(jù)采集往往會(huì)存在以下兩種問(wèn)題：(1)由于在生產(chǎn)中對(duì)數(shù)據(jù)有保密要求或者這是一個(gè)新興產(chǎn)業(yè)，之前沒(méi)有數(shù)據(jù)的積累，這就會(huì)導(dǎo)致采集到的數(shù)據(jù)量不足，無(wú)法滿足傳統(tǒng)的聚類分析所必備的基本條件；(2)在采集數(shù)據(jù)的過(guò)程中會(huì)遭到很多方面的影響導(dǎo)致丟失數(shù)據(jù)或者數(shù)據(jù)受到污染的問(wèn)題，這樣就會(huì)降低傳統(tǒng)聚類分析算法的聚類性能。在這種情況下，一些傳統(tǒng)的聚類算法就會(huì)失效。例如，MR圖像被噪聲污染或丟失像素后變得稀疏，一些經(jīng)典的聚類算法FCM[9]，k-means[10]，AP[11]和DBSCAN[12]等不能直接應(yīng)用或聚類效果很難達(dá)到標(biāo)準(zhǔn)。存在許多可用于處理這種情況的解決方案，其中遷移學(xué)習(xí)算法[11,13-17]受到更多關(guān)注。

在遷移聚類結(jié)構(gòu)約束中，簇中心知識(shí)遷移是遷移學(xué)習(xí)最常用的準(zhǔn)則，蔣亦樟等人[16]基于他們以往的研究GIFP-FCM提出了一種遷移聚類算法T-GIFP-FCM。CHEN A等人[13]在模糊聚類框架下提出了模糊遷移聚類算法PPKTFCM。HANG W等人[14]在Affinity Propagation (AP)[11]算法基礎(chǔ)上，提出的遷移聚類算法TAP，該算法同樣認(rèn)為源域和目標(biāo)域樣本各簇中心盡量接近。TAP與T-GIFP-FCM和PPKTFCM不同，因?yàn)樗皇褂媚：垲惪蚣?。盡管現(xiàn)有的聚類算法在遷移方案中表現(xiàn)良好，但是有些問(wèn)題還是需要進(jìn)一步解決。

(1)T-GIFP-FCM和PPKTFCM都來(lái)自FCM框架，因此它們的虛擬簇中心很容易受到噪聲或離群點(diǎn)的影響。因此，當(dāng)采用簇中心知識(shí)遷移進(jìn)行遷移學(xué)習(xí)時(shí)，受噪聲或離群點(diǎn)影響的源域中的虛擬中心可能對(duì)指導(dǎo)目標(biāo)域的學(xué)習(xí)產(chǎn)生負(fù)面影響。

(2)雖然真實(shí)對(duì)象(樣本或簇中心)被認(rèn)為是TAP的中心，但有時(shí)只有單個(gè)簇中心代表簇的結(jié)構(gòu)是不夠的。

(3)用于目標(biāo)域?qū)W習(xí)的遷移知識(shí)完全來(lái)自源域，使得目標(biāo)域?qū)W習(xí)的性能嚴(yán)重依賴于源域的模式信息。

為此提出了一種基于簇內(nèi)部結(jié)構(gòu)重構(gòu)(ICSR-T-FC)的遷移模糊聚類算法。首先，為每個(gè)簇中的每個(gè)對(duì)象分配權(quán)重以測(cè)量其對(duì)簇的代表性，使得每個(gè)簇的內(nèi)部結(jié)構(gòu)被每個(gè)對(duì)象所描述。其次，由于每個(gè)對(duì)象的權(quán)重由其鄰近點(diǎn)賦予，可以將源域和目標(biāo)域聯(lián)合在一起以重建目標(biāo)域中的簇內(nèi)部結(jié)構(gòu)。新簇結(jié)構(gòu)的模式信息被認(rèn)為是用于指導(dǎo)目標(biāo)域?qū)W習(xí)的遷移知識(shí)。因此，遷移知識(shí)不僅依賴于源域，還依賴于目標(biāo)域。

1 簇內(nèi)部結(jié)構(gòu)代表性表示方法

1.1 單代表點(diǎn)表示

其中比較經(jīng)典的算法有FCM算法[18]和FCMdd算法[19]，但這兩種算法又有區(qū)別。圖1所示的是一個(gè)人工數(shù)據(jù)集以及FCM算法劃分的結(jié)果。

圖1 FCM算法在人工數(shù)據(jù)集上的聚類結(jié)果

從圖1(a)中，可以看出，此人工數(shù)據(jù)集“+”所表示的簇相對(duì)于其它簇來(lái)說(shuō)，樣本數(shù)量較小，在利用FCM進(jìn)行聚類時(shí)，由于類中心為虛擬中心，因此，對(duì)于較小的簇或離群點(diǎn)，容易出現(xiàn)“簇中心漂移”的現(xiàn)象，從而影響最終的劃分結(jié)果，如圖1(b)所示。

為了克服虛擬類中心所帶來(lái)的問(wèn)題，在模糊聚類理論的基礎(chǔ)上，Raghu等人[19]提出了FCMdd聚類算法。相對(duì)于FCM而言，該算法選擇數(shù)據(jù)集中真實(shí)的樣本作為每個(gè)簇的簇中心，每個(gè)簇由一個(gè)代表點(diǎn)表示，則此算法稱為“單代表點(diǎn)聚類算法”。

相對(duì)于虛擬中心，單代表點(diǎn)策略能夠在一定程度上避免簇中心漂移問(wèn)題，如在圖2中，給出了FCMdd算法在圖1(a)所示的人工數(shù)據(jù)集上的聚類結(jié)果，可以看出，F(xiàn)CMdd所獲得的簇結(jié)構(gòu)信息更接近真實(shí)情況。

圖2 FCMdd算法在人工數(shù)據(jù)集上的聚類結(jié)果

1.2 多代表點(diǎn)表示

大多數(shù)基于簇的聚類算法通常使用一個(gè)簇中心來(lái)表示簇結(jié)構(gòu)，并期望對(duì)象被分配到最近的簇，并且不同簇之間的距離盡可能遠(yuǎn)。但是，在某些情況下，只有一個(gè)簇中心不足以表示簇。例如，圖3表示了具有兩個(gè)簇的數(shù)據(jù)集。從圖3中可以看到簇1包含4個(gè)對(duì)象，其中任何一個(gè)都不足以表示其簇結(jié)構(gòu)，因?yàn)槠渲袥](méi)有任何一個(gè)可以被視為比其他更合適的對(duì)象。簇2包含6個(gè)對(duì)象，其中位于簇中心的兩個(gè)對(duì)象幾乎同時(shí)合理地被視為簇中心。換句話說(shuō)，雖然選擇其中一個(gè)作為簇中心可能不會(huì)嚴(yán)重扭曲簇結(jié)構(gòu)，但可能無(wú)法發(fā)現(xiàn)所有候選簇中心的完整集合。

圖3 簇內(nèi)部結(jié)構(gòu)代表性的示例

從上面的示例中，很容易發(fā)現(xiàn)多個(gè)樣本簇的結(jié)構(gòu)代表性比單個(gè)樣本簇代表性具有更多優(yōu)勢(shì)。最近，已經(jīng)有學(xué)者提出了一些關(guān)于基于多樣本的聚類的研究。在文獻(xiàn)[20]中，提出了一種多視圖聚類算法，其中n個(gè)對(duì)象被用作表示簇的樣本，其中n由用戶預(yù)先設(shè)定。在文獻(xiàn)[21]中，每個(gè)對(duì)象都被視為代表點(diǎn)。也就是說(shuō)，簇內(nèi)部結(jié)構(gòu)由所有對(duì)象描述。他們的實(shí)驗(yàn)結(jié)果表明，所有對(duì)象賦予的這種代表性可以捕獲足夠的模式信息用于學(xué)習(xí)。

在本研究中，我們還使用這種代表性去通過(guò)為每個(gè)對(duì)象分配權(quán)重來(lái)捕獲每個(gè)簇的內(nèi)部結(jié)構(gòu)，該權(quán)重表示著代表性的重要程度。

2 ICSR-T-FC:基于簇內(nèi)部結(jié)構(gòu)重構(gòu)的遷移模糊聚類

首先給出所提算法的遷移機(jī)制，然后確立目標(biāo)函數(shù)，并說(shuō)明其詳細(xì)的優(yōu)化步驟。

2.1 知識(shí)遷移機(jī)制

通常而言，目標(biāo)域和源域具有相似的對(duì)象分布特征。換句話說(shuō)，應(yīng)該最小化兩個(gè)域之間的簇內(nèi)部結(jié)構(gòu)的差異。在該研究中，為了捕獲足夠的簇內(nèi)部結(jié)構(gòu)模式信息，為每個(gè)對(duì)象分配權(quán)重來(lái)表示相應(yīng)的簇。此外，為了豐富用于目標(biāo)域?qū)W習(xí)的遷移知識(shí)，還使用嵌入在目標(biāo)域中的知識(shí)。遷移機(jī)制可以定義如式(1)。

(1)

其中，vcj表示目標(biāo)域中簇c對(duì)象j的權(quán)重。K和N分別是目標(biāo)域中的簇?cái)?shù)和對(duì)象數(shù)。cj表示用于目標(biāo)域聚類學(xué)習(xí)的遷移知識(shí)。如上所述，這里cj來(lái)自源域和目標(biāo)域。在文獻(xiàn)[21]中，從cj定義來(lái)看，可以知道cj的價(jià)值取決于它的鄰近點(diǎn)。因此，為了重建目標(biāo)域的簇結(jié)構(gòu)并因此豐富遷移知識(shí)，可以將兩個(gè)域聯(lián)合在一起，然后更新目標(biāo)域中涉及的每個(gè)對(duì)象的權(quán)重，并將新權(quán)重視為遷移知識(shí)cj。

2.2 目標(biāo)函數(shù)和優(yōu)化

利用式(1)中定義的遷移知識(shí)和多樣本代表性策略，ICSR-T-FC的目標(biāo)函數(shù)定義如式(2)、式(3)。

(2)

其中，uci表示屬于簇c的對(duì)象i的模糊隸屬度，rij表示對(duì)象i和對(duì)象j之間的相似性/不相似性。并且λ1和λ2是分別用于控制第一項(xiàng)和在遷移學(xué)習(xí)后項(xiàng)的權(quán)衡的兩個(gè)參數(shù)。式(2)中的其他符號(hào)與式(1)中的符號(hào)相同。

很明顯，ICSR-T-FC的目標(biāo)函數(shù)包含三項(xiàng)。第一項(xiàng)計(jì)算簇內(nèi)相似性/不相似性的總量應(yīng)該最小化。第二項(xiàng)是二次項(xiàng)，uci可以視為“模糊隸屬度”。λ1可以用來(lái)控制“模糊隸屬度”的平滑程度。最后一項(xiàng)用于指導(dǎo)目標(biāo)域的學(xué)習(xí)。它也是一個(gè)二次項(xiàng)，λ2被用來(lái)控制它的貢獻(xiàn)程度。

從上面的形式可以看出，由遷移知識(shí)指導(dǎo)的目標(biāo)域中對(duì)象的聚類問(wèn)題可以表述為約束優(yōu)化問(wèn)題。由于模糊隸屬度和每個(gè)對(duì)象的權(quán)重是連續(xù)變量，通過(guò)引入拉格朗日乘子和KKT條件[22]，可以得到拉格朗日目標(biāo)函數(shù)L如下，

(4)

其中α1，βc，φci，Φcj是拉格朗日乘子，滿足uci的KKT條件是

(5)

φci≥0

(6)

φciuci=0

(7)

在這里，請(qǐng)注意KKT成立的條件是保持uci≥0和vcj≥0。對(duì)于式(5)至式(7)，可以將uci更新的準(zhǔn)則導(dǎo)出為

(8)

其中：

q-={c:μci=0}andq+={c:μci>0}

(9)

q+表示一組簇，其中對(duì)象i具有正模糊隸屬度，q-表示對(duì)象不屬于此簇的一組簇。并且|q+|和|q-|分別是q+和q-的大小。q+和q-可以通過(guò)以下程序確定程序Q

程序QStep 1:初始化q+(0)=?,q-(0)=1,2,…,k,t=0;Step 2:t=t+1,q+(t)=q+(t-1)+{l},q-(t)=q-(t-1)-{l},其中l(wèi)=argminc∈q-(t-1){∑Nj=1(vcj-vcj)rij};Step 3:校驗(yàn),如果μfi>0,則根據(jù)式(8)計(jì)算μfi,f=argmaxc∈q+(t){∑Nj=1(vcj-vcj)rij}。如果成立,則返回步驟2,否則設(shè)置q+=q+(t-1),q-=q-(t-1),并終止。

同樣，也可以獲得相應(yīng)的

(10)

其中：

p-={j:vcj=0}andp+={j:vcj>0}

(11)

在簇c中，所有涉及的對(duì)象被分成兩個(gè)由p+和p-表示的集合。在p+中，所有對(duì)象具有正權(quán)重，在p-中，所有對(duì)象的權(quán)重均為零。并且|p+|和|p-|分別是p+和p-的大小。p+和p-可以通過(guò)以下程序確定程序P

程序PStep 1:初始化p+(0)=?,p-(0)=1,2,…,N,t=0;Step 2:t=t+1,p+(t)=p+(t-1)+{l},p-(t)=p-(t-1)-{l},其中l(wèi)=argminj∈p-(t-1){∑Ni=1μci-rij};Step 3:校驗(yàn),如果vcg>0,則根據(jù)式(10)計(jì)算vcg,g=argmaxj∈p+(t){∑Ni=1μcidij}。如果成立,則返回步驟2,否則設(shè)置p+=p+(t-1),p-=p-(t-1),并終止。

2.3 ICSR-T-FC算法

算法1 ICSR-T-FC輸入: 源域的相似矩陣D,目標(biāo)域的相似矩陣D',簇?cái)?shù)K,λ1,λ2和迭代停止閾值輸出: 目標(biāo)域的模糊隸屬度矩陣U程序:1. 使用算法1.1獲取遷移知識(shí)vcj;2. 規(guī)范化簇c中的遷移知識(shí)vcj;3. 隨機(jī)化U;4. q=q+1;5. 根據(jù)U,利用式(10)更新權(quán)重矩陣V;6. 根據(jù)V,利用式(8)更新模糊隸屬度矩陣U;7. 轉(zhuǎn)至步驟4繼續(xù)執(zhí)行,直到|JICSR-T-FC(q)-JICSR-T-FC(q-1)|≤。

在算法1中，如下列出的算法2是用于獲得遷移知識(shí)的子算法：

算法2 簡(jiǎn)化ICSR-T-FC輸入: 源域的相似矩陣D,目標(biāo)域的相似矩陣D',簇?cái)?shù)K,λ1,λ2以及迭代停止閾值輸出: 遷移知識(shí)vcj程序:1. 將每個(gè)對(duì)象的vcj設(shè)置為0;2. 隨機(jī)化U;3. q=q+1;4. 根據(jù)U,利用式(10)更新權(quán)重矩陣V;5. 根據(jù)V,利用式(8)更新模糊隸屬度矩陣U;6. 直到|JICSR-T-FC(q)-JICSR-T-FC(q-1)|≤;7. 轉(zhuǎn)至步驟3繼續(xù)執(zhí)行,直到vcj=vcj。

3 實(shí)驗(yàn)結(jié)果

在本節(jié)中，將用不同類型的數(shù)據(jù)集評(píng)估ICSR-T-FC，包括合成數(shù)據(jù)集，UCI數(shù)據(jù)集和用于MRI分割的實(shí)際應(yīng)用。此外，為了突出ICSR-T-FC的良好性能，介紹了幾種類似算法，即FCM、AP、TAP和PPKTFCM。所有實(shí)驗(yàn)都在個(gè)人計(jì)算機(jī)上利用MATLAB軟件實(shí)現(xiàn)，該計(jì)算機(jī)具有足夠的運(yùn)算能力。

3.1 評(píng)估標(biāo)準(zhǔn)

在實(shí)驗(yàn)中，引入了4個(gè)不同的標(biāo)準(zhǔn)用于評(píng)估。對(duì)于合成數(shù)據(jù)集和UCI數(shù)據(jù)集的聚類，引入歸一化互信息(NMI)和調(diào)整隨機(jī)索引(ARI)[23]來(lái)評(píng)價(jià)ICSR-T-FC和其他類似算法的聚類性能。假設(shè)有一個(gè)包含N個(gè)對(duì)象的數(shù)據(jù)集。用Nij來(lái)表示簇i和簇j之間共同的對(duì)象數(shù)量，其中簇i由算法生成，簇j是第j個(gè)真實(shí)簇。另外，分別使用Ni和Nj表示第i個(gè)簇和第j個(gè)簇中包含的對(duì)象的數(shù)量。因此，NMI和ARI可以定義為

(12)

(13)

NMI的值從[0,1]獲得，ARI的值從[-1,1]獲得，值越大，聚類性能越好。

對(duì)于腦MRI分割，引入Dice系數(shù)(DC)和Jaccard相似度(JS)[5]用于聚類性能評(píng)估。假設(shè)Ai和Bi表示第i個(gè)真實(shí)聚類算法和生成第i個(gè)聚類的算法，DC和JS的定義如下，

(14)

(15)

其中|.|表示相應(yīng)集的大小。DC和JS的值從[0,1]獲得，值越大，聚類性能越好。

3.2 參數(shù)設(shè)置

關(guān)于ICSR-T-FC和引入的類似算法，表1給出了它們的參數(shù)設(shè)置。在表1中，對(duì)于每個(gè)參數(shù)，給出搜索間隔，通過(guò)結(jié)合NMI或ARI的網(wǎng)格搜索策略從間隔中搜索最佳參數(shù)。

表1 算法中主要參數(shù)的值或間隔

3.3 關(guān)于合成數(shù)據(jù)集

為了模擬遷移場(chǎng)景，可以使用高斯概率分布，利用平均向量[10 5]、[10 15]和[15-5]以及協(xié)方差矩陣[5 0；0 5]、[5 0；0 5]和[2 0；0 1]生成了包含90個(gè)對(duì)象的目標(biāo)域和包含450個(gè)對(duì)象的源域。圖4給出了目標(biāo)域D-T和源域D-S的對(duì)象分布。

圖4 合成數(shù)據(jù)集

對(duì)于目標(biāo)域D-T中的對(duì)象，將它們分成2組或3組是合理的。如果D-T中的對(duì)象被劃分為2個(gè)組，則標(biāo)記為“+”的對(duì)象可被視為異常值或噪聲。表2和圖5給出了當(dāng)簇的數(shù)量分別設(shè)置為2和3時(shí)的聚類結(jié)果。

這里，由于AP和TAP不需要預(yù)先設(shè)置K，因此當(dāng)對(duì)象分別分為2個(gè)和3個(gè)簇時(shí)，以下給出了他們聚類的最佳結(jié)果。

從表2和圖5可以看出，通過(guò)FCM獲得的中心很容易被離群點(diǎn)或噪聲干擾。當(dāng)K設(shè)置為2時(shí)，請(qǐng)參見(jiàn)圖5(a)中的聚類結(jié)果，可以說(shuō)明FCM獲得的每個(gè)簇的中心都是虛擬的。盡管AP使用樣本中的實(shí)際對(duì)象作為其簇中心，但在某些情況下，一個(gè)對(duì)象不足以描述簇內(nèi)部結(jié)構(gòu)，當(dāng)K設(shè)置為3時(shí)，請(qǐng)參見(jiàn)圖5(b)中的聚類結(jié)果。與FCM和AP進(jìn)行比較，ICSR-T-FC不僅使用真實(shí)對(duì)象作為簇中心，而且還使用多樣本代表性策略，使得獲得的簇中心對(duì)于離群點(diǎn)或噪聲更具有魯棒性，并且可以充分捕獲簇內(nèi)部結(jié)構(gòu)，參見(jiàn)圖5(c)中的聚類結(jié)果。

表2 D-T聚類結(jié)果

圖5 合成數(shù)據(jù)集的聚類結(jié)果

此外，與引入的遷移聚類算法TAP和PPKTFCM相比，ICSR-T-FC也實(shí)現(xiàn)了最佳性能。特別是當(dāng)K設(shè)置為3時(shí)，ICSR-T-FC的NMI和ARI表現(xiàn)很完美。由于對(duì)象稀疏地分布在目標(biāo)域D-T中，因此簇內(nèi)部結(jié)構(gòu)信息變得難以捕獲。雖然可以根據(jù)源域提供的簇中心知識(shí)遷移來(lái)使用遷移知識(shí)來(lái)指導(dǎo)目標(biāo)域的聚類過(guò)程，但仍然不足以有效地處理稀疏分布問(wèn)題。在ICSR-T-FC中，將兩個(gè)域聯(lián)合在一起，重建目標(biāo)域的簇內(nèi)部結(jié)構(gòu)，并以新結(jié)構(gòu)作為遷移知識(shí)來(lái)指導(dǎo)目標(biāo)域的聚類過(guò)程。實(shí)驗(yàn)結(jié)果也證明了該策略的有效性。

為了進(jìn)一步評(píng)估ICSR-T-FC的性能，將在實(shí)際遷移方案中實(shí)施該算法。

3.4 關(guān)于UCI數(shù)據(jù)集

選擇20個(gè)集合中的4個(gè)集合來(lái)生成兩個(gè)稱為“comp VS sci”和“rec VS talk”的遷移場(chǎng)景。表3給出了有關(guān)這兩種遷移場(chǎng)景的詳細(xì)信息。

表3 兩種遷移場(chǎng)景的描述 簇

表4展現(xiàn)的是所有算法在NMI和ARI方面的聚類結(jié)果。從表4中，可以看到ICSR-T-FC在所有類似算法中也獲得了最佳性能，這與合成數(shù)據(jù)集的結(jié)果一致。

表4 在UCI數(shù)據(jù)集上的聚類結(jié)果

實(shí)驗(yàn)結(jié)果表明，將兩個(gè)域聯(lián)合在一起，重建目標(biāo)域的簇內(nèi)部結(jié)構(gòu)，并以新結(jié)構(gòu)作為遷移知識(shí)來(lái)指導(dǎo)目標(biāo)域的聚類過(guò)程能夠起到知識(shí)遷移的作用，對(duì)目標(biāo)域而言，能夠提升目標(biāo)域的聚類效果。

4 結(jié)論

本研究提出了一種基于簇內(nèi)部結(jié)構(gòu)重構(gòu)的遷移模糊聚類算法，并使用所有對(duì)象信息來(lái)描述簇內(nèi)部結(jié)構(gòu)。將目標(biāo)域和源域聯(lián)合在一起以重建目標(biāo)域的簇結(jié)構(gòu)，并重新計(jì)算目標(biāo)域中每個(gè)對(duì)象的權(quán)重。目標(biāo)域中更新后的權(quán)重被認(rèn)為是用于指導(dǎo)目標(biāo)域?qū)W習(xí)的遷移知識(shí)，利用新的簇結(jié)構(gòu)作為遷移知識(shí)來(lái)指導(dǎo)目標(biāo)域中簇的劃分。不同類型數(shù)據(jù)集的廣泛實(shí)驗(yàn)結(jié)果表明，與其他遷移聚類算法相比，所提出的遷移模糊聚類算法具有更好的性能，表現(xiàn)出更好的聚類效果。