劉楊磊，梁吉業(yè)，高嘉偉，楊靜

(1.山西大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，山西太原030006;2.山西大學(xué)計(jì)算智能與中文信息處理教育部重點(diǎn)實(shí)驗(yàn)室，山西太原030006)

多標(biāo)記學(xué)習(xí)(multi-label learning)［1］是機(jī)器學(xué)習(xí)領(lǐng)域的重要研究方向之一.在多標(biāo)記學(xué)習(xí)問題中，一個(gè)訓(xùn)練樣本可能同時(shí)對(duì)應(yīng)于一個(gè)或多個(gè)不同的概念標(biāo)記，以表達(dá)其語(yǔ)義信息，學(xué)習(xí)的任務(wù)是為待學(xué)習(xí)樣本預(yù)測(cè)其對(duì)應(yīng)的概念標(biāo)記集合.多標(biāo)記學(xué)習(xí)問題普遍存在于真實(shí)世界中，比如在圖像場(chǎng)景分類任務(wù)中，一幅圖像可能因包含“樹木”、“天空”、“湖泊”以及“山峰”等語(yǔ)義概念，而擁有多個(gè)概念標(biāo)記.

傳統(tǒng)的多標(biāo)記學(xué)習(xí)通常是在監(jiān)督意義下進(jìn)行的，即要求訓(xùn)練數(shù)據(jù)集的訓(xùn)練樣本必須全部是已標(biāo)記樣本.然而，在現(xiàn)實(shí)生活中，雖然獲取大量的訓(xùn)練數(shù)據(jù)集并不十分困難，但是為這些數(shù)據(jù)提供正確的類別標(biāo)記卻需要耗費(fèi)大量的人力和時(shí)間.比如，在圖像場(chǎng)景分類任務(wù)中，現(xiàn)實(shí)世界中存在著海量的未標(biāo)記圖像，而且一幅圖像往往擁有大量的候選類別標(biāo)記，要完整標(biāo)注訓(xùn)練集中的每一個(gè)樣本就意味著需要人工查看每一幅圖像的所有候選類別并逐一標(biāo)注.當(dāng)數(shù)據(jù)規(guī)模較大且類別數(shù)目較多時(shí)，要獲得完整類別標(biāo)記的訓(xùn)練樣本集是非常困難的.此時(shí)，在監(jiān)督意義下如果只使用少量已標(biāo)記樣本訓(xùn)練，則得到的模型很難具有較強(qiáng)的泛化能力.而半監(jiān)督學(xué)習(xí)能夠較好地解決上述問題，它綜合利用少量的已標(biāo)記樣本和大量的未標(biāo)記樣本以提高泛化性能［2-3］.

因此，本文主要以協(xié)同訓(xùn)練思想為核心，提出了基于Tri-training的半監(jiān)督多標(biāo)記學(xué)習(xí)算法(a semisupervised multi-label learning algorithm based on Tritraining，SMLT)，以解決廣泛存在于實(shí)際生活中的文本分類、圖像場(chǎng)景分類以及生物信息學(xué)等半監(jiān)督多標(biāo)記學(xué)習(xí)問題.

1 背景知識(shí)

1.1 多標(biāo)記學(xué)習(xí)

在多標(biāo)記學(xué)習(xí)框架下，每個(gè)對(duì)象由一個(gè)樣本描述，該樣本具有多個(gè)類別標(biāo)記，學(xué)習(xí)的目的是將所有合適的類別標(biāo)記賦予待學(xué)習(xí)樣本［4］.形式化地來說，令X表示樣本空間，Y表示類別標(biāo)記空間，給定數(shù)據(jù)集{(x1，Y1)，(x2，Y2)，…，(xm，Ym)}，目標(biāo)是學(xué)得 f:X→2Y.其中，xi∈X(i=1，2，…，m)為一個(gè)樣本，Yi?Y 為 xi的一組類別標(biāo)記{yi1，yi2，…，yin}，yij∈Y(j=1，2，…，n)，n 為 Yi中所含類別標(biāo)記的個(gè)數(shù).

如果限定每個(gè)樣本只對(duì)應(yīng)一個(gè)類別標(biāo)記，那么傳統(tǒng)的2類或多類學(xué)習(xí)問題均可以看作是多標(biāo)記學(xué)習(xí)問題的特例.然而，多標(biāo)記學(xué)習(xí)的一般性也使得其相較于傳統(tǒng)的學(xué)習(xí)問題更加難以解決.目前，多標(biāo)記學(xué)習(xí)面臨的最大挑戰(zhàn)在于其輸出空間過大，即與一個(gè)待學(xué)習(xí)樣本相關(guān)聯(lián)的候選類別標(biāo)記集合的數(shù)量將會(huì)隨著標(biāo)記空間的增大而呈指數(shù)規(guī)模增長(zhǎng).如何充分利用標(biāo)記之間的相關(guān)性是構(gòu)造具有強(qiáng)泛化能力多標(biāo)記學(xué)習(xí)系統(tǒng)的關(guān)鍵.根據(jù)考察標(biāo)記之間相關(guān)性的不同方式，已有的多標(biāo)記學(xué)習(xí)問題求解策略大致可以分為以下 3 類［5］:

1)“一階”策略:將多標(biāo)記學(xué)習(xí)問題分解為多個(gè)獨(dú)立的二分類問題進(jìn)行求解.該類方法效率較高且實(shí)現(xiàn)簡(jiǎn)單，但是由于忽略了標(biāo)記之間的相關(guān)性，通常學(xué)習(xí)系統(tǒng)的泛化性能較低.

2)“二階”策略:考察兩兩標(biāo)記之間的相關(guān)性，將多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)化成標(biāo)記排序問題進(jìn)行求解.該類方法在一定程度上考慮了標(biāo)記之間的相關(guān)性，學(xué)習(xí)系統(tǒng)的泛化性能較好，但是當(dāng)實(shí)際問題中標(biāo)記之間具有超越二階的相關(guān)性時(shí)，該類方法的性能將會(huì)受到很大影響.

3)“高階”策略:考察高階的標(biāo)記相關(guān)性，充分利用標(biāo)記之間的結(jié)構(gòu)信息進(jìn)行求解.該類方法可以較好地反映真實(shí)世界問題的標(biāo)記相關(guān)性，但其模型復(fù)雜度較高，且在缺乏領(lǐng)域知識(shí)指導(dǎo)的情況下，幾乎無法利用標(biāo)記之間的結(jié)構(gòu)信息.

另一方面，近幾年來，多標(biāo)記學(xué)習(xí)越來越受到機(jī)器學(xué)習(xí)領(lǐng)域?qū)W者的關(guān)注，研究人員對(duì)多標(biāo)記學(xué)習(xí)問題提出了許多學(xué)習(xí)方法和策略，對(duì)這些問題的研究大致可分為2種思路:一種是問題轉(zhuǎn)化，另一種是算法改編.第1種思路試圖將多標(biāo)記學(xué)習(xí)任務(wù)轉(zhuǎn)化為一個(gè)或多個(gè)單標(biāo)記學(xué)習(xí)任務(wù)，然后利用已有的學(xué)習(xí)算法求解.代表性學(xué)習(xí)算法有一階方法Binary Relevance［6］，它將多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)化為二分類問題進(jìn)行求解;二階方法 Calibrated Label Ranking［7］將多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)化為標(biāo)記排序問題求解;高階方法Random k-labelsets［8］將多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)化為多類分類問題求解.第2種思路是對(duì)現(xiàn)有算法進(jìn)行改編或設(shè)計(jì)新算法，使之能直接處理多標(biāo)記學(xué)習(xí)任務(wù).代表性學(xué)習(xí)算法有一階方法ML-kNN［9］，它將“惰性學(xué)習(xí)”算法k近鄰進(jìn)行改造以適應(yīng)多標(biāo)記數(shù)據(jù);二階方法Rank-SVM［10］將“核學(xué)習(xí)”算法SVM進(jìn)行改造用于多類別標(biāo)記;高階方法 LEAD［5］將“貝葉斯學(xué)習(xí)”算法中的 Bayes網(wǎng)絡(luò)進(jìn)行改造，以適應(yīng)多標(biāo)記數(shù)據(jù).

上述的多標(biāo)記學(xué)習(xí)算法通常為監(jiān)督學(xué)習(xí)算法.然而，為訓(xùn)練數(shù)據(jù)集提供正確的類別標(biāo)記需要耗費(fèi)大量的人力和時(shí)間.因此，當(dāng)只有少量已標(biāo)記樣本可用時(shí)，傳統(tǒng)的多標(biāo)記學(xué)習(xí)算法將不再適用.

1.2 半監(jiān)督多標(biāo)記學(xué)習(xí)

近來年，有一些研究者開始研究半監(jiān)督/直推式多標(biāo)記學(xué)習(xí)(semi-supervised/transductive multi-label learning)方法.半監(jiān)督學(xué)習(xí)和直推式學(xué)習(xí)都是試圖利用大量的未標(biāo)記樣本來輔助對(duì)少量已標(biāo)記樣本的學(xué)習(xí)，但二者的基本思想?yún)s有顯著的不同.直推式學(xué)習(xí)的測(cè)試樣本是訓(xùn)練集中的未標(biāo)記樣本，測(cè)試環(huán)境是封閉的;而半監(jiān)督學(xué)習(xí)的測(cè)試樣本與訓(xùn)練樣本無關(guān)，測(cè)試環(huán)境是相對(duì)開放的.

2006年，Liu等［11］基于如果樣本之間具有很大的相似性，那么它們的標(biāo)記集合之間也應(yīng)該具有很大的相似性這樣的假設(shè)，提出了CNMF(constrained non-negative matrix factorization)方法，通過解一個(gè)帶約束的非負(fù)矩陣分解問題，期望使得這2種相似性差值最小，從而獲得最優(yōu)的對(duì)未標(biāo)記樣本的標(biāo)記.2008年，姜遠(yuǎn)等［12］提出了基于隨機(jī)游走(random walk)的直推式多標(biāo)記學(xué)習(xí)算法TML，并將其用于文本分類.同年，Chen等［13］基于樣本相似性度量與標(biāo)記相似性度量構(gòu)建圖，提出了SMSE(semi-supervised algorithm for multi-label learning by solving a Sylvester equation)方法，采用標(biāo)記傳播的思想對(duì)未標(biāo)記樣本的標(biāo)記進(jìn)行學(xué)習(xí)，整個(gè)優(yōu)化問題可采用Sylvester方程進(jìn)行快速求解.2010 年，Sun 等［14］和周志華等［15］考慮多標(biāo)記學(xué)習(xí)中的弱標(biāo)記問題，即訓(xùn)練樣本對(duì)應(yīng)的標(biāo)記集合中只有一小部分得到了標(biāo)記，或者根本沒有任何的標(biāo)記，分別提出了 WELL(weak label learning)方法和 TML-WL(transductive multi-label learning method for weak labeling)方法，他們同樣采用標(biāo)記傳播的思想對(duì)缺失標(biāo)記進(jìn)行學(xué)習(xí).2013年，周志華等［16］還采用標(biāo)記傳播的思想，首先將學(xué)習(xí)任務(wù)看作是一個(gè)對(duì)標(biāo)記集合進(jìn)行估計(jì)的優(yōu)化問題，然后為這個(gè)優(yōu)化問題找到一個(gè)封閉解，提出的TRAM算法為未標(biāo)記樣本分配其對(duì)應(yīng)的標(biāo)記集合.以上方法都是直推式方法，這類方法不能自然地對(duì)除測(cè)試樣本以外的未見樣本進(jìn)行預(yù)測(cè).2012年，周志華等［17］在傳統(tǒng)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理基礎(chǔ)上，引入2種正則項(xiàng)分別用于約束分類器的復(fù)雜度和相似樣本擁有相似結(jié)構(gòu)化的多標(biāo)記輸出，針對(duì)歸納式半監(jiān)督多標(biāo)記學(xué)習(xí)，提出了一種正則化方法MASS(multi-label semi-supervised learning).

1.3 Tri-training算法

從20世紀(jì)90年代末標(biāo)準(zhǔn)協(xié)同訓(xùn)練算法被提出開始，很多研究者對(duì)協(xié)同訓(xùn)練技術(shù)進(jìn)行了研究，不僅提出了很多學(xué)習(xí)方式不同、限制條件強(qiáng)弱各異的算法，而且對(duì)協(xié)同訓(xùn)練的理論分析和應(yīng)用研究也取得了不少進(jìn)展，使得協(xié)同訓(xùn)練成為半監(jiān)督學(xué)習(xí)中重要的研究方向之一［18］.

初期的協(xié)同訓(xùn)練算法引入了很多的限制和約束條件.而Tri-training算法［19］是周志華等在2005年提出的一種新的協(xié)同訓(xùn)練方法，它使用3個(gè)分類器進(jìn)行訓(xùn)練.在學(xué)習(xí)過程中，Tri-training算法采用集成學(xué)習(xí)中經(jīng)常用到的投票法，使用3個(gè)分類器對(duì)未見樣本進(jìn)行預(yù)測(cè).

由于Tri-training對(duì)屬性集和3個(gè)分類器所用監(jiān)督學(xué)習(xí)算法都沒有約束，而且不使用交叉驗(yàn)證，其適用范圍更廣、效率更高，因此本文以協(xié)同訓(xùn)練思想為核心，利用Tri-training算法訓(xùn)練分類器，來研究半監(jiān)督多標(biāo)記學(xué)習(xí).

2 基于Tri-training的半監(jiān)督多標(biāo)記學(xué)習(xí)算法

下面提出一種基于Tri-training的半監(jiān)督多標(biāo)記學(xué)習(xí)算法，該算法考察兩兩標(biāo)記之間的相關(guān)性，將多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)化為標(biāo)記排序問題進(jìn)行求解;因此在一定程度上考慮了標(biāo)記之間的相關(guān)性，并采用半監(jiān)督學(xué)習(xí)中的協(xié)同訓(xùn)練思想，利用Tri-training過程來訓(xùn)練分類器.

本文中相關(guān)量的定義如下:L={(xi，Yi)，i=1，2，…，m}是包含m個(gè)樣本的已標(biāo)記樣本集.其中，xi表示第 i個(gè)樣本的屬性集合;Yi={yi1，yi2，…，yin}表示樣本xi對(duì)應(yīng)的包含n個(gè)標(biāo)記的類別標(biāo)記集合，且yij∈{0，1}，j=1，2，…，n，若 yij=1，則表示第 j個(gè)標(biāo)記是當(dāng)前樣本 xi的真實(shí)標(biāo)記，否則 yij=0.U=，k=1，2，…，t}是包含 t個(gè)樣本的未標(biāo)記樣本集.L∪U是包含m+t個(gè)樣本的訓(xùn)練集.為了驗(yàn)證所提分類算法的有效性，構(gòu)建的 T=，s=1，2，…，w}是包含 w個(gè)樣本的測(cè)試集.數(shù)組 Rsj(s=1，2，…，w，j=1，2，…，n)用于存放測(cè)試集 T 中樣本在第 j類標(biāo)記上的得票數(shù).

為了對(duì)后續(xù)過程中產(chǎn)生的標(biāo)記排序結(jié)果進(jìn)行分析，并得到最終的預(yù)測(cè)標(biāo)記集合，需要設(shè)置一個(gè)閾值來劃分上述標(biāo)記排序結(jié)果.因此，在算法的預(yù)處理階段，為每一個(gè)訓(xùn)練樣本xi添加一個(gè)虛擬標(biāo)記yi0，把虛擬類標(biāo)記的得票數(shù)作為閾值對(duì)標(biāo)記排序結(jié)果進(jìn)行劃分.此時(shí)，涉及到標(biāo)記的下標(biāo)應(yīng)從0開始.

SMLT算法的基本思想是:首先，為已標(biāo)記樣本集L中的每一個(gè)樣本xi添加一個(gè)虛擬標(biāo)記yi0，然后考慮兩兩標(biāo)記之間的相關(guān)性，對(duì)L中每一對(duì)標(biāo)記(y*p，y*q)(0≤p＜q≤n)進(jìn)行訓(xùn)練，并利用 Tri-training過程學(xué)習(xí)得到相應(yīng)的3個(gè)分類器.對(duì)一個(gè)新的測(cè)試樣本，用學(xué)習(xí)到的分類器對(duì)相應(yīng)的每一對(duì)標(biāo)記進(jìn)行預(yù)測(cè)，并統(tǒng)計(jì)每個(gè)標(biāo)記所得的票數(shù)Rsj，得到該測(cè)試樣本的一個(gè)標(biāo)記排序結(jié)果.最后以虛擬標(biāo)記ys0″的得票數(shù)Rs0作為確定類標(biāo)記的依據(jù)，若Rsj＞Rs0(j=1，2，…，n)，則樣本的最后標(biāo)記 ysj″=1，否則 ysj″=0，即可得到一組測(cè)試集樣本的預(yù)測(cè)結(jié)果Y″.

SMLT算法的流程如圖1所示.SMLT算法的詳細(xì)步驟如下.

輸入:已標(biāo)記樣本集L，未標(biāo)記樣本集U，測(cè)試集T.

輸出:對(duì)測(cè)試集T的預(yù)測(cè)結(jié)果Y″.

1)初始化 Rsj=0(s=1，2，…，w，j=0，1，…，n)和用于存放訓(xùn)練樣本的集合Vpq=?(0≤p＜q≤n).

2)預(yù)處理已標(biāo)記樣本集L.對(duì)于任一對(duì)未處理的標(biāo)記(y*p，y*q)，遍歷xi∈L，將滿足以下規(guī)則的xi放入集合 Vpq中.若 yip=1，yiq=0 則樣本(xi，1)放入集合 Vpq中;若 yip=0，yiq=1 則將樣本(xi，0)放入集合Vpq中;若yip=yiq則不考慮樣本xi，即樣本xi不放入集合Vpq中.

3)將集合Vpq作為新的已標(biāo)記樣本集Lnew，結(jié)合未標(biāo)記樣本集U，在訓(xùn)練集中利用Tri-training算法學(xué)習(xí)得到3個(gè)分類器.

4)使用投票法和得到的3個(gè)分類器對(duì)測(cè)試集T中的未標(biāo)記樣本(s=1，2，…，w)進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)結(jié)果rspq并統(tǒng)計(jì)對(duì)應(yīng)的標(biāo)記投票個(gè)數(shù).若rspq=1則表示樣本″屬于第p類標(biāo)記，Rsp=Rsp+1;若rspq=0則表示樣本″屬于第q類標(biāo)記，Rsq=Rsq+1.

5)將標(biāo)記(y*p，y*q)設(shè)置為已處理，若還有未處理的標(biāo)記對(duì)，則轉(zhuǎn)步驟2)，否則下一步.

圖1SMLT算法Fig.1 Flow chart of the SMLT algorithm

3 實(shí)驗(yàn)結(jié)果及分析

本文在 emotions、scene、yeast、enron 這 4 個(gè)較為常用的多標(biāo)記數(shù)據(jù)集［20］上與多標(biāo)記學(xué)習(xí)的多種典型方法進(jìn)行實(shí)驗(yàn)比較，其中包括ML-kNN［9］、RANKSVM［10］以及 TRAM［16］.實(shí)驗(yàn)數(shù)據(jù)集的相關(guān)信息如表1所示.

表1 實(shí)驗(yàn)數(shù)據(jù)集相關(guān)信息Table 1 The characteristics of datasets

實(shí)驗(yàn)采用4種常用的多標(biāo)記學(xué)習(xí)評(píng)價(jià)指標(biāo)［4］對(duì)算法性能進(jìn)行評(píng)估:Hamming Loss、One-Error、Coverage和Ranking Loss.以上4種評(píng)估指標(biāo)的值越小，表明該算法的性能越好［4］.

實(shí)驗(yàn)將抽取各數(shù)據(jù)集的90%作為訓(xùn)練樣本集(其中20%的訓(xùn)練樣本是已標(biāo)記樣本集，80%的訓(xùn)練樣本是未標(biāo)記樣本集)，其余10%的數(shù)據(jù)為測(cè)試樣本集，重復(fù)10次統(tǒng)計(jì)其平均結(jié)果.由于TRAM方法是直推式方法，不能直接對(duì)測(cè)試樣本集以外的未見樣本進(jìn)行預(yù)測(cè)，實(shí)驗(yàn)中將最終測(cè)試樣本作為TRAM訓(xùn)練時(shí)的未標(biāo)記樣本集.表2～5給出了實(shí)驗(yàn)結(jié)果，加粗部分為每個(gè)指標(biāo)上的最佳性能.

表2 數(shù)據(jù)集emotions上各算法的實(shí)驗(yàn)結(jié)果Table 2 The summary results of four algorithms on emotions dataset

表3 數(shù)據(jù)集scene上各算法的實(shí)驗(yàn)結(jié)果Table 3 The summary results of four algorithms on scene dataset

表4 數(shù)據(jù)集yeast上各算法的實(shí)驗(yàn)結(jié)果Table 4 The summary results of four algorithms on yeast dataset

表5 數(shù)據(jù)集enron上各算法的實(shí)驗(yàn)結(jié)果Table 5 The summary results of four algorithms on enron dataset

通過分析表2～5，在 emotions和 enron這2個(gè)數(shù)據(jù)集上，提出的算法SMLT在4個(gè)評(píng)估指標(biāo)上都優(yōu)于其他算法，而在scene數(shù)據(jù)集上有2個(gè)評(píng)估指標(biāo)優(yōu)于其他算法，但在Hamming Loss和Ranking loss上略差于其他算法，在yeast數(shù)據(jù)集上有3個(gè)評(píng)估指標(biāo)優(yōu)于其他算法，僅在Hamming Loss上略差于其他算法.可能的原因是本文提出的算法充分利用了已標(biāo)記樣本集和未標(biāo)記樣本集的信息，這要比不利用已標(biāo)記樣本集或者單純只利用已標(biāo)記樣本集的信息，更能提高分類算法的性能.

為了進(jìn)一步驗(yàn)證已標(biāo)記樣本集的規(guī)模對(duì)SMLT算法的影響，在4個(gè)數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn).訓(xùn)練樣本集和測(cè)試樣本集的構(gòu)成方法與上文實(shí)驗(yàn)相同，但是已標(biāo)記樣本集占訓(xùn)練數(shù)據(jù)集的比例依次調(diào)整為10%、20%、30%、40%和50%時(shí)，SMLT算法在4項(xiàng)評(píng)估指標(biāo)上的取值與已標(biāo)記樣本集比例的關(guān)系如圖2～5所示.

圖2 數(shù)據(jù)集emotions在4項(xiàng)評(píng)估指標(biāo)上的實(shí)驗(yàn)結(jié)果Fig.2 The summary results of four evaluation metrics on emotions dataset

圖3 數(shù)據(jù)集scene在4項(xiàng)評(píng)估指標(biāo)上的實(shí)驗(yàn)結(jié)果Fig.3 The summary results of four evaluation metrics on scene dataset

圖4 數(shù)據(jù)集yeast在4項(xiàng)評(píng)估指標(biāo)上的實(shí)驗(yàn)結(jié)果Fig.4 The summary results of four evaluation metrics on yeast dataset

圖5 數(shù)據(jù)集enron在4項(xiàng)評(píng)估指標(biāo)上的實(shí)驗(yàn)結(jié)果Fig.5 The summary results of four evaluation metrics on enron dataset

根據(jù)圖2～5可以發(fā)現(xiàn)，在半監(jiān)督學(xué)習(xí)的意義下，SMLT算法對(duì)應(yīng)的4項(xiàng)評(píng)估指標(biāo)的值大多隨著已標(biāo)記樣本集比例的增加而不斷減小，即算法的分類性能越來越好.并且在已標(biāo)記樣本集比例較小時(shí)曲線下降較快，隨著已標(biāo)記樣本集比例的增加，曲線趨于平緩.僅在yeast數(shù)據(jù)集上的One-Error評(píng)價(jià)指標(biāo)的曲線比較特殊.這是因?yàn)榻o定的監(jiān)督信息越多，越有助于分類，從而得到更好的分類結(jié)果，而當(dāng)已標(biāo)記樣本集比例增加到一定程度時(shí)，監(jiān)督信息不再是影響分類性能的主要因素.

4 結(jié)束語(yǔ)

本文針對(duì)廣泛存在于實(shí)際生活中的半監(jiān)督多標(biāo)記學(xué)習(xí)問題，以協(xié)同訓(xùn)練思想為核心，以兩兩標(biāo)記之間的關(guān)系為出發(fā)點(diǎn)，利用Tri-training算法訓(xùn)練分類器，并將多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)化為標(biāo)記排序問題進(jìn)行求解，實(shí)驗(yàn)結(jié)果表明了該算法的有效性.但是，當(dāng)多標(biāo)記的數(shù)量和規(guī)模較大時(shí)，如何進(jìn)一步降低算法的計(jì)算復(fù)雜度仍將是需要深入討論的問題.

［1］TSOUMAKAS G，KATAKIS I.Multi-label classification:an overview［J］.International Journal of Data Warehousing and Mining，2007，3(3):1-13.

［2］ZHU Xiaojin.Semi-supervised learning literature survey［R］.Madison，USA:University of Wisconsin-Madison，2008.

［3］常瑜，梁吉業(yè)，高嘉偉，等.一種基于Seeds集和成對(duì)約束的半監(jiān)督聚類算法［J］.南京大學(xué)學(xué)報(bào):自然科學(xué)版，2012，48(4):405-411.CHANG Yu，LIANG Jiye，GAO Jiawei，et al.A semi-supervised clustering algorithm based on seeds and pair wise constraints［J］.Journal of Nanjing University:Natural Sciences，2012，48(4):405-411.

［4］ZHOU Zhihua，ZHANG Minling，HUANG Shengjun，et al.Multi-instance multi-label learning［J］.Artificial Intelligence，2012，176(1):2291-2320.

［5］ZHANG Minling，ZHANG Kun.Multi-label learning by exploiting label dependency［C］//Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Washington，DC，USA，2010:999-1007.

［6］BOUTELL M R，LUO Jiebo，SHEN Xipeng，et al.Learning multi-label scene classification［J］.Pattern Recognition，2004，37(9):1757-1771.

［7］FURNKRANZ J，HULLERMEIER E，MENCIA E L，et al.Multi-label classification via calibrated label ranking［J］.Machine Learning，2008，73(2):133-153.

［8］TSOUMAKAS G，VLAHAVAS I.Random k-labelsets:an ensemble method for multilabel classification［C］//Proceedings of the 18th European Conference on Machine Learning.Berlin:Springer，2007:406-417.

［9］ZHANG Minling，ZHOU Zhihua.ML-kNN:a lazy learning approach to multi-label learning［J］.Pattern Recognition，2007，40(7):2038-2048.

［10］ELISSEEFF A，WESTON J.A kernel method for multi-labelled classification［M］//DIETTERICH T G，BECKER S，GHAHRAMANI Z.Advances in Neural Information Processing Systems 14.Cambridge，USA:The MIT Press，2002:681-687.

［11］LIU Yi，JIN Rong，YANG Liu.Semi-supervised multi-label learning by constrained non-negative matrix factorization［C］//Proceedings of the 21st National Conference on Artificial Intelligence.Menlo Park，USA，2006:421-426.

［12］姜遠(yuǎn)，佘俏俏，黎銘，等.一種直推式多標(biāo)記文檔分類方法［J］.計(jì)算機(jī)研究與發(fā)展，2008，45(11):1817-1823.JIANG Yuan，SHE Qiaoqiao，LI Ming，et al.A transductive multi-label text categorization approach［J］.Journal of Computer Research and Development，2008，45(11):1817-1823.

［13］CHEN Gang，SONG Yangqiu，WANG Fei，et al.Semisupervised multi-label learning by solving a Sylvester equation［C］//Proceedings of SIAM International Conference on Data Mining.Los Alamitos，USA，2008:410-419.

［14］SUN Yuyin，ZHANG Yin，ZHOU Zhihua.Multi-label learning with weak label［C］//Proceedings of the 24th AAAI Conference on Artificial Intelligence.Menlo Park，USA，2010:593-598.

［15］孔祥南，黎銘，姜遠(yuǎn)，等.一種針對(duì)弱標(biāo)記的直推式多標(biāo)記分類方法［J］.計(jì)算機(jī)研究與發(fā)展，2010，47(8):1392-1399.KONG Xiangnan，LI Ming，JIANG Yuan，et al.A transductive multi-label classification method for weak labeling［J］.Journal of Computer Research and Development，2010，47(8):1392-1399.

［16］KONG Xiangnan，NG M K，ZHOU Zhihua.Transductive multi-label learning via label set propagation［J］.IEEE Transactions on Knowledge and Data Engineering，2013，25(3):704-719.

［17］李宇峰，黃圣君，周志華.一種基于正則化的半監(jiān)督多標(biāo)記學(xué)習(xí)方法［J］.計(jì)算機(jī)研究與發(fā)展，2012，49(6):1272-1278.LI Yufeng，HUANG Shengjun，ZHOU Zhihua.Regularized semi-supervised multi-label learning［J］.Journal of Computer Research and Development，2012，49(6):1272-1278.

［18］周志華，王玨.機(jī)器學(xué)習(xí)及其應(yīng)用［M］.北京:清華大學(xué)出版社，2007:259-275.

［19］ZHOU Zhihua，LI Ming.Tri-training:exploiting unlabeled data using three classifiers［J］.IEEE Transactions on Knowledge and Data Engineering，2005，17(11):1529-1541.

［20］Multi-label datasets［EB/OL］.［2013-01-06］.http://sourceforge.net/projects/mulan/files/datasets/.