王 進，余 薇，孫開偉，鄧 欣

(重慶郵電大學(xué) 數(shù)據(jù)工程與可視計算重點實驗室，重慶 400065)

多標(biāo)簽學(xué)習(xí)(multi-label learning, MLL)旨在為分配了多個類標(biāo)簽的對象構(gòu)建分類模型[1].多標(biāo)簽學(xué)習(xí)廣泛存在于現(xiàn)實世界的應(yīng)用程序中：文本分類，一則新聞可以涵蓋多個主題[2]，包括政治、經(jīng)濟和改革；多媒體內(nèi)容注釋，1個圖像可以展示包括海灘和建筑在內(nèi)的幾個場景[3]；生物信息學(xué)，1個基因可以具有多種功能[4]，包括代謝、蛋白質(zhì)合成和轉(zhuǎn)錄.

多標(biāo)簽學(xué)習(xí)算法應(yīng)用已經(jīng)取得了成功[1].由于每個類別的標(biāo)簽應(yīng)該具有自己的特定特征，因此傳統(tǒng)的方法并不是最理想的選擇.例如，自動圖像注釋中，在區(qū)分天空和非天空圖像時基于顏色的特征將是首選，在區(qū)分沙漠和非沙漠圖像時基于紋理的特征將是首選，而顏色和紋理可能都是有助于區(qū)分標(biāo)簽空間中其他標(biāo)簽的首選特征.再比如，文本分類中，在區(qū)分經(jīng)濟和非經(jīng)濟文本時，與GDP、減稅、股票市場等詞匯相關(guān)的特征則具有相關(guān)性.由此可見，每個類別的標(biāo)簽均具有自己的特定特征，挖掘標(biāo)簽特定特征對多標(biāo)簽學(xué)習(xí)而言顯得至關(guān)重要.處理多標(biāo)簽學(xué)習(xí)問題面臨的核心挑戰(zhàn)就是如何通過探索多個標(biāo)簽之間依賴關(guān)系來提高預(yù)測準(zhǔn)確性，探索標(biāo)簽間相關(guān)性的一種直接方法是為擴展特征空間上的每個標(biāo)簽建立單獨的分類模型，并將其他標(biāo)簽的預(yù)測值視為附加特征.這種策略簡單直觀，但它可能會因為訓(xùn)練集和預(yù)測集之間附加特征值的差異導(dǎo)致預(yù)測性能的一定退化.簡言之，構(gòu)建標(biāo)簽的特定特征以及挖掘樣本之間的關(guān)聯(lián)關(guān)系在多標(biāo)簽學(xué)習(xí)中都至關(guān)重要.

文獻[5]首次提出了一種名為multi-label lear-ning with label specific features(LIFT)的特征轉(zhuǎn)換新方法，該方法通過構(gòu)建標(biāo)簽特定特征作為輸入空間來處理多標(biāo)簽數(shù)據(jù)，計算每1個原始特征到每1個標(biāo)簽原始聚類簇中心的歐式距離，將獲得的歐式距離映射為標(biāo)簽特定特征，挖掘樣本內(nèi)部聚類關(guān)聯(lián)，但沒有考慮標(biāo)簽相關(guān)性.隨后，文獻[6]提出一種名為learning label-specific features(LLSF)的方法，學(xué)習(xí)每個標(biāo)簽的標(biāo)簽特定特征，假設(shè)每個標(biāo)簽僅與給定數(shù)據(jù)集原始特征集中相關(guān)特征的子集相關(guān)聯(lián)，這些相關(guān)特征可以視為標(biāo)簽特定特征，但LLSF沒有尋找多標(biāo)簽樣本之間的關(guān)聯(lián)關(guān)系.文獻[7]和[8]提出learning label-specific features and class-dependent labels(LLSF-DL)和regularization enriched label-specific features(REEL)兩種基于標(biāo)簽特定特征的方法分別是對LLSF和LIFT算法的改進，具備更加明顯的分類性能優(yōu)勢.文獻[9]提出了一種稱為label-specific features and local pairwise label correlation(LF-LPLC)的標(biāo)簽特定特征方法用于多標(biāo)簽學(xué)習(xí)，著重通過豐富標(biāo)簽的語義信息來解決不平衡的類分布問題.文獻[10]設(shè)計了1個優(yōu)化框架來學(xué)習(xí)特征的權(quán)重分配方案，并通過同時構(gòu)建附加特征來考慮標(biāo)簽之間的相關(guān)性，但模型更加復(fù)雜，時間成本也更大.

受到文獻[5-10]中基于標(biāo)簽特定特征工作的啟發(fā)，文中著重進行對標(biāo)簽特定特征的學(xué)習(xí)與研究，提出了基于聚類提升樹的多標(biāo)簽學(xué)習(xí)算法(multi-label leaning based on boosting clustering trees, MLL-BCT).MLL-BCT方法首先引入聚類特征樹挖掘數(shù)據(jù)樣本之間本身的相關(guān)性，再在新的樣本集合上構(gòu)建局部特征轉(zhuǎn)換框架，利用梯度提升樹構(gòu)建標(biāo)簽特定特征.

MLL-BCT采用區(qū)別于現(xiàn)有成熟的標(biāo)簽特定特征算法(大多是基于LIFT和LLSF的改進)的特征構(gòu)建方法，提出一種隨機局部特征抽取框架，通過特定學(xué)習(xí)局部特征集合的梯度殘差，為每個標(biāo)簽探索與該標(biāo)簽最具關(guān)聯(lián)性的特定特征集合.

1 聚類提升樹多標(biāo)簽分類模型

1.1 符號定義

1.2 MLL-BCT算法框架

為了對多標(biāo)簽學(xué)習(xí)進行建模，探索出每個標(biāo)簽的有效特征，文中提出了基于聚類提升樹的多標(biāo)簽學(xué)習(xí)算法MLL-BCT，算法框架包括以下兩個階段：

1)聚類特征樹：原始數(shù)據(jù)集使用CF-Tree方法進行聚類，挖掘樣本之間的關(guān)聯(lián)關(guān)系，當(dāng)樣本聚類為1個類別時，認定輸出空間具有緊密的相關(guān)性.

2)標(biāo)簽特定特征：根據(jù)隨機局部特征轉(zhuǎn)換方法為每個標(biāo)簽構(gòu)建標(biāo)簽特定特征.需要根據(jù)隨機局部特征轉(zhuǎn)換構(gòu)建初始模型，利用梯度提升分類樹，計算出殘差預(yù)測值，然后標(biāo)簽的殘差預(yù)測值作為附加特征來拓展特征空間.

圖1為MLL-BCT的訓(xùn)練與預(yù)測框架.

圖1 MLL-BCT的訓(xùn)練與預(yù)測框架

如圖1所示，在訓(xùn)練階段，首先將訓(xùn)練集利用聚類特征樹聚類算法挖掘樣本之間的關(guān)系，聚類結(jié)果表征了樣本在輸出空間具有相似特征；然后利用隨機局部特征轉(zhuǎn)換框架，設(shè)置梯度提升樹學(xué)習(xí)棵數(shù)，以及每次需要隨機抽取的特征維數(shù)，將每個標(biāo)簽對應(yīng)的若干梯度提升分類樹的殘差預(yù)測值作為標(biāo)簽特定特征，并作為附加特征添加到原始空間中，得到最終的模型.在測試階段，與訓(xùn)練階段相同，構(gòu)建得到新的測試樣本，輸入模型獲得最終預(yù)測的結(jié)果.

1.3 聚類特征樹

1.3.1CF-Tree算法過程

聚類特征樹即CF-Tree，樹的每1個節(jié)點由若干個聚類特征(CF)組成，而每1個CF是1個三元組，可以用(N，LS，SS)表示，其中N、LS、SS分別代表了CF中樣本點的數(shù)量、各特征維度的和向量、各特征維度的平方和.聚類特征樹的每個節(jié)點包括葉子節(jié)點都有若干個CF，而內(nèi)部節(jié)點的CF有指向孩子節(jié)點的指針，所有的葉子節(jié)點用1個雙向鏈表鏈接起來.簡言之，根據(jù)定義的CF三元組，通過計算三元組之間的距離閾值來判斷是否吸收該元組從而構(gòu)建1棵二叉樹的CF-Tree.

構(gòu)建好初始的CF三元組后，就可進行聚類特征樹構(gòu)建，也即是對樣本的聚類過程，聚類特征樹的偽代碼見算法1.

首先，定義初始種子的計算式為

(1)

數(shù)據(jù)點到種子的距離計算式為

(2)

聚類簇內(nèi)間元組的平均距離計算式為

(3)

算法1輸入：數(shù)據(jù)集樣本D；輸出：聚類特征樹模型T.其流程如下：

nroot←newNode

構(gòu)造樹模型(nroot)

T←nroot

返回 模型T

過程 構(gòu)造樹模型

輸入樣本D

階段1 建立初始化的CF-Tree，把稠密數(shù)據(jù)分成簇，稀疏數(shù)據(jù)作為孤立點對待

階段2 在階段1的基礎(chǔ)上，建立1個更小的CF-Tree

階段3 使用全局算法對新建立的CF-Tree全部葉節(jié)點進行聚類

階段4 使用階段3的中心點作為新種子，重新分配數(shù)據(jù)點到新種子，添加簇類標(biāo)簽

返回 該過程

過程 根據(jù)式(1)構(gòu)建CF-Tree

從根節(jié)點開始，自上而下選擇最近的孩子節(jié)點

到達葉子節(jié)點后，檢查最近的元組CFi能否吸收此數(shù)據(jù)點根據(jù)式(2)和(3)決定

if最近元組CFi可以吸收then

更新CF值

else判斷是否可以添加1個新元組

if是then

添加1個新的元組

else

分裂最遠的一對元組，作為種子，按最近距離重新分配其他元組

if是then

添加1個新的元組

else

分裂最遠的一對元組，作為種子，按最近距離重新分配其他元組

end

end

更新非葉子節(jié)點的CF，直到root

返回 該過程

1.3.2應(yīng)用CF-Tree挖掘多標(biāo)簽數(shù)據(jù)樣本關(guān)聯(lián)

文中通過應(yīng)用無監(jiān)督學(xué)習(xí)聚類特征樹的方法來挖掘樣本之間的關(guān)聯(lián)，也即輸出空間的相似性.如圖2所示，首先輸入多標(biāo)簽數(shù)據(jù)集等待聚類，其中NLN代表非葉子節(jié)點，LN代表葉子節(jié)點，樣本數(shù)為N.

圖2 聚類特征樹聚類實例

在多標(biāo)簽分類中，數(shù)據(jù)樣本由特征向量和多個標(biāo)簽的輸出向量表示.假設(shè)相互依賴的標(biāo)簽在輸出空間上具有相似的特征，即樣本之間存在著一定的關(guān)聯(lián)關(guān)系.利用聚類特征樹構(gòu)建出的樹形結(jié)構(gòu)，每1個樣本的特征最終都會被分配到1個葉子節(jié)點上.因此，每個樣本都可以獲得表示當(dāng)前葉子節(jié)點的編號(如圖2中1、2、3、4所示)的聚類簇類別.通過聚類特征過程獲取所有樣本的聚類簇，添加葉子節(jié)點聚類簇Xcluster擴展原始特征空間.最終，得到1個新的訓(xùn)練集D′=(X∪Xcluster,Y)，若樣本的特征Xcluster相同，表明樣本之前的關(guān)系緊密，則認為輸出空間有相似的特性.

1.4 標(biāo)簽特定特征

1.4.1隨機局部特征轉(zhuǎn)換框架

文中通過構(gòu)建隨機局部特征轉(zhuǎn)換框架來提取標(biāo)簽的特定特征.隨機局部特征轉(zhuǎn)換框架的詳細過程如圖3所示，偽代碼見算法2.

圖3 隨機局部特征轉(zhuǎn)換框架

算法2隨機局部特征轉(zhuǎn)換的標(biāo)簽特定特征學(xué)習(xí)中定義Trees=GradientBoostingTree(D,X,ratio,T,yi)，其中輸入為訓(xùn)練數(shù)據(jù)D，原始特征集X，隨機選擇的特征維數(shù)比例ratio，樹的棵數(shù)T，標(biāo)簽yi；輸出為Trees.其流程如下：

令Trees=?

fort=1:Tdo

從原始特征集X中按比例ratio隨機選取局部特征子集At；

Trees=Trees∪Treet

計算梯度提升樹葉子節(jié)點的殘差預(yù)測值

返回Trees

具體而言，輸入原始的特征空間到LSF中，對于第j個標(biāo)簽yj，即在圖3中的每個LSF中，需要設(shè)置樹的棵數(shù)T值(MLL-BCT算法設(shè)置默認T值為100，樹的數(shù)目即隨機選擇次數(shù)的累積能夠保證表達力具有區(qū)分度，故通常不應(yīng)偏小)，以及設(shè)置隨機局部特征選擇維數(shù)的占比ratio值(MLL-BCT算法設(shè)置默認ratio值為0.3，為保證每次特定地學(xué)習(xí)少量特征隱藏的信息，故通常不應(yīng)偏大).合理地設(shè)置T值和ratio值可以保障標(biāo)簽特定特征的差異性與細化能力.

(4)

式中：Xi為第i個訓(xùn)練樣本的特征向量；Xi[At]為包含由所選特征索引在Xi的特征向量；yij為第i個訓(xùn)練樣本的第j個標(biāo)簽向量.

隨機選擇局部特征能夠保證特定學(xué)習(xí)少量特征隱藏的信息，隨機選擇次數(shù)的累積保證表達力具有區(qū)分度，保障標(biāo)簽特定特征的差異性與細化能力.

1.4.2利用梯度提升樹學(xué)習(xí)殘差預(yù)測值

在1.4.1節(jié)的隨機局部特征轉(zhuǎn)換框架中，包含隨機抽取T個局部特征子集訓(xùn)練T棵梯度提升樹獲取葉子節(jié)點的殘差預(yù)測值過程.具體每一棵梯度提升樹學(xué)習(xí)生成負梯度殘差見算法3，其中輸出的葉子節(jié)點殘差預(yù)測值為對應(yīng)標(biāo)簽轉(zhuǎn)化的特定特征.

fori←1 totdo

end for

具體針對任意一棵樹Treet的特定特征學(xué)習(xí)過程，也即是為了增加原始特征空間的差異性，文中構(gòu)建標(biāo)簽特定特征，利用每次迭代的殘差來描述局部特征，且作為額外特征來反映特征空間中的局部信息，同時對標(biāo)簽直接建模，增加模型的表達能力，方法如下式(5)-(8)所示：

(5)

(6)

(7)

(8)

1.4.3學(xué)習(xí)標(biāo)簽特定特征

學(xué)習(xí)標(biāo)簽特定特征即是獲取所有梯度提升樹學(xué)習(xí)生成負梯度殘差的過程，示例如圖4所示.

圖4 學(xué)習(xí)標(biāo)簽特定特征的示例

對任意一棵樹輸出的葉子節(jié)點殘差預(yù)測值為對應(yīng)標(biāo)簽轉(zhuǎn)化的特定特征.而對于每棵樹而言，是基于原始特征空間進行隨機選擇的特征子集來學(xué)習(xí)的，樹的棵數(shù)太少會導(dǎo)致標(biāo)簽特定特征一定的噪聲.為了避免每棵樹相似性太高，通常T取值不能偏小，同時每棵樹學(xué)習(xí)的特征子集維數(shù)采樣率ratio不應(yīng)過大.

2 試驗結(jié)果與分析

2.1 數(shù)據(jù)集與對比方法

為了對算法性能進行全面評估，選擇了11個公開的多標(biāo)簽數(shù)據(jù)集進行試驗，所有的數(shù)據(jù)集均來自于Mulan(網(wǎng)址是http:∥mulan.sourceforge.net/datasets-mlc.html)，數(shù)據(jù)集來源涵蓋了生物、文本、音樂、視頻、圖像多個領(lǐng)域.同時，樣本數(shù)量規(guī)模選取為數(shù)百到數(shù)萬區(qū)間(具體規(guī)模為194到43 907)，包含較小樣本數(shù)目數(shù)據(jù)集如圖像領(lǐng)域的flag，以及較大樣本數(shù)目數(shù)據(jù)集如視頻領(lǐng)域的mediamill；特征維度的數(shù)量級為數(shù)十維到數(shù)萬維，包含較低維數(shù)據(jù)集如flag、emotions，以及來自文本領(lǐng)域的較高維數(shù)據(jù)集yahoo(arts1)；所選數(shù)據(jù)集對應(yīng)的最小標(biāo)簽數(shù)目為6，最大標(biāo)簽數(shù)目為374.表1為數(shù)據(jù)集詳細信息，數(shù)據(jù)集主要特征的差異保障了試驗數(shù)據(jù)的多樣性和全面性.

表1 數(shù)據(jù)集信息表

文獻[10]中采用迭代優(yōu)化變量學(xué)習(xí)權(quán)重的方法相對直接構(gòu)建特定特征而言模型更加復(fù)雜，因此未進行此算法的對比試驗.

文中參考并選取了REEL(改進于標(biāo)簽特定特征領(lǐng)域最經(jīng)典的LIFT算法)一文的對比試驗算法包括BR、LIFT、LLSF算法，并額外增加了基于LLSF改進的LLSF-DL算法，同時對比REEL和LF-LPLC算法，共計6個對比算法保證試驗的說服力，表2給出了對比算法信息.

表2 對比算法信息表

2.2 模型結(jié)果與分析

在多標(biāo)簽分類算法評估與分析試驗中，對所有多標(biāo)簽數(shù)據(jù)集都采用相同的劃分方式，用50%的數(shù)據(jù)進行訓(xùn)練，其余50%進行測試.在計算評價指標(biāo)時，將各結(jié)果取重復(fù)10次試驗的平均值進行統(tǒng)計，文中選擇Xgboost[12]算法作為基分類器.

試驗結(jié)果表中評價指標(biāo)后的“↓”表示指標(biāo)取值越小性能越佳，符號“↑”表示指標(biāo)取值越大性能越佳，AveRank表示該算法的平均排名.文中主要從MLL-BCT算法分類性能、聚類特征樹的有效性、算法關(guān)鍵參數(shù)的選取3個方面進行分析.

2.2.1算法分類性能比較

表3-7為5個不同評價指標(biāo)下各個多標(biāo)簽學(xué)習(xí)算法在各多標(biāo)簽數(shù)據(jù)集上的學(xué)習(xí)性能，從各結(jié)果表中的平均排名可以知道MLL-BCT算法排名均為第1.其中Ranking-loss的性能優(yōu)勢稍弱，其余評估指標(biāo)有著顯著的優(yōu)勢.

表3 不同算法的Hamming Loss↓試驗結(jié)果(均值(排序))

表4 不同算法的Ranking Loss↓試驗結(jié)果(均值(排序))

表5 不同算法的One-error↓試驗結(jié)果(均值(排序))

表6 不同算法的Average Precision↑試驗結(jié)果(均值(排序))

表7 不同算法的Micro-averaged F-Measure↑試驗結(jié)果(均值(排序))

為了進一步檢驗各算法之間的性能差異，應(yīng)用Friedman檢驗這7種算法有無顯著性差異，提出原假設(shè)：這7種多標(biāo)簽分類算法是等價的，沒有顯著性差異.表8給出了5個評價指標(biāo)的Friedman假設(shè)檢驗結(jié)果.

由表8可見，由于p遠小于0.05，因此拒絕原假設(shè)，證明這7種算法存在顯著差異性.

表8 各分類評估指標(biāo)的Friedman檢驗結(jié)果表

此外，表9進一步給出了算法的相對性能比較，為方便性能得分統(tǒng)計展示，分別設(shè)定各算法的得分為A1-A7：MLL-BCT(A1), REEL(A2), LIFT(A3), LLSF-DL(A4), LLSF(A5), LF-LPLC(A6), BR-SVM(A7).

表9 各多標(biāo)簽學(xué)習(xí)算法的性能得分統(tǒng)計表

在表9中，A1>A2表示在給定的評價指標(biāo)上，基于顯著度0.05的威爾科克森符號秩檢驗，A1對應(yīng)算法的性能顯著優(yōu)于A2對應(yīng)算法.文中通過打分的方式對各學(xué)習(xí)算法的性能進行總體評價，若A1>A2，則A1的分數(shù)加1，A2的分數(shù)減1，比較每個算法的最終分數(shù)，可以對算法得分進行排序，文中A1(MLL-BCT)最高.由表8和表9證明了文中算法顯著優(yōu)于其余算法.

2.2.2算法聚類特征樹有效性的驗證

在MLL-BCT中，提出了采用聚類特征樹算法來挖掘樣本之間的關(guān)聯(lián)關(guān)系，為了檢驗聚類特征樹算法的有效性，將聚類特征樹這一過程作為控制變量，比較MLL-BCT與替換其他聚類方法(Kmeans、DBSCAN)以及不使用聚類方法，但其余過程都與MLL-BCT保持一致的3種算法性能.

表10-14為5個不同評價指標(biāo)下算法在各多標(biāo)簽數(shù)據(jù)集上的學(xué)習(xí)性能，可以發(fā)現(xiàn)在各評估指標(biāo)上MLL-BCT算法平均排名均為第1，說明MLL-BCT(CF-Tree)優(yōu)于其余算法，證明了CF-Tree的有效性.

表10 聚類過程不同算法的Hamming Loss↓試驗結(jié)果(均值(排序))

表11 聚類過程不同算法的Ranking Loss↓試驗結(jié)果(均值(排序))

表12 聚類過程不同算法的One-error↓試驗結(jié)果(均值(排序))

表13 聚類過程不同算法的Average Precision↑試驗結(jié)果(均值(排序))

表14 聚類過程不同算法的Micro-averaged F-Measure↑試驗結(jié)果(均值(排序))

2.2.3算法關(guān)鍵參數(shù)分析

算法MLL-BCT核心在于構(gòu)建標(biāo)簽特定特征的過程.構(gòu)建標(biāo)簽特定特征時隨機采樣特征的采樣率ratio和梯度提升樹的棵數(shù)T是算法的2個關(guān)鍵參數(shù).試驗對比數(shù)據(jù)集較多，因此這里選取了其中4個數(shù)據(jù)集進行關(guān)鍵參數(shù)分析的可視化.

首先研究算法MLL-BCT對參數(shù)ratio的敏感度，給定T參數(shù)值為100時，對ratio值以0.2為步長，在0.1到0.9內(nèi)進行試驗.圖5給出了關(guān)鍵參數(shù)ratio的可視化分析結(jié)果.

圖5 算法MLL-BCT在各指標(biāo)下的隨機采樣率參數(shù)變化結(jié)果圖

整體上綜合考量多個評價指標(biāo)的情況下看，由圖5可見，在ratio值為0.3時，可以達到最優(yōu)值.但是部分數(shù)據(jù)集，如圖5c中的emotions，圖5e中的birds，隨著ratio的增加，性能反而會提升，可能的原因是其樣本數(shù)過少，或是特征數(shù)過少，當(dāng)模型構(gòu)建標(biāo)簽特定特征時，需要一定量的特征來表征這個標(biāo)簽，因此隨著ratio值變大，分類性能增強.但對于大部分數(shù)據(jù)集選取局部特征構(gòu)造特征時，ratio值偏小時能保證特征子集的表達能力不同，從而保障標(biāo)簽特定特征相異性.同理，研究了算法對參數(shù)T的敏感度，給定參數(shù)ratio值為0.3時，對不同的T值，以20為步長，在范圍從40到140內(nèi)對算法進行試驗.

圖6給出了算法MLL-BCT在各指標(biāo)下的梯度提升樹棵樹參數(shù)變化結(jié)果.

圖6 算法MLL-BCT在各指標(biāo)下的梯度提升樹棵樹參數(shù)變化結(jié)果圖

由圖6可見，算法整體的性能在T值為100時達到最優(yōu)值.原因在于當(dāng)ratio值偏小時，用于構(gòu)建標(biāo)簽特定特征的特征子集維數(shù)偏小，則需要足夠的梯度提升樹結(jié)果來挖掘更全面的隱藏信息.存在少部分數(shù)據(jù)集，如圖6a中的scene，圖6b中的emotions當(dāng)T增大時性能逐漸不穩(wěn)定，甚至?xí)儾?，可能的原因是原始特征空間表達能力較好，隨著T增加，標(biāo)簽特定特征數(shù)也增加，過多的標(biāo)簽特定特征會引起模型過擬合，從而導(dǎo)致預(yù)測性能變差.

綜合以上的對比分析，文中分別設(shè)置MLL-BCT算法ratio值和T值的默認值為0.3和100.

3 結(jié) 論

1)利用CF-Tree挖掘可以充分挖掘樣本內(nèi)在關(guān)聯(lián)，尋找輸出空間中的相似特征，性能優(yōu)于其余聚類算法.

2)在隨機局部特征轉(zhuǎn)換框架中應(yīng)用梯度提升樹模型致力于利用局部的特征為每個標(biāo)簽構(gòu)建特定的特征，提升單個標(biāo)簽表達能力，在多標(biāo)簽分類試驗結(jié)果上各評估指標(biāo)對比相應(yīng)領(lǐng)域先進的算法取得了提升.

3)文中方法主要致力于進行特征空間的轉(zhuǎn)化以獲取與標(biāo)簽最相關(guān)的特征，雖然這些特征有效地提升了分類性能，但引起生成的特征空間維度明顯增加，使得特征空間中可能存在著冗余信息，未來還可以基于標(biāo)簽特定特征的降維方法進行研究.