林騰濤，查思明，陳 蕾，2*，龍顯忠

（1.南京郵電大學(xué)計(jì)算機(jī)學(xué)院、軟件學(xué)院、網(wǎng)絡(luò)安全學(xué)院，南京 210003；2.江蘇省大數(shù)據(jù)安全與智能處理重點(diǎn)實(shí)驗(yàn)室（南京郵電大學(xué)），南京 210003）

0 引言

在現(xiàn)實(shí)生活中，一個(gè)示例通常與多個(gè)標(biāo)記相關(guān)聯(lián)，例如，一篇文檔可能與多個(gè)不同主題相關(guān)，一幅圖片通常包含多個(gè)物體，一段音樂可能有多個(gè)體裁。因此，多標(biāo)記學(xué)習(xí)受到了廣泛的關(guān)注，并在文本分類、圖像標(biāo)注、圖像分割、動(dòng)作識(shí)別、面部表情識(shí)別、生物信息學(xué)等各個(gè)領(lǐng)域都取得了成功應(yīng)用。

多標(biāo)記學(xué)習(xí)旨在從一系列候選標(biāo)記集中選出與樣本相關(guān)的標(biāo)記，由于標(biāo)記集有著大量的標(biāo)記并且多個(gè)標(biāo)記在某個(gè)語義空間里通常是相互關(guān)聯(lián)的，因此，探索標(biāo)記之間的關(guān)聯(lián)關(guān)系有助于多標(biāo)記學(xué)習(xí)。例如，在圖像標(biāo)注中，如果標(biāo)記“駱駝”和“仙人掌”同時(shí)出現(xiàn)，那么有極大可能性會(huì)出現(xiàn)“沙漠”這個(gè)標(biāo)記，而出現(xiàn)“蝴蝶”這一標(biāo)記的可能性就極低。多標(biāo)記學(xué)習(xí)試圖將不同程度的標(biāo)記相關(guān)性結(jié)合起來，已有許多相關(guān)算法被提出來探索標(biāo)記之間的關(guān)聯(lián)關(guān)系。其中，標(biāo)記排序方法通過考慮兩兩標(biāo)記之間的關(guān)系從而將多標(biāo)記分類問題轉(zhuǎn)化為標(biāo)記排序問題［1-2］。進(jìn)一步地，為了探索標(biāo)記之間的高階關(guān)聯(lián)關(guān)系，即一個(gè)標(biāo)記與其他所有標(biāo)記之間的關(guān)聯(lián)關(guān)系，最典型的方法是將原始標(biāo)記向量投影到一個(gè)低維的標(biāo)記空間中［3］，文獻(xiàn)［4］同時(shí)考慮了全局和局部的標(biāo)記關(guān)聯(lián)關(guān)系，文獻(xiàn)［5］將原始離散的二值標(biāo)記空間擴(kuò)展成歐氏空間，并同時(shí)考慮了特征流形和標(biāo)記流形結(jié)構(gòu)。

然而在許多實(shí)際應(yīng)用中，獲得的數(shù)據(jù)往往是不完美的，往往同時(shí)包含特征噪聲和標(biāo)記噪聲，忽略任意一種噪聲都將影響多標(biāo)記學(xué)習(xí)模型的預(yù)測性能，而現(xiàn)有的多標(biāo)記模型大多只考慮其中一種噪聲。一方面，標(biāo)記可能會(huì)有缺失或者錯(cuò)誤，針對(duì)標(biāo)記噪聲，通過標(biāo)記之間的關(guān)聯(lián)關(guān)系可以很好地解決標(biāo)記缺失［6］，文獻(xiàn)［7-8］利用直推式半監(jiān)督學(xué)習(xí)方法補(bǔ)全缺失標(biāo)記，文獻(xiàn)［9］試圖解決基于標(biāo)記缺失的大規(guī)模多標(biāo)記學(xué)習(xí)問題。另一方面，特征也可能存在噪聲，例如圖片模糊等，針對(duì)特征噪聲，文獻(xiàn)［10-11］提出許多方法解決特征噪聲。盡管文獻(xiàn)［12］解決了特征噪聲和標(biāo)記噪聲同時(shí)出現(xiàn)的情況，但是基于L2范數(shù)誘導(dǎo)的圖拉普拉斯正則化在含噪的數(shù)據(jù)集中可能并不準(zhǔn)確，忽略了含噪特征向量與標(biāo)記向量的不一致性，即噪聲容錯(cuò)性不足。

為了解決上述問題，本文提出了一種圖趨勢(shì)過濾誘導(dǎo)的噪聲容錯(cuò)多標(biāo)記學(xué)習(xí)（Graph trend filtering guided Noise Tolerant Multi-label Learning，GNTML）模型。該模型通過采用組稀疏約束橋接標(biāo)記增強(qiáng)矩陣的機(jī)制來同時(shí)容忍特征噪聲和標(biāo)記噪聲。具體地，本模型通過探索標(biāo)記之間的內(nèi)在關(guān)聯(lián)關(guān)系學(xué)習(xí)得到一個(gè)標(biāo)記增強(qiáng)矩陣，用增強(qiáng)過后的標(biāo)記矩陣替代原始標(biāo)記矩陣，以解決可能存在的標(biāo)記缺失，這個(gè)標(biāo)記增強(qiáng)矩陣?yán)硐肭闆r下是根據(jù)特征矩陣獲得的，進(jìn)一步，為了在混合噪聲場景下學(xué)習(xí)到合理的標(biāo)記增強(qiáng)矩陣，本文一方面引入圖趨勢(shì)過濾（Graph Trend Filtering，GTF）［13］機(jī)制來容忍含噪示例特征與標(biāo)記之間關(guān)聯(lián)的不一致性，即某些示例由于存在噪聲特征相似，但實(shí)際上它們的標(biāo)記卻是不相近的。另一方面，本文引入組稀疏約束的標(biāo)記保真懲罰來減輕標(biāo)記噪聲對(duì)標(biāo)記增強(qiáng)矩陣學(xué)習(xí)的影響，以及組稀疏約束同時(shí)解決特征噪聲。此外，本文還通過引入標(biāo)記關(guān)聯(lián)矩陣的稀疏約束來刻畫標(biāo)記之間的局部關(guān)聯(lián)特性，使得樣本標(biāo)記能夠在相似樣本之間得以更好的傳播。本文利用交替方向法（Alternating Direction Method，ADM）來有效地求解模型，并在7 個(gè)真實(shí)多標(biāo)記數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文提出的噪聲容錯(cuò)多標(biāo)記學(xué)習(xí)模型在66.67%的情況下取得最優(yōu)值或次優(yōu)值，能有效地提高多標(biāo)記學(xué)習(xí)的魯棒性。

1 相關(guān)工作

基于標(biāo)記之間的關(guān)聯(lián)程度，多標(biāo)記學(xué)習(xí)問題求解策略通?？梢员粍澐譃槿N［14］：最簡單的一種是“一階”策略，該策略逐一考察單個(gè)標(biāo)記而忽略標(biāo)記之間的關(guān)聯(lián)關(guān)系，最典型的算法就是BR（Binary Relevance）［15］，將多標(biāo)記問題轉(zhuǎn)化為多個(gè)二分類問題，為每一個(gè)標(biāo)記都訓(xùn)練一個(gè)分類器；相應(yīng)地，“二階”策略考察兩兩標(biāo)記之間的相關(guān)性，從而構(gòu)造多標(biāo)記學(xué)習(xí)系統(tǒng)，例如校準(zhǔn)標(biāo)記排序（Calibrated Label Ranking，CLR）［2］，將多標(biāo)記問題轉(zhuǎn)化問為兩兩標(biāo)記之間的排序問題，然而當(dāng)實(shí)際問題中標(biāo)記具有超越二階的相關(guān)性時(shí)，該策略會(huì)受到影響?！案唠A”策略則考察了高階的標(biāo)記相關(guān)性，考慮了所有標(biāo)記之間的關(guān)聯(lián)關(guān)系，例如CC（Classifier Chain）［16］，將多標(biāo)記問題轉(zhuǎn)化為鏈?zhǔn)降亩诸悊栴}，雖然“高階”策略可以較好反映真實(shí)世界問題的標(biāo)記相關(guān)性，但通常模型復(fù)雜度較高，計(jì)算代價(jià)太大。文獻(xiàn)［5］則把標(biāo)注信息標(biāo)記當(dāng)作訓(xùn)練樣本示例的豐富語義化編碼的簡化。

然而，獲得的數(shù)據(jù)集通常并不是完美的，往往含有各種噪聲，因此，含噪多標(biāo)記學(xué)習(xí)取得了很大關(guān)注。通常噪聲包含兩方面：特征噪聲和標(biāo)記噪聲。針對(duì)標(biāo)記噪聲，由于多標(biāo)記學(xué)習(xí)有著大量類標(biāo)記，在某些實(shí)際應(yīng)用中可能只能觀察到部分標(biāo)記，且多標(biāo)記學(xué)習(xí)性能受不完整標(biāo)記影響很大，對(duì)此提出了許多減少性能衰退的方法。例如：文獻(xiàn)［17］提出了一種基于正則化的歸納式半監(jiān)督多標(biāo)記學(xué)習(xí)方法；文獻(xiàn)［18］通過考慮標(biāo)記關(guān)聯(lián)來恢復(fù)完整的標(biāo)記矩陣；文獻(xiàn)［19］首先選出關(guān)鍵標(biāo)記，再根據(jù)標(biāo)記進(jìn)行排序，然后利用組稀疏，最后采用支持向量機(jī)（Support Vector Machine，SVM），從而處理標(biāo)記缺失；文獻(xiàn)［20］是基于矩陣補(bǔ)全的多視圖弱監(jiān)督學(xué)習(xí)來解決標(biāo)記噪聲；文獻(xiàn)［4］通過建模全局和局部標(biāo)記關(guān)聯(lián)性，學(xué)習(xí)潛在標(biāo)記表示并優(yōu)化標(biāo)記流形來解決標(biāo)記缺失。針對(duì)特征噪聲，文獻(xiàn)［21］通過降維，文獻(xiàn)［22］通過特征選擇來解決特征噪聲。文獻(xiàn)［12］同時(shí)解決了特征噪聲和標(biāo)記噪聲。

2 模型框架

2.1 預(yù)備知識(shí)

其中L(·，·)和R(·)分別表示損失函數(shù)和關(guān)于W的正則化項(xiàng)。W根據(jù)不同的前提假設(shè)設(shè)計(jì)不同的正則化項(xiàng)。

2.2 圖趨勢(shì)過濾誘導(dǎo)的噪聲容錯(cuò)多標(biāo)記學(xué)習(xí)模型

本文所提出的圖趨勢(shì)過濾誘導(dǎo)的噪聲容錯(cuò)多標(biāo)記學(xué)習(xí)模型GNTML 是針對(duì)特征噪聲和標(biāo)記噪聲共同出現(xiàn)的場景。具體來說，首先在含有噪聲的訓(xùn)練集中探索不同標(biāo)記之間的關(guān)聯(lián)關(guān)系，以此獲得一個(gè)新的標(biāo)記增強(qiáng)矩陣，這個(gè)增強(qiáng)的標(biāo)記矩陣?yán)硐肭闆r下是根據(jù)特征矩陣獲得的。但是由于數(shù)據(jù)集是含有噪聲的，因此借助圖趨勢(shì)過濾的噪聲容錯(cuò)能力來容忍含噪示例特征與標(biāo)記之間關(guān)聯(lián)的不一致性，從而減輕特征噪聲對(duì)標(biāo)記增強(qiáng)矩陣的影響。接著用這個(gè)標(biāo)記增強(qiáng)矩陣代替原始標(biāo)記矩陣，引入組稀疏同時(shí)解決特征噪聲和標(biāo)記噪聲，從而學(xué)習(xí)從特征空間到增強(qiáng)標(biāo)記空間的映射，所提模型整體框架如圖1所示。

為了得到這個(gè)標(biāo)記增強(qiáng)矩陣，該模型在含噪的訓(xùn)練集中學(xué)習(xí)得到一個(gè)標(biāo)記關(guān)聯(lián)矩陣B∈Rc×c，其中bij表示標(biāo)記yi與標(biāo)記yj的關(guān)聯(lián)程度，基于新的標(biāo)記增強(qiáng)矩陣，學(xué)習(xí)得到的預(yù)測模型W由于考慮到特征和標(biāo)記的關(guān)聯(lián)關(guān)系將變得更加合理。目標(biāo)函數(shù)如下：

其中R(B)表示關(guān)于B的正則化項(xiàng)?？梢杂^察到，通過自適應(yīng)學(xué)習(xí)得到的投影矩陣B可以捕獲所有c個(gè)不同標(biāo)記之間的關(guān)聯(lián)關(guān)系，例如，大多數(shù)樣本同時(shí)出現(xiàn)“藍(lán)天”和“白云”兩個(gè)標(biāo)記，那么這兩個(gè)標(biāo)記是強(qiáng)關(guān)聯(lián)的，則在投影矩陣B中可以體現(xiàn)，并且這是個(gè)一對(duì)多的高階依賴關(guān)系BY，而不是一對(duì)一的依賴關(guān)系。這樣一來，就可以通過其他標(biāo)記之間的關(guān)聯(lián)關(guān)系來重構(gòu)任何丟失的標(biāo)記，矩陣就是標(biāo)記增強(qiáng)矩陣。此外，獲得的標(biāo)記增強(qiáng)矩陣應(yīng)該與原始標(biāo)記矩陣保持一致性，因此本文定義了一個(gè)標(biāo)記保真懲罰項(xiàng)來刻畫原始標(biāo)記矩陣與標(biāo)記增強(qiáng)矩陣之間的差異?？紤]到標(biāo)記噪聲的存在，同時(shí)施加了組稀疏約束，標(biāo)記保真懲罰項(xiàng)定義如下：

其中，關(guān)于一個(gè)A∈Rp×q矩陣的L2，1范數(shù)定義為‖A‖2，1=

回憶一下，該模型目的是在特征噪聲和標(biāo)記噪聲共現(xiàn)時(shí)學(xué)習(xí)標(biāo)記增強(qiáng)矩陣，由于GTF 是一種對(duì)圖進(jìn)行非參數(shù)回歸的統(tǒng)計(jì)方法，通過L0懲罰圖頂點(diǎn)之間標(biāo)記差取代通常用的L2范數(shù)的圖拉普拉斯平滑假設(shè)，有著很強(qiáng)大的噪聲容錯(cuò)能力和局部自適應(yīng)性。因此本文引入GTF來更好誘導(dǎo)標(biāo)記增強(qiáng)矩陣的學(xué)習(xí)。首先基于訓(xùn)練樣本構(gòu)建一個(gè)鄰接矩陣S，sij刻畫了示例i和示例j的特征相似度，如果示例j屬于示例i的k個(gè)最近鄰樣本集，則它們的相似度通過如下高斯核函數(shù)計(jì)算，否則sij=0：

其中δ表示高斯核寬度。接著用鄰接矩陣S來構(gòu)造一個(gè)圖G(V，E)，V={xi|1 ≤i≤n}表示訓(xùn)練樣本組成的頂點(diǎn)集合，E={(xi，xj)|sij≠0，1 ≤i≠j≤n}表示邊的集合，如果sij非0，則表示示例i與示例j有邊相連。

此外，本文又定義一個(gè)n×e的矩陣P，其中e表示圖G中邊的條數(shù)，若第k條邊連接xi和xj，則矩陣P的第k列定義如下：

值得注意的是，考慮到部分標(biāo)記之間可能沒有關(guān)聯(lián)關(guān)系，因此這里給B施加一個(gè)L1范數(shù)約束，學(xué)習(xí)得到一個(gè)稀疏的標(biāo)記關(guān)聯(lián)矩陣。同時(shí)通過組稀疏‖BY-WX‖2，1處理有損壞的特征，如圖1 中的圖片c，利用組稀疏使得對(duì)特征噪聲更加魯棒。

圖1 模型框架Fig.1 Model framework

本文所提模型有如下優(yōu)勢(shì)：1）利用標(biāo)記增強(qiáng)矩陣BY代替原始標(biāo)記矩陣Y以解決標(biāo)記的缺失；2）本文通過組稀疏同時(shí)處理特征噪聲和標(biāo)記噪聲；3）在GTF 的誘導(dǎo)下探索了數(shù)據(jù)的局部特性，即特征相似的樣本標(biāo)記也相近，保留了原始特征空間的局部幾何結(jié)構(gòu)，并過濾掉那些由于特征噪聲存在使得特征相似但實(shí)際上標(biāo)記卻不相近的樣本。

3 優(yōu)化求解

因?yàn)槭剑?）是凸的，因此解決的方法有很多，本文采用交替方向法（Alternating Direction Method，ADM）求解，但是由于L1范數(shù)項(xiàng)是非平滑的，因此為了求解方便，引入輔助變量C，令B=C，從而式（6）等價(jià)變?yōu)椋?/p>

對(duì)應(yīng)的增廣拉格朗日函數(shù)如下：

由于上述問題是無約束的，因此可以通過固定其他變量來分別優(yōu)化B、W和C，然后更新乘子Γ，其中μ＞0 是懲罰系數(shù)。

固定W和C，更新B：

當(dāng)固定W和C，關(guān)于B優(yōu)化問題變?yōu)椋?/p>

可以寫成如下關(guān)于B的函數(shù)形式：

固定B和C，更新W：

當(dāng)固定B和C，關(guān)于W的函數(shù)變?yōu)椋?/p>

令上述關(guān)于W的函數(shù)導(dǎo)數(shù)為0，可得

固定B和W，更新C：

當(dāng)固定B和W，關(guān)于C優(yōu)化問題變?yōu)椋?/p>

其中：⊙表示哈達(dá)瑪積，sgn(·)表示signum函數(shù)。

更新乘子Γ：

算法1給出了該優(yōu)化算法框架的偽代碼。

算法1 所提出的GNTML模型的優(yōu)化算法。

輸入：訓(xùn)練樣本特征矩陣X∈Rd×n，標(biāo)記矩陣Y∈Rc×n，以及超參數(shù)λ1，λ2，λ3，λ4；

輸出：線性分類器W，標(biāo)記關(guān)聯(lián)矩陣B。

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

為了證明所提方法的有效性，本文在7 個(gè)標(biāo)準(zhǔn)多標(biāo)記數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)：Birds、Emotion、CAL500、Scene、Corel5k、Medical、Genbase。這些數(shù)據(jù)集均來自Mulan 網(wǎng)站（http：//mulan.sourceforge.net/datasets-mlc.html）。數(shù)據(jù)集的詳細(xì)信息如表1 所示，注意這里的LCard（label cardinality）是一種多標(biāo)記標(biāo)記密度的量，是用來指示在數(shù)據(jù)集中每一個(gè)樣本平均有多少個(gè)標(biāo)記。

表1 多標(biāo)記數(shù)據(jù)集的特征Tab.1 Characteristics of multi-label datasets

與文獻(xiàn)［23］的工作類似，本文采取了5 種常見的評(píng)價(jià)指標(biāo)。給定一個(gè)多標(biāo)記測試集，其中Yi為隸屬于示例xi的相關(guān)標(biāo)記集合，以及h(xi)表示示例i的預(yù)測標(biāo)記集合，f(xi，y)對(duì)應(yīng)xi具有標(biāo)記y的“置信度”。此外，實(shí)值函數(shù)f(·，·)還可以轉(zhuǎn)化為一個(gè)排序函數(shù)

Hamming Loss（HL） 用于考察樣本在單個(gè)標(biāo)記上的誤分類情況，例如一個(gè)相關(guān)標(biāo)記未出現(xiàn)在預(yù)測的標(biāo)記集合中或者無關(guān)標(biāo)記出現(xiàn)在預(yù)測的標(biāo)記集合中。

其中Δ用于度量兩個(gè)集合之間的“對(duì)稱差”。

Ranking Loss（RL） 用于考察在樣本的類別標(biāo)記排序序列中出現(xiàn)排序錯(cuò)誤的情況，即不相關(guān)標(biāo)記在排序序列中位于相關(guān)標(biāo)記之前。

One Error（OE） 用于考察在樣本的類別標(biāo)記排序序列中，序列最前端的標(biāo)記不在相關(guān)標(biāo)記集合中的比例。

Coverage（Cov） 用于考察在樣本的類別標(biāo)記排序序列中，覆蓋所有相關(guān)標(biāo)記所需的搜索深度情況。

Average Precision（AP） 用于考察樣本的類別排序序列中，排在相關(guān)標(biāo)記之前仍為相關(guān)標(biāo)記的情況。

上述這些評(píng)價(jià)指標(biāo)常用于多標(biāo)記學(xué)習(xí)中，并且可以從不同角度評(píng)估多標(biāo)記算法的性能。對(duì)于Average Precision，值越大，分類器的性能越好，對(duì)于其他值，值越小分類器的性能越好。

4.2 實(shí)驗(yàn)設(shè)置

本文將所提模型同幾個(gè)相關(guān)的算法進(jìn)行比較，包括文獻(xiàn)［15］提出的BR（Binary Relevance），BR 將多標(biāo)記學(xué)習(xí)問題轉(zhuǎn)化為多個(gè)“二分類”問題求解；文獻(xiàn)［23］提出的基于k近鄰（k-Nearest Neighbor，kNN）的多標(biāo)記學(xué)習(xí)算法ML-kNN（Multilabel Learning-k-Nearest Neighbor），ML-kNN 將“惰性學(xué)習(xí)”算法k近鄰進(jìn)行改造以適應(yīng)多標(biāo)記學(xué)習(xí)；文獻(xiàn)［2］提出的校準(zhǔn)標(biāo)記排序（Calibrate Label Ranking，CLR），CLR 通過“成對(duì)比較”將多標(biāo)記學(xué)習(xí)轉(zhuǎn)化為標(biāo)記排序問題，并且對(duì)噪聲也具有魯棒性；文獻(xiàn)［16］提出的ECC（Ensemble of Classifier Chains），ECC是基于CC（Classifier Chains）鏈?zhǔn)降募啥鄻?biāo)記集成鏈?zhǔn)剿惴?；以及文獻(xiàn)［10］提出的混合噪聲多標(biāo)記學(xué)習(xí)（Hybrid Noise Oriented Multi-label Learning，HNOML）模型，HNOML 同時(shí)考慮了特征噪聲和標(biāo)記噪聲并基于L2范數(shù)的圖拉普拉斯矩陣考慮標(biāo)記關(guān)聯(lián)關(guān)系。

對(duì)于本文模型GNTML 的超參數(shù)λ1、λ2、λ3、λ4，本文從集合｛10-4，10-3，…，102｝通過網(wǎng)格搜索策略確定每個(gè)參數(shù)的最值，對(duì)于k值設(shè)定為5，因?yàn)樗淖兓瘜?duì)模型性能影響不大。對(duì)于其余算法盡最大努力調(diào)參以達(dá)到最好效果。

4.3 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)中隨機(jī)從數(shù)據(jù)集中選出2/3 作為訓(xùn)練集，剩下1/3 作為測試集，由于實(shí)驗(yàn)存在隨機(jī)性，本文實(shí)驗(yàn)重復(fù)運(yùn)行30次，求得最后的平均值和標(biāo)準(zhǔn)差。本文所提模型與其他對(duì)比模型的實(shí)驗(yàn)結(jié)果如表2 所示，由于每個(gè)數(shù)據(jù)集都是隨機(jī)劃分的，因此表中每個(gè)評(píng)價(jià)指標(biāo)給出最后結(jié)果的平均值和標(biāo)準(zhǔn)差，并將最優(yōu)值標(biāo)記為粗體，次優(yōu)值標(biāo)記為下劃線，最后一行統(tǒng)計(jì)了各個(gè)算法分別取得最優(yōu)值和次優(yōu)值的次數(shù)。從表中可以觀察到，本文提出的模型GNTML 在7 個(gè)真實(shí)數(shù)據(jù)集的5 個(gè)評(píng)價(jià)指標(biāo)上，66.7%（28/42）情況下取得最優(yōu)值或次優(yōu)值，其中38.1%（16/42）的情況下取得最優(yōu)值，28.6%（12/42）的情況下取得次優(yōu)值，相比于其他算法有一定的優(yōu)勢(shì)。作為多標(biāo)記學(xué)習(xí)的經(jīng)典基本算法BR，由于沒有考慮標(biāo)記之間的關(guān)聯(lián)關(guān)系，所以它的結(jié)果是很一般的，最優(yōu)值情況為0%，次優(yōu)值僅占11.9%。ECC 算法通過集成學(xué)習(xí)結(jié)合基方法，由于要將上一個(gè)預(yù)測的標(biāo)記結(jié)果輸入到下一個(gè)預(yù)測數(shù)據(jù)集中，所以考慮到了標(biāo)記關(guān)聯(lián)，因此性能要比BR 有了很大的提升，在19.0%情況取得最優(yōu)值，21.4%取得次優(yōu)值。ML-kNN 算法雖然在Scene數(shù)據(jù)集上能表現(xiàn)出優(yōu)異性能，但是在其他數(shù)據(jù)集上表現(xiàn)卻是一般，因此不是很穩(wěn)定。HONML 模型算法也稍弱于GNTML。

進(jìn)一步地，為了驗(yàn)證所提出的模型在特征噪聲和標(biāo)記噪聲共現(xiàn)時(shí)的魯棒性，本文在Emotion數(shù)據(jù)集上進(jìn)行了噪聲魯棒性實(shí)驗(yàn)。本文同時(shí)給訓(xùn)練樣本的特征矩陣和標(biāo)記矩陣人工添加噪聲來模擬特征噪聲和標(biāo)記噪聲共現(xiàn)的場景。具體地，對(duì)于特征矩陣，本文選取了0%～20%的樣本添加特征噪聲，每個(gè)選中的樣本將其50%的特征值數(shù)值置為0，對(duì)于標(biāo)記矩陣；本文同樣選取了0%～20%樣本添加標(biāo)記噪聲，每個(gè)選中的樣本將其50%的標(biāo)記值從正例變?yōu)樨?fù)例，負(fù)例變?yōu)檎?/p>

實(shí)驗(yàn)結(jié)果如圖2 所示，從圖2 中可以觀察到，在數(shù)據(jù)集Emotion上，ML-kNN算法在不添加噪聲時(shí)性能優(yōu)于其他算法，但是隨著添加噪聲比例的增加，性能有所下降，HNOML 算法是基于L2范數(shù)的圖拉普拉斯平滑假設(shè)，并且能處理混合噪聲，表現(xiàn)也比較穩(wěn)定，本文的方法用圖趨勢(shì)過濾代替基于L2范數(shù)的平滑假設(shè)，性能優(yōu)于HNOML，也因此證明了本文模型中圖趨勢(shì)過濾項(xiàng)的有效性。

圖2 在數(shù)據(jù)集Emotion上不同噪聲比例下的魯棒性實(shí)驗(yàn)Fig.2 Robustness experiments with different noise ratios on Emotion dataset

4.4 收斂性

本文提出的模型GNTML通過交替方向迭代優(yōu)化求解，圖3是數(shù)據(jù)集Birds和CAL500上的收斂情況，可以看出隨著迭代次數(shù)的增大，模型的收斂速度很快，并且通常不超過10 次就能穩(wěn)定。

圖3 本文算法在數(shù)據(jù)集Birds和CAL500上的收斂性實(shí)驗(yàn)Fig.3 Convergence experiments of the proposed algorithm on Birds and CAL500 datasets

5 結(jié)語

考慮到訓(xùn)練樣本可能同時(shí)存在特征噪聲和標(biāo)記噪聲，本文提出了一個(gè)圖趨勢(shì)過濾誘導(dǎo)的噪聲容錯(cuò)多標(biāo)記學(xué)習(xí)模型，這個(gè)模型通過挖掘標(biāo)記之間的關(guān)聯(lián)關(guān)系，增強(qiáng)原始標(biāo)記空間，并結(jié)合組稀疏來同時(shí)處理特征噪聲和標(biāo)記噪聲。本文采用圖趨勢(shì)過濾不僅保留了數(shù)據(jù)的局部特性，也可以容忍含噪示例特征與標(biāo)記之間關(guān)聯(lián)的不一致性，從而減輕特征噪聲對(duì)標(biāo)記增強(qiáng)矩陣學(xué)習(xí)的影響。在多個(gè)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)也證明了所提模型的有效性。在后續(xù)工作中，計(jì)劃將本文的模型推廣到多視圖情形，通過探索示例的多視圖特征來進(jìn)一步減輕特征噪聲對(duì)多標(biāo)記學(xué)習(xí)性能的影響。