查思明，鮑慶森，駱健,2，陳蕾,2

（1.南京郵電大學 計算機學院，江蘇 南京 210003;2.南京郵電大學 江蘇省大數(shù)據(jù)安全與智能處理重點實驗室，江蘇 南京 210003）

實際應用中，實例通常與多個標記相關聯(lián)，例如一首歌曲可能與多種情感相關，一張圖片可能與多種事物相關，一個網(wǎng)頁可能與多個主題相關。近年來，多標記學習引起了人們關注。

多標記學習旨在從一系列候選標記集中選出與實例相關的標記，探索標記關聯(lián)關系對多標記學習有很大幫助。例如，圖像標注中，標記紅綠燈和馬路同時出現(xiàn)，那么很大概率也會出現(xiàn)汽車標記，而出現(xiàn)輪船這一標記的概率會很小。已有多種多標記學習算法通過考慮標記關聯(lián)關系來提高分類效果，典型的是將原始標記向量投影到一個低維標記空間中[1],分類時基于低維標記向量，通過標記關聯(lián)關系恢復原始標記向量，文獻[2]利用標記關聯(lián)矩陣的低秩性刻畫標記關聯(lián)關系，文獻[3]考慮全局和局部標記關聯(lián)關系。

盡管許多多標記學習方法已被提出，但是仍然存在以下問題。1)大部分現(xiàn)有多標記學習方法僅考慮單視圖特征數(shù)據(jù)，而實際應用中，一個實例可能有多種不同的視圖特征表示，例如，一張圖像可以用紋理、形狀、顏色等不同類別特征來描述。2)訓練樣本標記不完整時，難以定義合理的標記關聯(lián)關系，例如網(wǎng)頁分類中，存在人工難以確定某些主題是否與網(wǎng)頁相關的情況。3)多種基于單視圖或多視圖的弱標記學習方法已被提出，但很少有考慮數(shù)據(jù)特征不完整情況。數(shù)據(jù)特征不完整時，多標記學習模型性能會受到不好的影響，多視圖數(shù)據(jù)中視圖特征不完整時，問題會更加復雜，例如一個網(wǎng)頁可以由視頻、音頻、評論等多種方式描述，但某些網(wǎng)頁，僅包含以上一種或兩種描述。

近期，大量關于圖的流形正則化方法被嵌入到分類任務，通過有效表征節(jié)點之間關聯(lián)關系，提高分類性能。因此，針對以上問題，本文提出自適應標記關聯(lián)與實例關聯(lián)誘導的缺失多視圖弱標記學習算法，可以同時解決多視圖多標記學習領域里視圖特征不完整、標記不完整問題。算法目標是基于不完整多視圖特征數(shù)據(jù)，學習一個潛在共享表示，并聯(lián)合弱標記數(shù)據(jù)，學習一個魯棒的分類器，在其中融合實例關聯(lián)關系、標記關聯(lián)關系使學到的共享表示及分類器更加合理。最后用交替方向法(alternating direction method，ADM)求解，在4 個多視圖多標記數(shù)據(jù)集上實驗，結果表明所提方法能夠有效解決不完整多視圖弱標記學習問題。

1 相關工作

多標記學習具有一定挑戰(zhàn)性，因為基于一個未標記實例預測出的標記集合數(shù)量與標記候選集標記個數(shù)成指數(shù)關系，為解決以上問題，現(xiàn)有方法主要通過融合標記關聯(lián)關系，來促進多標記學習。根據(jù)考慮標記相關性的策略可以將多標記學習分為3 大類，即一階策略、二階策略、高階策略[4]。

其中，一階策略是指逐個處理每個標記，典型算法BR(binary relevance)[5]，將多標記學習問題分解為許多獨立的二元分類問題。一階策略優(yōu)點在于其概念簡單，另一方面，由于忽略了標記之間相關性，結果可能欠佳。二階策略是指算法考慮標記兩兩之間關系來解決多標記學習問題，典型算法CLR (calibrated label ranking)[6]，由于二階策略利用了標記相關性，從而此類方法可以實現(xiàn)良好的泛化性能，但一些真實應用中，標記相關性超出了二階假設，因此該策略會受到影響。高階策略是指算法考慮標記之間高階關系來解決多標記學習任務，考察所有標記之間相互關聯(lián)關系，典型算法有random k-labelsets[7]，該算法基本思想是將多標記學習問題轉化為多個類別的分類任務。近期，文獻[8]基于樣本標記數(shù)據(jù)，通過k 近鄰描述標記之間相似性，促進多標記學習，文獻[9]利用結構性稀疏刻畫樣本特征和標記噪聲，解決數(shù)據(jù)特征和標記同時存在噪聲的問題，文獻[10]提出一種弱標記學習方法，利用實例關聯(lián)關系和標記關聯(lián)關系，集多個模型于一體，有效解決了標記不完整場景，文獻[11]結合神經(jīng)網(wǎng)絡，選擇可預測的地標，通過標記關聯(lián)關系恢復整個標簽集合，能夠有效處理多標記學習問題中標簽數(shù)量大的情況。與一階策略和二階策略相比，高階策略具有更強的相關性建模能力，更好的泛化性能。

為了有效處理多標記學習任務，一些自適應算法被提出，該類方法通過嵌入經(jīng)典流行的學習技術解決多標記學習問題。典型的算法有一階策略ML-KNN (multi-label k-nearest neighbor)[12]和ML-DT (multi-label decision tree)[13]，分別利用惰性學習和決策樹技術來處理多標記學習任務，二階策略CML (collective multi-label classifier)[14]利用信息論技術處理多標記學習任務。

多標記學習算法一般考慮實例特征是單視圖特征，然而，實際應用中，實例通常有不同類別的視圖特征，因此，多視圖多標記學習引起了人們的興趣。文獻[15]基于多視圖特征數(shù)據(jù)，利用矩陣分解得到潛在共享表示進行多標記學習，文獻[16]假設共享表示矩陣低秩，進而使用矩陣補全算法進行多標記學習，文獻[17]聯(lián)合多視圖特征數(shù)據(jù)，通過特征選擇得到一組低維有效的特征進行多標記學習，文獻[18]提出一種不完整多視圖弱標記學習算法，用標記關聯(lián)矩陣低秩性刻畫標記關聯(lián)關系，同時學習共享表示、局部標記關聯(lián)關系和一個分類器，性能良好，文獻[19]提出多視圖網(wǎng)絡模型框架，針對不完整多視圖異構數(shù)據(jù)具有強適應性，文獻[20]采用矩陣分解，從具有特定約束的多視圖數(shù)據(jù)中獲得分層表示，文獻[21]利用生成對抗網(wǎng)絡處理缺失視圖問題。

2 模型框架

對于視圖不完整，具體表現(xiàn)為一個實例并不是在所有視圖中的特征都存在，即對于第v個視圖的特征矩陣Xv，存在成列缺失，解決該問題的一種簡單方法就是刪除在任何視圖中存在缺失特征的樣本，但是這會大量減少能使用的訓練樣本數(shù)量。對于標記不完整，具體表現(xiàn)為標記矩陣Y=[y1y2···yn]∈{?1,0,1}c×n，當yij=?1 時，第i個 標記與第j個樣本不相關，當yij=1時，第i個標記與第j個樣本相關，當yij=0 時，不確定第i個標記是否與第j個樣本相關，即第i個標記關于第j個樣本，可能是正標記，也可能是負標記。本文目標就是基于以上描述的不完整多視圖弱標記數(shù)據(jù)，學習一個分類器來預測未標記的不完整多視圖實例的相關標記。ACMVML 模型框架如圖1 所示。

圖1 ACMVWL 的模型框架Fig.1 Model framework of ACMVWL

2.1 基本模型

對于多視圖多標記學習，如何得到一個具有判別性的共享表示和如何基于共享表示、標記信息訓練一個有效魯棒的分類器是兩個需要解決的問題。首先，假設樣本不同視圖特征來源于一個共享表示，Xv=PvV，其中表示第v個視圖的特征矩陣，V∈Rk×n表示共享表示矩陣，表示與第v個視圖相關的投影矩陣，可以理解為Xv是 基于共享表示V，通過投影矩陣Pv投影而得。利用矩陣分解框架，可以將以上描述刻畫為

其中，約束項 (Pv)TPv=I可以避免有無窮多組解，通過(1)學習到的共享表示V可以捕獲多視圖特征的互補信息[22]。

多視圖特征數(shù)據(jù)成列缺失時，一種簡單方法即通過已有數(shù)據(jù)特征均值來填充，但這種方法會帶來較大誤差，當缺失很多時對模型影響尤為明顯，因此不是處理不完整多視圖數(shù)據(jù)的有效方法。本模型采用一種監(jiān)督方法，充分利用已有的多視圖數(shù)據(jù)學習一個潛在共享表示，即

但是(2)學到的共享表示V，沒有考慮標記信息，因此判別能力不強，為增強其判別能力，通常可以聯(lián)系標記信息，將其融合到統(tǒng)一框架?？紤]到弱標記情形，標記信息不完整，與利用不完整特征數(shù)據(jù)相仿,充分利用已確定的那部分標記信息，提出基本模型：

式中：M∈{1,0}c×n，當Yi j=0 時，Mi j=0，否則Mij=1；W∈Rc×k表示線性分類器，可以理解為將共享表示V投影到標記空間的映射；變量 λ1為超參數(shù)。將學習共享表示和分類器融合到統(tǒng)一框架，可以使學到的共享表示V更具判別性，減小共享表示與標記空間之間的鴻溝[23]。

2.2 標記流形正則化

考慮標記關聯(lián)關系在弱標記學習中非常重要，通常可以提高多標記學習性能[24]。近年來，流形正則化思想被廣泛利用到分類任務中，其中可以利用圖的拉普拉斯矩陣刻畫節(jié)點之間關聯(lián)關系。

基于標記關聯(lián)關系的流形正則化思想可以理解為若兩個標記之間相似性越高，則分類器輸出的關于兩個標記的預測結果也越相近，否則相反。換句話說，正相關的兩個標記引導分類器關于其輸出盡可能相似，負相關的兩個標記引導分類器關于其輸出盡可能有差異。設F=WV∈Rc×n，F(xiàn)表示基于n個樣本特征的預測結果，fi,:指F的第i行，如果第i個標記與第j個標記越相似，則fi,:和fj,:也應該越相似，基于標記流形正則化可以定義為

式中：Sc是c×c維標記關聯(lián)矩陣，如果標記i和j越相關，則[Sc]i,j越大，通過最小化將會越小。設Dc為 對角矩陣，其對角線元素為Sc A，其中A是全1 向量，(4)中流形正則化項等價于T r(FTLcF)[25],Lc=Dc?Sc為標記關聯(lián)矩陣Sc的c×c維拉普拉斯矩陣。問題(3)基礎上增加基于標記關聯(lián)關系的流形正則化,變量 λ2為超參數(shù)，模型可以表達為

2.3 自適應標記關聯(lián)

標記流形正則化的成功取決于有一個好的標記關聯(lián)矩陣（或者一個好的標記拉普拉斯矩陣）。一種簡單方法是基于距離度量標記關聯(lián)關系，比如高斯距離、余弦距離等來直接計算兩個標記之間關聯(lián)關系[26]，但是因為訓練集中一些標記有很少的正例，關聯(lián)關系的估算會不太理想，部分標記缺失時，這種估算方法得出的關聯(lián)關系會更沒有說服力，因為估算出的標記分布與真實標記分布差異很大。為了有效描述標記關聯(lián)關系，本文直接學習一個關于標記的拉普拉斯矩陣間接刻畫標記關聯(lián)關系。拉普拉斯矩陣具有對稱半正定性，若直接學習Lc，無法得到一個對稱半正定的拉普拉斯矩陣，且可能會產生平凡解Lc=0。因此，可以將Lc分解為其中Zc∈Rc×l,將學習拉普拉斯矩陣問題轉化為學習Zc，在優(yōu)化時，會產生平凡解Zc=0；為了避免平凡解，可以增加約束這一約束也可以使模型得到一個標準拉普拉斯矩陣[27]，該標準拉普拉斯矩陣可以有效表征節(jié)點之間關聯(lián)關系，文獻[3]利用此方法取得了有效結果?；谝陨嫌懻摚诤戏纸饫绽咕仃嚰霸黾蛹s束可以得到下面的優(yōu)化問題：

2.4 自適應實例關聯(lián)

多視圖多標記學習性能與學到的共享表示V密切相關，與多標記學習領域考慮標記關聯(lián)關系的重要作用類似，如果能夠獲取實例之間關聯(lián)關系，就可以利用實例分布輔助學習共享表示V。設Sn是n×n維實例關聯(lián)矩陣，v:,i指V的第i列，v:,j指V的第j列，分別代表在完整共享表示空間里的 第i和第j個實例。若第i個實例與第j個實例 越相似，則v:,i和v:,j也應該越相似，基于實例流形正則化可以定義為

設Dn為對角矩陣，對角線元素為SnA，(7)中流形正則化項等價于 tr(VLnVT)，Ln=Dn?Sn為實例關聯(lián)矩陣Sn的n×n維拉普拉斯矩陣。利用流行正則化技術時，通?？梢曰诰嚯x度量計算實例關聯(lián)關系，當多視圖特征數(shù)據(jù)成列缺失，一種簡單方法即將缺失部分特征取值為未缺失部分特征的均值，將填充后的多視圖數(shù)據(jù)連接成單視圖，基于距離計算實例關聯(lián)關系。但這種方法會帶來較大誤差，缺失很多時對模型影響尤為明顯，因此不可行。與學習標記拉普拉斯矩陣相仿，本文學習一個刻畫實例關聯(lián)關系的標準拉普拉斯矩陣，將Ln分解為其中Zn∈Rn×r,將學習拉普拉 斯矩陣問題轉化為學習Zn，在問題(6)的基礎上增加基于實例關聯(lián)關系的流形正則化，并且將F 范數(shù)的平方作用于W、V來增強模型穩(wěn)定性，變量 λ3、λ4為超參數(shù)，模型可以表達為

3 優(yōu)化求解

問題(8)可以用交替方向法(alternating direction method,ADM)求解，該方法能夠迭代地調整變量以找到有效結果。每次迭代中，用梯度下降法[28]分別更新 {Zn,Zc,V,W,Pv}中的一個變量，同時固定其他變量，整個優(yōu)化問題可以簡化為5 個子問題，借助工具包MANOPT[29]實現(xiàn)求解，詳細的更新過程將在下面進行討論。

1) 更新Zn，問題(8)簡化為

其中Zn,i,:指 矩陣Zn的 第i行。

2) 更新Zc，問題(8)簡化為

與問題(9)目標函數(shù)同理，問題(10)關于Zc的梯度為

3) 更新V，問題(8)簡化為

目標函數(shù)關于V的梯度為

4) 更新W，問題(8)簡化為

關于W的梯度為

5) 更新Pv，v∈{1,2,···,m}，問題(8)簡化為

因為 (Pv)TPv=I，所以該問題沒有閉式解，用梯度下降法進行求解，目標函數(shù)關于Pv的梯度如下：

對于約束 (Pv)TPv=I，調用工具包MANOPT，利用梯度下降法，在球形空間 (Pv)TPv=I里，搜索最優(yōu)解。優(yōu)化算法重復上述更新過程，直至收斂。其中初始化W=rand(c,k)，V=rand(k,n)，Zc=rand(c,l)，Zn=rand(n,r)。

4 實驗

4.1 數(shù)據(jù)集

本文在4 個多視圖多標記數(shù)據(jù)集上進行實驗：C-orel5k，ESPGame，IAPRTC12，Mirflickr。數(shù)據(jù)集來源于網(wǎng)站(http://lear.inrialpes.fr/people/guillaumin/data.php)。詳細信息如表1 所示。

表1 多視圖多標記數(shù)據(jù)集的特征Table 1 Characteristics of the multi-view multi-label datasets

4.2 實驗設置

本文將所提模型同幾個相關算法比較，包括文獻[3]提出的基于全局和局部標記關聯(lián)關系的多標記學習算法(Glocal)，捕獲全局和局部標記關聯(lián)關系，促進多標記學習，HNOML[9]利用結構性稀疏刻畫樣本特征和標記噪聲，解決數(shù)據(jù)特征和標記同時存在噪聲的問題，LrMMC[16]假設多視圖特征數(shù)據(jù)來源于一個共享表示且共享表示矩陣低秩，進而使用矩陣補全算法進行多標記學習，MVLIV[20]提出了一種多視圖學習方法，考慮了視圖不完整情形，IMVWL[18]提出一種不完整多視圖弱標記學習算法，用矩陣低秩性來刻畫標記關聯(lián)關系，同時學習潛在共享表示、局部標記關聯(lián)關系和一個分類器。其中，方法ML-KNN、Glocal、LrMMC 不能直接處理不完整多視圖弱標記學習問題，對于算法ML-KNN、Glocal、LrMMC，將缺失部分特征取值為未缺失部分特征的均值，對于算法ML-KNN、MVLIV 將缺失標記視為負標記，對于單視圖多標記學習算法ML-KNN、Glocal，將處理后的多視圖特征數(shù)據(jù)疊加成一個向量。

對于本文模型ACMVWL 的超參數(shù) λ1,λ2,λ3,λ4，從集合 {10?4,10?3,···,102}通過網(wǎng)格搜索、三折交叉驗證策略確定每個參數(shù)的最佳值，推薦分別設為100，10，1，1。維度k、l、r分別以視圖特征最低維度dmin、候選標記數(shù)量c、訓練樣本數(shù)量n為基準，按比例 {0.1,0.2,···,1}測試，選取各自的值，推薦k=0.5dmin，l=0.3c，r=0.1n。其余算 法盡力 調參，以達到最好效果。并且進行一組消融實驗，驗證本文提出模型關鍵項的有效作用。

4.3 對比實驗

對比實驗特征缺失率取50%，標記缺失率取50%，實驗結果（平均值 ±標準差）如表2，最優(yōu)值標記為粗體，次優(yōu)值標記為下劃線，其中最后一行統(tǒng)計了各個算法分別取得最優(yōu)值和次優(yōu)值的次數(shù)?？梢杂^察到，模型ACMVWL 在4 個真實數(shù)據(jù)集的5 個評價指標上，90%（18/20）情況下取得最優(yōu)值或次優(yōu)值,

表2 算法對比實驗結果Table 2 Comparing result of algorithms

相比于其他算法有一定的優(yōu)勢。作為多視圖多標記學習算法MVLIV，由于沒有考慮標記不完整，并且學習共享表示時未考慮標記信息所以結果欠佳，最優(yōu)值和次優(yōu)值為0%。算法LrMMC 由于沒有考慮特征和標記不完整，所以它的結果是很一般的，20%的情況下取得最優(yōu)或次優(yōu)。IMVWL 算法學習標記關聯(lián)關系，同時考慮到了特征缺失和標記缺失，在35% 的情況下取得最優(yōu)或次優(yōu)值，并且在評價指標上明顯優(yōu)于LrMMC 和MVLIV。HNOML 算法同時考慮特征噪聲和標記噪聲，20%的情況下取得最優(yōu)或次優(yōu)結果。Glocal 考慮了標記之間的全局關聯(lián)關系與局部關聯(lián)關系并且同時考慮到標記不完整情況，實驗結果最優(yōu)或次優(yōu)的情況占80%，性能良好。

為驗證所提模型分別在特征和標記不同缺失率下的表現(xiàn)，本文在Corel5k 數(shù)據(jù)集上進行實驗，圖2(a) 為特征完整，標記缺失率變化對比結果，圖2(b)為標記完整，特征缺失率變化對比結果。6 種算法里，本文模型排名居前，在不同的標記缺失率和特征缺失率下取得了有效表現(xiàn),并且隨著缺失率越大，優(yōu)勢越明顯，且隨著標記不完整和視圖特征不完整程度變大，算法結果整體小幅度下降。

圖2 在數(shù)據(jù)集Corel5k 上不同標記缺失率和特征缺失率對比Fig.2 Comparison of different missing rates of label and feature on Corel5k

4.4 消融實驗

模型通過學習標記關聯(lián)關系、實例關聯(lián)關系，并且嵌入流形正則化思想，使學到的潛在共享表示以及分類器更加合理。為驗證學習標記關聯(lián)關系與實例關聯(lián)關系對模型預測的有效作用，進行一組消融實驗。結果（平均值 ±標準差）如表3，最優(yōu)值標記為粗體，次優(yōu)值標記為下劃線。ACMVWL 即為本文模型，ACMVWL-NI 為消除學習實例關聯(lián)關系項的模型(λ3=0),ACMVWL-NIL 為消除學習標記關聯(lián)關系和實例關聯(lián)關系項的基本模型(λ2=0,λ3=0)，根據(jù)表3 可以發(fā)現(xiàn)，模型ACMVWL 表現(xiàn)排名第一，ACMVWL-NI 排名第二，ACMVWL-NIL 排名第三，效果最差?？梢缘贸鼋Y論學習標記關聯(lián)關系和實例關聯(lián)關系有助于提高模型預測表現(xiàn)。

表3 模型ACMVWL 的消融實驗結果Table 3 Results of the ablation experiment of ACMVWL

續(xù)表3

4.5 參數(shù)分析

這組實驗主要研究共享表示V的維度k，學習標記關聯(lián)關系、實例關聯(lián)關系用到的Zc和Zn，其中Zc的維度l，Zn的 維度r，對上述3 個維度參數(shù)進行實驗，實驗固定其他參數(shù)，分別探索其中一個參數(shù)的變化對模型的影響，結果如圖3 可以發(fā)現(xiàn)，當k=0.5dmin，l=0.3c，r=0.1n時，模型性能較好。

圖3 數(shù)據(jù)集Corel5k 上維度k、l、r 的變化對Average precision 影響Fig.3 The influence of different dimension of k,l,r on Average precision of Corel5k

4.6 收斂性分析

本文模型ACMVWL 用交替方向法求解，圖4為算法在數(shù)據(jù)集Corel5k 和IAPRTC12 上收斂情況，可以明顯看出迭代次數(shù)很少的情況下即可收斂，符合預期。

圖4 Corel5k 和IAPRTC12 上的收斂曲線Fig.4 Coverage curves on Corel5k and IAPRTC12

4.7 復雜度分析

模型求解過程可以簡化為5 個子問題，分別求解 {Zn,Zc,V,W,Pv}，總體時間復雜度表示為

5 結束語

本文提出一種自適應標記關聯(lián)與實例關聯(lián)誘導的缺失多視圖弱標記學習算法，可以同時解決多視圖多標記學習領域里視圖特征不完整、標記不完整問題。算法核心思想是基于不完整多視圖特征數(shù)據(jù)，學習一個潛在共享表示，并聯(lián)合弱標記數(shù)據(jù)，學習一個魯棒的分類器，最后融合自適應標記關聯(lián)關系以及實例關聯(lián)關系，使學到的共享表示以及分類器更加合理。在4 個代表性多視圖多標記學習相關數(shù)據(jù)集上的實驗也證明了所提模型有效性。后續(xù)工作，計劃將模型推廣到深度學習，結合深度神經(jīng)網(wǎng)絡增強模型性能。