唐朝輝　　朱清新　　洪朝群　　祝峰

基于自編碼器及超圖學(xué)習(xí)的多標(biāo)簽特征提取

唐朝輝1，2朱清新1洪朝群2祝峰3

在實際應(yīng)用場景中越來越多的數(shù)據(jù)具有多標(biāo)簽的特性，且特征維度較高，包含大量冗余信息.為提高多標(biāo)簽數(shù)據(jù)挖掘的效率，多標(biāo)簽特征提取已經(jīng)成為當(dāng)前研究的熱點.本文采用去噪自編碼器獲取多標(biāo)簽數(shù)據(jù)特征空間的魯棒表達(dá)，在此基礎(chǔ)上結(jié)合超圖學(xué)習(xí)理論，融合多個標(biāo)簽對樣本間幾何關(guān)系的影響以提升特征提取的性能，構(gòu)建多標(biāo)簽數(shù)據(jù)樣本間幾何關(guān)系所對應(yīng)超圖的Laplacian矩陣，并通過Laplacian矩陣的特征值分解得到低維投影空間.實驗結(jié)果證明了本文所提出的算法在分類性能上是有效可行的.

深度學(xué)習(xí)，自編碼器，多標(biāo)簽，超圖，特征提取

引用格式唐朝輝，朱清新，洪朝群，祝峰.基于自編碼器及超圖學(xué)習(xí)的多標(biāo)簽特征提取.自動化學(xué)報，2016，42（7）: 1014-1021

多標(biāo)簽學(xué)習(xí)是數(shù)據(jù)挖掘和信息檢索中很重要的主題［1［6］、圖像標(biāo)注［10］以及圖像情景分類［11］等.多標(biāo)簽學(xué)習(xí)面臨兩個重要的挑戰(zhàn).首先，傳統(tǒng)的單標(biāo)簽學(xué)習(xí)中樣本的分類是互斥的，而多標(biāo)簽學(xué)習(xí)中的分類類型相互依賴、相互關(guān)聯(lián).比如圖像標(biāo)注應(yīng)用中，一個圖像可能同時具有“樹”、“雨水”、“彩虹”以及“湖水”等標(biāo)簽，而另一個圖則具有“樹”、“太陽”、“彩虹”以及“沙漠”等標(biāo)簽，即不同的樣本可能具有部分相同的標(biāo)簽.其次，多標(biāo)簽數(shù)據(jù)通常具有較高維度的特征向量.比如一張圖像數(shù)據(jù)的維度可能是幾兆，一個文本的維度通常可以10k以上，而高維度的數(shù)據(jù)很容易導(dǎo)致“維度災(zāi)難”.為了解決這個問題，研究者們已經(jīng)提出了一些多標(biāo)簽降維算法［1，12-14］，雖然這些算法可以在一定程度上有效地融合多個標(biāo)簽之間關(guān)系以實現(xiàn)高維多標(biāo)簽數(shù)據(jù)的降維，但這些算法忽略了多標(biāo)簽數(shù)據(jù)內(nèi)含的噪聲以及樣本間幾何關(guān)系對于多標(biāo)簽數(shù)據(jù)特征空間降維的影響，而這對于提高多標(biāo)簽特征提取算法的性能至關(guān)重要.

為了有效提取高維多標(biāo)簽數(shù)據(jù)的低維表達(dá)性能，本文首先利用去噪自編器對原始特征空間進(jìn)行多層次抗干擾處理，以便提取出比原始特征空間更魯棒的表達(dá)；其次，利用超圖理論來挖掘多標(biāo)簽特征空間樣本之間的幾何關(guān)系，并有效融合多個標(biāo)簽對樣本間幾何關(guān)系的影響，構(gòu)建出完備的Laplacian矩陣并通過矩陣的標(biāo)準(zhǔn)特征值分解獲得低維特征空間.

1　相關(guān)工作

1.1多標(biāo)簽學(xué)習(xí)

本文多標(biāo)簽學(xué)習(xí)算法中，X表示特征空間，C 與Y表示標(biāo)簽空間，并且它們都是非空有限集.

傳統(tǒng)學(xué)習(xí)機(jī)L=（X，C，T）的目標(biāo)是通過學(xué)習(xí)獲得一個特征空間X與標(biāo)簽空間C的映射，其中|C|=1，即單標(biāo)簽分類器.大量的學(xué)者對單標(biāo)簽分類器進(jìn)行了深入研究，也取得了良好的分類性能，但單標(biāo)簽分類器基于一個分類樣本只有一個特定的標(biāo)簽的假設(shè)，而這個假設(shè)在很多實際應(yīng)用場景中并不成立［6，11］.因此越來越多的學(xué)者通過構(gòu)建多標(biāo)簽學(xué)習(xí)機(jī)來處理實際應(yīng)用中越來越多的多標(biāo)簽數(shù)據(jù)［4，9］.

ML=（X，Y，T）定義了一個多標(biāo)簽學(xué)習(xí)機(jī)，其中X是特征空間，Y是標(biāo)簽空間是一個訓(xùn)練集.是其中的一個訓(xùn)練樣本，包含了一個對象所有的特征值是xi對應(yīng)的標(biāo)簽集合，n是訓(xùn)練集中樣本的個數(shù)，通常多標(biāo)簽學(xué)習(xí)機(jī)的目標(biāo)是通過學(xué)習(xí)獲得一個映射函數(shù)通常又稱為一個多標(biāo)簽分類器.

多標(biāo)簽特征提取算法假設(shè)所有的標(biāo)簽共享一個特征子集.ARMLNRS［13］采用鄰域粗糙集技術(shù)以及貪婪策略對多標(biāo)簽數(shù)據(jù)進(jìn)行特征約簡，但不適用于圖像和文本處理；MLFSIE（Multi-label feature selection algorithm based on information entropy）［12］通過挖掘標(biāo)簽與特征之間的信息增益來提取有效特征子集；Yu等［15］使用基于無監(jiān)督學(xué)習(xí)的潛在語義索引技術(shù)來獲取多標(biāo)簽數(shù)據(jù)的低維特征空間，從而不能充分利用標(biāo)簽與特征之間的關(guān)系來提升多標(biāo)簽學(xué)習(xí)性能；Zhang等［1］通過最大化特征與標(biāo)簽之間的依賴來識別最優(yōu)特征子集；Sun等［7］利用超圖理論分別構(gòu)建特征空間與標(biāo)簽空間的超圖并計算出保留超圖信息的特征子空間，該方法充分利用了特征與標(biāo)簽之間的關(guān)系來提取特征，但忽略了樣本間幾何結(jié)構(gòu)對提取特征子空間的影響.

1.2超圖學(xué)習(xí)

傳統(tǒng)采用圖與子空間的機(jī)器學(xué)習(xí)理論通?；诹餍渭僭O(shè).首先，假設(shè)存在一個低維流形空間，在該空間上的一個較小的局部鄰域內(nèi)樣本具有相似的性質(zhì)，建立在此流形空間上的決策函數(shù)也具有局部平滑性；其次，在傳統(tǒng)圖模型中，樣本之間的關(guān)系是成對的，沒有考慮多個樣本之間存在一致的關(guān)聯(lián)［16-17］.但在多標(biāo)簽數(shù)據(jù)中多個樣本具有相同的性質(zhì)，即包含相同的標(biāo)簽，則需要構(gòu)建多條邊來表達(dá)［18］.

在超圖中，具有相同性質(zhì)的多個頂點共享一條邊，因而可以使用超圖來提高樣本間幾何關(guān)系表達(dá)的效率和可靠性［19］.基于超圖的樣本幾何關(guān)系表達(dá)已經(jīng)用于多種應(yīng)用，比如分類［20［22］以及信息檢索［23-24］.

2　基于自編碼器與超圖學(xué)習(xí)的多標(biāo)簽特征提取

2.1自編碼器

深度學(xué)習(xí)在挖掘圖像潛在表達(dá)上非常有用，已經(jīng)成為計算機(jī)視覺領(lǐng)域的研究熱點.自編碼器基于深度學(xué)習(xí)理論，是一種無監(jiān)督的特征學(xué)習(xí)方法，自編碼器的內(nèi)層可以有效抽取圖像的內(nèi)在表達(dá)，其學(xué)習(xí)策略可以抽象成一個最小化重構(gòu)誤差的凸優(yōu)化問題：

對于去噪自編碼器，數(shù)據(jù)輸入x1，···，xn的局部數(shù)據(jù)被隨機(jī)地替換，從而對原始數(shù)據(jù)加入了人為的噪聲.表示加入噪聲后的結(jié)果，表示用來重構(gòu)帶有人為噪聲輸入數(shù)據(jù)的一種映射.因此重構(gòu)誤差的目標(biāo)函數(shù)可以定義為：

最小化目標(biāo)函數(shù)（2）的解在很大程度上取決于輸入數(shù)據(jù)的哪些特征被隨機(jī)損壞，為了降低重構(gòu)過程的方差，本文采用MDA（Marginalized denoising auto-encoder）［25］對訓(xùn)練數(shù)據(jù)進(jìn)行多次處理，并且在每次處理過程中對輸入數(shù)據(jù)加入不同的隨機(jī)噪聲.最小二乘的損失函數(shù)可以重新定義為：

為了提高算法的處理效率，本文對輸入數(shù)據(jù)進(jìn)行矩陣化處理.其中為輸入數(shù)據(jù)矩陣表示X的m次拷貝，而是加入隨機(jī)噪聲后的數(shù)據(jù).因為1/（2mn）是常量，對最小化損失函數(shù)無影響，因此損失函數(shù)（3）可簡化為式（4）：

其中tr（·）代表矩陣的求跡操作.最小化式（4）是一個具有全局最優(yōu)解的最小二乘問題，其解為：

證明.因為式（4）是關(guān)于W的凸函數(shù)，只需要滿足目標(biāo)函數(shù)的極值必要條件，即將其方向?qū)?shù)所有分量置零，便可以求出問題的全局最優(yōu)解.

自編碼階段對原始多標(biāo)簽數(shù)據(jù)特征空間進(jìn)行了特征提取，提取的特征空間抗干擾能力更強(qiáng)，但由于沒有考慮標(biāo)簽與特征空間之間的關(guān)聯(lián)，且特征空間維度沒有減小，故在此基礎(chǔ)上構(gòu)建的多標(biāo)簽分類算法的學(xué)習(xí)精度和時間性能都會受到一定的制約.基于以上考慮，本文在自編碼的基礎(chǔ)上采用基于監(jiān)督的多標(biāo)簽超圖學(xué)習(xí)以降低多標(biāo)簽數(shù)據(jù)的特征維度.

2.2基于超圖的多標(biāo)簽特征提取

為了更加清晰地描述本文提出的方法，首先定義幾個重要的標(biāo)記，如表1所示.超圖中每個頂點對應(yīng)一個樣本，每條超邊描述了多個樣本的共同屬性.為了求解超圖在平滑約束下的Laplacian矩陣，可以將問題近似為一個實值函數(shù)的優(yōu)化問題［18，22］：

為提高計算效率，將式（8）轉(zhuǎn)換成矩陣的形式：

其中，fLfT可視為f相對于超圖Laplacian矩陣L的平滑性度量，由式（8）可得L：

Zhang等［26］首次提出了批對齊框架（Patch alignment framework，PAF），該框架統(tǒng)一了基于譜分析的流形學(xué)習(xí)方法，是一個強(qiáng)大的流形學(xué)習(xí)分析、開發(fā)工具，它包含兩個階段：局部批構(gòu)建階段與全局對齊階段.超圖的幾何結(jié)構(gòu)可以由超圖對應(yīng)的Laplacian矩陣表征，對于多標(biāo)簽數(shù)據(jù)的每個標(biāo)簽l，可以構(gòu)建出一個Laplacian矩陣.

表1　重要的標(biāo)記定義Table 1　Definitions of important notations

在局部批構(gòu)建階段，PAF將高維的特征空間I映射到低維特征空間S，同時盡可能保持超圖的局部幾何結(jié)構(gòu)不變，本文中I是通過自編碼器抽取的特征空間.對于每個標(biāo)簽l以及每個單個的訓(xùn)練樣本通過計算出ks個與具有相同l標(biāo)簽值（0或1）的最近鄰的樣本集合knns以及kd個與具有不同l標(biāo)簽值的最近鄰的樣本集合knnd，可以構(gòu)建出局部批形成了一條超邊，對應(yīng)一個代表局部幾何結(jié)構(gòu)的子超圖，可以通過式（10）來構(gòu)建局部Laplacian矩陣Li.相對應(yīng)地，在低維特征空間S中，可以用相同的方式計算出在低維特征空間的局部批其中是xi∈I對應(yīng)于低維特征空間的值.為了維持pi與集合中包含的樣本以及樣本排序的最大一致性，局部批優(yōu)化的目標(biāo)函數(shù)可以表示成：

全局對齊階段，PAF利用樣本選擇矩陣Pi，滿足pi=IPi，來建立全局低維特征空間S與局部批的映射關(guān)系，即代入式（11）得到單個標(biāo)簽l下的目標(biāo)優(yōu)化函數(shù)：

其中Ll定義為：

為了有效融合多個標(biāo)簽對特征選擇的影響，本文將所有標(biāo)簽對應(yīng)的Laplacian矩陣Ll進(jìn)行加權(quán)求和作為全局超圖幾何結(jié)構(gòu)的表征矩陣，記為Lg.本文假設(shè)每個標(biāo)簽的貢獻(xiàn)是均等的，因此Lg融合了多個標(biāo)簽對樣本間局部幾何結(jié)構(gòu)的影響，如式（14）所示.

其中|Y|是多標(biāo)簽數(shù)據(jù)集標(biāo)簽的個數(shù).

最后，通過Lg矩陣的標(biāo)準(zhǔn)特征值分解，得到r個最小非零特征值對應(yīng)的特征向量（最小特征值可能為零），便得到了訓(xùn)練集特征空間約簡后的特征空間.

2.3算法結(jié)構(gòu)

本文新提出的多標(biāo)簽特征提取算法稱之為MLFS-AH.MLFS-AH（Muti-label feature selection with autoencoders and hypergraph learning）首先采用去噪自編碼器對原始多標(biāo)簽數(shù)據(jù)進(jìn)行預(yù)處理，然后再使用基于超圖的多標(biāo)簽學(xué)習(xí)融合多個標(biāo)簽對多標(biāo)簽數(shù)據(jù)特征提取的影響，并采用MLKNN［27］對特征提取的結(jié)果進(jìn)行分類檢驗. MLFS-AH的具體步驟如下所示：

步驟1.構(gòu)建m層的去噪自編碼器，該自編碼器接受多標(biāo)簽數(shù)X為輸入，通過m層的自編碼處理，求解一個具有全局最優(yōu)解的最小二乘優(yōu)化問題提取出樣本空間的魯棒表達(dá)，從而有效提高多標(biāo)簽數(shù)據(jù)的抗干擾性.重構(gòu)數(shù)據(jù)的映射矩陣由式（5）得出，重構(gòu)后的數(shù)據(jù)記為X′.

步驟2.對于單個標(biāo)簽l∈Y以及單個訓(xùn)練樣本xi∈X′，計算出ks個與xi∈X′具有相同標(biāo)簽的最近鄰的樣本集合knns以及kd個與xi∈I具有不同標(biāo)簽的最近鄰的樣本集合knnd.xi∪knns∪knnd形成了一條超邊，對應(yīng)的局部批可以由式（10）計算得出，全局對齊則由式（13）給出，記為Ll.

步驟3.重復(fù)步驟2直到遍歷所有的標(biāo)簽.

步驟4.對于所有的標(biāo)簽｛l|l∈Y｝，融合多個標(biāo)簽對樣本間幾何結(jié)構(gòu)的影響，由式（14）得到全局超圖樣本間幾何結(jié)構(gòu)的表征矩陣Lg.

步驟5.求解Laplacian矩陣Lg的標(biāo)準(zhǔn)特征值分解，得到r個最小的非零特征值對應(yīng)的特征向量集合，該集合構(gòu)成的特征空間即是約簡后的特征空間，該特征空間的樣本維度是r.

步驟6.使用MLKNN多標(biāo)簽分類算法對提取出來的特征空間進(jìn)行多標(biāo)簽分類，驗證特征提取算法的分類性能.

2.4算法分析

算法的復(fù)雜度包含空間復(fù)雜度和時間復(fù)雜度.算法主要分為兩個階段：去噪自編碼和特征約簡.去噪自編碼是具有全局最優(yōu)解的凸優(yōu)化問題，所以算法復(fù)雜度相對較小，本節(jié)主要討論特征約簡算法的復(fù)雜度.

特征約簡階段的空間復(fù)雜度主要在于超圖的矩陣表達(dá)，包含Dv，De，?，H.其中超圖中頂點數(shù)目|V|等于多標(biāo)簽數(shù)據(jù)的樣本個數(shù)，超邊數(shù)目|E|=|V|×|Y|，其中|Y|表示標(biāo)簽的個數(shù).矩陣表達(dá)的空間復(fù)雜度如表2所示.

表2　算法空間復(fù)雜度Table 2　Space consumption

特征約簡階段的時間復(fù)雜度主要在Laplacian矩陣的特征值分解，為O（|V|3）.

3　實驗結(jié)果

3.1數(shù)據(jù)集與度量指標(biāo)

本文提出的多標(biāo)簽特征提取算法在5個公開數(shù)據(jù)集上測試，數(shù)據(jù)集的具體信息如表3所示.

表3　數(shù)據(jù)集信息Table 3　Information of data sets

實驗在如表3所示的數(shù)據(jù)集上做十折交叉驗證.在此過程中，每個數(shù)據(jù)集都被分成了10個近似大小的子集，在每次的交叉驗證中，其中的1個子集被保留作為測試集，剩下的作為算法的訓(xùn)練集，所以這個過程會重復(fù)10次以提高測試的準(zhǔn)確性和結(jié)果的可推廣性.

檢驗一個多標(biāo)簽算法的有效性通常比檢驗單標(biāo)簽算法更加復(fù)雜.給定一個測試集T=｛（xi，li）|1≤i≤n｝，可以采用目前流行和有效的多標(biāo)簽評價指標(biāo)來驗證算法的有效性，本文采用其中4個評價指標(biāo)［27］：OneError，Coverage，RankingLoss和AveragePrecision.

OneError用來衡量所有單個訓(xùn)練樣本xi∈X中具有最高rank（xi，yi）值的標(biāo)簽yi∈Y被分類器預(yù)測為不屬于該樣本的次數(shù).OneError（Conf，T）值越小，多標(biāo)簽分類器的分類性能越好.

Coverage用來計算所有訓(xùn)練樣本以及預(yù)測出來的標(biāo)簽序列T，需要平均移動多少步才可以遍歷完所有正確預(yù)測的標(biāo)簽.Coverage（Conf，T）的值越小，表明多標(biāo)簽分類器的分類性能越好.

RankingLoss用來度量對于所有的單個訓(xùn)練樣本，預(yù)測結(jié)果中出現(xiàn)不相關(guān)標(biāo)簽比相關(guān)標(biāo)簽具有更低rank值的次數(shù).RankingLoss（Conf，T）的值越小，表明多標(biāo)簽分類器的分類性能越好.

假設(shè)Precision是某個樣本xi∈X 預(yù)測標(biāo)簽中 rank值低于某個特定被正確預(yù)測標(biāo)簽的所有標(biāo)簽的百分比，AveragePrecision則是所有訓(xùn)練樣本的 Precision的平均值. AveragePrecision（Conf，T）值越大，表明多標(biāo)簽分類器的分類性能越好.

本文所有的實驗均在 4GB RAM 以及2.40GHz Intel至強(qiáng)4核處理器的主機(jī)上完成.

3.2參數(shù)優(yōu)化

MLFS-AH中有三個重要的參數(shù)ks，kd與r.參數(shù)的取值對算法的性能有直接的影響，所以在對比MLFS-AH與其他的算法性能前，需要對ks，kd與r進(jìn)行一定的調(diào)優(yōu).由于不同數(shù)據(jù)集特征維度的差異較大，本文實驗中r分別取r∈［5：5：350］，通過充分的實驗表明，r對于數(shù)據(jù)集Emotions，Yeast，Scene，Birds，Computer分別取15，30，20，45，60時算法MLFS-AH的訓(xùn)練結(jié)果最好，其值繼續(xù)增加不能顯著提高算法的分類性能，故以下實驗中對于表3中給出的5個數(shù)據(jù)集r分別取15，30，20，45，60.對于ks，kd，在算法訓(xùn)練階段對參數(shù)進(jìn)行調(diào)優(yōu)過程中，先固定其中一個參數(shù)的值，然后調(diào)整另一個參數(shù).結(jié)果分別如圖1和圖2所示.

圖1　參數(shù)ks對AveragePrecision的影響（kd=3）Fig.1　The influences of ksto AveragePrecision（kd=3）

圖2　參數(shù)kd對AveragePrecision的影響（ks=8）Fig.2　The influences of kdto AveragePrecision（ks=8）

由圖1可知，當(dāng)ks分別取8，7，8，8，7且kd=3時，算法MLFS-AH在AveragePrecision上的性能最優(yōu)；由圖2可知，當(dāng)kd分別取3，3，3，2，2且ks=8時，算法MLFS-AH在AveragePrecision上的性能最優(yōu).

3.3算法比較

本文將MLFS-AH與ARMLNRS［13］，MLFSIE［12］，F(xiàn)MLFS［28］三個多標(biāo)簽特征提取算法進(jìn)行性能對比.為保證可對比性，本文均采用MLKNN作為分類器，對提取出來的特征進(jìn)行分類檢驗.OE，Cov，RL以及AP分別代表OneError，Coverage，RankingLoss和AveragePrecision. 實驗結(jié)果如表4～8所示，其中params=（ks，kd，r）是一個三元組，且每個評價指標(biāo)的最優(yōu)結(jié)果用粗體標(biāo)出.需要指明的是表中只列出了十折交叉驗證的均值，沒有列出十次結(jié)果的標(biāo)準(zhǔn)方差；對于每一個評價指標(biāo)，↓表示越小越好，↑則相反.下文中對比算法采用代號，分別是a0：MLKNN；al：ARMLNRS；a2：MLFSIE；a3：FMLFS.

表4　數(shù)據(jù)集Emotions測試結(jié)果（params=（8，3，15））Table 4　Results on Emotions（params=（8，3，15））

為了更清晰地描述算法性能差異的顯著性，本文定義一個偏序?.對于每個數(shù)據(jù)集以及選中某個評價指標(biāo)，如果一個算法alg1在統(tǒng)計上顯著優(yōu)于算法alg2，那么可以表示為：alg1?alg2.首先，本文采用十折交叉驗證測試某個算法的性能可獲得的一組數(shù)值結(jié)果，包含10個數(shù)值；然后采用雙尾成對t檢驗，驗證對比的兩個算法性能是否在給定評價指標(biāo)上存在顯著的差異，其中顯著性水平置為5%，即如果統(tǒng)計出兩個算法平均性能相等的概率小于5%，則可以等價地認(rèn)為兩個算法的平均性能在特定顯著性水平下存在顯著差異.

對數(shù)據(jù)集Emotions上的實驗結(jié)果做雙尾成對t檢驗，得到以下性能差異顯著性結(jié)果：對于OE，RL，AP，均有MLFS-AH?a0，MLFS-AH?a1，MLFS-AH?a2，MLFS-AH?a3；對于Cov，除a3 ?MLFS-AH外，均有MLFS-AH?a0，MLFS-AH ?a1，MLFS-AH?a2.

對數(shù)據(jù)集Yeast上的測試結(jié)果做雙尾成對t檢驗，得到以下性能差異顯著性結(jié)果：對于OE，Cov，AP，均有MLFS-AH?a0，MLFS-AH?a1，MLFS-AH?a2，MLFS-AH?a3；對于RL，a3稍優(yōu)于MLFS-AH，且MLFS-AH?a0，MLFS-AH?a1，MLFS-AH?a2，如表5所示.

表5　數(shù)據(jù)集Yeast測試結(jié)果（params=（7，3，30））Table 5　Results on Yeast（params=（7，3，30））

對數(shù)據(jù)集Scene上的測試結(jié)果做雙尾成對t檢驗，得到以下性能差異顯著性結(jié)果：對于OE，RL，AP，均有MLFS-AH?a0，MLFS-AH?a1，MLFS-AH?a2，MLFS-AH?a3；對于Cov，a3稍優(yōu)于MLFS-AH，且MLFS-AH?a0，MLFS-AH ?a1，MLFS-AH?a2，如表6所示.

表6　數(shù)據(jù)集Scene測試結(jié)果（params=（8，3，20））Table 6　Results on Scene（params=（8，3，20））

對數(shù)據(jù)集Birds上的測試結(jié)果做雙尾成對t檢驗，得到以下性能差異顯著性結(jié)果：對于OE，RL，AP，均有MLFS-AH?a0，MLFS-AH?a1，MLFS-AH?a2，MLFS-AH?a3；對于Cov，除a3稍優(yōu)于MLFS-AH外，均有MLFS-AH?a0，MLFSAH?a1，MLFS-AH?a2，如表7所示.

對數(shù)據(jù)集Computer上的測試結(jié)果做雙尾成對t檢驗，得到以下性能差異顯著性結(jié)果：對于OE，Cov，AP，均有MLFS-AH?a0，MLFS-AH?a1，MLFS-AH?a2，MLFS-AH?a3；對于RL，除a3稍優(yōu)于MLFS-AH外，均有MLFS-AH?a0，MLFS-AH?a1，MLFS-AH?a2，如表8所示.

綜上，MLFS-AH的總體性能顯著優(yōu)于MLFSIE，ARMLNRS以及FMLFS.FMLFS和MLFSAH都考慮了樣本之間幾何關(guān)系對特征提取性能的影響，但由于MLFS-AH對原始的特征空間做了抗干擾處理，且對于同一個標(biāo)簽在構(gòu)建超邊時同時考慮了同類近鄰與異類近鄰對樣本幾何關(guān)系的影響，并對多個標(biāo)簽的影響進(jìn)行融合，所以幾何關(guān)系的表達(dá)更加精確，特征提取的性能總體上更優(yōu).

表7　數(shù)據(jù)集Birds測試結(jié)果（params=（8，2，45））Table 7　Results on Birds（params=（8，2，45））

表8　數(shù)據(jù)集Computer測試結(jié)果（params=（7，2，60））Table 8　Results on Computer（params=（7，2，60））

4　總結(jié)

本文提出了一個基于自編碼器與超圖學(xué)習(xí)的多標(biāo)簽數(shù)據(jù)特征提取算法.首先該算法采用去噪自編碼器提取原特征空間的魯棒表達(dá)，使得特征提取算法抗干擾性更強(qiáng)；然后基于超圖理論和PAF框架構(gòu)建每個標(biāo)簽產(chǎn)生的樣本之間的幾何結(jié)構(gòu)，并融合多個標(biāo)簽對幾何結(jié)構(gòu)的影響得到全局Laplacian矩陣；最后通過Laplacian矩陣的特征值分解得到約簡的特征空間.針對公開數(shù)據(jù)集的實驗結(jié)果表明本文的算法優(yōu)于對比算法，是有效可行的.

References

1 Zhang Y，Zhou Z H.Multi-label dimensionality reduction via dependence maximization.In：Proceedings of the 23rd AAAI Conference on Artificial Intelligence.Chicago，USA：AAAI Press，2008.1503-1505

2 Fu Zhong-Liang.Cost-sensitive ensemble learning algorithm for multi-label classification problems.Acta Automatica Sinica，2014，40（6）：1075-1085（付忠良.多標(biāo)簽代價敏感分類集成學(xué)習(xí)算法.自動化學(xué)報，2014，40（6）：1075-1085）

3 Zhang Chen-Guang，Zhang Yan，Zhang Xia-Huan.Normalized dependence maximization multi-label semi-supervised learning method.Acta Automatica Sinica，2015，41（9）：1577-1588（

張晨光，張燕，張夏歡.最大規(guī)范化依賴性多標(biāo)記半監(jiān)督學(xué)習(xí)方法.自動化學(xué)報，2015，41（9）：1577-1588）

4 Zhang M L，Zhang K.Multi-label learning by exploiting label dependency.In：Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery&Data Mining.Washington，USA：ACM，2010.999-1008

5 Hariharan B，Zelnik-Manor L，Vishwanathan S V N，Varma M.Large scale max-margin multi-label classification with priors.In：Proceedings of the 27th International Conference on Machine Learning.Haifa，Israel：Omnipress，2010. 423-430

6 Elisseeff A，Weston J.A kernel method for multi-labelled classification.In：Proleedings of the 2001 Advances in Neural Information Processing Systems 14.British Columbia，Canada：MIT Press，2001.681-687

7 Sun L，Ji S W，Ye J P.Hypergraph spectral learning for multi-label classification.In：Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Las Vegas，USA：ACM，2008.668-676

8 Zhang M L，Zhou Z H.A review on multi-label learning algorithms.IEEE Transactions on Knowledge and Data Engineering，2014，26（8）：1819-1837

9 Gibaja E，Ventura S.A tutorial on multi-label learning. ACM Computing Surveys，2015，47（3）：Article No.52

10 Tian Feng，Shen Xu-Kun.Large scale web image online annotation by learning label set relevance.Acta Automatica Sinica，2014，40（8）：1635-1643（田楓，沈旭昆.基于標(biāo)簽集相關(guān)性學(xué)習(xí)的大規(guī)模網(wǎng)絡(luò)圖像在線標(biāo)注.自動化學(xué)報，2014，40（8）：1635-1643）

11 Boutell M R，Luo J B，Shen X P，Brown C M.Learning multi-label scene classification.Pattern Recognition，2004，37（9）：1757-1771

12 Zhang Zhen-Hai，Li Shi-Ning，Li Zhi-Gang，Chen Hao. Multi-label feature selection algorithm based on information entropy.Journal of Computer Research and Development，2013，50（6）：1177-1184（張振海，李士寧，李志剛，陳昊.一類基于信息熵的多標(biāo)簽特征選擇算法.計算機(jī)研究與發(fā)展，2013，50（6）：1177-1184）

13 Duan Jie，Hu Qing-Hua，Zhang Ling-Jun，Qian Yu-Hua，Li De-Yu.Feature selection for multi-label classification based on neighborhood rough sets.Journal of Computer Research and Development，2015，52（1）：56-65（段潔，胡清華，張靈均，錢宇華，李德玉.基于鄰域粗糙集的多標(biāo)記分類特征選擇算法.計算機(jī)研究與發(fā)展，2015，52（1）：56-65）

14 Sun L，Ji S W，Ye J P.Multi-label Dimensionality Reduction.Britain：Chapman and Hall/CRC Press，2013.34-49

15 Yu K，Yu S P，Tresp V.Multi-label informed latent semantic indexing.In：Proceedings of the 28th Annual International ACM SIGIR Conference on Research&Development in Information Retrieval.Salvador，Brazil：ACM，2005.258-265

16 Tao D C，Li X L，Wu X D，Maybank S J.General tensor discriminant analysis and Gabor features for gait recognition. IEEE Transactions on Pattern Analysis&Machine Intelligence，2007，29（10）：1700-1715

17 Tao D C，Li X L，Wu X D，Maybank S J.Geometric mean for subspace selection.IEEE Transactions on Pattern Analysis&Machine Intelligence，2009，31（2）：260-274

18 Zhou D Y，Huang J Y，Sch¨olkopf B.Learning with hypergraphs：clustering，classification，and embedding.In：Proceedings of the 2007 Advances in Neural Information Processing Systems.Vancouver，Canada：MIT Press，2007，1601-1608

19 Berge C.Hypergraphs:Combinatorics of Finite Sets.Amsterdam：North-Holland，1989.83-96

20 Gao Y，Chua T S.Hyperspectral image classification by using pixel spatial correlation.In：Proceedings of the 19th International Conference on Advances in Multimedia Modeling.Huangshan，China：Springer，2013.141-151

21 Yu J，Tao D C，Wang M.Adaptive hypergraph learning and its application in image classification.IEEE Transactions on Image Processing，2012，21（7）：3262-3272

22 Shi J B，Malik J.Normalized cuts and image segmentation. IEEE Transactions on Pattern Analysis&Machine Intelligence，2000，22（8）：888-905

23 Gao Y，Wang M，Tao D C，Ji R R，Dai Q H.3-D object retrieval and recognition with hypergraph analysis.IEEE Transactions on Image Processing，2012，21（9）：4290-4303

24 Hong C Q，Zhu J K.Hypergraph-based multi-example ranking with sparse representation for transductive learning image retrieval.Neurocomputing，2013，101：94-103

25 Chen M M，Weinberger K，Sha F，Bengio Y.Marginalized denoising auto-encoders for nonlinear representations.In：Proceedings of the 31st International Conference on Machine Learning.Beijing，China，2014.1476-1484

26 Zhang T H，Tao D C，Li X L，Yang J.Patch alignment for dimensionality reduction.IEEE Transactions on Knowledge and Data Engineering，2009，21（9）：1299-1313

27 Zhang M L，Zhou Z H.ML-KNN：a lazy learning approach to multi-label learning.Pattern Recognition，2007，40（7）：2038-2048

28 Lee J，Kim D W.Fast multi-label feature selection based on information-theoretic feature ranking.Pattern Recognition，2015，48（9）：2761-2771

唐朝輝電子科技大學(xué)信息與軟件工程學(xué)院博士研究生.2009年獲得湖南大學(xué)碩士學(xué)位.主要研究方向為機(jī)器學(xué)習(xí)與計算機(jī)視覺.

E-mail:chhtang@xmut.edu.cn

（TANG Chao-HuiPh.D.candidate at the School of Information and SoftwareEngineering，Universityof Electronic Science and Technology of China.He received his master degree from Hunan University in 2009.His research interest covers machine learing and computer vision.）

朱清新電子科技大學(xué)信息與軟件工程學(xué)院教授.1993年獲得渥太華大學(xué)博士學(xué)位.主要研究方向為生物信息學(xué)，信息檢索.E-mail:qxzhu@uestc.edu.cn

（ZHU Qing-XinProfessor at the School of Information and Software Engineering，University of Electronic Science and Technology of China.He received his Ph.D.degree from University of Ottawa in 1993. His research interest covers bioinformatics and information retrieval.）

洪朝群廈門理工學(xué)院計算機(jī)與信息工程學(xué)院副教授.2011年獲得浙江大學(xué)博士學(xué)位.主要研究方向為計算機(jī)視覺與機(jī)器學(xué)習(xí).

E-mail:cqhong@xmut.edu.cn

（HONG Chao-QunAssociate professor at the School of Computer and Information Engineering，Xiamen University of Technology.He received his Ph.D.degree from Zhejiang University in 2011.His research interest covers computer vision and machine learning.）

祝峰閩南師范大學(xué)教授.2006年獲得奧克蘭大學(xué)博士學(xué)位.主要研究方向為數(shù)據(jù)挖掘與人工智能.本文通信作者. E-mail:williamfengzhu@gmail.com

（ZHU WilliamProfessor at Minnan Normal University.He received his Ph.D.degree from Oakland University in 2006.His research interest covers data mining and artificial intelligence.Corresponding author of this paper.）

Multi-label Feature Selection with Autoencoders and Hypergraph Learning

TANG Chao-Hui1，2ZHU Qing-Xin1HONG Chao-Qun2ZHU William3

In practical application scenarios，more and more data tend to be assigned with multiple labels and contain much redundant information in the high dimensional feature space.To improve the efficiency and effectiveness of multilabel data mining，multi-label data feature selection has become a hotspot.This paper utilizes denoising autoencoders to obtain a more robust version of multi-label data feature representation.Furthermore，based on hypergraph learning theory，a hypergraph Laplacian matrix corresponding to multi-label data is constructed by fusing the effects of all labels on geometrical relationship among all the samples，and then a projection space with lower dimension is obtained by conducting eigenvalue decomposition of the Laplacian matrix.Experimental results demonstrate the effectiveness and feasibility of the proposed algorithm according to its multi-label data classification performance.

Deep learning，autoencoders，multi-label，hypergraph，feature selection

10.16383/j.aas.2016.c150736

Tang Chao-Hui，Zhu Qing-Xin，Hong Chao-Qun，Zhu William.Multi-label feature selection with autoencoders and hypergraph learning.Acta Automatica Sinica，2016，42（7）:1014-1021

2015-11-09錄用日期2016-05-03
Manuscript received November 9，2015；accepted May 3，2016國家自然科學(xué)基金（61300192，61472110，61573297，61379049），中央高校基本科研項目（ZYGX2014J052），福建省自然科學(xué)基金（2014J01256，2015J01277）資助
Supported by National Natural Science Foundation of China （61300192，61472110，61573297，61379049），the Fundamental Research Funds for the Central Universities（ZYGX2014J052），andtheNaturalScienceFoundationofFujianProvince （2014J01256，2015J01277）
本文責(zé)任編委柯登峰
Recommended by Associate Editor KE Deng-Feng
1.電子科技大學(xué)信息與軟件工程學(xué)院成都 6117312.廈門理工學(xué)院計算機(jī)與信息工程學(xué)院廈門3610243.閩南師范大學(xué)粒計算實驗室漳州363000
1.School of Information and Software Engineering，University of Electronic Science and Technology of China，Chengdu 611731 2.School of Computer and Information Engineering，Xiamen University of Technology，Xiamen 3610243.Laboratory of Granular Computing，Minnan Normal University，Zhangzhou 363000