史彩娟，段昌鈺，谷志斌

?

基于結(jié)構(gòu)化多視圖稀疏限定的監(jiān)督特征選擇算法研究

史彩娟，段昌鈺，谷志斌

(華北理工大學(xué)，河北 唐山 063210)

為了有效利用多視圖數(shù)據(jù)信息提升監(jiān)督特征選擇的性能，構(gòu)建了一種結(jié)構(gòu)化多視圖稀疏限定，并基于該稀疏限定提出了一種監(jiān)督特征選擇方法，即結(jié)構(gòu)化多視圖監(jiān)督特征選擇方法(SMSFS)。該方法在特征選擇過程中能夠同時考慮不同視圖特征的重要性以及同一視圖中不同特征的重要性，從而有效的結(jié)合多視圖數(shù)據(jù)信息，提升監(jiān)督特征選擇的性能。SMSFS目標函數(shù)是非凸的，設(shè)計了一個有效的迭代算法對目標函數(shù)進行求解。將所提結(jié)構(gòu)化多視圖監(jiān)督特征選擇方法SMSFS應(yīng)用到了圖像標注任務(wù)，在NUS-WIDE和MSRA-MM2.0圖像數(shù)據(jù)庫上進行了實驗，并與其他特征選擇算法進行了比較，實驗結(jié)果表明該算法能夠有效結(jié)合多視圖數(shù)據(jù)信息，提升特征選擇性能。

多視圖學(xué)習(xí)；結(jié)構(gòu)化稀疏限定；監(jiān)督特征選擇

近年，隨著信息技術(shù)以及計算機視覺技術(shù)的迅猛發(fā)展，圖像、視頻等數(shù)據(jù)被表示為不同類型的特征，如形狀特征、顏色特征、紋理特征等。每一種類型的特征都是從某一特定空間對圖像及視頻數(shù)據(jù)進行了描述，傳統(tǒng)上把這種由不同類型特征組成的數(shù)據(jù)稱為多視圖數(shù)據(jù)[1]。然而，這些多視圖數(shù)據(jù)中包含許多不相關(guān)特征，甚至是噪聲，因此，如何有效去除多余特征及噪聲，從而降低“維數(shù)災(zāi)難”的特征選擇技術(shù)成為當(dāng)前的研究熱點。面對多視圖數(shù)據(jù)，傳統(tǒng)的單一視圖特征選擇算法已不能獲得較好的特征選擇效果，許多多視圖特征選擇方法被廣泛研究和提出。其中，最直接的方法就是將多視圖特征直接串接成一個長的特征向量，然后采用單一視圖特征選擇方法進行特征選擇[2-3]。該方法思路簡單，但將多視圖特征直接串接為一個長向量之后再進行特征選擇，破壞了不同視圖特征間的潛在關(guān)聯(lián)，同時也缺乏物理解釋，使特征選擇的性能受到了影響。

近年來，多視圖學(xué)習(xí)被廣泛應(yīng)用到特征選擇算法之中，利用不同視圖之間的互補性及一致性來提升特征選擇的性能[1,4-5]。然而，現(xiàn)有的多視圖特征選擇方法基本上是將一個視圖數(shù)據(jù)看作一個整體，在特征選擇過程中僅僅考慮每一個視圖特征整體的重要性，而忽略了同一視圖中不同特征的重要性，使特征選擇性能受到影響。如果在多視圖稀疏特征選擇過程中，不僅考慮每一個視圖的重要性，選擇最具判別性的視圖特征外，同時考慮同一視圖中每一個特征的重要性，必將能夠更好地結(jié)合多視圖數(shù)據(jù)信息，從而提升特征選擇的性能。文獻[6]提出了組1范數(shù)(1-范數(shù))，能夠很好地判定同一視圖中不同特征的重要性。文 獻[7]通過引入組1范數(shù)(1-范數(shù))提出了一種稀疏多模態(tài)學(xué)習(xí)方法來整合多視圖異質(zhì)特征。文獻[8]基于1范數(shù)(1-范數(shù))提出了一種新的非監(jiān)督深度稀疏特征選擇方法，特征選擇性能得到了提升。

因此，為了更好地利用多視圖數(shù)據(jù)信息，本文提出了一種基于結(jié)構(gòu)化多視圖稀疏限定的監(jiān)督特征選擇算法，即結(jié)構(gòu)化多視圖監(jiān)督特征選擇(structured multi-view supervised feature selection，SMSFS)。結(jié)構(gòu)化多視圖稀疏限定能夠使SMSFS在特征選擇過程中不僅考慮每一個視圖的重要性，同時考慮同一視圖中不同特征的重要性。SMSFS算法被應(yīng)用到了圖像標注任務(wù)中，并在圖像數(shù)據(jù)庫NUS-WIDE[9]和MSRA-MM 2.0[10]上進行了實驗，結(jié)果表明該算法優(yōu)于其他特征選擇算法，能夠更好地結(jié)合多視圖數(shù)據(jù)信息來提升特征選擇的性能。

1 相關(guān)工作

本文相關(guān)工作為多視圖學(xué)習(xí)和結(jié)構(gòu)化稀疏限定。

1.1 多視圖學(xué)習(xí)

現(xiàn)實中存在許多多視圖數(shù)據(jù)，如圖像經(jīng)常被表示為形狀、顏色、紋理等不同的視覺特征，視頻被表示為視覺特征及聲音特征，網(wǎng)頁被表示為網(wǎng)頁內(nèi)容及相關(guān)鏈接等等。每一個視圖數(shù)據(jù)都具有一定的特征空間，具有特定的物理意義和統(tǒng)計特性。近年，多視圖學(xué)習(xí)得到廣泛研究，能夠揭示多視圖數(shù)據(jù)間的關(guān)聯(lián)及有效地結(jié)合不同視圖數(shù)據(jù)間的信息。根據(jù)多視圖間信息結(jié)合方式的不同，可以將現(xiàn)有的多視圖學(xué)習(xí)算法大致分成3類：①將多視圖數(shù)據(jù)直接串接為一個特征向量，然后采用單一視圖方法的多視圖學(xué)習(xí)算法[11-12]。該算法實現(xiàn)簡單，但不能有效揭示不同視圖特征之間的關(guān)聯(lián)及補充信息，既沒有考慮不同視圖特征的重要性，也沒有考慮同一視圖中不同特征的重要性。②將每一個視圖特征看成一個整體，將同一視圖中的所有特征賦予相同的系數(shù)。雖然該算法能夠很好的利用不同視圖特征之間的關(guān)聯(lián)性和互補性[13-16]，但沒有考慮同一視圖特征中不同特征的重要性。③在學(xué)習(xí)過程中能夠同時考慮不同視圖的重要性以及同一視圖中不同特征的重要性[7-8]。

1.2 結(jié)構(gòu)化稀疏限定

近年來，多種結(jié)構(gòu)化稀疏限定被廣泛研究并被應(yīng)用到特征選擇算法之中。文獻[17]對現(xiàn)有的特征選擇方法進行了綜述，根據(jù)所采用的兩種不同的結(jié)構(gòu)化稀疏限定1范數(shù)(LASSO)[18]和l，p(0<≤1)矩陣范數(shù)[17]，將特征選擇方法分成了基于向量的特征選擇方法和基于矩陣的特征選擇方法。1范數(shù)作為懲罰項對特征選擇系數(shù)施以約束，能夠使被選擇的特征盡可能稀疏，使訓(xùn)練的模型具有稀疏性和可解釋性，因此被廣泛應(yīng)用到特征選擇方法中。對于l,p(0<≤1)矩陣范數(shù)，當(dāng)=2，=1，即為2,1范數(shù)[19]。NIE等[20]將2,1范數(shù)應(yīng)用到了特征選擇之中，該限定能夠保證在特征選擇過程中充分考慮不同特征之間的關(guān)聯(lián)，聯(lián)合的選取特征。WANG和CHEN[21]提出了2,p(0<≤1)矩陣范數(shù)，并指出當(dāng)=1/2時，即2,1/2矩陣范數(shù)具有最好的性能。文 獻[2]基于2,1/2矩陣范數(shù)提出了一種圖拉普拉斯半監(jiān)督稀疏特征選擇方法。

2 SMSFS算法

本節(jié)提出一個新的基于結(jié)構(gòu)化多視圖稀疏限定的監(jiān)督特征選擇框架，既結(jié)構(gòu)化多視圖監(jiān)督特征選擇(structured multi-view supervised feature selection，SMSFS)。首先介紹結(jié)構(gòu)化多視圖稀疏限定，然后提出了SMSFS算法，最后給出求解目標函數(shù)的迭代算法。

2.1 結(jié)構(gòu)化多視圖稀疏限定

映射矩陣的組1-范數(shù)(1范數(shù))定義為

映射矩陣的2,1/2矩陣范數(shù)定義為

因此，由2,1/2范數(shù)和1-范數(shù)構(gòu)建的用于特征選擇的結(jié)構(gòu)化多視圖稀疏限定可以表示為

結(jié)構(gòu)化多視圖稀疏限定中1-范數(shù)強調(diào)每一個視圖的重要性，而2,1/2矩陣范數(shù)可以很好地考慮不同特征的重要性。因此，結(jié)構(gòu)化多視圖稀疏限定能夠保證在特征選擇的過程中不僅考慮每一個視圖的重要性，同時考慮每一個視圖中不同特征的重要性，更好地結(jié)合多視圖數(shù)據(jù)信息，從而達到很好的特征選擇性能。

2.2 SMSFS算法

特征選擇框架一般可以表示為求解下面的最小化經(jīng)驗誤差

本文損失函數(shù)選擇最簡單的最小二乘函數(shù)，正則項為結(jié)構(gòu)化多視圖稀疏限定，因此，本文提出的結(jié)構(gòu)化多視圖監(jiān)督特征選擇算法SMSFS的目標函數(shù)可以表示為

2.3 優(yōu)化求解

由于2,1/2范數(shù)是非凸的，因此本文提出的結(jié)構(gòu)化多視圖監(jiān)督特征選擇框架式(5)也是非凸的，下面提出了一個有效迭代方法來求解目標函數(shù)。

此時目標函數(shù)式(5)可以寫成

因此，可得到

算法1. SMSFS 算法給出了求解目標函數(shù)式(5)的迭代算法。

②重復(fù)計算對角矩陣

對于g(1≤≤)，

=+1；

直到收斂；

3 實 驗

將SMSFS算法應(yīng)用到圖像標注任務(wù)中，并在兩個大規(guī)模圖像數(shù)據(jù)庫NUS-WIDE[9]和MSRA- MM 2.0[10]上進行了實驗。

3.1 數(shù)據(jù)庫及實驗設(shè)置

NUS-WIDE數(shù)據(jù)庫包含269 648幅圖像，81個概念；MSRA-MM2.0數(shù)據(jù)庫包含50 000幅圖像，100個概念。實驗中對于兩個數(shù)據(jù)庫，均選用144維的顏色相關(guān)圖、128維的小波紋理和73維(NUS-WIDE數(shù)據(jù)庫)或者75維(MSRA-MM2.0數(shù)據(jù)庫)的邊緣方向直方圖和3種底層視覺特征作為圖像的3種視圖特征。

實驗中隨機采樣3 000個圖像形成訓(xùn)練數(shù)據(jù)集，剩余數(shù)據(jù)作為測試集。隨機進行10次試驗，將10次結(jié)果平均作為最終的標注結(jié)果。目標函數(shù)式(5)中的正則化參數(shù)和設(shè)定為{0.00001，0.001，0.1，1，10，1000，100000}，采用交叉驗證方法記錄最好結(jié)果。

實驗中將算法SMSFS與算法SMML[6]和SFUS[3]進行了比較。采用3種評估準則來評價算法性能，即平均準確率均值(mean average precision，MAP)，ROC曲線下面積AUC的兩種情況MicroAUC和MacroAUC。

3.2 與其他特征選擇算法的性能比較

實驗中將本文算法SMSFS與另外兩種監(jiān)督特征選擇算法SFUS和SMML進行了比較，在兩個數(shù)據(jù)庫上進行了實驗，結(jié)果見表1，最好結(jié)果用黑體標識。

表1 不同特征選擇方法性能比較

從表1可以看出，無論是基于MAP，還是MacroAUC和MicroAUC，本文算法SMSFS性能優(yōu)于SFUS和SMML算法，說明SMSFS算法能夠利用結(jié)構(gòu)化多視圖稀疏限定有效的結(jié)合多視圖數(shù)據(jù)信息，從而選取更具判別性的稀疏特征，獲得更好的特性選擇性能。

3.3 選擇特征個數(shù)的影響

本實驗驗證所選特征數(shù)目對標注性能的影響。設(shè)定所選特征數(shù)目分別為100、150、200、250和300以及全部特征(對于NUS-WIDE數(shù)據(jù)庫是345維，對于MSRA-MM數(shù)據(jù)庫是347維)。采用MAP作為評估準則，實驗結(jié)果如圖1所示。

圖1顯示了算法SMSFS標注性能隨著所選特征數(shù)目變化而變化的情況。從圖1可以看出：①當(dāng)所選用的特征數(shù)很少時(如特征數(shù)為100)對應(yīng)的MAP要低于不進行特征選擇時(特征數(shù)為345或347)的MAP。這歸因于選擇的特征數(shù)很少時，一些有用信息被丟失。②當(dāng)采用所有底層視覺特征(特征數(shù)為345或347)的時候，標注性能并不是最好，說明最初的底層視覺特征中包含一些冗余特征，影響了標注性能。③在兩個數(shù)據(jù)庫上，3種算法達到最好性能時所選用的特征數(shù)目均為250，但是算法SMSFS性能優(yōu)于另外兩種算法。因此，與另外兩種特征選擇算法相比，本文算法SMSFS能夠有效結(jié)合多視圖數(shù)據(jù)信息，選取更具判別性的特征，從而獲得最好的特征選擇性能，降低噪聲影響。

圖1 性能MAP隨著選擇特征數(shù)目的變化而變化情況

3.4 參數(shù)敏感性測試

在目標函數(shù)式(5)中存在兩個正則化參數(shù)和，本節(jié)通過交叉驗證的方式驗證這兩個正則化參數(shù)對特征選擇性能的影響，其大小設(shè)定為{0.00001，0.001，0.1，1，10，1000，10000}。采用MAP作為評估準則，實驗結(jié)果如圖2所示。

從圖2可以看出，不同的和組合對應(yīng)不同的MAP結(jié)果，該算法對于參數(shù)和比較敏感。對于NUS-WIDE數(shù)據(jù)庫，當(dāng)=1000、=10時具有最好的性能；對于MSRA-MM數(shù)據(jù)庫，當(dāng)==10時性能最好。

圖2 正則化參數(shù)敏感性分析

4 結(jié)束語

本文提出了一個新的基于結(jié)構(gòu)化多視圖稀疏限定的監(jiān)督特征選擇算法SMSFS。本文算法能夠在特征選擇過程中同時考慮不同視圖的重要性以及同一視圖中不同特征的重要性，有效結(jié)合多視圖數(shù)據(jù)信息，從而提升特征選擇的性能。其目標函數(shù)是非凸的，本文設(shè)計了一個有效的迭代算法對目標函數(shù)進行求解。將該算法應(yīng)用到了圖像標注任務(wù)中，并在兩個圖像數(shù)據(jù)庫上進行了實驗，結(jié)果表明該算法優(yōu)于現(xiàn)有的特征選擇算法，很好地實現(xiàn)了特征選擇。

[1] FENG Y F, XIAO J, ZHUANG Y T, et al. Adaptive unsupervised multi-view feature selection for visual concept recognition [C]//11th IEEE Asian Conference on Computer Vision (ACCV), 2012. New York: IEEE Press, 2012: 343-357.

[2] SHI C J, RUAN Q Q, AN G Y, et al. Sparse feature selection based on graph Laplacian for web image annotation [J]. Image and Vision Computing, 2014, 32(3): 189-201.

[3] MA Z G, NIE F P, YANG Y, et al. Web image annotation via subspace-sparsity collaborated feature selection [J]. IEEE Transactions on Multimedia, 2012, 14(4): 1021-1030.

[4] SHI C J, RUAN Q Q, AN G Y, et al. Semi-supervised sparse feature selection based on multi-view laplacian regularization [J]. Image and Vision Computing, 2015, 33(41): 1-10.

[5] XU X X, LI W, XU D, et al. Co-labeling for multi-view weakly labeled learning [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2016, 38(6): 1113-1125.

[6] WANG H, NIE F P, HUANG H, et al. Identifying disease sensitive and quantitative trait-relevant biomarkers from multidimensional heterogeneous imaging genetics data via sparse multimodal multitask learning [J]. Bioinformatics, 2012, 28(12): 1127-1136.

[7] WANG H, NIE F P, HUANG H, et al. Heterogeneous visual features fusion via sparse multimodal machine [C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2013. New York: IEEE Press, 2013: 3097-3102.

[8] CONG Y, WANG S, FAN B J, et al. UDSFS: unsupervised deep sparse feature selection [J]. Neurocomputing, 2016, 196: 150-158.

[9] CHUN T, TANG JH, HONG R, et al. NUS-WIDE: a real-world web image dataset from National University of Singapore [C]//Proceeding of the ACM International Coference on Image and Video Retrieval (CIVR), 2009. New York: ACM Press, 2009: 1-9.

[10] LI H, WANG M, HUA X S. MSRA-MM2. 0: a large-scale web multimedia dataset [C]//IEEE International Conference on Data Mining Workshops (ICDMW), 2009. New York: IEEE Press, 2009: 164-169.

[11] MA Z G, NIE F P, YANG Y, et al. Discriminating joint feature analysis for multimedia data understanding [J]. IEEE Transactions on Multimedia, 2012, 14(6): 1662-1672.

[12] LIU W F, TAO D C, Multiview hessian regularization for image annotation [J]. IEEE Transactions on Image Processing, 2013, 22(7): 2676-2687.

[13] WANG S P, GUO W Z. Sparse multi-graph embedding for multimodal feature representation [J]. IEEE Transactions on Multimedia, 2017, 19(7): 1454-1466.

[14] XUE X W, NIE F P, WANG S, et al. Multi-view correlated feature learning by uncovering shared component [EP/OL]. [2-18-01-10]. https://aaai.org/ ocs/index.php/AAAI/AAAI17/paper/view/14439.

[15] JING X Y, WU FI, DONG X W, et al. Semi-supervised multi-view correlation feature learning with application to webpage classification [EP/OL]. [2018-01-20]. https://aaai.org/ocs/index.php/AAAI/AAAI17/paper/view/14582.

[16] SHI C J, RUAN Q Q, AN G Y, et al. Semi-supervised sparse feature selection based on multi-view laplacian regularization [J]. Image and Vision Computing, 2015, 41(C): 1-10.

[17] GUI J, SUN Z N, JI S W, et al. Feature selection based on structured sparsity: a comprehensive study [J]. IEEE Transactions on Neural Networks and Learning Systems, 2017, 28(7): 1490-1507.

[18] SCH?LKOPF B, PLATT J, HOFMANN T. Sparse multinomial logistic regression via bayesian1regularisation [C]//Advances in Neural Information Processing Systems 19: Proceedings of the 2006 Conference. New York: MIT Press, 2006: 209-216.

[19] DING C, ZHOU D, HE X F, et al.1-PCA: rotational invariant1-norm principal component analysis for robust subspace factorization [C]//ICML’06 Proceedings of the 23rd International Conference on Machine Learning (ICML), 2006. New York: ACM Press, 2006: 281-288.

[20] NIE F P, XU D, HUNG T, et al. Flexible manifold embedding: A framework for semi-supervised and unsupervised dimension reduction [J]. IEEE Transactions on Image Processing. 2010, 19 (7): 1921-1932.

[21] WANG L P, CHEN S G.2, pmatrix norm and its application in feature selection [EP/OL]. [2018-01-08].

https://www.researchgate.net/publication/301850380_l_2p_Matrix_Norm_and_Its_Application_in_Feature_Selection.

Research of Supervised Feature Selection Algorithm Based on Structured Multi-View Sparse Regularization

sHI caijuan, DUANChangyu, GU Zhibing

(North China University of Science and Technology, Tangshan Hebei 063210, China)

In order to effectively utiliz the multi-view data information and enhance the feature selection performance, the structured multi-view sparse regularization was constructed, based on which a novel supervised feature selection method, namely structured multi-view supervised feature selection (SMSFS), was proposed. SMSFS could simultaneously consider the importance of each view features and the importance of individual feature in each view to combine the multi-view data information effectively in the feature selection process, and then to boost the supervised feature selection performance. Because theobjective function of SMSFS is non-convex, an effective iterative algorithm was proposed to solve the objective function. The proposed structured multi-view supervised feature selection method SMSFS was applied into image annotation task and extensive experiments were performed on NUS-WIDE and MSRA-MM2.0 image datasets. The proposed method SMSFS was compared with other feature selection methods and the experimental results demonstrated the effectiveness of SMSFS, which means that it could effectively utilize the multi-view data information to boost the feature selection performance.

multi-view learning; structured sparse regularization; supervised feature selection

TP 391.4

10.11996/JG.j.2095-302X.2018061036

A

2095-302X(2018)06-1036-06

2018-04-16；

2018-07-24

國家自然科學(xué)基金項目(61502143)；河北省自然科學(xué)基金面上項目(F2016209165)；華北理工大學(xué)杰出青年基金項目(JQ201715)；華北理工大學(xué)博士科研啟動基金(201510)；河北省高等學(xué)?？茖W(xué)技術(shù)研究項目(QN2018115)

史彩娟(1977-)，女，河北豐潤人，副教授，博士。主要研究方向為圖像處理與分析、多媒體內(nèi)容分析、計算機視覺、機器學(xué)習(xí)等。E-mail：scj-blue@163.com