奚曉鈺，吳 飛，荊曉遠(yuǎn)

(南京郵電大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 210003)

基于多視圖半監(jiān)督學(xué)習(xí)的圖像識(shí)別

奚曉鈺，吳 飛，荊曉遠(yuǎn)

(南京郵電大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 210003)

近年來(lái)多視圖學(xué)習(xí)在各個(gè)研究應(yīng)用領(lǐng)域引起了學(xué)者們的廣泛關(guān)注。傳統(tǒng)有監(jiān)督的多視圖學(xué)習(xí)在學(xué)習(xí)過(guò)程中只是使用了訓(xùn)練樣本中少數(shù)的有標(biāo)簽樣本，傳統(tǒng)無(wú)監(jiān)督的多視圖學(xué)習(xí)反之利用了其中大量的無(wú)標(biāo)簽樣本。相比于這兩種方法，多視圖半監(jiān)督學(xué)習(xí)方法能夠同時(shí)利用訓(xùn)練集中的有標(biāo)簽樣本以及無(wú)標(biāo)簽樣本，其學(xué)習(xí)目的是在多個(gè)視圖里面少數(shù)有標(biāo)簽樣本以及大量無(wú)標(biāo)簽樣本的情況下，在改善有監(jiān)督學(xué)習(xí)的泛化性能的同時(shí)，提高非監(jiān)督學(xué)習(xí)的高效性。因此文中主要以半監(jiān)督學(xué)習(xí)為研究手段，以多視圖子空間特征抽取為研究目標(biāo)，實(shí)現(xiàn)了其在圖像識(shí)別領(lǐng)域的應(yīng)用。在AR和Oxford Flowers17公共數(shù)據(jù)庫(kù)上進(jìn)行的實(shí)驗(yàn)，驗(yàn)證了所提出算法的有效性。

多視圖學(xué)習(xí)；半監(jiān)督學(xué)習(xí)；互補(bǔ)信息；冗余信息

0 引 言

在許多計(jì)算機(jī)視覺(jué)[1]應(yīng)用中，同一物體可以在不同的角度[2]或者通過(guò)不同的傳感器[3]觀察，從而產(chǎn)生多個(gè)不同的甚至完全互異的樣本。最近，越來(lái)越多的應(yīng)用需要從視圖間和視圖內(nèi)[4]兩方面來(lái)進(jìn)行分類(lèi)。然而，因?yàn)閬?lái)自不同視圖的樣本[5]會(huì)依附于完全不同的空間，不能相互比較，所以視圖間和視圖內(nèi)的共同分類(lèi)基本上是不能直接進(jìn)行的。因此，之前大多數(shù)處理這個(gè)問(wèn)題的方法都嘗試去學(xué)習(xí)到一個(gè)多視圖能夠共享的公共空間[6]，在這個(gè)公共空間里，來(lái)自多個(gè)視圖的樣本都可以相互比較。

TANG等在多視圖方向提出特征選擇算法(MVFS)[7]，分別獨(dú)立地對(duì)每個(gè)視圖進(jìn)行特征選擇，并利用譜分析對(duì)每個(gè)視圖加上約束，使多視圖學(xué)習(xí)能夠滿(mǎn)足一致性的原則。該算法考慮了各個(gè)視圖之間的相互關(guān)系，但在去除不同視圖之間的冗余信息方面未加考慮。JING等提出了整體正交彩色圖像識(shí)別方法(HOA)[8]，其基于鑒別變換。通過(guò)將線性鑒別分析方法[9](LDA)和整體正交分析方法相結(jié)合，該方法利用Fisher準(zhǔn)則[10]從彩色圖像中分別抽取三種色彩(紅、綠、藍(lán))的判別變換矩陣，并使之滿(mǎn)足相互正交。但該方法也有缺陷，它在選擇正交關(guān)系時(shí)直接依據(jù)固定的正交順序，從而忽略了各個(gè)視圖的差異性對(duì)最終識(shí)別效果的影響。

文中提出了基于多視圖半監(jiān)督學(xué)習(xí)(MVSSL)的圖像識(shí)別方法，通過(guò)利用半監(jiān)督學(xué)習(xí)方法[11]得到各個(gè)視圖對(duì)應(yīng)的投影矩陣[12]，并使之按最優(yōu)化的順序進(jìn)行相互正交。半監(jiān)督學(xué)習(xí)方法是目前研究較多的用來(lái)解決傳統(tǒng)有監(jiān)督和無(wú)監(jiān)督方法存在不足的技術(shù)。該方法不僅充分利用了多視圖中的有標(biāo)簽和無(wú)標(biāo)簽樣本，還有效去除了視圖特征之間的冗余信息，從而提高了分類(lèi)算法的效果。在AR[13]和Oxford Flowers17[14]公共數(shù)據(jù)庫(kù)，通過(guò)實(shí)驗(yàn)對(duì)該算法的有效性進(jìn)行驗(yàn)證。

1 多視圖半監(jiān)督學(xué)習(xí)(MVSSL)

為了同時(shí)利用有標(biāo)記和未標(biāo)記的數(shù)據(jù)，定義F為預(yù)測(cè)所有訓(xùn)練數(shù)據(jù)的標(biāo)簽矩陣。

F=[f1,f2,…,fn]T∈Rn×c

(1)

其中，fi∈Rc(1≤i≤n)是第i個(gè)樣本的預(yù)測(cè)標(biāo)簽。

根據(jù)半監(jiān)督學(xué)習(xí)的思想，F(xiàn)應(yīng)同時(shí)滿(mǎn)足在訓(xùn)練數(shù)據(jù)和圖形模型S中基本真實(shí)標(biāo)簽的平滑性。因此，可以通過(guò)最小化以下目標(biāo)函數(shù)獲得F：

(2)

其中，U∈Rn×n為對(duì)角矩陣，并稱(chēng)為決策規(guī)則矩陣，其對(duì)角元素Uii是根據(jù)第i個(gè)數(shù)據(jù)點(diǎn)是否被標(biāo)記來(lái)決定的。

采用廣義的l2,1損耗，基于圖的半監(jiān)督分類(lèi)學(xué)習(xí)框架可以重寫(xiě)為：

(3)

矩陣M的l2,1范數(shù)定義為：‖M‖2,1=

多視圖半監(jiān)督學(xué)習(xí)的目標(biāo)函數(shù)可以表示為：

(4)

文中提出一種高效的迭代算法來(lái)解決該模型。首先將原始公式轉(zhuǎn)換為以下可替代的公式：

(5)

2 鑒別特征正交變換

在JING提出的基于鑒別變換，用于識(shí)別整體正交彩色圖像的方法HOA的基礎(chǔ)上進(jìn)行部分改進(jìn)，對(duì)經(jīng)過(guò)上面多視圖半監(jiān)督學(xué)習(xí)方法下獲得的投影變換矩陣進(jìn)行正交變換。

假設(shè)三種視圖的樣本數(shù)據(jù)已經(jīng)得到，然后加入多視圖半監(jiān)督鑒別特征正交變換，下面是對(duì)多視圖半監(jiān)督鑒別分析(MVSSDA)方法的具體描述。

2.1 獲得所有視圖的半監(jiān)督鑒別變換W1,W2,W3

基于上述轉(zhuǎn)換得到的目標(biāo)函數(shù)，利用迭代方法通過(guò)求解式(5)得到變換矩陣Wt，過(guò)程如下：

(1)隨機(jī)初始化Ft,Wt和bt；

(3)更新Ft,Wt和bt。

分別單獨(dú)對(duì)每個(gè)視圖求出其相應(yīng)的投影矩陣Wt，然后根據(jù)對(duì)每個(gè)樣本向量在變換矩陣下的投影計(jì)算，求出每個(gè)視圖分別對(duì)應(yīng)的特征，再根據(jù)最近鄰算法(這里使用特征余弦)，分別求出每個(gè)視圖對(duì)應(yīng)的識(shí)別效果f(Wt)，并從高到低排序?yàn)閒(W1)>f(W2)>f(W3)。

2.2 更新W2

基于上述轉(zhuǎn)換得到的目標(biāo)函數(shù)，通過(guò)式(6)對(duì)W2進(jìn)行更新。

(6)

2.3 更新W3

基于上述轉(zhuǎn)換得到的目標(biāo)函數(shù)，有：

(7)

MVSSDA算法描述如下：

步驟1：根據(jù)式(5)計(jì)算出所有視圖訓(xùn)練樣本的投影矩陣，根據(jù)識(shí)別效果，得到W1,W2,W3；

步驟2：根據(jù)式(6)更新投影矩陣W2；

步驟3：根據(jù)式(7)更新投影矩陣W3；

步驟4：分別對(duì)W1,W2,W3進(jìn)行標(biāo)準(zhǔn)化；

步驟5：利用投影矩陣W1,W2,W3，將各個(gè)視圖的所有樣本進(jìn)行相應(yīng)的投影，并將得到的每個(gè)樣本的多視圖特征融合在一起；

步驟6：用余弦最近鄰距離分類(lèi)器對(duì)所有樣本進(jìn)行分類(lèi)。

3 實(shí) 驗(yàn)

為驗(yàn)證文中提出算法的有效性，將選擇公開(kāi)人臉數(shù)據(jù)庫(kù)AR和Oxford Flowers17作為實(shí)驗(yàn)數(shù)據(jù)庫(kù)，這兩個(gè)數(shù)據(jù)庫(kù)都是模式識(shí)別領(lǐng)域驗(yàn)證算法常用的數(shù)據(jù)庫(kù)。以整體正交變換分析(HOA)、多視圖鑒別分析(MVDA)和多視圖典型相關(guān)分析算法(MCCA)為對(duì)比方法，比較分類(lèi)識(shí)別的效果。

3.1 數(shù)據(jù)庫(kù)

公共彩色人臉數(shù)據(jù)庫(kù)AR：該數(shù)據(jù)庫(kù)包含102類(lèi)，其中每一類(lèi)有26張圖片，為了便于實(shí)驗(yàn)處理，將圖片提前處理成60*60的尺寸?？紤]到數(shù)據(jù)庫(kù)中包含光照、表情、姿勢(shì)、位置等多種情況，為了對(duì)不同的變化產(chǎn)生識(shí)別結(jié)果的影響進(jìn)行有效評(píng)價(jià)，從102類(lèi)樣本中每類(lèi)選擇12個(gè)具有代表性的樣本作為訓(xùn)練集，剩余14個(gè)作為測(cè)試集。在半監(jiān)督方法中，訓(xùn)練樣本中一半為有標(biāo)記，另一半的標(biāo)記被隱藏，為無(wú)標(biāo)記。圖1給出包含某類(lèi)的部分圖片示例。

圖1 AR數(shù)據(jù)庫(kù)的樣本圖像

Oxford Flowers17是一個(gè)花的數(shù)據(jù)庫(kù)，包含17種不同的花，每種花有80張圖片。選用其中的40個(gè)樣本做訓(xùn)練集，20個(gè)樣本做測(cè)試集。在半監(jiān)督方法中，訓(xùn)練樣本中一半為有標(biāo)記，另一半的標(biāo)記被隱藏，為無(wú)標(biāo)記。并從樣本中提取出顏色、紋理、形狀、HOG、SIFT、HSV等特征作為多個(gè)視圖的特征。圖2給出包含幾類(lèi)的部分圖片示例。

圖2 Oxford Flowers17數(shù)據(jù)庫(kù)的樣本圖像

將MVSSDA算法與HOA、MVDA和MCCA進(jìn)行對(duì)比。為了消除實(shí)驗(yàn)的偶然性，保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，分別在兩個(gè)數(shù)據(jù)庫(kù)上均做20次實(shí)驗(yàn)。

3.2 實(shí)驗(yàn)結(jié)果與分析

圖3和圖4分別給出了在AR和Oxford Flowers17兩個(gè)數(shù)據(jù)庫(kù)上MVSSDA算法和三種對(duì)比算法分別隨機(jī)運(yùn)行20次的識(shí)別率波動(dòng)圖。表1給出了這四種方法在兩個(gè)庫(kù)上對(duì)應(yīng)的平均識(shí)別率和方差。

圖3 AR數(shù)據(jù)庫(kù)上的識(shí)別率

圖4 Oxford Flowers17數(shù)據(jù)庫(kù)上的識(shí)別率

方法識(shí)別率(均值和方差)/%AR庫(kù)OxfordFlowers17MCCA88.76±8.0583.58±7.27MVDA90.18±6.2885.41±5.30HOA92.19±4.8387.67±4.64MVSSDA93.87±4.2489.48±3.68

從表1可以看出，MVSSDA有更好的分類(lèi)性能。在公共彩色人臉數(shù)據(jù)庫(kù)AR上，MVSSDA比MCCA、MVDA以及HOA的平均識(shí)別率提高了至少5.11%(93.87%-88.76%)；在Oxford Flowers17數(shù)據(jù)庫(kù)上，MVSSDA方法比其他三種方法的平均識(shí)別率提高了至少5.90%(89.48%-83.58%)。實(shí)驗(yàn)結(jié)果充分證明，MVSSDA算法能夠有效地提高識(shí)別率。

4 結(jié)束語(yǔ)

結(jié)合半監(jiān)督學(xué)習(xí)理論，并對(duì)各個(gè)視圖的投影矩陣進(jìn)行正交變換，提出一種基于多視圖半監(jiān)督鑒別分析的圖像識(shí)別方法。該方法同時(shí)利用訓(xùn)練集中的有標(biāo)簽樣本以及無(wú)標(biāo)簽樣本，在多個(gè)視圖里改善有監(jiān)督學(xué)習(xí)的泛化性能的同時(shí)，提高了非監(jiān)督學(xué)習(xí)的高效性。同時(shí)考慮到通過(guò)增加整體變換正交，將多視圖之間的冗余信息去除，從而使得提取出的特征更具鑒別性。實(shí)驗(yàn)結(jié)果表明，通過(guò)與MCCA、MVDA以及HOA的對(duì)比，該方法有效地提高了特征識(shí)別率。

[1] 田啟川,張潤(rùn)生.生物特征識(shí)別綜述[J].計(jì)算機(jī)應(yīng)用研究,2009,26(12):4401-4406.

[2] 周旭東.基于不同多視圖數(shù)據(jù)場(chǎng)景的典型相關(guān)分析研究和應(yīng)用[D].南京:南京航空航天大學(xué),2013.

[3] XIONG N,SVENSSON P.Multi-sensor management for information fusion: issues and approaches[J].Information Fusion,2002,3(2):163-186.

[4] JING X Y,HU R,ZHU Y P,et al.Intra-view and inter-view supervised correlation analysis for multi-view feature learning[C]//Twenty-eighth AAAI conference on artificial intelligence.Québec City,Québec,Canada:AAAI Press,2014:1882-1889.

[5] 張建春.基于典型相關(guān)分析的多視圖特征提取技術(shù)研究[D].南京:南京航空航天大學(xué),2010.

[6] KAN M,SHAN S,ZHANG H,et al.Multi-view discriminant analysis[C]//European conference on computer vision.[s.l.]:[s.n.],2012:808-821.

[7] 蘭 霞.半監(jiān)督協(xié)同訓(xùn)練算法的研究[D].成都:四川師范大學(xué),2011.

[8] JING X,LIU Q,LAN C,et al.Holistic orthogonal analysis of discriminant transforms for color face recognition[C]//International conference on image processing.[s.l.]:IEEE,2010:3841-3844.

[9] 趙振勇,王保華,王 力,等.人臉圖像的特征提取[J].計(jì)算機(jī)技術(shù)與發(fā)展,2007,17(5):221-224.

[10] 聶祥飛.人臉識(shí)別綜述[J].重慶三峽學(xué)院學(xué)報(bào),2009,25(3):14-18.

[11] HU M,YANG Y,ZHANG H,et al.Multi-view semi-supervised learning for web image annotation[C]//Proceedings of the 23rd ACM international conference on multimedia.[s.l.]:ACM,2015:947-950.

[12] 邊肇祺,張學(xué)工.模式識(shí)別[M].北京:清華大學(xué)出版社,1999.

[13] GAO W,CAO B,SHAN S,et al.The CAS-PEAL large-scale Chinese face database and baseline evaluations[J].IEEE Transactions on Systems,Man,and Cybernetics-Part A:Systems and Humans,2008,38(1):149-161.

[14] NILSBACK M E,ZISSERMAN A.A visual vocabulary for flower classification[C]//IEEE computer society conference on computer vision and pattern recognition.[s.l.]:IEEE,2006:1447-1454.

ImageRecognitionBasedonSemi-supervisedLearningofMulti-view

XI Xiao-yu，WU Fei，JING Xiao-yuan

(School of Automation,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

The multi-view learning has been paid extensive attention by researchers in various areas of research and applicaion in recent years.Traditional supervised multi-view learning uses only a small number of labeled samples among the training samples in its learning process,but traditional unsupervised multi-view learning utilizes a large number of unlabeled samples otherwise.Compared with both methods,the multi-view semi-supervised learning method can simultaneously use the labeled and unlabeled samples in the training set.Its objective is to improve the generalization of supervised learning and the efficiency of unsupervised learning when there are a small number of labeled samples and a large number of unlabeled samples in many views.In this paper,taking semi-supervised learning as the research mean and multi-view subspace feature extraction as the research object,its application in image recognition field is realized.Experiments are performed on AR and Oxford Flowers17 public databases to verify the validity of the proposed algorithm.

multi-view learning;semi-supervised learning;complementary information;redundant features

TP301.6

A

1673-629X(2017)12-0048-04

10.3969/j.issn.1673-629X.2017.12.011

2017-01-18

2017-05-19 < class="emphasis_bold">網(wǎng)絡(luò)出版時(shí)間

時(shí)間：2017-09-27

國(guó)家自然科學(xué)基金資助項(xiàng)目(61272273)

奚曉鈺(1992-)，女，碩士研究生，研究方向?yàn)樯锾卣髯R(shí)別；荊曉遠(yuǎn)，教授，博士生導(dǎo)師，研究方向?yàn)槟Ｊ阶R(shí)別、圖像與信號(hào)處理、信息安全、機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170927.0959.064.html