辛利柯，楊琬琪，楊 明

南京師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，南京 210046

實(shí)際應(yīng)用中，有些數(shù)據(jù)集存在多個(gè)特征子集或者有不同的來(lái)源，這樣的數(shù)據(jù)集稱為多視圖數(shù)據(jù)[1-2]。在真實(shí)世界中存在很多多視圖的情景，例如，評(píng)價(jià)一名教師的教學(xué)質(zhì)量，可以通過(guò)自我評(píng)價(jià)和他人評(píng)價(jià)共同作用；描述一張圖片，可以通過(guò)圖片的傅里葉形狀描述符、K-L 展開(kāi)系數(shù)表示[3]；識(shí)別一個(gè)人，可以通過(guò)面部識(shí)別、指紋識(shí)別、虹膜識(shí)別、身份認(rèn)證等不同方式[4]。這些異構(gòu)特征都可以看成不同的特征子集，分別從不同角度表示樣本。只用單一的特征子集，不能完整地表示樣本信息，整合多視圖的特征信息至關(guān)重要，而多視圖學(xué)習(xí)就是解決這一問(wèn)題的利器[5]。近年來(lái)，研究者們提出了許多有效的多視圖學(xué)習(xí)方法，根據(jù)文獻(xiàn)[5]所述，多視圖學(xué)習(xí)方法大致分為三類[4-5]：協(xié)同訓(xùn)練、多核學(xué)習(xí)和子空間學(xué)習(xí)。協(xié)同訓(xùn)練類型的算法采用交替訓(xùn)練，最大化多視圖數(shù)據(jù)在不同視圖之間的一致性，其代表算法有Co-Regression[6]、Co-Regularization[7]等，文獻(xiàn)[8-9]具體分析了協(xié)同訓(xùn)練能有效使用的原因。多核學(xué)習(xí)通過(guò)線性或者非線性方法組合不同核并用于不同視圖，從而提高學(xué)習(xí)性能，其典型算法有半正定規(guī)劃[10]、SMO（sequential minimal optimization）[11]、半正定線性規(guī)劃[12]、SimpleMKL[13]。子空間學(xué)習(xí)算法假設(shè)輸入的多視圖均來(lái)自同一個(gè)特征子空間，獲得多視圖共享的特征子空間即可完成多視圖的學(xué)習(xí)，其代表算法如典型相關(guān)性分析[14]、核嵌入[15]等。

盡管目前多視圖學(xué)習(xí)方法發(fā)展成熟，但是這些方法均假設(shè)樣本在每一個(gè)視圖中都是可觀測(cè)到的，即樣本是完整的[5]。然而針對(duì)實(shí)際情況，由于數(shù)據(jù)含噪聲、數(shù)據(jù)不可獲取、設(shè)備故障等因素[16]，一些樣本會(huì)出現(xiàn)值缺失或者視圖缺失的情況，更可能獲得不完整的多視圖數(shù)據(jù)，此時(shí)傳統(tǒng)的多視圖學(xué)習(xí)方法就不能直接使用。另外，根據(jù)缺失情況的不同，可以將缺失分為視圖缺失（即樣本在某視圖中不存在）和變量缺失（即樣本在某視圖中部分缺失）。傳統(tǒng)的矩陣補(bǔ)全算法即可簡(jiǎn)單處理樣本隨機(jī)值缺失的問(wèn)題，卻不能處理樣本視圖缺失[5]的情況，針對(duì)缺失的差異，這里只考慮視圖缺失的情況。

目前，學(xué)者已經(jīng)提出了一些有效的不完整多視圖學(xué)習(xí)方法。文獻(xiàn)[17]提到根據(jù)對(duì)缺失數(shù)據(jù)的處理方式不同，這些學(xué)習(xí)方法一般可以分為兩種：其一，不考慮缺失樣本的影響，直接使用子空間學(xué)習(xí)方法獲得多視圖的公共子空間表示。例如，文獻(xiàn)[18]通過(guò)拉普拉斯矩陣構(gòu)建完整樣本與缺失樣本之間的關(guān)系，并在完整樣本空間對(duì)所有樣本做全局約束，文獻(xiàn)[19]通過(guò)保持視圖內(nèi)和視圖間樣本的相似性，優(yōu)化公共聚類指示矩陣從而進(jìn)行子空間學(xué)習(xí)。然而這些方法存在一定局限性，一旦樣本缺失程度較高就會(huì)嚴(yán)重影響學(xué)習(xí)性能。其二，補(bǔ)全缺失信息獲得完整子空間的方法。例如，文獻(xiàn)[20]提出權(quán)重穩(wěn)定的低秩矩陣補(bǔ)全方法補(bǔ)全不完整多模態(tài)大腦圖像。文獻(xiàn)[5]提出用矩陣分解的低秩結(jié)構(gòu)填充缺失值，然而這種方法不能有效處理高維特征選擇或者存在噪聲的樣本。文獻(xiàn)[21]使用隨機(jī)挑選的landmark 引導(dǎo)多視圖樣本的學(xué)習(xí)，利用多視圖相似性估計(jì)進(jìn)行非線性投影，并在核空間學(xué)得分界面。文獻(xiàn)[17]假設(shè)缺失樣本與完整樣本之間存在線性關(guān)系，用完整樣本表示缺失樣本，并基于子空間學(xué)習(xí)方法進(jìn)行不完整多視圖學(xué)習(xí)。但是，該方法在缺失樣本線性恢復(fù)后并沒(méi)有考慮到樣本的判別性，觀測(cè)樣本均可線性表示缺失樣本，降低了恢復(fù)樣本的判別性，從而影響不完整多視圖的學(xué)習(xí)。因此，本文提出基于判別稀疏性表示的不完整多視圖分類。

本文主要解決不完整多視圖的分類問(wèn)題。受文獻(xiàn)[17]啟發(fā)，假設(shè)缺失樣本可用少量觀測(cè)樣本稀疏線性表示，文獻(xiàn)[5]提到視圖之間并不完全相互獨(dú)立，不完整多視圖學(xué)習(xí)的關(guān)鍵就在于探究多視圖之間的一致性和互補(bǔ)性關(guān)系，本文考慮多視圖關(guān)系的同時(shí)，還充分利用樣本的類別先驗(yàn)信息，鼓勵(lì)同類樣本線性相關(guān)，最終提出基于判別稀疏性表示的不完整多視圖分類。

本文的貢獻(xiàn)主要有三點(diǎn)：

（1）提出一種新的基于判別稀疏性表示的不完整多視圖分類方法，充分利用觀測(cè)樣本近似地表示缺失樣本，并且根據(jù)視圖一致性原則，學(xué)習(xí)不同視圖的一致性稀疏表示。

（2）判別稀疏性表示能夠增強(qiáng)恢復(fù)樣本的判別性。本文充分利用樣本的類別先驗(yàn)信息，鼓勵(lì)同類樣本之間相互表示，懲罰不同類樣本之間的相互表示，從而增加了缺失恢復(fù)后樣本的判別性。

（3）用五組數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，并與三種多視圖學(xué)習(xí)方法對(duì)比，實(shí)驗(yàn)結(jié)果證明了本文方法的性能優(yōu)勢(shì)。

1 相關(guān)工作

相關(guān)工作主要介紹了三部分內(nèi)容：多視圖學(xué)習(xí)、不完整多視圖學(xué)習(xí)以及不完整多視圖分類。

1.1 多視圖學(xué)習(xí)

隨著科技的快速發(fā)展，信息化水平越來(lái)越高，人們獲得的信息資源越來(lái)越豐富全面，但是每一個(gè)信息源只是樣本信息表示的一個(gè)方面，不能充分表示該樣本，那就需要有一種學(xué)習(xí)方法可以有效整合多方面信息源，充分利用每一方面的特征信息，全面表示樣本特征，因此多視圖學(xué)習(xí)一直備受研究者關(guān)注。目前多視圖學(xué)習(xí)發(fā)展成熟，這里分別從協(xié)同訓(xùn)練、多核學(xué)習(xí)以及子空間學(xué)習(xí)三種學(xué)習(xí)類型分析。協(xié)同訓(xùn)練[22]一般用于監(jiān)督學(xué)習(xí)任務(wù)，充分利用多視圖數(shù)據(jù)迭代優(yōu)化多視圖分類器。文獻(xiàn)[23]提出貝葉斯協(xié)同訓(xùn)練方法，該模型通過(guò)查詢視圖-樣本對(duì)提高學(xué)習(xí)性能。文獻(xiàn)[24]通過(guò)協(xié)同訓(xùn)練將K-means聚類與線性判別分類器組合，從一個(gè)視圖學(xué)到的標(biāo)簽自動(dòng)探究另一視圖中的子空間。多核學(xué)習(xí)由于核的存在，計(jì)算效率較低。研究方法中以SimpleMKL[13]方法為基礎(chǔ)，提出Hessian MKL，該方法每次使用牛頓迭代方法更新核權(quán)重，更新速度提高。子空間學(xué)習(xí)方法[5,16-22,25-26]有很多，文獻(xiàn)[25]提出低秩公共子空間學(xué)習(xí)，該方法試圖尋找公共子空間投影，降低不同視圖之間的語(yǔ)義差異同時(shí)捕捉視圖內(nèi)部信息，對(duì)齊類內(nèi)樣本，這是一種魯棒的多視圖學(xué)習(xí)方法。文獻(xiàn)[26]提出多視圖子空間學(xué)習(xí)的凸函數(shù)，該方程式要求有全局最優(yōu)解，并提出了有效的優(yōu)化算法。

1.2 不完整多視圖學(xué)習(xí)

實(shí)際數(shù)據(jù)中，由于設(shè)備故障、涉及隱私、噪聲污染等原因，獲得的數(shù)據(jù)存在一定缺失，因此不完整多視圖學(xué)習(xí)也成為了研究熱點(diǎn)。一般，對(duì)不完整數(shù)據(jù)做預(yù)處理是最簡(jiǎn)單可行的方法。預(yù)處理大致可采取兩類方式：第一，刪除缺失樣本，但是這種方式會(huì)減少實(shí)際樣本數(shù)目，若缺失樣本較多會(huì)嚴(yán)重影響多視圖學(xué)習(xí)，而且這種方式并未充分利用缺失樣本的信息，降低了方法的有效性。第二，填充缺失樣本，例如零填充、均值填充、K近鄰填充、EM（expectation maximization）填充等[17]，這些方法雖然以較合理的方式構(gòu)造了缺失樣本，但是未充分考慮樣本在視圖之間以及視圖內(nèi)部的關(guān)系。雖然經(jīng)過(guò)預(yù)處理后的數(shù)據(jù)不含缺失，符合了多視圖學(xué)習(xí)的算法要求，但是模型學(xué)習(xí)的準(zhǔn)確性降低。

目前學(xué)者已經(jīng)探究了一些不完整多視圖學(xué)習(xí)的方法，根據(jù)是否補(bǔ)全缺失樣本可大致分為兩類：其一，子空間方法，例如文獻(xiàn)[18]通過(guò)拉普拉斯矩陣構(gòu)建完整樣本與缺失樣本之間的關(guān)系，并對(duì)所有樣本做全局約束；文獻(xiàn)[19]考慮了視圖內(nèi)和視圖間樣本的相似性，優(yōu)化完整樣本的聚類指示矩陣從而得到子空間學(xué)習(xí)算法；文獻(xiàn)[27]假設(shè)數(shù)據(jù)不滿足非負(fù)性，將特征學(xué)習(xí)過(guò)程與子空間學(xué)習(xí)結(jié)合；文獻(xiàn)[18]加入拉普拉斯圖正則化項(xiàng)，同時(shí)學(xué)習(xí)全局圖表示和子空間。然而這些方法未考慮缺失樣本在原特征空間的作用，當(dāng)缺失數(shù)據(jù)較多時(shí)，無(wú)法保證算法性能。其二，缺失樣本補(bǔ)全，這種方法補(bǔ)全缺失樣本以滿足多視圖學(xué)習(xí)的要求，其主要思想是首先利用空間變化對(duì)缺失數(shù)據(jù)重構(gòu)[22]，之后采用完整的多視圖學(xué)習(xí)方法[28-29]。文獻(xiàn)[5]認(rèn)為低秩假設(shè)是恢復(fù)缺失樣本的有效方法，但是若缺失樣本過(guò)于集中或者樣本視圖缺失，該方法將不會(huì)起作用，而補(bǔ)全缺失視圖的關(guān)鍵在于探究視圖之間的關(guān)系，該文假設(shè)不同的視圖來(lái)自同一個(gè)子空間，充分利用可觀測(cè)樣本可以幫助恢復(fù)缺失樣本，由此提出用矩陣分解方法估計(jì)缺失值。文獻(xiàn)[28]基于權(quán)重非負(fù)矩陣分解和L2,1正則化項(xiàng)，學(xué)習(xí)所有視圖的潛在特征矩陣并生成一致性矩陣，約束各視圖與一致性矩陣的差異盡量小，從而解決不完整樣本補(bǔ)全問(wèn)題。

1.3 不完整多視圖監(jiān)督學(xué)習(xí)

多視圖學(xué)習(xí)任務(wù)有很多研究?jī)?nèi)容，例如多視圖聚類、多視圖分類、多視圖半監(jiān)督學(xué)習(xí)等。由于不完整多視圖數(shù)據(jù)的出現(xiàn)，這些研究?jī)?nèi)容再次引起了很多學(xué)者的關(guān)注。目前學(xué)者已經(jīng)探索了很多不完整多視圖半監(jiān)督學(xué)習(xí)方法[30-31]以及不完整多視圖監(jiān)督學(xué)習(xí)方法[16,21]。針對(duì)不完整多視圖監(jiān)督學(xué)習(xí)方法，文獻(xiàn)[21]提出MVL-SVM 方法，充分利用不同視圖的互補(bǔ)信息，將其他樣本與隨機(jī)選擇的landmark 樣本集進(jìn)行相似性度量，經(jīng)過(guò)非線性投影獲得數(shù)據(jù)集的潛空間。文獻(xiàn)[16]通過(guò)聯(lián)合低秩學(xué)習(xí)和稀疏學(xué)習(xí)衡量視圖之間的相關(guān)性，假設(shè)觀測(cè)到的完整樣本與未觀測(cè)到的缺失樣本之間存在線性相關(guān)關(guān)系，充分利用已有的樣本數(shù)據(jù)學(xué)習(xí)線性關(guān)系從而恢復(fù)缺失樣本，但是該方法的缺失樣本可用任意類別樣本表示，并未考慮到補(bǔ)全后樣本的判別性。

2 基于判別稀疏性表示的不完整多視圖分類

為了方便描述，這里給出本文用到的主要符號(hào)并匯總，具體如表1 所示。假設(shè)多視圖數(shù)據(jù)為{Xv=，有s個(gè)視圖，N個(gè)樣本，每個(gè)視圖的樣本維度為dv，其中v表示第v個(gè)視圖。由于每個(gè)視圖均存在不同程度的缺失，這里用表示每個(gè)視圖的觀測(cè)樣本，單視圖的觀測(cè)樣本數(shù)為本文假設(shè)多視圖缺失樣本與觀測(cè)樣本之間存在線性相關(guān)關(guān)系，可以用少量觀測(cè)樣本表示缺失樣本的信息，從而實(shí)現(xiàn)缺失樣本的稀疏表達(dá)。根據(jù)該假設(shè)構(gòu)建線性關(guān)系矩陣，因此，完整的多視圖樣本可以近似表示為。此外，多視圖分類屬于監(jiān)督問(wèn)題，存在標(biāo)簽信息，這里假設(shè)多視圖有C類，構(gòu)建標(biāo)簽矩陣Y時(shí)約定樣本屬于該類標(biāo)記為1，不屬于該類為0，則其標(biāo)簽矩陣Y可以表示為Y=[y1,y2,…,yN]T∈RN×C。

Table 1 Main notations used in this paper表1 主要符號(hào)列表

本章提出了基于判別稀疏性表示的不完整多視圖分類（incomplete multi-view classification method via discriminative and sparse representation，IMVC-DSR），該方法同時(shí)考慮多視圖缺失樣本的稀疏表示、多視圖樣本的判別性以及不同視圖的線性表示具有一致性。

2.1 多視圖樣本的線性稀疏表示

本文假設(shè)缺失樣本可以用少量觀測(cè)樣本線性表示，從而獲得多視圖完整樣本。此外，由于樣本類別已知，可以充分利用類別先驗(yàn)信息，將類別空間作為多視圖的共享子空間，從而建立多視圖之間的相關(guān)關(guān)系。因此，需要構(gòu)建樣本特征空間與類別空間的投影矩陣，這里用簡(jiǎn)單表示。本文以傳統(tǒng)的嶺回歸模型為基礎(chǔ)，同時(shí)鼓勵(lì)線性表示矩陣的稀疏性，最終構(gòu)建了不完整多視圖的基本模型：

這里對(duì)投影矩陣Av采用F 范數(shù)約束使得可行域平滑利于計(jì)算，有助于進(jìn)一步縮小最優(yōu)解的范圍。另外，采用L1范數(shù)約束線性關(guān)系矩陣Rv稀疏，使得用少量觀測(cè)樣本即可表示缺失樣本。通過(guò)求解目標(biāo)方程式（1）可以初步獲得觀測(cè)樣本與完整樣本之間的線性表示，也可以獲得樣本特征空間與類別空間之間的投影矩陣。

2.2 稀疏表示的判別性

本文認(rèn)為線性表示矩陣也應(yīng)該能反映類別信息，鼓勵(lì)同類樣本之間相互表示，降低不同類樣本之間的表示關(guān)系，因此引入了類別度量矩陣。構(gòu)造Θv時(shí)約定，行索引與列索引屬于同一類別，所對(duì)應(yīng)的位置記為0，否則對(duì)應(yīng)位置記為1。這里使用哈達(dá)瑪積（Hadamard product）實(shí)現(xiàn)一一對(duì)應(yīng)關(guān)系，從而獲得了具有判別性的線性約束：

式（2）的約束加入了樣本類別信息，鼓勵(lì)同類樣本之間的相互表示，增加了通過(guò)線性表示得到的樣本的判別性。

2.3 稀疏表示的一致性

針對(duì)不完整多視圖的學(xué)習(xí)，要充分考慮視圖內(nèi)以及視圖間的關(guān)系，式（2）已經(jīng)考慮了視圖內(nèi)同類樣本間的關(guān)系，但是未考慮到視圖之間的相關(guān)關(guān)系。因此，本文從多視圖的本質(zhì)特征考慮，不同視圖只是樣本在不同層面的特征表示，那么相同樣本在不同視圖下的線性相關(guān)性應(yīng)該盡可能保持一致。這里設(shè)計(jì)行選擇算子Ωvv′(?)選擇相同樣本的不同表示，并增加F 范數(shù)約束，鼓勵(lì)不同視圖的相同樣本之間線性關(guān)系表示具有相似性，即：

F 范數(shù)約束Rv的自由度，縮小解空間，易于獲得局部最優(yōu)解?？紤]到任意兩個(gè)視圖之間存在相同的觀測(cè)樣本，這些樣本的表示應(yīng)該具有一致性。為了方便計(jì)算，這里將行選擇算子Ωvv′(?)表示為選擇矩陣Wvv′，即 令Ωvv′(Rv)=RvWvv′，其 中，N∩表示視圖v與視圖v′的相同樣本個(gè)數(shù)。這樣可以通過(guò)Wvv′選擇相同樣本在不同視圖的線性關(guān)系表示，同樣的，Ωv′v(Rv′)=Rv′Wv′v，其中，這樣式（2）可以進(jìn)一步表示為：

2.4 基于判別稀疏性表示的不完整多視圖分類

本文以嶺回歸為基礎(chǔ)模型，使用少量觀測(cè)樣本線性表示缺失樣本，約束線性表示稀疏，鼓勵(lì)多視圖樣本具有判別性，同時(shí)認(rèn)為相同樣本在不同視圖的線性表示具有一致性。結(jié)合式（1）～式（4），最終提出基于判別稀疏性表示的不完整多視圖分類算法（IMVC-DSR），目標(biāo)函數(shù)可寫為：

具體地，式（5）前兩項(xiàng)以嶺回歸為原型，用觀測(cè)樣本近似線性表示缺失樣本。第三項(xiàng)約束線性表示稀疏，使得只用少量觀測(cè)樣本就可以表示缺失樣本。第四項(xiàng)引入類別先驗(yàn)信息，鼓勵(lì)同類樣本之間相互表示。最后一項(xiàng)約束不同視圖稀疏表示的一致性。求解式（5）即可獲得線性表示矩陣Rv以及投影矩陣Av，最終用于多視圖分類。

3 優(yōu)化求解

3.1 目標(biāo)方程求解

可以看出，目標(biāo)方程式（5）是關(guān)于變量Av、Rv的雙凸優(yōu)化問(wèn)題（biconvex），因而可以分為各自的子問(wèn)題交替優(yōu)化求解。

（1）求解子問(wèn)題Av

針對(duì)Av求解，這里首先固定Rv不變，然后最小化目標(biāo)方程式（5），即式（6）：

由于每個(gè)視圖的投影矩陣Av互不影響，多個(gè)視圖的Av可以并行求解。分析方程式（6），對(duì)于每一個(gè)Av，該方程式是典型的嶺回歸模型，屬于凸函數(shù)，易于求解，方程式（6）對(duì)Av求導(dǎo)并置為零，可以求得優(yōu)化結(jié)果。

（2）求解子問(wèn)題Rv

同樣地，對(duì)Rv求解，固定Av不變，最小化式（5）中與Rv相關(guān)的部分，即式（8）：

由于不同視圖的線性關(guān)系矩陣Rv相互影響，不同視圖的Rv需要交替迭代求解。分析式（8），雖然這是一個(gè)凸問(wèn)題，但是L1范式很難直接求導(dǎo)計(jì)算。文獻(xiàn)[32]提出快速迭代收縮閾值算法（FISTA）適合于求解平滑項(xiàng)與L1正則項(xiàng)組合的目標(biāo)方程式，式（8）符合這種結(jié)合方式，因此可以采用FISTA 方法優(yōu)化求解，令：

首先對(duì)F(?)求解，任意給定Mv進(jìn)行二次逼近，其中Mv表示當(dāng)前F(?)獲得最小值對(duì)應(yīng)的Rv，則有：

最小化等價(jià)式則為：

忽略Mv常數(shù)項(xiàng)，則有：

其中，F(xiàn)(?)求導(dǎo)項(xiàng)為：

L表示為：

其次，針對(duì)G(?)求解，公式進(jìn)一步化簡(jiǎn)，可以表示為：

因此，根據(jù)式（14）能夠計(jì)算得到式（8）優(yōu)化求解Rv的結(jié)果。目標(biāo)方程式（5）的整體優(yōu)化過(guò)程如算法1所示。

算法1IMVC-DSR 優(yōu)化

3.2 復(fù)雜度分析

本文所有實(shí)驗(yàn)以Matlab 2017a 為實(shí)驗(yàn)平臺(tái)，處理器為Intel?CoreTMi5-6500 CPU@3.20 GHz 3.19 GHz。具體實(shí)驗(yàn)更新過(guò)程如算法1 所示，這里假設(shè)允許的最大迭代次數(shù)為Miter。針對(duì)Av，則每次迭代更新的時(shí)間復(fù)雜度可記為Ο(N(dv)2+(dv)3+dvNC+(dv)2C)；針對(duì)Rv，采用FISTA 方法優(yōu)化求解，記FISTA 更新次數(shù)為T，則Rv每次迭代更新的時(shí)間復(fù)雜度為一般地，由于C<

3.3 收斂性分析

本文所提方法的目標(biāo)函數(shù)式（5）可以分解為求解Av與Rv的子問(wèn)題。根據(jù)式（6）可知，固定Rv求解Av的子問(wèn)題是凸優(yōu)化問(wèn)題；根據(jù)式（8）可知，固定Av與Rv′求解Rv的子問(wèn)題也屬于凸優(yōu)化問(wèn)題。由于每一個(gè)子問(wèn)題均屬于凸優(yōu)化問(wèn)題，容易得到當(dāng)前子問(wèn)題的最優(yōu)解。因此，通過(guò)交替迭代求解Av、Rv，本文方法能夠收斂到一個(gè)局部最優(yōu)解。

4 實(shí)驗(yàn)與分析

本章使用IMVC-DSR 與其他三種多視圖方法進(jìn)行對(duì)比，并在5 個(gè)數(shù)據(jù)集上實(shí)驗(yàn)驗(yàn)證有效性。

4.1 數(shù)據(jù)集

本文使用了5 組真實(shí)的多視圖數(shù)據(jù)集，分別為IXMAS（http://4drepository.inrialpes.fr/public/viewgroup/6）、Digit（http://archive.ics.uci.edu/ml/datasets/Multiple+Features）、Flowers17（http://www.robots.ox.ac.uk/～vgg/data/flowers/17/index.html）、3sources（http://mlg.ucd.ie/data sets/3sources.html）、Web-KB（http://vikas.sindhwani.org/manifoldregularization.html），實(shí)驗(yàn)數(shù)據(jù)集的相關(guān)信息如表2所示。針對(duì)本文研究的不完整多視圖分類問(wèn)題，這里需要對(duì)數(shù)據(jù)集構(gòu)造缺失。其中，3sources 數(shù)據(jù)集部分樣本信息缺失，不需要構(gòu)造缺失，而針對(duì)其他4 組完整的多視圖數(shù)據(jù)集，在保證樣本最少出現(xiàn)在一個(gè)視圖的同時(shí)，分別從每一個(gè)單視圖隨機(jī)選擇若干比例的樣本構(gòu)造缺失。由于IXMAS 數(shù)據(jù)集是由12個(gè)人的動(dòng)作行為構(gòu)造的數(shù)據(jù)集，這里以人為單位分別隨機(jī)缺失1、3、5 人記作Mis-1、Mis-3、Mis-5。而剩余3組數(shù)據(jù)集分別按照10%、30%、50%比例隨機(jī)缺失。

Table 2 Multi-view dataset表2 多視圖數(shù)據(jù)集

4.2 對(duì)比方法和參數(shù)設(shè)置

這里將本文方法與較新的3 種多視圖分類方法分別對(duì)比。（1）FFS（feature fusion strategy）[33]是一種特征融合的方法，將CCA 思想運(yùn)用到特征選擇，并將兩組特征之間的關(guān)系特征作為鑒別特征。該方法融合特征的同時(shí)消除了特征之間的冗余信息，適合于解決小樣本高維度的樣本特征降維問(wèn)題。然而該方法不能處理缺失樣本，針對(duì)具體實(shí)驗(yàn)這里首先需要對(duì)缺失樣本預(yù)處理。（2）SRRS-MRM[17]是一種處理缺失多視圖分類的方法，通過(guò)聯(lián)合低秩學(xué)習(xí)與稀疏學(xué)習(xí)衡量視圖之間的相關(guān)項(xiàng)，有效運(yùn)用可觀測(cè)的視圖內(nèi)與視圖間數(shù)據(jù)，對(duì)缺失樣本進(jìn)行恢復(fù)。（3）MVL-SVM[21]利用多組隨機(jī)選擇的landmark 作為對(duì)比方向，學(xué)習(xí)其他樣本與landmark 樣本集之間的相關(guān)關(guān)系，在landmark 空間學(xué)得非線性投影，充分利用了不同視圖間互補(bǔ)信息。針對(duì)不完整多視圖的學(xué)習(xí)，這里只需要針對(duì)landmark 進(jìn)行相似性學(xué)習(xí)，而不需要重構(gòu)樣本特征信息。

關(guān)于實(shí)驗(yàn)超參數(shù)，對(duì)比方法的超參數(shù)均采用默認(rèn)的最優(yōu)參數(shù)，而本文提出的IMVC-DSR 方法超參數(shù)采用柵格法確定。本文的超參數(shù)分別為{α,β,γ,μ}，每個(gè)參數(shù)分別從{1E-5,1E-3,1E0,1E3,1E5}進(jìn)行柵格化搜索，得到每一個(gè)超參數(shù)較為精準(zhǔn)的調(diào)參范圍，再次縮小搜索范圍進(jìn)行精準(zhǔn)調(diào)參，最終確定各個(gè)超參數(shù)的最適范圍。本文實(shí)驗(yàn)中超參數(shù){α,β,γ,μ}分別設(shè)置為{1E-5,1E-5,1E1,1E3}。

4.3 實(shí)驗(yàn)結(jié)果和分析

4.3.1 對(duì)比實(shí)驗(yàn)

針對(duì)不完整多視圖分類實(shí)驗(yàn)，這里將本文提出的IMVC-DSR 方法與目前較為先進(jìn)的多視圖學(xué)習(xí)方法FFS[33]、SRRS-MRM[17]、MVL-SVM[21]進(jìn)行對(duì)比，并在5 組數(shù)據(jù)集上驗(yàn)證所提方法的有效性。由于FFS方法不能直接處理不完整多視圖數(shù)據(jù)，這里采用均值信息填充。實(shí)驗(yàn)中，各方法采用最優(yōu)實(shí)驗(yàn)參數(shù)設(shè)置。進(jìn)一步，為了公平對(duì)比學(xué)習(xí)效果，針對(duì)文本類數(shù)據(jù)（3sources、Web-KB）采用SVM 分類器，其中該分類器超參數(shù)γ設(shè)置為1。而其他數(shù)據(jù)集均采用稀疏分類方法（SRC）[34]分類，其中SRC 超參數(shù)ρ的尋優(yōu)范圍是{10-4,10-3,10-2,10-1}，實(shí)驗(yàn)通過(guò)柵格法確定最優(yōu)參數(shù)。

本文以5 組數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，分別構(gòu)造3 組不同缺失率，并與3 種多視圖學(xué)習(xí)方法進(jìn)行對(duì)比。關(guān)于分類評(píng)價(jià)指標(biāo)，與文獻(xiàn)[23]一致，這里分別采用分類準(zhǔn)確率（Accuracy，ACC）、精確率（Precision）、召回率（Recall）、F1-Score 作為分類的評(píng)價(jià)指標(biāo)。此外，為更好地展現(xiàn)方法的性能，針對(duì)不同方法分別進(jìn)行5 次實(shí)驗(yàn)獲得均值和方差，具體實(shí)驗(yàn)結(jié)果如表3～表6 所示。

分析表3，在相同缺失率的情況下，本文方法分類效果要優(yōu)于其他對(duì)比方法。例如，Digit 數(shù)據(jù)集50%缺失比例學(xué)習(xí)，其分類準(zhǔn)確率結(jié)果比FFS 高2.42個(gè)百分點(diǎn)，比SRRS-MRM 高1.41 個(gè)百分點(diǎn)，比MVLSVM 高15.15 個(gè)百分點(diǎn)。同樣的，觀察表4～表6 其他評(píng)價(jià)指標(biāo)，分析Macro-F1 該指標(biāo)比FFS 高1.59 個(gè)百分點(diǎn)，比SRRS-MRM 高0.39 個(gè)百分點(diǎn)，比MVL-SVM高13.65 個(gè)百分點(diǎn)。通過(guò)不同數(shù)據(jù)集的實(shí)驗(yàn)以及不同評(píng)價(jià)指標(biāo)的對(duì)比，本文提出的IMVC-DSR 方法可以有效學(xué)得不完整多視圖的缺失信息。

4.3.2 驗(yàn)證線性表示約束項(xiàng)的有效性

關(guān)于線性表示Rv，本文提出的IMVC-DSR 方法共3 個(gè)約束項(xiàng)，每個(gè)約束項(xiàng)都對(duì)不完整多視圖學(xué)習(xí)任務(wù)有特定作用。為驗(yàn)證各個(gè)約束項(xiàng)的作用，進(jìn)一步實(shí)驗(yàn)。這里以IXMAS 數(shù)據(jù)集為例，分別針對(duì)term3～term5 共3 個(gè)約束項(xiàng)驗(yàn)證各項(xiàng)效果。IXMAS 數(shù)據(jù)集是由5 個(gè)不同角度攝像頭拍攝得到12 個(gè)人的動(dòng)作視頻，其中有13 種不同的動(dòng)作。由于每個(gè)人均有13 種不同動(dòng)作，這里為保證訓(xùn)練集和測(cè)試集樣本類別差別不大，可以簡(jiǎn)單地以人為單位按照2∶1 劃分訓(xùn)練集和測(cè)試集。數(shù)據(jù)集的缺失構(gòu)造，同樣可以以人為單位，依次缺失1、3、5 人。這里將去除約束項(xiàng)term3～term5分別記作cut3～cut5，實(shí)驗(yàn)獲得不同約束項(xiàng)對(duì)不完整多視圖分類準(zhǔn)確率的影響，結(jié)果如表7 所示。

Table 3 Accuracy of comparative experiment表3 對(duì)比實(shí)驗(yàn)分類準(zhǔn)確率

Table 4 Precision of comparative experiment表4 對(duì)比實(shí)驗(yàn)精確率

Table 5 Recall of comparative experiment表5 對(duì)比實(shí)驗(yàn)召回率

Table 6 F1-Score of comparative experiment表6 對(duì)比實(shí)驗(yàn)F1-Score

Table 7 Influence of different constraints on incomplete multi-view classification accuracy表7 不同約束項(xiàng)對(duì)不完整多視圖分類準(zhǔn)確率的影響%

從整體看，隨著缺失人數(shù)的增加，分類準(zhǔn)確率逐漸下降，符合一般邏輯。就缺失1 人具體分析，4 個(gè)約束項(xiàng)的共同作用分類準(zhǔn)確率為85.26%，而去除term3～term5 準(zhǔn)確率分別下降了3.73 個(gè)百分點(diǎn)、1.82個(gè)百分點(diǎn)、8.19 個(gè)百分點(diǎn)，說(shuō)明完整約束項(xiàng)更有利于不完整多視圖學(xué)習(xí)。其中，term5 即一致性約束的去除對(duì)準(zhǔn)確率影響最大，也驗(yàn)證了不同視圖的相同樣本線性關(guān)系表示具有一致性的假設(shè)。另外，term4 在缺失樣本較少時(shí)與IMVC-DSR 相差不大，這可能是因?yàn)闃颖绢悇e信息在term1（誤差項(xiàng)）已有所體現(xiàn)，而當(dāng)樣本缺失增加到5 人時(shí)，由于缺失了樣本表達(dá)的判別性，準(zhǔn)確率有了明顯的下降。term3 約束線性表示稀疏，去除后對(duì)整體的影響相對(duì)較小。

4.3.3 驗(yàn)證線性表示的超參數(shù)影響

關(guān)于線性表示Rv,本文提出的IMVC-DSR 方法共有{β,γ,μ}3 個(gè)超參數(shù)，為探究超參數(shù)的適應(yīng)范圍并衡量各超參數(shù)對(duì)目標(biāo)方程的影響能力，本小節(jié)分別從單一超參數(shù)和相關(guān)超參數(shù)兩個(gè)角度進(jìn)行分析。

在隨機(jī)缺失1 人的IXMAS 數(shù)據(jù)集上分析參數(shù)變化對(duì)準(zhǔn)確率的影響。以β為例，固定其他超參數(shù)γ和μ不變，β變化范圍為{1E-5,1E-4,…,1E4,1E5}，獲得準(zhǔn)確率的變化，同樣的其他超參數(shù)也設(shè)置相同變化范圍進(jìn)行實(shí)驗(yàn)，最后得到超參數(shù)變化對(duì)準(zhǔn)確率影響結(jié)果如圖1 所示。分析圖1 可知，超參數(shù)范圍取β<1,γ>1,μ>1 時(shí)能學(xué)得較好的多視圖信息。超參數(shù)β約束線性關(guān)系矩陣稀疏，能較好地展示多視圖的樣本信息，其最優(yōu)參數(shù)取值相對(duì)較小，說(shuō)明稀疏低秩約束對(duì)目標(biāo)方程影響能力不強(qiáng)。超參數(shù)γ、μ分別作為線性表達(dá)樣本的判別性和線性表達(dá)一致性約束的調(diào)和參數(shù)，最優(yōu)參數(shù)取值較大，對(duì)不完整多視圖信息的學(xué)習(xí)影響相對(duì)較大，這也與表7 得出的結(jié)論一致。

超參數(shù)β、γ、μ均為Rv的約束項(xiàng)，三者之間存在相關(guān)關(guān)系，可以進(jìn)一步分析參數(shù)之間的關(guān)系。由圖1 知，γ和μ的最優(yōu)參數(shù)范圍基本一致，任意選擇一項(xiàng)驗(yàn)證即可，這里固定α、γ取最優(yōu)參數(shù)，只分析β和μ改變對(duì)準(zhǔn)確率的聯(lián)合影響。并用熱力圖表示相關(guān)關(guān)系，實(shí)驗(yàn)結(jié)果如圖2 所示。分析可知，在β<10,μ>10 時(shí)能取得較好的分類效果，且超參數(shù)μ對(duì)應(yīng)的一致性約束對(duì)分類結(jié)果影響最大。

4.4 運(yùn)行時(shí)間對(duì)比

這里以Flowers17 數(shù)據(jù)集缺失10%樣本為例，對(duì)比不同方法在最優(yōu)參數(shù)下的運(yùn)行時(shí)間。由于每種方法最優(yōu)迭代次數(shù)不同，這里對(duì)比最優(yōu)分類結(jié)果下各個(gè)方法的運(yùn)行時(shí)間，具體如表8 所示。分析表8 可知，四種方法在計(jì)算時(shí)間上相差不大，其中MVLSVM 方法耗時(shí)最短，而本文方法耗時(shí)相對(duì)較長(zhǎng)，經(jīng)分析，這與求解雙凸的優(yōu)化問(wèn)題需要多次迭代有關(guān)。

Fig.1 Influence of parameter change on accuracy圖1 參數(shù)變化對(duì)準(zhǔn)確率的影響

Fig.2 Influence of superparameters β and μ on classification result圖2 超參數(shù)β 和μ 對(duì)分類結(jié)果的聯(lián)合影響

Table 8 Running time of comparative methods表8 對(duì)比方法的運(yùn)行時(shí)間

5 結(jié)束語(yǔ)

本文提出的IMVC-DSR 方法解決了不完整多視圖分類問(wèn)題。該方法假設(shè)缺失樣本與完整樣本之間存在線性關(guān)系，用少量觀測(cè)樣本表示缺失樣本。同時(shí)，視圖內(nèi)充分利用類別先驗(yàn)信息，使得樣本具有判別性；視圖之間鼓勵(lì)不同視圖的相同樣本線性表示具有一致性約束，充分考慮了線性關(guān)系矩陣在視圖內(nèi)與視圖間的相關(guān)關(guān)系。最后，在5 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)證明了本文方法的有效性。

盡管本文方法取得了較好的實(shí)驗(yàn)效果，但是該方法要求多視圖數(shù)據(jù)存在完整的觀測(cè)樣本，從而建立不同視圖之間的關(guān)系。針對(duì)視圖中不存在完整樣本甚至更加嚴(yán)重的缺失現(xiàn)象，本文方法存在一定的局限性，在今后的工作中將會(huì)針對(duì)這一問(wèn)題進(jìn)一步探索有效的解決方案。