張 特，鄧趙紅，王士同

江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無(wú)錫 214122

1 引言

多視角學(xué)習(xí)是關(guān)注由多個(gè)不同特征集來(lái)表述數(shù)據(jù)對(duì)象的機(jī)器學(xué)習(xí)問(wèn)題。該學(xué)習(xí)機(jī)制的出現(xiàn)很大程度上是由于越來(lái)越多的真實(shí)數(shù)據(jù)是由不同特征集，或者說(shuō)不同“視角”，來(lái)描述的。例如在食品發(fā)酵過(guò)程中，可從風(fēng)速和攪拌速度兩個(gè)角度來(lái)記錄食品的發(fā)酵指標(biāo)參數(shù)[1]。又比如在基于內(nèi)容的網(wǎng)頁(yè)圖像搜索中，目標(biāo)可以同時(shí)由來(lái)自圖像的可視化特征及描述圖畫(huà)的文本特征組成[2]。因此，多視角學(xué)習(xí)是很有前景的研究領(lǐng)域并且具有廣泛的實(shí)際應(yīng)用[1,3-7]。

目前已有的多視角技術(shù)主要包含如下3類：

（1）多視角分類技術(shù)：Farquhar等人將核典型分量分析（kernel canonical component analysis，KCCA）與支持向量機(jī)（support vector machine，SVM）相結(jié)合提出了SVM-2K算法[7]；Chen和Sun提出了多視角Fisher判別分析[8]；Li等人基于直推式SVM，通過(guò)引入全局約束變量提出了多視角半監(jiān)督SVM算法[5]；Sun將流行正則化、多視角正則化與傳統(tǒng)形式的SVM算法進(jìn)行整合，提出了多視角拉普拉斯SVM[6]。

（2）多視角聚類技術(shù)：Pedrycz在模糊C均值（fuzzy C-means，F(xiàn)CM）中采用了協(xié)同聚類的思想，通過(guò)對(duì)各視角間的模糊劃分進(jìn)行控制，構(gòu)造了基于劃分協(xié)同控制的Co-FCM算法[9]；Cleuziou等人基于文獻(xiàn)[9]的協(xié)同思想，同樣以經(jīng)典FCM算法作為基礎(chǔ)模型，進(jìn)一步提出了兩種不同的多視角協(xié)同劃分方法并依此構(gòu)造了全新的多視角模糊聚類算法Co-FKM[3]；Tzortzis等人在核聚類領(lǐng)域內(nèi)分別基于核k-means算法及譜聚類算法提出了兩種多視角聚類算法多視角核k均值（multi-view kernel k-means，MVKKM）和多視角譜聚類（multi-view spectral clustering，MVSpec）[10]；Yamanishi等人從概率的角度基于期望最大化（expectation maximization，EM）提出了可用于解決多視角問(wèn)題的協(xié)同聚類算法Co-EM算法[11]；Chaudhuri等人針對(duì)高維數(shù)據(jù)的特點(diǎn)，提出了將高維數(shù)據(jù)投影到低維空間，然后利用多視角聚類技術(shù)對(duì)低維數(shù)據(jù)進(jìn)行分析得到一個(gè)全局劃分結(jié)果[12]。

（3）多視角回歸技術(shù)：Kakade等人提出的基于典型相關(guān)性分析的多視角回歸[13]。

近年來(lái)，模糊集理論和模糊系統(tǒng)作為智能計(jì)算領(lǐng)域重要的研究分支，由于其獨(dú)特的可解釋性以及強(qiáng)大的學(xué)習(xí)能力，在多視角學(xué)習(xí)領(lǐng)域有一些成功的應(yīng)用。在多視角模糊聚類方面，Jiang等人[14]通過(guò)引入懲罰因子，基于經(jīng)典FCM算法，提出了多視角加權(quán)的協(xié)同模糊聚類算法；Wang等人[15]在經(jīng)典FCM算法的基礎(chǔ)上，引入極小極大優(yōu)化，提出了多視角MinimaxFCM算法。在多視角模糊分類方面，Jiang等人[16]基于經(jīng)典TSK型模糊系統(tǒng)（Takagi-Sugeno-Kang fuzzy system，TSK-FS），將最大間距化策略引入其目標(biāo)函數(shù)，采用協(xié)同學(xué)習(xí)的方式整合來(lái)自不同視角的特征，提出了具有視角協(xié)同學(xué)習(xí)能力的兩視角TSK型模糊系統(tǒng)，在不同應(yīng)用上得到了較好的表現(xiàn)。特別地，針對(duì)癲癇EEG信號(hào)識(shí)別，Jiang等人提出了一種多視角模糊系統(tǒng)構(gòu)建方法，取得了較好的癲癇檢測(cè)效果[17]。

較之于其他多視角智能分類方法，目前已有的基于模糊系統(tǒng)的多視角分類方法在解釋性和不確定性建模能力方面均有一定的優(yōu)勢(shì)。但是，在多視角信息的協(xié)作和利用方面，目前的方法還有待進(jìn)一步加強(qiáng)。例如，已有的方法主要關(guān)注的是多個(gè)顯性視角的信息，而對(duì)于多個(gè)高度相關(guān)的視角間的隱藏的共性信息還未能充分挖掘和利用。此類隱性信息對(duì)多視角學(xué)習(xí)是非常重要的。例如，各顯性視角之間通常隱藏了一個(gè)共享的隱空間，該隱空間內(nèi)的共享數(shù)據(jù)可以通過(guò)不同的映射方式生成不同顯性視角的數(shù)據(jù)。因此，如果能充分挖掘多個(gè)顯性視角對(duì)應(yīng)的共享隱性視角，對(duì)多視角學(xué)習(xí)將具有很大的幫助。根據(jù)上述分析可知，已有的多視角模糊分類方法還未能充分利用各視角間共享的隱空間信息，從而導(dǎo)致受訓(xùn)模型的魯棒性受到限制。

針對(duì)上述挑戰(zhàn)，本文提出了一種引入各視角間共享隱空間信息的顯隱視角協(xié)同的模糊系統(tǒng)建模方法來(lái)實(shí)現(xiàn)多視角分類任務(wù)。嶺回歸極限學(xué)習(xí)模糊系統(tǒng)（ridge regression extreme learning fuzzy system,RR-EL-FS）[18]是引入了極限學(xué)習(xí)機(jī)制的0階TSK型模糊系統(tǒng)，具有訓(xùn)練速度快，在小樣本噪音數(shù)據(jù)集上魯棒性強(qiáng)的特點(diǎn)。本文以嶺回歸極限學(xué)習(xí)模糊系統(tǒng)作為具體研究對(duì)象來(lái)構(gòu)建多視角模糊系統(tǒng)分類方法。該方法首先通過(guò)矩陣分解技術(shù)來(lái)學(xué)習(xí)得到各顯性視角的共享隱空間，此隱空間即為得到的隱性視角；在此基礎(chǔ)上，進(jìn)行顯性視角和隱性視角的協(xié)同學(xué)習(xí)來(lái)輔助模糊系統(tǒng)的構(gòu)建；最終，可得到顯隱視角協(xié)同決策的多視角模糊系統(tǒng)預(yù)測(cè)模型。該方法較之已有的多視角模糊系統(tǒng)預(yù)測(cè)方法和其他相關(guān)方法能有效地基于隱空間的共享信息實(shí)現(xiàn)顯隱空間的協(xié)作，從而能更好地提升所得預(yù)測(cè)模型的泛化性能。

本文主要貢獻(xiàn)可歸納為如下幾方面：

（1）基于非負(fù)矩陣分解技術(shù)，提出了一種獲取多視角數(shù)據(jù)集各顯性視角間共享的隱空間信息的方法。

（2）提出了顯隱信息協(xié)同學(xué)習(xí)的多視角模糊系統(tǒng)建模框架，并基于該框架，以嶺回歸極限學(xué)習(xí)模糊系統(tǒng)為基模型，提出了顯隱信息協(xié)同的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)。

（3）對(duì)所提出的顯隱信息協(xié)同的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)進(jìn)行了廣泛的實(shí)驗(yàn)分析。

本文剩余部分組織如下：第2章對(duì)經(jīng)典Takagi-Sugeno-Kang型模糊系統(tǒng)、嶺回歸極限學(xué)習(xí)模糊系統(tǒng)以及多視角學(xué)習(xí)進(jìn)行了簡(jiǎn)述；第3章首先提出了基于各視角信息學(xué)習(xí)共享隱空間信息的策略和求解方法，而后詳細(xì)描述了顯隱信息協(xié)同的嶺回歸極限學(xué)習(xí)模糊系統(tǒng)建模方法；第4章進(jìn)行了廣泛的實(shí)驗(yàn)比較與分析；第5章對(duì)本文進(jìn)行了總結(jié)和展望。

2 相關(guān)工作

2.1 經(jīng)典Takagi-Sugeno-Kang型模糊系統(tǒng)

經(jīng)典模糊系統(tǒng)模型可分為以下3類：TSK型模型[19]、Mamdani-Larsen（ML）型模型[20]及廣義模糊模型（generalized fuzzy model，GFM）[21]。其中，TSK型模型應(yīng)用最為廣泛[19]。

TSK型模糊系統(tǒng)是基于規(guī)則和模糊集的智能系統(tǒng)，具有良好的解釋性和不確定建模能力。經(jīng)典TSK模糊系統(tǒng)的模糊規(guī)則如下：

當(dāng)TSK型模糊系統(tǒng)采用乘合取算子、乘蘊(yùn)含算子、加法組合算子和重心反模糊化操作時(shí)，其最終輸出可表示為：

2.2 嶺回歸極限學(xué)習(xí)模糊系統(tǒng)

RR-EL-FS是引入了極限學(xué)習(xí)機(jī)制的0階TSK模糊系統(tǒng)[18,22]。其通過(guò)隨機(jī)為二維二值規(guī)則結(jié)合矩陣C以及三維二值無(wú)關(guān)特征矩陣DC賦值的方式完成ifthen規(guī)則的生成，而后通過(guò)嶺回歸的方式對(duì)后件參數(shù)進(jìn)行優(yōu)化。算法細(xì)節(jié)如下。

2.2.1 嶺回歸極限學(xué)習(xí)模糊系統(tǒng)的前件生成

RR-EL-FS采用高斯函數(shù)作為隸屬度函數(shù)，輸入向量的每一維特征都會(huì)被劃分進(jìn)5個(gè)模糊子集這5個(gè)模糊子集對(duì)應(yīng)的高斯隸屬度函數(shù)中心被固定為[0,0.25,0.50,0.75,1.00]，對(duì)應(yīng)的自然語(yǔ)義標(biāo)簽為非常低、低、中、高以及非常高[24]。

其中，k=1,2,…,5，i=1,2,…,d，ak∈{0,0.25,0.50,0.75,1.00}，μki為特征xi對(duì)第k個(gè)模糊子集的隸屬度。式（4）中高斯隸屬度函數(shù)對(duì)應(yīng)的標(biāo)準(zhǔn)差σ通過(guò)隨機(jī)賦值所得。

與極限學(xué)習(xí)機(jī)所采用的隨機(jī)機(jī)制相同，RR-ELFS通過(guò)隨機(jī)為規(guī)則結(jié)合矩陣C（維度為d特征×5隸屬度函數(shù)×L規(guī)則，其中d為輸入樣本的特征數(shù)，5表示5個(gè)隸屬度函數(shù)，L為規(guī)則數(shù)）以及無(wú)關(guān)特征矩陣DC（維度為d特征×L規(guī)則）的方式來(lái)決定每條規(guī)則使用的特征及所用特征相應(yīng)的隸屬度函數(shù)。例如，若規(guī)則結(jié)合矩陣中C(2,3,4)=1則表示特征2對(duì)應(yīng)式（4）中在規(guī)則4中被激活。若D(2,4)=1則表示特征2在規(guī)則4中是無(wú)關(guān)（不被使用）的。給定兩個(gè)輸入樣本（x1和x2），每個(gè)輸入樣本包含5個(gè)特征，若第k條規(guī)則所對(duì)應(yīng)的矩陣C及矩陣DC如下：給定輸入向量x=(x1x2…xd)，其每一維特征對(duì)應(yīng)的模糊隸屬度可由下式計(jì)算：

則第k條規(guī)則可表示為：

2.2.2 嶺回歸極限學(xué)習(xí)模糊系統(tǒng)的后件生成

RR-EL-FS的最終輸出為：

其中，L表示規(guī)則數(shù)，pl0為第l條規(guī)則對(duì)應(yīng)的后件參數(shù)，ul表示第l條規(guī)則的觸發(fā)強(qiáng)度，其計(jì)算如下：

令：

則式（7）可寫為：

RR-EL-FS采用嶺回歸的方式對(duì)后件參數(shù)pg進(jìn)行求解。給定N個(gè)訓(xùn)練樣本(xn,yn)∈Rd×R，將所有訓(xùn)練樣本對(duì)應(yīng)的觸發(fā)強(qiáng)度結(jié)合成矩陣，即：

則求解后件參數(shù)的目標(biāo)公式可表示如下：

式（15）中，Id為d×d的單位矩陣。

2.3 多視角學(xué)習(xí)

2.3.1 傳統(tǒng)多視角學(xué)習(xí)框架

多視角學(xué)習(xí)技術(shù)旨在通過(guò)對(duì)同一對(duì)象的不同特征集合（即各視角）所構(gòu)造的數(shù)據(jù)樣本進(jìn)行分析，并利用各視角間的協(xié)同找出視角間的相關(guān)性，進(jìn)而得到一個(gè)最合理的全局決策結(jié)果。由于多視角技術(shù)全面地考慮了被研究對(duì)象在各個(gè)視角下所存在的特征信息，因而在求同存異的指導(dǎo)思想下所得到的決策結(jié)果，要比在僅基于單一視角特征空間所得到的決策結(jié)果更為全面可靠。一個(gè)經(jīng)典的多視角學(xué)習(xí)框架的原理如圖1所示。

2.3.2 基于單視角模糊系統(tǒng)建模的多視角建模

傳統(tǒng)的模糊系統(tǒng)建模技術(shù)均是針對(duì)單視角場(chǎng)景設(shè)計(jì)。當(dāng)面對(duì)多視角建模場(chǎng)景時(shí)，通常采用的策略是針對(duì)不同的視角僅利用單個(gè)視角下的樣本構(gòu)建與之對(duì)應(yīng)的單視角模糊系統(tǒng)，然后對(duì)各系統(tǒng)決策結(jié)果進(jìn)行簡(jiǎn)單集成，例如求取各視角輸出的均值作為最終的數(shù)據(jù)結(jié)果。相關(guān)流程如圖2所示。

上述策略為單視角建模方法在多視角場(chǎng)景下的應(yīng)用提供了一種可行的方案。由于其針對(duì)每一視角獨(dú)立建模的方式在一定程度上破壞了多視角數(shù)據(jù)集之間的關(guān)聯(lián)關(guān)系，這通常會(huì)造成不同視角所獲得之模糊系統(tǒng)泛化能力存在良莠不齊的現(xiàn)象。目前，針對(duì)這一問(wèn)題，已有學(xué)者提出了相關(guān)的改進(jìn)算法。例如，Jiang等人將最大間隔化的思想與協(xié)同學(xué)習(xí)相結(jié)合，提出了一種2視角模糊系統(tǒng)的建模方法，該建模方法相對(duì)傳統(tǒng)單視角模糊系統(tǒng)在面對(duì)2視角數(shù)據(jù)時(shí)具有較明顯的優(yōu)勢(shì)[16]。此外，在文獻(xiàn)[17]中，提出了一種可以處理多視角數(shù)據(jù)的癲癇EEG識(shí)別模糊系統(tǒng)分類方法。

Fig.1 Classical multi-view learning framework圖1 一種經(jīng)典的多視角學(xué)習(xí)框架圖

Fig.2 Framework of multi-view modeling using single-view fuzzy system圖2 基于單視角模糊系統(tǒng)的多視角建?？蚣?/p>

雖然已有的多視角模糊系統(tǒng)建模方法在分類等方面體現(xiàn)了較之于單視角模糊系統(tǒng)方法的優(yōu)越性，但多視角學(xué)習(xí)方面還存在許多不足。其中一個(gè)重要的挑戰(zhàn)就是多視角數(shù)據(jù)的共性隱信息未能充分挖掘，進(jìn)而未能基于共性隱信息和各顯視角信息進(jìn)行全面的學(xué)習(xí)。因而探討顯隱信息協(xié)同的多視角模糊系統(tǒng)建模方法很有必要。

3 顯隱信息協(xié)同的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)建模

由于嶺回歸極限學(xué)習(xí)模糊系統(tǒng)（RR-EL-FS）具有訓(xùn)練速度快，對(duì)噪音數(shù)據(jù)集魯棒性較強(qiáng)的特點(diǎn)，本文以嶺回歸極限學(xué)習(xí)模糊系統(tǒng)為基礎(chǔ)模型，提出具有多視角學(xué)習(xí)能力的嶺回歸極限學(xué)習(xí)模糊系統(tǒng)。

3.1 顯隱信息協(xié)同的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)建?？蚣?/h3>

為了充分利用各視角間的共享隱空間信息，同時(shí)使得單視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)建模方法具備多視角學(xué)習(xí)的能力，本文探討了顯隱信息協(xié)同的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)建模方法（ridge regression extreme learning fuzzy system with cooperation between visible and hidden views，RR-EL-FS-CVH）。RR-EL-FS-CVH的總體框架如圖3所示。

從圖3可知，該建模方法較之傳統(tǒng)單視角和已有的多視角模糊建模方法而言，具有如下特點(diǎn)：（1）充分利用了各個(gè)視角間共享的隱空間信息；（2）不再將各視角下的數(shù)據(jù)樣本孤立開(kāi)來(lái)進(jìn)行獨(dú)立的模糊系統(tǒng)構(gòu)建，而是通過(guò)多視角協(xié)同機(jī)制來(lái)訓(xùn)練不同視角下的模糊系統(tǒng)；（3）不僅各顯性視角可以協(xié)作，顯性視角和隱性視角也進(jìn)行了協(xié)作，因而通過(guò)多個(gè)視角的有效協(xié)作，最終所獲得的各視角的模糊系統(tǒng)泛化能力得到提升。

3.2 共享隱空間的生成

3.2.1 隱空間特征提取機(jī)制

對(duì)于多視角數(shù)據(jù)集，一個(gè)合理的假設(shè)是：所有視角間存在一個(gè)共享的隱空間，基于該隱空間數(shù)據(jù)可以通過(guò)不同的映射把共享空間特征映射到不同視角所在的空間生成不同視角的數(shù)據(jù)。因此，找到該隱空間對(duì)于獲得多視角數(shù)據(jù)的共性信息來(lái)輔助面臨的多視角建模任務(wù)是很有意義的。給定擁有K個(gè)視角，N個(gè)樣本的多視角數(shù)據(jù)集X，第K個(gè)視角對(duì)應(yīng)的數(shù)據(jù)集合可表示為，第k個(gè)視角的數(shù)據(jù)可用矩陣形式表示為為了獲取各視角共享的隱空間，以及該隱空間到各個(gè)視角的映射矩陣，通?？蓸?gòu)造如下的優(yōu)化目標(biāo)[25]：對(duì)于式（16），說(shuō)明如下：

Fig.3 Framework of RR-EL-FS-CVH圖3 顯隱信息協(xié)同的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)框架

（1）式中Wk∈Rr×dk表示將隱空間數(shù)據(jù)映射到視角k所在特征空間的映射矩陣（dk為視角k特征空間的維度；r為隱空間的特征維度，1≤r≤min{d1,d2,…,dk}）；數(shù)據(jù)集H=[h1,h2,…,hN]T∈ RN×r為各視角數(shù)據(jù)在共享隱空間對(duì)應(yīng)的共享數(shù)據(jù)的矩陣表示；αk表示視角k的所占權(quán)重，且。

其中，||?||F為Frobenius范數(shù)；為使模型簡(jiǎn)單且具有較高解釋性，常引入對(duì)Wk以及H的非負(fù)約束。

其中，Lk=Dk-Sk為拉普拉斯矩陣。

結(jié)合式（17）及式（18），對(duì)于式（16）可得如下最小化問(wèn)題：

通過(guò)求解該問(wèn)題，可以獲得各顯性視角在隱空間的共享數(shù)據(jù)H以及共享隱空間到各個(gè)顯性視角的映射矩陣Wk。

3.2.2 隱空間及映射矩陣的求解

式（19）對(duì)應(yīng)的優(yōu)化問(wèn)題本質(zhì)上是個(gè)非負(fù)矩陣分解（non-negative matrix factorization，NMF）問(wèn)題，一種常用的求解方法是利用坐標(biāo)下降方法進(jìn)行迭代求解[26]。基于迭代優(yōu)化的思想，式（19）的迭代求解可分如下兩步：固定H求解映射矩陣Wk，而后固定Wk求解H。具體方式如下。

（1）計(jì)算映射矩陣Wk

當(dāng)固定H=H(（t)t為當(dāng)前迭代次數(shù)）時(shí)，式（19）中，僅將Wk作為變量的子優(yōu)化問(wèn)題為：

該非負(fù)二次規(guī)劃問(wèn)題形式與傳統(tǒng)NMF模型相同。因此，Wk可采用NMF的經(jīng)典方法求解。例如，基于文獻(xiàn)[26]的求解策略，可得如下的更新公式：

（2）計(jì)算隱空間H

可以得到H如下的更新公式[26]：

3.3 具備顯隱視角協(xié)同學(xué)習(xí)能力的目標(biāo)函數(shù)構(gòu)建

給定如3.2.1節(jié)所述多視角數(shù)據(jù)集，為了充分利用各視角間共享隱空間特征，首先采用3.2節(jié)所示方法提取出各視角間共享的隱空間對(duì)應(yīng)的共享數(shù)據(jù)集其矩陣形式為 H=[h1,h2,…,hN]T∈ RN×r。然后，將所提取出的隱空間特征作為一個(gè)全新的視角加入到原始多視角數(shù)據(jù)集中得到最終用于系統(tǒng)訓(xùn)練的多視角數(shù)據(jù)集，此時(shí)新數(shù)據(jù)集共有k+1個(gè)視角，即k個(gè)顯性視角和1個(gè)隱性視角。在得到加入隱空間信息的數(shù)據(jù)集后，為充分利用不同視角的特有特征，以及利用各視角特征間內(nèi)在的關(guān)聯(lián)關(guān)系，本文采用協(xié)同學(xué)習(xí)的方式進(jìn)行模糊系統(tǒng)的構(gòu)建。

若視角k的專屬嶺回歸極限學(xué)習(xí)模糊系統(tǒng)具有Lk條規(guī)則，隱空間視角的專屬嶺回歸極限學(xué)習(xí)模糊系統(tǒng)具有J條規(guī)則，參考2.1節(jié)及2.2節(jié)，則第k個(gè)顯性視角對(duì)應(yīng)的模糊系統(tǒng)在其規(guī)則生成的高維空間對(duì)應(yīng)的線性模型可表示如下：

第k+1視角，即隱性視角專有嶺回歸極限學(xué)習(xí)模糊系統(tǒng)對(duì)應(yīng)的高維空間的線性模型為:

基于上述變換和表達(dá)，本文設(shè)計(jì)的具備多視角協(xié)同學(xué)習(xí)能力的嶺回歸極限學(xué)習(xí)模糊系統(tǒng)優(yōu)化目標(biāo)函數(shù)式如下：

式（26）中，yi為第i個(gè)樣本的類標(biāo)簽，為2.2節(jié)所述嶺回歸極限學(xué)習(xí)模糊系統(tǒng)通過(guò)視角k訓(xùn)練所得專有模糊系統(tǒng)的后件參數(shù)，wk為其對(duì)應(yīng)的權(quán)值。為協(xié)同項(xiàng)，（為了表示方便，這里）。為所有視角（包括隱空間視角）的權(quán)重對(duì)應(yīng)的負(fù)香農(nóng)熵，為正則化項(xiàng)。

對(duì)于式（26）的優(yōu)化目標(biāo)函數(shù)可進(jìn)一步解釋如下：

（2）僅僅考慮各視角間樣本的數(shù)據(jù)對(duì)于整個(gè)多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)的構(gòu)建是不夠的，因此，考慮到視角間的關(guān)聯(lián)關(guān)系，所提方法構(gòu)造了具備協(xié)同學(xué)習(xí)能力的協(xié)同項(xiàng)，即式（26）中的。上述協(xié)同項(xiàng)可使各視角（包括隱空間視角）間進(jìn)行協(xié)同學(xué)習(xí)，最終達(dá)到各視角所對(duì)應(yīng)的模糊系統(tǒng)之輸出趨于一致，從而避免因視角特征的差異而造成各視角模糊系統(tǒng)泛化性能的劇烈變化。

（3）許多已有的多視角方法在最終組合各視角結(jié)果進(jìn)行決策時(shí)，如何決定各視角的重要性具有一定的主觀性，例如采用取均值的方式或人為給定權(quán)重。針對(duì)此，本文方法通過(guò)引入香農(nóng)熵來(lái)實(shí)現(xiàn)各視角權(quán)重的自適應(yīng)調(diào)節(jié)和控制。令，可將權(quán)值視為概率分布，其對(duì)應(yīng)的香農(nóng)熵即為，熵的極大化使得各概率分量盡可能均等，即引入了極大熵理論。此項(xiàng)的引入，可以避免對(duì)式（14）的第一、二項(xiàng)進(jìn)行優(yōu)化時(shí)，某個(gè)視角的權(quán)重占絕對(duì)優(yōu)勢(shì)而造成其他視角的信息被完全忽視。由于式（14）為最小化目標(biāo)函數(shù)，因此，極大化香農(nóng)熵在式中形式為最小化負(fù)熵，即最小化。

（4）式（26）中正則化參數(shù)λ1>0,λ2>0,λ3>0用于控制模型中各項(xiàng)的影響，其數(shù)值可通過(guò)交叉驗(yàn)證等策略選取合適的值。

3.4 參數(shù)學(xué)習(xí)規(guī)則

采用迭代優(yōu)化方法，對(duì)式（26）中的專有模糊系統(tǒng)后件參數(shù)及對(duì)應(yīng)權(quán)值可進(jìn)行迭代學(xué)習(xí)，更新公式如下：

給定具有K個(gè)視角特征的測(cè)試樣本x，系統(tǒng)最終的輸出為:

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)置

為對(duì)本文所提顯隱信息協(xié)同的嶺回歸極限學(xué)習(xí)模糊系統(tǒng)（RR-EL-FS-CVH）建模方法的性能進(jìn)行驗(yàn)證和評(píng)估，本節(jié)基于分類任務(wù)，首先將所提算法與單視角算法在人工構(gòu)造的以及真實(shí)的多視角數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)研究；而后又將所提算法在相同數(shù)據(jù)集上與幾種多視角算法進(jìn)行了對(duì)比。數(shù)據(jù)集詳細(xì)信息將于4.1.1節(jié)中描述，算法細(xì)節(jié)及實(shí)驗(yàn)硬件平臺(tái)將在

4.1.2 節(jié)中描述。實(shí)驗(yàn)中所有分類數(shù)據(jù)集的輸入部分均進(jìn)行了歸一化處理。實(shí)驗(yàn)指標(biāo)為分類準(zhǔn)確率，分類準(zhǔn)確率越高，表示算法泛化性能越好。實(shí)驗(yàn)采用五倍交叉驗(yàn)證的方式將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，具體地，通過(guò)分層采樣的方式將原始數(shù)據(jù)均分成五組，將每個(gè)子集數(shù)據(jù)分別做一次驗(yàn)證集，其余的四組子集數(shù)據(jù)作為訓(xùn)練集。以五次在測(cè)試集上所得分類準(zhǔn)確率的平均值作為最終的指標(biāo)對(duì)算法性能進(jìn)行評(píng)估。

4.1.1 數(shù)據(jù)集描述

本文所用人工構(gòu)造數(shù)據(jù)集及真實(shí)多視角數(shù)據(jù)集均來(lái)自UCI數(shù)據(jù)集庫(kù)[28]。其中，人工構(gòu)造的數(shù)據(jù)集本身并非多視角數(shù)據(jù)集，但其特征可以人為劃分為多視角數(shù)據(jù)，因此在本文中，這類數(shù)據(jù)集被稱為人工構(gòu)造的多視角數(shù)據(jù)集。

本文所采用的人工構(gòu)造數(shù)據(jù)集為Iris數(shù)據(jù)集以及Forest type數(shù)據(jù)集，所采用的真實(shí)數(shù)據(jù)集為Multiple feature數(shù)據(jù)集、Image segmentation數(shù)據(jù)集以及Dermatology數(shù)據(jù)集。各數(shù)據(jù)集細(xì)節(jié)如表1所示。

4.1.2 對(duì)比算法及實(shí)驗(yàn)硬件平臺(tái)

本文將RR-EL-FS-CVH算法分別與5個(gè)單視角模糊系統(tǒng)算法和2個(gè)多視角算法進(jìn)行了比較。5個(gè)單視角模糊系統(tǒng)算法分別為將模糊規(guī)則嵌入到極限學(xué)習(xí)機(jī)隱層節(jié)點(diǎn)的模糊極限學(xué)習(xí)機(jī)（fuzzy extreme learning machine，F(xiàn)-ELM）[22]、基于 IQP（iterative quadratic programming）優(yōu)化算法的ε-不敏感損失函數(shù)的TSK模糊系統(tǒng)（IQP）[29]、基于LSSLI（learning by solving a system of linear inequalities）優(yōu)化算法的ε-不敏感損失函數(shù)的TSK模糊系統(tǒng)（LSSLI）[29]、MATLAB工具箱中基于模糊C均值算法的模糊系統(tǒng)GENFIS（generate fuzzy inference system）[30]以及基于模糊子空間聚類的O階L2型TSK模糊系統(tǒng)（fuzzy subspace clustering based zero-order L2-norm TSK fuzzy system，L2-TSKFS）[31]。多視角模糊系統(tǒng)算法為引入最大間距化策略和協(xié)同學(xué)習(xí)思想的兩視角TSK模糊系統(tǒng)（two view TSK fuzzy classification system，TwoV-TSK-FCS）[16]，多視角非模糊系統(tǒng)算法為引入了極大熵的多視角極大熵判別算法（alternative multiview maximum entropy discrimination，AMVMED）[32]。這 7 種對(duì)比算法中，TwoV-TSK-FCS以及AMVMED算法為二分類算法，對(duì)于多類分類，本文對(duì)于二分類算法采用1對(duì)1策略來(lái)實(shí)現(xiàn)多分類問(wèn)題。

實(shí)驗(yàn)平臺(tái)，CPU，Intel?CoreTMi7-4790；主頻，3.60 GHz；內(nèi)存，16 GB；操作系統(tǒng)，Win 7 64位操作系統(tǒng)；編程環(huán)境，MATLAB 8.1.0.604(R2013a)。

4.2 與單視角算法對(duì)比實(shí)驗(yàn)

本節(jié)將所提RR-EL-FS-CVH算法與幾種經(jīng)典單視角模糊系統(tǒng)算法進(jìn)行了對(duì)比。對(duì)于單視角算法，本文將多視角數(shù)據(jù)集所有視角特征合并為一個(gè)全視角數(shù)據(jù)集，然后將單視角算法用于該全視角數(shù)據(jù)集。所有單視角模糊系統(tǒng)算法規(guī)則數(shù)以及RR-EL-FSCVH中任一視角專有模糊系統(tǒng)的規(guī)則數(shù)的尋優(yōu)范圍均設(shè)定為k={3,4,9,16,25,36,49。}RR-EL-FS-CVH算法與單視角模糊系統(tǒng)算法在各數(shù)據(jù)集上所得分類準(zhǔn)確率見(jiàn)表2。

Table 1 Description of multi-view datasets表1 多視角數(shù)據(jù)集描述

表2中最優(yōu)值次數(shù)指標(biāo)是指在所有數(shù)據(jù)集中該算法所得指標(biāo)為各算法中最優(yōu)值的次數(shù)。觀察表2可得如下結(jié)論：（1）RR-EL-FS-CVH算法所得分類精度在所有數(shù)據(jù)集上均高于單視角模糊系統(tǒng)算法，這也說(shuō)明RR-EL-FS-CVH算法相對(duì)于單視角模糊系統(tǒng)算法具有更好的分類性能。（2）從在多個(gè)數(shù)據(jù)集上的平均精度來(lái)看，RR-EL-FS-CVH算法的平均精度相對(duì)于幾種單視角算法優(yōu)勢(shì)非常明顯。

Table 2 Comparison between this paper and single-view fuzzy systems(Mean±Std)表2 本文算法與單視角模糊系統(tǒng)算法比較（均值±方差）

4.3 與多視角算法對(duì)比實(shí)驗(yàn)

為進(jìn)一步對(duì)所提算法的性能進(jìn)行評(píng)價(jià)，本文將所提算法與兩相關(guān)多視角算法進(jìn)行了對(duì)比。同時(shí)，采用對(duì)單視角算法輸出值進(jìn)行加權(quán)整合的方式，把幾種單視角算法改造為相應(yīng)的多視角算法。具體改造過(guò)程為：針對(duì)每一個(gè)視角的特征，訓(xùn)練出一個(gè)單視角分類器，而后對(duì)每一視角的輸出值進(jìn)行加權(quán)求和得到算法的最終輸出（如有K個(gè)視角，則每個(gè)視角的分類器權(quán)值為1 K）。為與單視角算法做出區(qū)分，本文將基于F-ELM、IQP、LESSLI、GENFIS2以及L2-TSK-FS改造得到的多視角算法分別稱為F-ELM(MV)、IQP(MV)、LESSLI(MV)、GENFIS2(MV)以及L2-TSK-FS(MV)。同樣，為保持模糊系統(tǒng)的簡(jiǎn)潔性，所有模糊系統(tǒng)的規(guī)則數(shù)尋優(yōu)范圍被設(shè)定為k={3,4,9,16,25,36,49}。RR-EL-FS-CVH算法與多視角算法在各數(shù)據(jù)集上的分類準(zhǔn)確率如表3～表7所示。

觀察表3至表7可得到如下結(jié)論：（1）對(duì)于這些得到的各視角模糊系統(tǒng)，無(wú)論是從獨(dú)立的單一視角看，還是從不同視角之間系統(tǒng)的泛化性能關(guān)聯(lián)關(guān)系角度分析，本文所提RR-EL-FS-CVH算法在大多數(shù)數(shù)據(jù)集上得到了最高的分類精度，說(shuō)明所提方法具有較好的分類性能。（2）本文所提算法各視角集成后所得分類精度均大于僅使用單一視角數(shù)據(jù)的分類精度，說(shuō)明所提算法不僅能充分利用單一視角的數(shù)據(jù)，還能通過(guò)協(xié)同學(xué)習(xí)的方式充分利用各視角數(shù)據(jù)之間有效的相關(guān)信息，提升分類性能。（3）部分單視角簡(jiǎn)單集成后的多視角算法，在某些數(shù)據(jù)集上采用各視角集成后所得分類精度反而不如只用單一視角數(shù)據(jù)所得分類精度，如IQP算法在Dermatology數(shù)據(jù)集上，僅使用組織病理學(xué)視角特征時(shí)，可以達(dá)到0.827 4的分類精度，而引入臨床視角特征后所得全視角精度為0.753 1，這說(shuō)明簡(jiǎn)單的多個(gè)視角集成不一定能提升模型的性能，有時(shí)可能會(huì)起到負(fù)作用。

5 結(jié)束語(yǔ)

Table 3 Classification accuracies on multiple feature dataset(Mean±Std)表3 在Multiple feature數(shù)據(jù)集上的分類準(zhǔn)確率（均值±方差）

Table 4 Classification accuracies on Image segmentation dataset(Mean±Std)表4 在Image segmentation數(shù)據(jù)集上的分類準(zhǔn)確率（均值±方差）

Table 5 Classification accuracies on Dermatology dataset(Mean±Std)表5 在Dermatology數(shù)據(jù)集上的分類準(zhǔn)確率（均值±方差）

Table 6 Classification accuracies on Iris dataset(Mean±Std)表6 在Iris數(shù)據(jù)集上的分類準(zhǔn)確率（均值±方差）

Table 7 Classification accuracies on Forest type dataset(Mean±Std)表7 在Forest type數(shù)據(jù)集上分類準(zhǔn)確率比較（均值±方差）

本文針對(duì)傳統(tǒng)的模糊系統(tǒng)建模方法在處理多視角場(chǎng)景僅利用到了多視角數(shù)據(jù)集的顯性信息，而忽略了各視角間共享的隱空間信息之不足，提出了顯隱信息協(xié)同學(xué)習(xí)的多視角嶺回歸極限學(xué)習(xí)模糊系統(tǒng)。該方法不僅能充分利用多視角數(shù)據(jù)集的顯性信息，同時(shí)能充分利用各視角間共享的隱空間信息，進(jìn)而提高各視角下模糊系統(tǒng)的泛化能力并通過(guò)協(xié)同學(xué)習(xí)機(jī)制進(jìn)一步穩(wěn)定各視角模糊系統(tǒng)的性能。在構(gòu)造數(shù)據(jù)集以及真實(shí)數(shù)據(jù)集上的仿真實(shí)驗(yàn)結(jié)果表明：本文所提方法比傳統(tǒng)的單視角建模方法以及僅利用多視角數(shù)據(jù)集顯性信息的多視角算法具有更好的泛化能力。

盡管本文所提算法表現(xiàn)出了較好的分類性能，但仍有需要進(jìn)一步研究的地方。例如，本文所提算法利用交叉驗(yàn)證策略對(duì)超參數(shù)進(jìn)行優(yōu)化會(huì)帶來(lái)較大的時(shí)間開(kāi)銷，如何有效地降低參數(shù)尋優(yōu)的時(shí)間復(fù)雜度將是進(jìn)一步研究的重點(diǎn)工作之一。