敬 明 旻

(中國石化石油工程技術(shù)研究院信息與標(biāo)準(zhǔn)化研究所 北京 100101) (中國社會(huì)科學(xué)院數(shù)量經(jīng)濟(jì)與技術(shù)經(jīng)濟(jì)研究所 北京 100732)

0 引 言

深度神經(jīng)網(wǎng)絡(luò)對各種單模態(tài)數(shù)據(jù)表現(xiàn)出極強(qiáng)的特征學(xué)習(xí)能力，目前已在許多領(lǐng)域內(nèi)均取得了令人矚目的成果，包括視頻識(shí)別[1]、語音識(shí)別[2]和心電圖識(shí)別[3]等。在實(shí)際應(yīng)用中存在大量多模態(tài)特征的數(shù)據(jù)，例如：多媒體的音頻數(shù)據(jù)和視頻數(shù)據(jù)，醫(yī)學(xué)領(lǐng)域的多個(gè)生物信號監(jiān)測數(shù)據(jù)等。這些數(shù)據(jù)不同模態(tài)的特征之間存在相關(guān)性，將多模態(tài)特征融合，能夠有效地提高總體的分類效果。雖然自編碼器、卷積神經(jīng)網(wǎng)絡(luò)、對抗網(wǎng)絡(luò)等深度神經(jīng)網(wǎng)絡(luò)在單模態(tài)特征學(xué)習(xí)方面表現(xiàn)出較強(qiáng)的能力，但是將多個(gè)模態(tài)的特征融合是深度神經(jīng)網(wǎng)絡(luò)的一個(gè)難點(diǎn)。

文獻(xiàn)[4]將新聞文字和視頻特征融合，以文字內(nèi)容為支配特征，以語音特征和視頻特征為輔助特征，在提取相同底層特征的情況下，該分類算法實(shí)現(xiàn)了性能提升。文獻(xiàn)[5]根據(jù)人臉和姓名的共現(xiàn)關(guān)系，分析文本姓名位置對姓名重要程度的貢獻(xiàn)，使用反向傳播神經(jīng)網(wǎng)絡(luò)融合上述信息，實(shí)現(xiàn)了較高的新聞人臉識(shí)別率，對于噪聲也具有魯棒性。除了新聞?lì)I(lǐng)域，生物應(yīng)用中不同生物信號之間也存在極大的相關(guān)性，因此多模態(tài)特征融合技術(shù)在生物領(lǐng)域也具有廣闊的應(yīng)用前景。文獻(xiàn)[6]將人臉、指紋等多個(gè)生物特征融合，用以提高身份驗(yàn)證的安全性。近期研究人員將多特征融合引入推薦系統(tǒng)，也成功提高了推薦系統(tǒng)的性能[7-8]。

多特征融合技術(shù)的最大優(yōu)勢是在僅提取底層特征的情況下，即可有效地提升分類算法的性能[9]。深度神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于模式識(shí)別領(lǐng)域，而深度神經(jīng)網(wǎng)絡(luò)的超參數(shù)繁多，且對不同數(shù)據(jù)所提取的特征形式也存在差異，導(dǎo)致將深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的多模態(tài)特征集融合成為一個(gè)難題。為了解決上述問題，本文提出兼容不同深度神經(jīng)網(wǎng)絡(luò)模型的多模態(tài)特征融合方案。

1 方法設(shè)計(jì)

本文方法主要由擴(kuò)展層和融合層兩部分構(gòu)成，如圖1所示。

1.1 擴(kuò)展層

不同網(wǎng)絡(luò)的輸出向量輸入擴(kuò)展層，神經(jīng)網(wǎng)絡(luò)可以是任意類型的深度學(xué)習(xí)網(wǎng)絡(luò)。不同模態(tài)的特征格式不同，特征向量大小也可能不同，因此在擴(kuò)展層首先將特征向量轉(zhuǎn)化為相同長度。

假設(shè)共有m個(gè)模態(tài)網(wǎng)絡(luò)，設(shè)x(k)為第k個(gè)網(wǎng)絡(luò)的輸出向量，其中k∈{1,2,…,m}。第k個(gè)擴(kuò)展層輸入向量為：

z(k)=w(k)·x(k)+b(k)

(1)

(2)

d(k)=[d1(k),d2(k),…,dc(k)]T，擴(kuò)展層輸出向量的維度均為c，即i∈{1,2,…,c}。

1.2 融合層

融合層收到擴(kuò)展層的m個(gè)向量，每個(gè)向量的元素?cái)?shù)量為c。融合層將這些向量重組成一個(gè)長度為c的向量，稱為融合向量。采用多項(xiàng)式采樣技術(shù)融合多個(gè)模態(tài)的向量，設(shè)多項(xiàng)式采樣的向量為ri=[ri(1),ri(2),…,ri(m)]T，使其滿足以下的多項(xiàng)式分布：

ri～Mn(1,p)

(3)

(4)

式中：“° ”表示Hadamard積。最終，融合層輸出向量e=[e1,e2,…,ec]T的第i個(gè)元素表示為：

(5)

e的長度和d(k)的長度相等，將輸出結(jié)果輸入終端網(wǎng)絡(luò)，終端網(wǎng)絡(luò)的輸出則是分類問題的最終決策。

1.3 模態(tài)間的相關(guān)性分析

在擴(kuò)展層考慮了模態(tài)特征間的相關(guān)性。每個(gè)模態(tài)的擴(kuò)展層獨(dú)立產(chǎn)生d(k)，然后篩選出一部分向量輸出到融合層。每次訓(xùn)練中多項(xiàng)式采樣技術(shù)隨機(jī)采樣每個(gè)模態(tài)的特征，因此對于相同的輸入數(shù)據(jù)，融合的特征向量應(yīng)該相似。該機(jī)制保證模態(tài)的擴(kuò)展層既學(xué)習(xí)了本模態(tài)的數(shù)據(jù)，也學(xué)習(xí)了其他模態(tài)的特征。

1.4 處理缺失的數(shù)據(jù)

在實(shí)際應(yīng)用中可能發(fā)生一部分模態(tài)數(shù)據(jù)缺失的情況，例如：某個(gè)無線傳感器可能斷開連接，導(dǎo)致一段時(shí)間內(nèi)該模態(tài)數(shù)據(jù)缺失。融合層通過調(diào)節(jié)概率p能夠?qū)崿F(xiàn)對缺失數(shù)據(jù)的魯棒性。設(shè)u=[u1,u2,…,um]T為一個(gè)二值向量，表示對應(yīng)模態(tài)數(shù)據(jù)是否存在：

(6)

(7)

1.5 正則化分析

(8)

式中：Bi表示二項(xiàng)式分布；pk為傳到下一層的成功率。

隨機(jī)變量的二項(xiàng)分布等價(jià)于貝努利分布，因此這個(gè)過程等價(jià)于對神經(jīng)網(wǎng)絡(luò)的隨機(jī)失活(dropout)[10]處理，輸出向量每個(gè)值的失活概率為(1-pk)，基于失活的正則化處理可防止過擬合。雖然結(jié)合層的設(shè)計(jì)初衷是選擇合適的模態(tài)進(jìn)行融合，但也能夠防止訓(xùn)練階段的學(xué)習(xí)過程出現(xiàn)過擬合的情況。

2 多神經(jīng)網(wǎng)絡(luò)的剪枝方法

通過剪枝冗余的特征減少最終深度神經(jīng)網(wǎng)絡(luò)模型的特征量，縮小網(wǎng)絡(luò)規(guī)模。

2.1 卷積特征聚類和剪枝

(9)

2.2 冗余濾波器剪枝

算法1冗余卷積特征的剪枝算法

1.FOREACH層lIN訓(xùn)練模型DO

2.讀取W(l)的卷積特征；

3.調(diào)節(jié)參數(shù)τ；

4.(Lf,nf)=representation_feature(W(l),τ)；

//提取代表濾波

5.k=0；

6.FORiINLfDO

7.W(l)的第i列拷貝到W′(l)中；

//初始化剪枝的模型

8.k++；

9.ENDFOR

10.初始化W′(l)的權(quán)重；

11.微調(diào)剪枝的網(wǎng)絡(luò)模型；

算法2representation_feature函數(shù)

輸入：W,τ。

輸出：Lf,nf。

1.遍歷W的向量，將相似性大于τ的向量分類。

2.從每個(gè)分類中隨機(jī)采樣一個(gè)代表特征。

3.返回代表特征的序號列表Lf和分類數(shù)量nf。

圖2為描述剪枝處理和不剪枝處理差異的示意圖。原網(wǎng)絡(luò)共有5個(gè)濾波，每個(gè)濾波對應(yīng)核矩陣W(l)的一列。濾波和三維輸入圖像Zl卷積獲得5個(gè)特征圖Zl+1。通過核矩陣W(l+1)將特征圖Zl+1連接到l+2層，設(shè)W(l)的列分成3類{1,3,5}、{2}、{4}，濾波1、3、5之間的相似性大于τ。調(diào)用算法2獲得的索引列表為{1,2,4}，nf=3，濾波3和濾波4標(biāo)注為冗余濾波。剪枝處理在Zl+1中將濾波3和濾波4及其他對應(yīng)的特征圖剪枝，同時(shí)刪除下一個(gè)卷積層的特征圖權(quán)重。

圖2 剪枝處理和不剪枝處理的差異圖

3 多模態(tài)特征融合的超參數(shù)學(xué)習(xí)

深度神經(jīng)網(wǎng)絡(luò)包含隨機(jī)失活處理和修正線性單元處理導(dǎo)致模型非線性且不平滑，所以一般采用群體智能和模擬退火等算法對網(wǎng)絡(luò)超參數(shù)進(jìn)行優(yōu)化，但這些算法的尋優(yōu)質(zhì)量不佳。本文設(shè)計(jì)一種動(dòng)態(tài)編碼搜索算法的深度神經(jīng)網(wǎng)絡(luò)超參數(shù)高效率優(yōu)化算法。

3.1 深度神經(jīng)網(wǎng)絡(luò)的超參數(shù)優(yōu)化問題

將深度神經(jīng)網(wǎng)絡(luò)超參數(shù)優(yōu)化視為一個(gè)黑盒誤差函數(shù)f的全局優(yōu)化問題，優(yōu)化f的問題定義為：

(10)

式中：Ztrain和Zval分別表示訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集；θ為學(xué)習(xí)參數(shù)，通過最小化訓(xùn)練誤差來學(xué)習(xí)θ；x為一個(gè)超參數(shù)集。

深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)的超參數(shù)包括學(xué)習(xí)率、損失函數(shù)、最小批大小、迭代次數(shù)和動(dòng)量。神經(jīng)元相關(guān)的超參數(shù)決定了每層的大小和非線性變換的方式，具體包括隱層單元數(shù)量、權(quán)重衰減、激活稀疏性、非線性、權(quán)重初始化、隨機(jī)種子和預(yù)處理輸入數(shù)據(jù)方式等。

3.2 動(dòng)態(tài)編碼搜索算法(Dynamic Encoding Searching,DES)

DES[11]能夠快速地搜索成本函數(shù)的全局最優(yōu)值，分為局部搜索和全局搜索兩個(gè)階段。局部搜索負(fù)責(zé)開發(fā)局部區(qū)域，包括二分查找(Binary Search,BS)和單向搜索(Unidirectional Search,US)兩個(gè)步驟。全局搜索負(fù)責(zé)搜索全局的最優(yōu)區(qū)域，采用多起點(diǎn)方法實(shí)現(xiàn)。

(1)局部搜索階段。DES局部搜索階段包括BS和US兩個(gè)步驟，BS在任意二進(jìn)制數(shù)的最低有效位(Least Significant Bit,LSB)右側(cè)增加0或1，使對應(yīng)的實(shí)數(shù)值分別減小或增大。

(11)

式中：bi∈{0,1},i=1,2,…,m。解碼函數(shù)存在以下關(guān)系：

(12)

如果sp全為0，那么左側(cè)相等；如果sp全為1，那么右側(cè)相等。超參數(shù)優(yōu)化程序采用以下的無偏二進(jìn)制解碼函數(shù)：

(13)

BS函數(shù)處理x1之后，沿著最優(yōu)方向dopt重復(fù)運(yùn)行US函數(shù)，直至解的質(zhì)量不再提高。如果dopt為0，則產(chǎn)生相鄰數(shù)值s′=s*-1；如果dopt為1，則s′=s*+1。US函數(shù)程序獲得最優(yōu)的行s*，將s*保存于最優(yōu)矩陣D*的第一行。然后BS開始x2方向的局部搜索，最終完成對所有行的搜索，最優(yōu)矩陣D*變?yōu)橐粋€(gè)矩形矩陣。

算法3局部搜索算法

//解碼初始化矩陣

2.FOREACHi=1TOnDO

3. BS(B*)；

//二分查找

4. US(B*)；

//單向編碼搜索

5.ENDFOR

/*BS(B*)函數(shù)*/

6.r1×k=B*(i,1:k)；

//讀取當(dāng)前最優(yōu)矩陣的第i行

7.FOREACHj=0TO1DO

8.θj←θ*；

//讀取當(dāng)且最優(yōu)的參數(shù)向量

//第i行向量加一個(gè)二進(jìn)制比特j；

//更新解碼的參數(shù)；

11.Jj=f(θj)；

//評估新參數(shù)向量的成本；

12.ENDFOR

13.J*=min(J0,J1)；

//選擇更小的成本函數(shù)；

14.IFJ*==J0THEN

15.dopt=0,s*=s0,θ*=θ0；

16.ELSE

17.dopt=1,s*=s1,θ*=θ1；

18.ENDIF

/*US(B*)函數(shù)*/

19.WHILE不滿足迭代結(jié)束調(diào)節(jié)DO

20.θ′←θ*；

21.IFdopt==0THEN

22.s′=s*-1；

23.ELSE

24.s′=s*+1；

25.ENDIF

26. 采用第i個(gè)參數(shù)更新參數(shù)向量；

27.θ′(i)=fd(s′)；

28.J=f(θ′)；

//評估新參數(shù)向量的成本；

29.IFJ

30.s*←s′，J*←J；

31.ELSE

32.RETURN；

33.ENDIF

34.ENDWHILE

(2)基于多起點(diǎn)的全局搜索階段。搜索空間分為連續(xù)逐漸縮小的網(wǎng)格，根據(jù)成本函數(shù)的形狀自動(dòng)決定搜索路徑。因?yàn)椴煌跏蓟仃嚨乃阉髀窂娇赡茉谝粋€(gè)子矩陣出現(xiàn)重復(fù)，導(dǎo)致重復(fù)計(jì)算，為此創(chuàng)建一個(gè)查找表，為二進(jìn)制矩陣在表中產(chǎn)生一條記錄，通過比較記錄來避免重復(fù)搜索。DES通過檢查LENTH_T和COST_T兩個(gè)參數(shù)跳出局部最小。如果當(dāng)前最優(yōu)矩陣的行長度等于LENTH_T，且成本大于COST_T，則停止搜索，隨機(jī)選擇一個(gè)新起點(diǎn)重新搜索。本文將LENTH_T設(shè)為矩陣最小的行長度，COST_T設(shè)為局部最優(yōu)和局部次優(yōu)值的中位數(shù)。

(3)基于DES的超參數(shù)優(yōu)化方法。圖3為超參數(shù)優(yōu)化方法的流程圖。第一步，預(yù)處理步驟確定并初始化神經(jīng)網(wǎng)絡(luò)的超參數(shù)，例如：批大小、epochs數(shù)量、學(xué)習(xí)率等。該步驟也需要確定深度神經(jīng)網(wǎng)絡(luò)的類型，包括卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、對抗神經(jīng)網(wǎng)絡(luò)、自編碼器等。第二步，使用初始化值訓(xùn)練超參數(shù)，更新DES的成本函數(shù)。第三步，采用更新的成本函數(shù)再次運(yùn)行DES獲得新的超參數(shù)，采用新的超參數(shù)重新初始化和訓(xùn)練神經(jīng)網(wǎng)絡(luò)，經(jīng)過DES的若干次迭代處理，獲得最小化網(wǎng)絡(luò)成本的最優(yōu)超參數(shù)。

圖3 DES優(yōu)化超參數(shù)的流程框圖

4 仿真實(shí)驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為CPU Intel Core i7-6700，主頻為3.4 GHz，內(nèi)存為64 GB，操作系統(tǒng)為64位Ubuntu 14.04。采用經(jīng)典的MNIST數(shù)據(jù)集單獨(dú)測試本方案每個(gè)機(jī)制的有效性，數(shù)據(jù)集包含60 000幅訓(xùn)練圖像和10 000幅測試圖像，圖像大小均為28×28像素。

4.2 特征剪枝實(shí)驗(yàn)

(a)1個(gè)隱層的實(shí)驗(yàn)

4.3 DES的超參數(shù)優(yōu)化實(shí)驗(yàn)

為了評估本文超參數(shù)優(yōu)化機(jī)制DES的效果，將其與模擬退火[13]、遺傳算法[14]、粒子群優(yōu)化算法[15]等經(jīng)典優(yōu)化方法比較。采用圖5(a)所示的卷積神經(jīng)網(wǎng)絡(luò)模型，將分類精度的倒數(shù)作為成本函數(shù)。圖5(b)是4個(gè)優(yōu)化算法的收斂曲線，模擬退火算法在第8次迭代的成本為1.011 43，遺傳算法在第23次迭代的最小成本為1.012 65，粒子群算法在第233次迭代的最小成本為1.011 071，本文算法在第263次搜索的最小成本值為1.008 98。本文算法實(shí)現(xiàn)最低的最小成本，卷積層神經(jīng)元數(shù)量為64，全連接層的神經(jīng)元數(shù)量為512，學(xué)習(xí)率為10-3，p=0.5。

(a)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

4.4 兩個(gè)模態(tài)的融合實(shí)驗(yàn)

將MNIST的每個(gè)圖像剪裁為左右兩半，圖6是兩個(gè)模態(tài)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，采用4.3節(jié)的超參數(shù)，圖中輸入是數(shù)字“4”剪裁為左右兩半的實(shí)例。設(shè)置兩個(gè)卷積層，直接集成法直接聚合全連接層的結(jié)果，傳遞至Softmax層。本文融合方法對兩個(gè)全連接層的結(jié)果進(jìn)行融合，再傳遞至Softmax層。

(a)融合方案 (b)直接集成

使用60 000個(gè)雙模態(tài)樣本訓(xùn)練網(wǎng)絡(luò)模型，測試了10 000個(gè)測試樣本的分類錯(cuò)誤率，分別測試了完整圖像、左半邊圖像缺失和右半邊圖像缺失的情況，缺失的半邊圖像替換為全零的數(shù)據(jù)。表1為實(shí)驗(yàn)結(jié)果，可看出本文融合方法在完整圖像的情況下實(shí)現(xiàn)微小的提高，在缺失半邊圖像的情況下則實(shí)現(xiàn)了大幅度的提高。

表1 MNIST數(shù)據(jù)集的平均分類錯(cuò)誤率 %

4.5 對比實(shí)驗(yàn)分析

(1)實(shí)驗(yàn)數(shù)據(jù)集。OPPORTUNITY[16]是一個(gè)多個(gè)模態(tài)的動(dòng)作識(shí)別數(shù)據(jù)集，數(shù)據(jù)集由5個(gè)自由動(dòng)作序列和1個(gè)受限動(dòng)作序列組成，所有數(shù)據(jù)的采樣頻率為30 Hz。本文構(gòu)建運(yùn)動(dòng)模式識(shí)別和手勢識(shí)別兩組實(shí)驗(yàn)，運(yùn)動(dòng)模式分為4個(gè)類，即站立、行走、坐和躺，手勢分為17個(gè)類，即開洗碗機(jī)、關(guān)洗碗機(jī)、開吹風(fēng)機(jī)1、開吹風(fēng)機(jī)2、開吹風(fēng)機(jī)3、關(guān)吹風(fēng)機(jī)1、關(guān)吹風(fēng)機(jī)2、關(guān)吹風(fēng)機(jī)3、開冰箱、關(guān)冰箱、開門1、開門2、關(guān)門1、關(guān)門2、移動(dòng)杯子、清潔桌子、其他。

人物1和人物2的數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集，人物3的數(shù)據(jù)集作為測試數(shù)據(jù)集。將所有的采樣數(shù)據(jù)歸一化到[-1,1]。滑動(dòng)窗口設(shè)為500 ms，測試數(shù)據(jù)的步長設(shè)為250 ms，訓(xùn)練數(shù)據(jù)的步長設(shè)為33.3 ms。

(2)性能評價(jià)指標(biāo)。采用F1評價(jià)分類的性能，定義為：

(14)

式中：ni為第i個(gè)類的數(shù)據(jù)量；n為總數(shù)據(jù)量；prei為第i個(gè)類的準(zhǔn)確率；reci為第i個(gè)類的召回率。(ni/n)項(xiàng)能夠平衡偏態(tài)分布的分類。

(3)對比算法。目前深度神經(jīng)網(wǎng)絡(luò)多模態(tài)融合技術(shù)依然較少，選擇3個(gè)優(yōu)質(zhì)的多模態(tài)技術(shù)與本文方法作比較。MPC[17]是一種專門為卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的多模態(tài)分類算法，該算法主要對池化層進(jìn)行線性融合，但無法擴(kuò)展到其他的神經(jīng)網(wǎng)絡(luò)模型。MDLAR[18]是一種專門為動(dòng)作識(shí)別設(shè)計(jì)的多模態(tài)受限玻爾茲曼機(jī)模型，該模型對動(dòng)作識(shí)別的性能較好。MDL-CW[19]是一種基于權(quán)值的跨模態(tài)深度神經(jīng)網(wǎng)絡(luò)融合算法，通過多個(gè)階段的預(yù)訓(xùn)練迭代調(diào)節(jié)每個(gè)模態(tài)的權(quán)值。其中兩個(gè)方案都提供了卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)方案，因此將本文方法和卷積神經(jīng)網(wǎng)絡(luò)集成。

(4)網(wǎng)絡(luò)模型。本文多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

圖7 本文方法和卷積神經(jīng)網(wǎng)絡(luò)的集成結(jié)構(gòu)

(5)實(shí)驗(yàn)結(jié)果和分析。圖8為4個(gè)多模態(tài)神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果。MPC主要對池化層進(jìn)行線性融合，對多模態(tài)之間的非線性擬合能力不足，因此其總體分類性能較低。MDL-CW是一種基于權(quán)值的跨模態(tài)深度神經(jīng)網(wǎng)絡(luò)融合算法，通過多個(gè)階段的預(yù)訓(xùn)練迭代調(diào)節(jié)每個(gè)模態(tài)的權(quán)值，基于權(quán)值融合的方法在特征量少的情況下難以實(shí)現(xiàn)理想的學(xué)習(xí)效果，而在特征量大的情況下容易出現(xiàn)過擬合，其總體分類性能也較低。MDLAR和本文方法的性能明顯好于另外兩個(gè)算法，MDLAR通過對多模態(tài)玻爾茲曼機(jī)的非線性融合，對多模態(tài)特征的學(xué)習(xí)能力較強(qiáng)，并且該模型對動(dòng)作識(shí)別問題制定了專門的超參數(shù)學(xué)習(xí)機(jī)制，實(shí)現(xiàn)理想的性能。本文方法通過多模態(tài)特征融合和特征剪枝處理，不僅有效地實(shí)現(xiàn)了非線性特征學(xué)習(xí)，而且也避免過擬合問題，最終實(shí)現(xiàn)了最佳的分類性能。

(a)運(yùn)動(dòng)模式分類實(shí)驗(yàn)

5 結(jié) 語

為了解決深度神經(jīng)網(wǎng)絡(luò)的多模態(tài)特征融合和分類問題，本文設(shè)計(jì)基于深度神經(jīng)網(wǎng)絡(luò)的多模態(tài)特征自適應(yīng)聚類方法。該方法能夠兼容不同的深度學(xué)習(xí)網(wǎng)絡(luò)，分別與多層感知機(jī)和卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行集成實(shí)驗(yàn)，實(shí)現(xiàn)穩(wěn)定的性能。本文方法考慮跨模式的特征相關(guān)性，學(xué)習(xí)程序通過正則化處理防止過擬合，對于數(shù)據(jù)缺失也具有魯棒性。

因?yàn)楸疚姆椒ㄐ枰獙⒍鄠€(gè)深度神經(jīng)網(wǎng)絡(luò)融合，因此超參數(shù)的學(xué)習(xí)是一個(gè)難題，本文設(shè)計(jì)的動(dòng)態(tài)編碼搜索策略能夠提高神經(jīng)網(wǎng)絡(luò)的優(yōu)化效果，但對于大量的模態(tài)融合問題，還存在計(jì)算時(shí)間過長的問題。未來將關(guān)注于對多個(gè)神經(jīng)網(wǎng)絡(luò)的超參數(shù)進(jìn)行聯(lián)合優(yōu)化，以期提高模型的學(xué)習(xí)效率。