李 琦，謝 珺，張 喆，董俊杰，續(xù)欣瑩

（1.太原理工大學(xué)信息與計(jì)算機(jī)學(xué)院，山西晉中030600；2.太原理工大學(xué)電氣與動(dòng)力工程學(xué)院，太原030024）

0 概述

機(jī)器學(xué)習(xí)是使計(jì)算機(jī)模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為從而獲取新知識或技能的一種途徑。人們在生活中的感知是多元的，識別一個(gè)物體不僅依靠視覺，還可以通過觸覺、嗅覺、聽覺等形式進(jìn)行感知。任何感知能力的缺失都會(huì)造成生活能力減退。因此，在研究物體分類時(shí)，不僅可以依賴圖像的視覺信息，還可以采集其真實(shí)的其他模態(tài)信息，通過多模態(tài)融合來為計(jì)算機(jī)提供更豐富的物體特征，使計(jì)算機(jī)充分感知物體信息，從而更好地實(shí)現(xiàn)物體識別與分類。例如，在物體材質(zhì)分類研究中，由于不同材質(zhì)的物體可能有相同的形狀以及相似的紋理，在光照等因素的影響下，單純依靠視覺信息可能無法對其進(jìn)行有效分類，需要將不同模態(tài)的信息進(jìn)行融合以實(shí)現(xiàn)物體識別與分類。

在多模態(tài)信息融合方面，研究者提出了較多方法。文獻(xiàn)［1］以物體觸覺加速度信號和相應(yīng)的表面紋理圖像為輸入處理表面材料分類問題，有效地提高了分類精度。文獻(xiàn)［2］研究表明，不同模態(tài)的特征對材料分類的性能具有不同的影響。文獻(xiàn)［3］提出一種基于稀疏表示的多模態(tài)生物特征識別算法。文獻(xiàn)［4］將視覺特征和觸覺特征相融合以研究步態(tài)識別問題。文獻(xiàn)［5］對RGB-D 信息進(jìn)行融合分類研究。文獻(xiàn)［6］從不同的應(yīng)用領(lǐng)域介紹多模態(tài)的研究現(xiàn)狀。盡管上述研究取得了一定成果，但是如何將不同的模態(tài)信息進(jìn)行有效融合仍具有較高難度。文獻(xiàn)［7］建立一種新的投影字典學(xué)習(xí)框架，通過引入一個(gè)潛在的配對矩陣，同時(shí)實(shí)現(xiàn)了字典學(xué)習(xí)和配對矩陣估計(jì)，從而提高融合效果。文獻(xiàn)［8］設(shè)計(jì)一個(gè)字典學(xué)習(xí)模型，該模型可以同時(shí)學(xué)習(xí)不同度量下的投影子空間和潛在公共字典。在多模態(tài)融合框架的研究中，分類器選擇也是一個(gè)重點(diǎn)環(huán)節(jié)。

近年來，卷積神經(jīng)網(wǎng)絡(luò)（Conrolutional Neural Networks，CNN）在圖像識別分類領(lǐng)域取得了較多成果。從最早的LeNet 到AlexNet、Overfeat、VGG、GoogLeNet、ResNet 以及DenseNet，網(wǎng)絡(luò)越來越深，架構(gòu)越來越復(fù)雜，雖然分類精度大幅提升，但是模型中的參數(shù)也成倍增加，對計(jì)算機(jī)內(nèi)存的要求也越來越高［9-11］。文獻(xiàn)［12］在極限學(xué)習(xí)機(jī)（Extreme Learing Machine，ELM）的基礎(chǔ)上引入局部感受野的概念，提出基于局部感受野的極限學(xué)習(xí)機(jī)（ELM-LRF）［13］。ELM-LRF 可以實(shí)現(xiàn)輸入層與隱含層的局部連接，不僅能夠發(fā)揮局部感受野的局部感知優(yōu)勢，還繼承了ELM 學(xué)習(xí)速率快、泛化性能高的優(yōu)點(diǎn)［14-15］，在保證分類性能的同時(shí)，模型參數(shù)和訓(xùn)練時(shí)間均較CNN 大幅減小。但ELM-LRF 算法中局部感受野采用單一尺度的卷積核，對復(fù)雜圖像難以取得較好的分類效果。文獻(xiàn)［16］提出多尺度局部感受野的極限學(xué)習(xí)機(jī)算法（ELM-MSLRF），ELM-MSLRF 通過多個(gè)不同尺度的卷積核更充分地提取圖像信息，使得分類效果更好。文獻(xiàn)［17］在ELM-MSLRF 的基礎(chǔ)上進(jìn)行改進(jìn)，構(gòu)建一種多模態(tài)融合框架，算法通過將物體材質(zhì)視覺和觸覺信息進(jìn)行融合，大幅提高了分類性能。但是，ELM-MSLRF 使用的ELM 在訓(xùn)練數(shù)據(jù)時(shí)需要將所有數(shù)據(jù)輸入到模型中，不能單純地更新數(shù)據(jù)。在線序列極限學(xué)習(xí)機(jī)（Online Sequence Extreme Learning Machine，OSELM）［18-19］可以逐個(gè)或逐塊（數(shù)據(jù)塊）學(xué)習(xí)數(shù)據(jù)，因此，可以采用OSELM 用于在線學(xué)習(xí)和網(wǎng)絡(luò)更新。OSELM 不僅具有ELM 速度快、泛化能力強(qiáng)的優(yōu)點(diǎn)，還可以隨著新數(shù)據(jù)的輸入而不斷更新模型，無需重新再訓(xùn)練所有數(shù)據(jù)。

本文針對傳統(tǒng)多模態(tài)框架ELM 在訓(xùn)練過程中需要輸入所有數(shù)據(jù)的問題，提出一種多模態(tài)融合的多尺度局部感受野在線序列極限學(xué)習(xí)機(jī)算法。在訓(xùn)練過程中，對樣本分批次地進(jìn)行增量式訓(xùn)練，且訓(xùn)練新數(shù)據(jù)時(shí)不再訓(xùn)練舊數(shù)據(jù)。在特征提取過程中，對傳統(tǒng)的ELM 框架進(jìn)行改進(jìn)，通過保留更多的特征圖來提高算法的學(xué)習(xí)性能，從而提高分類精度。

1 在線序列極限學(xué)習(xí)機(jī)

OSELM 由LIANG 等［18］于2006年提出，該算法主要解決極限學(xué)習(xí)機(jī)無法實(shí)時(shí)動(dòng)態(tài)地處理數(shù)據(jù)而花費(fèi)時(shí)間過長的問題。OSELM 可以逐個(gè)或者逐塊地學(xué)習(xí)，并丟棄已經(jīng)完成訓(xùn)練的數(shù)據(jù)，從而大幅縮短訓(xùn)練所需時(shí)間。OSELM 的訓(xùn)練過程主要分成初始階段和在線學(xué)習(xí)階段兩部分。

1）初始階段

2）在線學(xué)習(xí)階段

令g表示數(shù)據(jù)塊個(gè)數(shù)，設(shè)定初始值g=0。通過數(shù)據(jù)塊對網(wǎng)絡(luò)的輸出權(quán)重進(jìn)行順序更新。假設(shè)當(dāng)前已有g(shù)個(gè)數(shù)據(jù)塊輸入到模型中，當(dāng)加入新的訓(xùn)練數(shù)據(jù)塊時(shí)，輸出權(quán)重如式（3）所示［18］：

2 極限學(xué)習(xí)機(jī)多模態(tài)融合算法

基于多尺度局部感受野的極限學(xué)習(xí)機(jī)多模態(tài)融合算法（MM-MSLRF-ELM）于2018年由LIU 等提出，是一種通過多模態(tài)融合進(jìn)行物體材質(zhì)識別的算法［17］。該算法不僅可以通過融合多模態(tài)信息完成分類任務(wù)，而且在提取模態(tài)信息的過程中采用了多尺度局部感受野，使算法可以學(xué)習(xí)到更完備的特征。MM-MSLRF-ELM 算法具體步驟如下：

步驟1對每種模態(tài)樣本隨機(jī)生成初始權(quán)重并進(jìn)行正交。

設(shè)局部感受野有S個(gè)不同的尺度，每個(gè)尺度局部感受野的大小為rs×rs，s=1,2,…，S。每個(gè)尺度下生成K個(gè)不同的輸入權(quán)重，即每個(gè)尺度下可生成K個(gè)不同的特征圖。設(shè)輸入圖像的大小為(d×d)，則第s個(gè)尺度的特征圖大小為(d-rs+1)×(d-rs+1)。

為了方便起見，使用上標(biāo)v 和h 分別表示視覺和觸覺模態(tài)。由式（4）隨機(jī)生成第s個(gè)尺度的初始視覺和觸覺權(quán)重矩陣，并通過奇異值分解（Singular Value Decomposition，SVD）進(jìn)行正交化，正交化結(jié)果中的每一列和都是的正交基。

步驟2多尺度特征映射。

每種模態(tài)第s個(gè)尺度的第k個(gè)特征圖卷積節(jié)點(diǎn)(i,j)的值根據(jù)式（5）計(jì)算，其中，Xv、Xh分別為不同模態(tài)的輸入樣本，不同模態(tài)第s個(gè)尺度的第k個(gè)特征圖的輸入權(quán)重分別由和逐列排成。

步驟3多尺度平方根池化。

在步驟2 之后，對卷積特征進(jìn)行池化操作，令池化圖的大小與特征圖的大小相同，均為（d-rs+1）×（d-rs+1）。第s個(gè)尺度的第k個(gè)池化圖中的組合節(jié)點(diǎn)（p,q）的值可由式（6）計(jì)算，其中，es表示第s個(gè)尺度的池化大小。

若節(jié)點(diǎn)（i，j）不在（d-rs+1）范圍內(nèi)，則。

步驟4對每種模態(tài)特征進(jìn)行全連接得到對應(yīng)每種模態(tài)的特征組合矩陣。

將每種模態(tài)所有組合節(jié)點(diǎn)的值組合成一個(gè)行向量，并把N個(gè)輸入樣本的行向量放在一起得到組合矩陣。

步驟5多模態(tài)融合。

其中：P表示模態(tài)數(shù)量；手動(dòng)設(shè)定d′的取值范圍為1≤。

步驟6混合矩陣的卷積和池化。

此步驟的特征提取過程與步驟2、步驟3 相同，此處特征圖及池化圖的大小變?yōu)?d′-rs′+1)×(d″-rs′+1)?；旌暇W(wǎng)絡(luò)中設(shè)局部感受野有S′個(gè)不同的尺度，每個(gè)尺度局部感受野的大小為rs′×rs′，s′=1,2,…,S′。

步驟7混合網(wǎng)絡(luò)的特征全連接。

與步驟4 相似，將混合網(wǎng)絡(luò)所有組合節(jié)點(diǎn)的值組合成一個(gè)行向量，并把輸入樣本的所有行向量放在一起，得到組合矩陣。

步驟8計(jì)算輸出權(quán)重。

輸出權(quán)重β如式（8）所示：

其中：C為正則化參數(shù)；K′為混合網(wǎng)絡(luò)中的特征圖數(shù)量；T為樣本對應(yīng)的標(biāo)簽。

MM-MSLRF-ELM 算法在實(shí)驗(yàn)過程中還對輸入樣本進(jìn)行顏色R、G、B 分離。在對輸入樣本進(jìn)行顏色三通道分離后，在每個(gè)顏色通道設(shè)置S個(gè)尺度，且每個(gè)尺度生成K個(gè)隨機(jī)權(quán)重，整個(gè)網(wǎng)絡(luò)生成（3×S×K）個(gè)特征圖。但是，該算法在卷積生成特征圖的過程中又將3 個(gè)顏色通道對應(yīng)生成的特征圖進(jìn)行合并，實(shí)際后續(xù)用于池化操作的還是（S×K）個(gè)特征圖［20-21］。

3 本文算法

本文在MSLRF-OSELM［22］的基礎(chǔ)上，結(jié)合基于多尺度局部感受野的極限學(xué)習(xí)機(jī)多模態(tài)融合算法，提出一種多模態(tài)融合的多尺度局部感受野在線序列極限學(xué)習(xí)機(jī)算法（MM-MSLRF-OSELM）。該算法將保留單模態(tài)執(zhí)行過卷積操作生成的特征圖，并對實(shí)際生成的（3×S×K）個(gè)特征圖都進(jìn)行池化操作，最后完成特征矩陣全連接。

多模態(tài)融合通過提取物體在不同模態(tài)下的信息，然后進(jìn)行融合以用于物體識別和分類。該方法不僅利用多尺度局部感受野更充分地提取了特征，而且通過將不同模態(tài)下的特征進(jìn)行融合，大幅提高了算法的測試精度，此外還可在線更新訓(xùn)練數(shù)據(jù)，在實(shí)際問題中具有更大的適用性。MM-MSLRFOSELM 算法整體架構(gòu)如圖1所示，其包含（p+1）個(gè)MM-MSLRF-NET，每個(gè)MM-MSLRF-NET 包含多種模態(tài)信息，在線生成的塊數(shù)據(jù)集依次輸入相應(yīng)的網(wǎng)絡(luò)以更新輸出權(quán)重β。

MM-MSLRF-OSELM 算法具體步驟如下：

步驟1初始階段。

1）隨機(jī)生成并正交化每種模態(tài)的初始權(quán)重。

設(shè)輸入圖像大小為(d×d)，將輸入圖像分成R、G、B 3 個(gè)顏色分量并送入對應(yīng)的顏色通道中，每個(gè)顏色通道設(shè)置S個(gè)不同尺度的局部感受野，且在每個(gè)尺度下隨機(jī)生成K個(gè)不同的初始權(quán)重。因此，整個(gè)網(wǎng)絡(luò)可以生成3×S×K個(gè)特征圖。記第s個(gè)尺度的局部感受野大小為rs×rs，s=1,2,…,S，則第s個(gè)尺度的特征圖大小為(d-rs+1)×(d-rs+1)。

為了方便起見，使用上標(biāo)image、acceleration 分別表示視覺模態(tài)和觸覺加速度模態(tài)。根據(jù)式（9），網(wǎng)絡(luò)隨機(jī)生成c顏色通道中第s個(gè)尺度的視覺圖像與觸覺加速度模態(tài)的初始權(quán)重矩陣。對初始權(quán)重矩陣通過SVD 方法進(jìn)行正交化操作，得到正交矩陣。正交矩陣中的每一列都是初始權(quán)重矩陣的正交基。其中，c顏色通道中第s個(gè)尺度的第k個(gè)輸入權(quán)重為對 應(yīng) 于。

2）每種模態(tài)的多尺度特征映射。

視覺模態(tài)和觸覺加速度模態(tài)在c顏色通道中第s個(gè)尺度的第k個(gè)特征圖中卷積節(jié)點(diǎn)（i,j）值可由式（10）計(jì)算，其中，為不同模態(tài)樣本進(jìn)行R、G、B顏色三通道分離后對應(yīng)的向量。

3）每種模態(tài)的多尺度平方根池化。

視覺模態(tài)、觸覺加速度模態(tài)在c顏色通道中第s個(gè)尺度的第k個(gè)池化圖中組合節(jié)點(diǎn)（p,q）的池化特征計(jì)算如下：

若節(jié)點(diǎn)（i,j）不在（d-rs+1）范圍內(nèi)，則。

4）對每種模態(tài)進(jìn)行特征全連接。

將視覺模態(tài)和觸覺加速度模態(tài)輸入樣本對應(yīng)的組合節(jié)點(diǎn)值分別連接成行向量，并將N0個(gè)輸入樣本對應(yīng)的行向量進(jìn)行組合，得到2 種模態(tài)的組合特征向量矩陣。

5）模態(tài)融合。

將2 種模態(tài)的組合特征向量矩陣組合成1 個(gè)混合矩陣H=[Himage,Hacceleration]，混合矩陣大小為d′×d″，由式（7）得到。

6）多模態(tài)多尺度特征映射與平方根池化。

將2 種模態(tài)融合后得到的混合矩陣輸入到一個(gè)新的混合網(wǎng)絡(luò)，該網(wǎng)絡(luò)設(shè)有S′個(gè)尺度，每個(gè)尺度中產(chǎn)生K′個(gè)不同的輸入權(quán)重，則該網(wǎng)絡(luò)可以生成S′×K′個(gè)特征圖，記第s′個(gè)尺度的局部感受野大小為rs′×rs′，則第s′個(gè)尺度的第k′個(gè)特征圖的大小為(d′-rs′+1)×(d″-rs′+1)。該網(wǎng)絡(luò)的特征映射及平方根池化過程與第1 步～第3 步相似。

7）多模態(tài)特征向量全連接。

此時(shí)的特征全連接方法與第4 步相似，得到混合網(wǎng)絡(luò)的組合層矩陣。

步驟2在線學(xué)習(xí)階段。

1）設(shè)g=0，假設(shè)有Ng+1個(gè)新樣本進(jìn)入模型，該模型每個(gè)模態(tài)的特征提取以及特征全連接過程與步驟1 初始階段第2 步～第4 步相似，各步驟中的參數(shù)設(shè)置均相同。多模態(tài)融合及融合后的卷積、池化以及池化特征的全連接過程與步驟1 初始階段第5 步～第7 步相似，得到組合層矩陣。

3）令g=g+1，如果Ng+1是最后一個(gè)在線塊數(shù)據(jù)集樣本，則在線學(xué)習(xí)結(jié)束；否則，重復(fù)步驟2 在線學(xué)習(xí)階段的第1 步～第2 步，直到數(shù)據(jù)集是在線訓(xùn)練數(shù)據(jù)集的最后一個(gè)塊數(shù)據(jù)集。最終根據(jù)式（13）更新輸出權(quán)重：

4 實(shí)驗(yàn)驗(yàn)證

4.1 數(shù)據(jù)集

為了驗(yàn)證本文所提算法（MM-MSLRF-OSELM）的有效性，在TUM 觸覺紋理數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。TUM 觸覺紋理數(shù)據(jù)集是一個(gè)新型的多模態(tài)數(shù)據(jù)集，包含108 種不同物體的觸覺加速度、摩擦力、金屬檢測信號、反射率、聲音和視覺圖像信號，且TUM 觸覺紋理數(shù)據(jù)集每種信號均包含2 組數(shù)據(jù)（有約束條件下記錄的數(shù)據(jù)和無約束條件下的數(shù)據(jù)），數(shù)據(jù)是由10 個(gè)自由手（5 個(gè)線性和5 個(gè)圓形運(yùn)動(dòng)）記錄組成。本文重組2 組數(shù)據(jù)并隨機(jī)從每組每個(gè)類別中選擇一個(gè)樣本作為測試集，其他數(shù)據(jù)作為訓(xùn)練集。每個(gè)模態(tài)設(shè)置（108×2）個(gè)測試樣本和（108×18）個(gè)訓(xùn)練樣本，并將（108×18）個(gè)靜態(tài)訓(xùn)練樣本轉(zhuǎn)化為動(dòng)態(tài)增量訓(xùn)練樣本以訓(xùn)練在線網(wǎng)絡(luò)。

4.2 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)主要選取TUM 數(shù)據(jù)集中的視覺圖像信號和觸覺加速度信號，輸入樣本預(yù)處理過程參考文獻(xiàn)［17］。在實(shí)驗(yàn)中，分別通過單模態(tài)實(shí)驗(yàn)和兩模態(tài)融合實(shí)驗(yàn)來驗(yàn)證算法的性能，具體實(shí)驗(yàn)設(shè)置如下：

1）單模態(tài)實(shí)驗(yàn)。將處理后得到的視覺圖像和觸覺加速度頻譜圖作為輸入樣本進(jìn)行實(shí)驗(yàn)，本文局部感受野選擇2 個(gè)不同的尺度，且每個(gè)尺度通道設(shè)置2 個(gè)特征圖，為了驗(yàn)證塊數(shù)據(jù)集大小對實(shí)驗(yàn)結(jié)果的影響以及本文算法是否可以使用新數(shù)據(jù)更新訓(xùn)練網(wǎng)絡(luò)，設(shè)置數(shù)據(jù)塊大小分別為162、243、486，具體設(shè)置如表1所示。

表1 單模態(tài)實(shí)驗(yàn)參數(shù)設(shè)置Table 1 Parameters setting of single-modal experiment

2）兩模態(tài)融合實(shí)驗(yàn)。本文通過將視覺模態(tài)和觸覺加速度模態(tài)特征進(jìn)行融合，形成混合網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)以驗(yàn)證模態(tài)融合的有效性。在對每種模態(tài)分別提取特征時(shí)，本文采用2 個(gè)不同尺度的局部感受野，感受野大小與單模態(tài)實(shí)驗(yàn)中的感受野大小相同?？紤]計(jì)算機(jī)的內(nèi)存問題，兩模態(tài)融合后得到的混合網(wǎng)絡(luò)進(jìn)行特征提取時(shí)也選擇2 個(gè)不同尺度的局部感受野，每個(gè)尺度通道的特征圖數(shù)量均設(shè)置為2。本文設(shè)置3 組2 個(gè)尺度的局部感受野，分別為{83,86}、{93,96}、{103,106}，然后進(jìn)行實(shí)驗(yàn)以觀察局部感受野大小對測試精度的影響。在實(shí)驗(yàn)過程中，設(shè)置塊數(shù)據(jù)集大小為486，正則化參數(shù)C=1E-6。具體參數(shù)設(shè)置如表2所示。

表2 兩模態(tài)融合實(shí)驗(yàn)參數(shù)設(shè)置Table 2 Parameters setting of two-modal fusion experiment

4.3 算法有效性驗(yàn)證

在2 個(gè)不同尺度局部感受野的情況下，本文采用十折交叉驗(yàn)證統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果。單模態(tài)實(shí)驗(yàn)中分批訓(xùn)練數(shù)據(jù)塊大小對實(shí)驗(yàn)結(jié)果的影響如表3 和表4所示。由表3 和表4 可以看出，塊數(shù)據(jù)集越大，即訓(xùn)練樣本越多，訓(xùn)練精度越高，整體訓(xùn)練時(shí)間越快，相對應(yīng)的測試精度隨著訓(xùn)練精度的不同也有所變化，由于測試數(shù)據(jù)大小無變化，因此測試時(shí)間幾乎無變化。

表3 數(shù)據(jù)塊大小不同時(shí)不同模態(tài)的訓(xùn)練精度及訓(xùn)練時(shí)間Table 3 Training accuracy and training time of different modes corresponding to data block size

兩模態(tài)融合實(shí)驗(yàn)結(jié)果如表5所示，由表5 可以看出，局部感受野大小對測試結(jié)果有明顯影響，局部感受野越小，分類精度越高，局部感受野由小到大對應(yīng)的測試精度分別為65.89%、59.63%、48.01%。通過對比表4 和表5 可以看出，兩模態(tài)融合的分類精度遠(yuǎn)高于單模態(tài)，驗(yàn)證了模態(tài)融合的優(yōu)勢以及可行性。

表4 數(shù)據(jù)塊大小不同時(shí)不同模態(tài)的測試精度及測試時(shí)間Table 4 Testing accuracy and testing time of different modes corresponding to data block size

表5 融合網(wǎng)絡(luò)中不同局部感受野時(shí)的測試精度及測試時(shí)間Table 5 Testing accuracy and testing time of different local receptive field sizes in fusion network

為了更好地說明本文算法的有效性，將本文算法與MM-MSLRF-ELM［17］算法進(jìn)行對比，結(jié)果如表6所示，單模態(tài)實(shí)驗(yàn)時(shí)兩種對比算法的參數(shù)設(shè)置相同，MM-MSLRF-OSELM 算法的測試精度在2 種模態(tài)下均高于MM-MSLRF-ELM 算法，同時(shí)時(shí)間消耗也都接近MM-MSLRF-ELM 算法的3 倍。因?yàn)楸疚膶?shí)驗(yàn)的時(shí)間單位為s，所以3 倍的時(shí)間換算法測試精度10%的提升（視覺圖像）是值得的。在兩模態(tài)融合的對比實(shí)驗(yàn)中，由表6 可以觀察到，雖然MM-MSLRFOSELM 的測試精度高于MM-MSLRF-ELM，但是提高幅度較低，這是由于局部感受野大小設(shè)置的原因，具體分析如下：

表6 不同模態(tài)時(shí)的測試精度與測試時(shí)間Table 6 Testing accuracy and testing time in different modals

在模態(tài)融合網(wǎng)絡(luò)局部感受野同樣設(shè)置為2 個(gè)尺度且大小分別為83×83和86×86時(shí)，MM-MSLRF-ELM兩模態(tài)融合后的矩陣大小行小于本文設(shè)置的局部感受野大小，實(shí)驗(yàn)結(jié)果不可取。因此，本文對MM-MSLRF-ELM 算法仿真時(shí)模態(tài)融合網(wǎng)絡(luò)局部感受野2 個(gè)尺度大小的設(shè)置分別為5×5 和7×7，該感受野大小遠(yuǎn)小于本文算法仿真局部感受野的大小。從表5可以看出，局部感受野越小，分類精度越高，且分類精度變化明顯。因此，本文的MM-MSLRF-OSELM 在計(jì)算機(jī)內(nèi)存滿足的情況下精度提升空間很大，其具有可行性。雖然無論單模態(tài)實(shí)驗(yàn)還是模態(tài)融合實(shí)驗(yàn)，MM-MSLRF-OSELM耗時(shí)都比MM-MSLRF-ELM長，但精度明顯提高，因此，MM-MSLRF-OSELM 具有一定優(yōu)勢。

5 結(jié)束語

本文提出一種MM-MSLRF-OSELM 算法，選用TUM 數(shù)據(jù)集中的視覺圖像和觸覺加速度信息進(jìn)行實(shí)驗(yàn)，通過實(shí)驗(yàn)證明兩模態(tài)融合后的分類精度明顯高于單模態(tài)的分類精度，且通過與MM-MSLRF-ELM算法進(jìn)行對比，進(jìn)一步證明本文算法具有較好的分類性能。MM-MSLRF-OSELM 在訓(xùn)練過程中僅對新數(shù)據(jù)進(jìn)行在線更新訓(xùn)練，在實(shí)際中適用性更強(qiáng)。由于本文利用了不同模態(tài)的信息，而這些信息中可能存在一些冗余特征，因此下一步將采用屬性約簡算法對冗余特征進(jìn)行約簡。