張 紅，程傳祺，徐志剛，李建華

1.蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院，蘭州730050

2.蘭州理工大學(xué) 機(jī)電工程學(xué)院，蘭州730050

1 引言

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的來(lái)源越來(lái)越廣泛，數(shù)據(jù)類型也越來(lái)越多樣化。但是，由于大數(shù)據(jù)的“5V”特性（Volume、Variety、Value、Veracity、Velocity），使人們難以充分挖掘大數(shù)據(jù)的隱含信息。因此，人們迫切需要有效的手段對(duì)多源異構(gòu)數(shù)據(jù)進(jìn)行融合，并挖掘出有價(jià)值的信息加以利用。數(shù)據(jù)融合技術(shù)作為一種重要的數(shù)據(jù)處理手段，有廣泛的應(yīng)用，如目標(biāo)檢測(cè)[1-3]、戰(zhàn)場(chǎng)評(píng)估[4]、醫(yī)療診斷[5-7]、遙感測(cè)繪[8-10]、故障診斷[11-14]、智能制造[15-16]等。在智能制造領(lǐng)域中，數(shù)據(jù)融合技術(shù)有效地提高了人們對(duì)工業(yè)大數(shù)據(jù)的處理能力和利用效率。通過(guò)數(shù)據(jù)融合技術(shù)，對(duì)海量、高維、多源異構(gòu)含噪聲工業(yè)數(shù)據(jù)進(jìn)行清洗去噪、集成建模與多尺度分類，為之后的關(guān)聯(lián)分析、性能預(yù)測(cè)和優(yōu)化決策提供可靠的數(shù)據(jù)資源支持。因此，數(shù)據(jù)融合技術(shù)有力地推動(dòng)了應(yīng)用領(lǐng)域的發(fā)展。

美國(guó)Joint Directors of Laboratories（JDL）數(shù)據(jù)融合小組曾從軍事角度對(duì)數(shù)據(jù)融合做出描述：數(shù)據(jù)融合是一種多層次多角度的信息處理手段。在處理過(guò)程中，為了得到精確的狀態(tài)判定、身份識(shí)別以及完整及時(shí)的態(tài)勢(shì)與威脅評(píng)估，將多源數(shù)據(jù)進(jìn)行一系列包括檢測(cè)、結(jié)合、關(guān)聯(lián)、估計(jì)和組合等操作[17]。Hall等人[18]認(rèn)為“信息融合是將不同來(lái)源、不同時(shí)刻的信息自動(dòng)或半自動(dòng)地轉(zhuǎn)換成能夠?yàn)槿藶榛蜃詣?dòng)決策提供有效支持的表示形式”。根據(jù)研究人員對(duì)數(shù)據(jù)融合技術(shù)的不同描述，可以將數(shù)據(jù)融合總結(jié)為：針對(duì)多個(gè)信息采集設(shè)備所提供的不完整、不精確信息，進(jìn)行一定的綜合處理和分析手段，得到對(duì)目標(biāo)較為準(zhǔn)確和完善的描述，為決策或判斷做支持。在應(yīng)用場(chǎng)景中，使用數(shù)據(jù)融合技術(shù)對(duì)多源數(shù)據(jù)進(jìn)行處理存在諸多優(yōu)勢(shì)[19]，如多源數(shù)據(jù)具有對(duì)目標(biāo)描述全面、數(shù)據(jù)互補(bǔ)的特點(diǎn)，對(duì)其進(jìn)行融合操作能很好地提高決策可信度和模型的抗干擾能力；對(duì)多源數(shù)據(jù)進(jìn)行融合，能夠降低多源數(shù)據(jù)存在的冗余，減少了對(duì)存儲(chǔ)資源的浪費(fèi)，也減少了在傳輸數(shù)據(jù)時(shí)不必要的資源消耗。

2 研究現(xiàn)狀

常用的數(shù)據(jù)融合方法可分為基于概率融合方法、基于Dempster-Shafer理論的融合方法、基于知識(shí)的融合方法等[20]。基于概率融合的方法包括貝葉斯推理[21-23]、卡爾曼濾波模型[24-26]以及馬爾科夫模型[27-28]等，這類融合方法的核心數(shù)學(xué)理論是貝葉斯推理，通過(guò)引入概率分布和概率密度函數(shù)來(lái)表示隨機(jī)變量之間的依賴關(guān)系，從而建立不同數(shù)據(jù)集之間的關(guān)系；基于證據(jù)理論的融合方法主要是D-S證據(jù)理論，D-S理論通過(guò)引入置信度和合理度來(lái)表示數(shù)據(jù)的不確定性，在動(dòng)態(tài)的情況下進(jìn)行推理，使用規(guī)定的融合規(guī)則進(jìn)行數(shù)據(jù)融合。D-S 理論作為貝葉斯推理的推廣形式，相較于貝葉斯推理，具有不需要獲取數(shù)據(jù)的先驗(yàn)概率的優(yōu)點(diǎn)；基于知識(shí)的融合方法包括支持向量機(jī)、聚類[29]等方法，這類方法認(rèn)為數(shù)據(jù)中包含大量有用的知識(shí)信息，尋找數(shù)據(jù)中包含的知識(shí)以及度量知識(shí)之間的相關(guān)性和相似性，是這類方法的關(guān)鍵。

研究人員意識(shí)到常用的數(shù)據(jù)融合方法在對(duì)大數(shù)據(jù)進(jìn)行融合時(shí)存在諸多弊端，如基于概率的融合方法存在難以獲取先驗(yàn)概率、處理高維復(fù)雜數(shù)據(jù)困難的缺點(diǎn)；基于證據(jù)理論的融合方法存在質(zhì)量函數(shù)難以估計(jì)的缺點(diǎn)；基于知識(shí)的融合方法對(duì)數(shù)據(jù)缺失和噪聲數(shù)據(jù)敏感的特點(diǎn)。隨著計(jì)算機(jī)運(yùn)算硬件和數(shù)據(jù)處理技術(shù)的發(fā)展，計(jì)算設(shè)備的運(yùn)算能力不再成為深度學(xué)習(xí)的障礙。這為深度學(xué)習(xí)在數(shù)據(jù)融合中的應(yīng)用帶來(lái)了新的發(fā)展機(jī)遇。深度學(xué)習(xí)能夠根據(jù)訓(xùn)練數(shù)據(jù)進(jìn)行自學(xué)習(xí)，而無(wú)需對(duì)每個(gè)要解決的問(wèn)題具體編程實(shí)現(xiàn)。深度學(xué)習(xí)模型旨在對(duì)數(shù)據(jù)進(jìn)行建模，以獲得數(shù)據(jù)中的深層關(guān)聯(lián)關(guān)系并建立知識(shí)框架，最終將模型用于預(yù)測(cè)、分類和特征提取等方面。近年來(lái)，研究人員嘗試將深度學(xué)習(xí)運(yùn)用到數(shù)據(jù)融合中，希望能夠提高融合算法在處理大數(shù)據(jù)時(shí)的性能。

眾多學(xué)者已經(jīng)從不同的角度對(duì)數(shù)據(jù)融合方法進(jìn)行歸納整理。如Alam等人[30]對(duì)物聯(lián)網(wǎng)中數(shù)據(jù)融合的方法進(jìn)行綜述；Pires等人[31]對(duì)移動(dòng)設(shè)備中傳感器數(shù)據(jù)融合技術(shù)進(jìn)行了系統(tǒng)的概述；Gite等人[32]對(duì)數(shù)據(jù)融合技術(shù)在上下文感知系統(tǒng)中的應(yīng)用進(jìn)行了深入研究；Meng 等人[33]系統(tǒng)地回顧了基于機(jī)器學(xué)習(xí)的數(shù)據(jù)融合方法在各領(lǐng)域的應(yīng)用，并對(duì)基于機(jī)器學(xué)習(xí)的數(shù)據(jù)融合方法進(jìn)行評(píng)價(jià)；Ding等人[34]從物聯(lián)網(wǎng)安全和隱私保護(hù)角度，回顧了數(shù)據(jù)融合技術(shù)在其中的應(yīng)用；Khaleghi 等人[35]從以數(shù)據(jù)為中心的角度，對(duì)數(shù)據(jù)融合方法進(jìn)行了分類闡述，并且重點(diǎn)介紹了數(shù)據(jù)融合領(lǐng)域未來(lái)的發(fā)展方向；Zhang 等人[36]對(duì)基于深度學(xué)習(xí)的數(shù)據(jù)融合方法在多源異構(gòu)數(shù)據(jù)中的應(yīng)用進(jìn)行了綜述；Liu 等人[37]在對(duì)常用數(shù)據(jù)融合方法進(jìn)行總結(jié)的基礎(chǔ)上，概述了基于深度學(xué)習(xí)的城市大數(shù)據(jù)融合方法，也簡(jiǎn)要地討論了多模式大數(shù)據(jù)融合存在的困難和一些解決思路。

從以上文獻(xiàn)發(fā)現(xiàn)，研究人員從各種角度對(duì)數(shù)據(jù)融合方法進(jìn)行了綜述。但是，缺少對(duì)基于深度學(xué)習(xí)的數(shù)據(jù)融合方法進(jìn)行系統(tǒng)的概括和總結(jié)。盡管Liu等人[37]對(duì)基于深度學(xué)習(xí)的數(shù)據(jù)融合方法進(jìn)行了分類，并列舉了在城市大數(shù)據(jù)融合中的應(yīng)用，但是作者只關(guān)注了城市大數(shù)據(jù)融合背景下的相關(guān)文獻(xiàn)，也缺少與傳統(tǒng)數(shù)據(jù)融合方法的比較；而Zhang等人[36]僅是簡(jiǎn)單介紹了深度學(xué)習(xí)在大數(shù)據(jù)融合方面的應(yīng)用，并未對(duì)方法進(jìn)行評(píng)價(jià)和總結(jié)。隨著深度學(xué)習(xí)在數(shù)據(jù)融合領(lǐng)域的不斷發(fā)展，深入了解基于深度學(xué)習(xí)的數(shù)據(jù)融合方法的應(yīng)用現(xiàn)狀和未來(lái)發(fā)展趨勢(shì)是至關(guān)重要的。

本文將對(duì)基于深度學(xué)習(xí)的數(shù)據(jù)融合方法進(jìn)行詳細(xì)的闡述和總結(jié)。首先，對(duì)傳統(tǒng)的數(shù)據(jù)融合方法進(jìn)行分類闡述，對(duì)傳統(tǒng)的數(shù)據(jù)融合方法應(yīng)用領(lǐng)域、存在的優(yōu)點(diǎn)和不足進(jìn)行簡(jiǎn)要總結(jié)；然后按照深度學(xué)習(xí)模型在數(shù)據(jù)融合過(guò)程中的參與階段，對(duì)基于深度學(xué)習(xí)的數(shù)據(jù)融合方法進(jìn)行歸納分類；最后將傳統(tǒng)的數(shù)據(jù)融合方法與基于深度學(xué)習(xí)的數(shù)據(jù)融合方法進(jìn)行比較，并指出基于深度學(xué)習(xí)的數(shù)據(jù)融合方法的難點(diǎn)和未來(lái)研究方向。本文的主要貢獻(xiàn)如下：

（1）回顧了基于深度學(xué)習(xí)的數(shù)據(jù)融合方法在各種場(chǎng)景下的應(yīng)用，并按照融合性能、資源消耗、模型復(fù)雜度等方面將其與傳統(tǒng)的數(shù)據(jù)融合進(jìn)行對(duì)比，著重討論了兩者在不同應(yīng)用場(chǎng)景下的優(yōu)劣。

（2）總結(jié)了部分基于深度學(xué)習(xí)的數(shù)據(jù)融合方法，并按照深度學(xué)習(xí)在數(shù)據(jù)融合模型中參與的階段，將基于深度學(xué)習(xí)的數(shù)據(jù)融合方法分為基于深度學(xué)習(xí)特征提取的數(shù)據(jù)融合方法、基于深度學(xué)習(xí)融合的數(shù)據(jù)融合方法以及基于深度學(xué)習(xí)全過(guò)程的數(shù)據(jù)融合方法，并介紹了各類方法的結(jié)構(gòu)特點(diǎn)。

（3）討論了基于深度學(xué)習(xí)的數(shù)據(jù)融合方法存在的難點(diǎn)和未來(lái)值得研究的一些問(wèn)題。

3 基于深度學(xué)習(xí)的數(shù)據(jù)融合方法

3.1 深度學(xué)習(xí)概述

深度學(xué)習(xí)是深度神經(jīng)網(wǎng)絡(luò)的統(tǒng)稱，是由淺層神經(jīng)網(wǎng)絡(luò)發(fā)展而來(lái)。淺層神經(jīng)網(wǎng)絡(luò)通常由一個(gè)輸入層、一個(gè)隱藏層和一個(gè)輸出層組成，用Wx+b 來(lái)計(jì)算前一層輸入的加權(quán)和，其中W 為權(quán)重向量，b 為偏置量，之后將加權(quán)和通過(guò)非線性激活函數(shù)，如tanh、sigmod和ReLU等得到后一層的輸入。而深度神經(jīng)網(wǎng)絡(luò)的隱藏層則包含多個(gè)，較低層的隱藏層輸出作為較高層隱藏層的輸入。因此，深度神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到數(shù)據(jù)中更有效的特征表示。相較于淺層網(wǎng)絡(luò)，深度神經(jīng)網(wǎng)絡(luò)能夠更好地表示復(fù)雜的目標(biāo)函數(shù)，具有更好的泛化性能，能夠通過(guò)多個(gè)隱藏層提取數(shù)據(jù)的多層特征從而獲得更多的信息。

深度神經(jīng)網(wǎng)絡(luò)比淺層神經(jīng)網(wǎng)絡(luò)具有更強(qiáng)的表示能力，由于深度神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層增加使得非凸目標(biāo)函數(shù)容易產(chǎn)生局部最優(yōu)解。反向傳播算法基于梯度下降，從初始化點(diǎn)開(kāi)始尋找最優(yōu)解，這通常會(huì)陷入局部極值，并且隨著網(wǎng)絡(luò)層增加而進(jìn)一步惡化。因此，不能很好地求解深度神經(jīng)網(wǎng)絡(luò)問(wèn)題，這也導(dǎo)致在20世紀(jì)80年代和90年代深度神經(jīng)網(wǎng)絡(luò)研究進(jìn)展緩慢。在2006年Hinton教授[38]提出深度學(xué)習(xí)概念，并提出求解深度神經(jīng)網(wǎng)絡(luò)的貪婪逐層訓(xùn)練算法，這使得深度學(xué)習(xí)迅速發(fā)展，并在目標(biāo)檢測(cè)[39]、圖像處理[40]、語(yǔ)音[41]等領(lǐng)域廣泛應(yīng)用，而深度學(xué)習(xí)在數(shù)據(jù)融合領(lǐng)域中的應(yīng)用還是相對(duì)較新的研究。深度神經(jīng)網(wǎng)絡(luò)具有多個(gè)隱藏層和大量參數(shù)，適合描述不確定的復(fù)雜系統(tǒng)。深度神經(jīng)網(wǎng)絡(luò)的多層結(jié)構(gòu)使得在海量數(shù)據(jù)特征提取方面更具優(yōu)勢(shì)[42]，并且所提取特征質(zhì)量要遠(yuǎn)優(yōu)于人工標(biāo)注等方式獲得的特征[43]。由于深度學(xué)習(xí)模型是模擬人類大腦的神經(jīng)連接結(jié)構(gòu)，在處理圖像、聲音等數(shù)據(jù)時(shí)通過(guò)多個(gè)變換階段分層對(duì)數(shù)據(jù)進(jìn)行描述，因此更適合處理海量異構(gòu)數(shù)據(jù)。

3.2 基于深度學(xué)習(xí)的數(shù)據(jù)融合方法分類

深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）優(yōu)秀的特征表示能力，使其在數(shù)據(jù)融合領(lǐng)域有了較為廣泛的應(yīng)用。文獻(xiàn)[36]將現(xiàn)有的基于深度學(xué)習(xí)的數(shù)據(jù)融合方法分為三類：基于深度學(xué)習(xí)輸入的數(shù)據(jù)融合方法、基于深度學(xué)習(xí)輸出的數(shù)據(jù)融合方法以及基于深度學(xué)習(xí)雙階段的數(shù)據(jù)融合方法，但是該文獻(xiàn)中綜述的模型偏向于對(duì)城市大數(shù)據(jù)的融合，因此該分類方法并不能很好地對(duì)基于深度學(xué)習(xí)的數(shù)據(jù)融合方法進(jìn)行分類。本文將在上述文獻(xiàn)融合模型分類方法的基礎(chǔ)上，提出一種針對(duì)基于深度學(xué)習(xí)的數(shù)據(jù)融合模型的新的分類方法。該分類方法按照深度學(xué)習(xí)在數(shù)據(jù)融合中所參與的階段，把基于深度學(xué)習(xí)的數(shù)據(jù)融合方法分為三種類型：基于深度學(xué)習(xí)特征提取的數(shù)據(jù)融合方法、基于深度學(xué)習(xí)融合的數(shù)據(jù)融合方法和基于深度學(xué)習(xí)全過(guò)程的數(shù)據(jù)融合方法，如圖1 所示。在基于深度學(xué)習(xí)特征提取的數(shù)據(jù)融合方法中，深度學(xué)習(xí)主要參與數(shù)據(jù)融合中特征提取的階段，融合階段則是使用其他方法完成；基于深度學(xué)習(xí)融合的數(shù)據(jù)融合方法中，深度學(xué)習(xí)主要參與到數(shù)據(jù)融合階段；在基于深度學(xué)習(xí)全過(guò)程的數(shù)據(jù)融合方法中，深度學(xué)習(xí)模型則是參與了數(shù)據(jù)融合操作的特征提取階段和融合階段，并且通常使用了不同的深度學(xué)習(xí)模型。

3.2.1 基于深度學(xué)習(xí)特征提取的數(shù)據(jù)融合方法

基于深度學(xué)習(xí)特征提取數(shù)據(jù)融合方法中，深度學(xué)習(xí)主要作用是提取數(shù)據(jù)的特征，融合操作可以在深度學(xué)習(xí)模型之后（特征級(jí)融合或決策級(jí)融合）也可以在深度學(xué)習(xí)模型之前（數(shù)據(jù)級(jí)融合）。

Liu等人[44]提出一種基于非下采樣輪廓波變換（Non-Subsampled Contourlet Transform，NSCT）和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的X 射線圖像骨齡評(píng)估多尺度數(shù)據(jù)融合框架，并在該框架下提出基于特征級(jí)融合的回歸模型和基于決策級(jí)融合的分類模型，分別如圖2所示。在基于特征級(jí)融合的回歸模型中，首先通過(guò)NSCT對(duì)X射線圖像進(jìn)行4級(jí)分解，獲得豐富的底層特征；然后將提取出的底層特征輸入進(jìn)卷積模塊，該模塊由多個(gè)VGGNet-16網(wǎng)絡(luò)構(gòu)成，每一個(gè)由13層卷積層和5 個(gè)最大池化層組成，分別處理NSCT 的一級(jí)分解，以獲得特征圖；在融合階段，將不同VGGNet-16神經(jīng)網(wǎng)絡(luò)輸出特征圖拼接，以實(shí)現(xiàn)特征級(jí)融合。基于決策級(jí)融合的分類模型主要包含4個(gè)模塊：NSTC分解、分類、融合和估計(jì)。NSCT分解模塊同樣是通過(guò)對(duì)X射線圖像分解得到底層特征；分類模塊包含特征提取以及分類決策，在該模塊中使用VGGNet-16 神經(jīng)網(wǎng)絡(luò)提取特征，然后將特征作為輸入通過(guò)三層全連接層進(jìn)行分類；在融合模塊中，可以使用不同的融合規(guī)則對(duì)分類模塊中的決策結(jié)果進(jìn)行融合，在該文獻(xiàn)中，作者給出了三種融合規(guī)則：元素最大值規(guī)則、元素均值規(guī)則和元素乘法規(guī)則。

圖1 基于深度學(xué)習(xí)的數(shù)據(jù)融合方法分類

圖2 基于NSCT和CNN的數(shù)據(jù)融合框架

元素最大規(guī)則：

其中，Pf,j為第j 個(gè)元素的融合預(yù)測(cè)，Pi,j為第j 個(gè)元素中第i 個(gè)源的預(yù)測(cè)結(jié)果，N 為原預(yù)測(cè)的個(gè)數(shù)，i,j ∈{1,2,…,N}。作者最后將該方法與最新的骨齡預(yù)測(cè)方法進(jìn)行對(duì)比，結(jié)果表明該方法具有更好的性能。該方法不同于傳統(tǒng)醫(yī)學(xué)圖像融合方法以原始圖像作為輸入，而是使用了NSCT對(duì)原始圖像進(jìn)行分解，既解決了醫(yī)學(xué)圖像樣本少的缺點(diǎn)，同時(shí)通過(guò)圖像分解也獲得了圖像在多個(gè)不同角度的特征，使得對(duì)目標(biāo)的描述更加精確。該模型集成了多個(gè)VGGNet-16 卷積神經(jīng)網(wǎng)絡(luò)分別對(duì)NSCT 所分解的特征進(jìn)行進(jìn)一步特征提取，因此，這導(dǎo)致模型的復(fù)雜度較高，模型訓(xùn)練時(shí)間較長(zhǎng)。作者指出基于特征級(jí)融合的回歸模型和基于決策級(jí)融合的分類模型訓(xùn)練所消耗時(shí)間分別為14.61 h和4.14 h，測(cè)試集平均運(yùn)行時(shí)間分別為22.69 ms 和35.36 ms。該模型為離線訓(xùn)練，因此模型部署后仍具有較好的實(shí)時(shí)性。此外，該方法雖然只在公開(kāi)骨齡評(píng)估數(shù)據(jù)集上進(jìn)行驗(yàn)證，但是同樣適用于其他樣本較小的醫(yī)學(xué)圖像融合，具有較好的擴(kuò)展性。

Zhang 等人[45]提出一種基于多傳感器數(shù)據(jù)融合和DBN（Deep Belief Network）的滾珠絲杠劣化檢測(cè)識(shí)別方法，如圖3所示。首先通過(guò)快速傅里葉變換（Fast Fourier Transform，F(xiàn)FT）將多個(gè)傳感器采集的時(shí)域信號(hào)轉(zhuǎn)換為對(duì)應(yīng)的頻域信號(hào)，并通過(guò)平行疊加的方式進(jìn)行融合；然后將融合結(jié)果作為輸入通過(guò)無(wú)監(jiān)督學(xué)習(xí)的方式對(duì)DBN進(jìn)行訓(xùn)練；最后使用Softmax 分類器進(jìn)行分類。在該方法中，融合操作在深度學(xué)習(xí)模型之前，其融合過(guò)程如下所示：

步驟1使用n 個(gè)傳感器采集不同位置的時(shí)域信號(hào)。

步驟2使用FFT 計(jì)算n 組時(shí)域信號(hào)對(duì)應(yīng)的頻譜{f(1)i,f(2)i,…,f(n)i},i=1,2,…,M ，其中M 為每組收集的退化樣本數(shù)。

圖3 基于DBN的多傳感器數(shù)據(jù)融合模型

步驟3將這n 組頻譜按照平行疊加的方式進(jìn)行融合，得到融合后的頻譜{Fi},i=1,2,…,M ，其中，F(xiàn)i=f(1)i?f(2)i?…?f(n)i，然后將融合后的頻譜進(jìn)行歸一化。融合后的頻譜的維數(shù)為n 組頻譜維度之和，即dim(Fi)=im(f(j)i)。

為了驗(yàn)證方法的有效性，作者將該方法與使用未融合數(shù)據(jù)集的DBN 方法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果顯示該方法在訓(xùn)練集和測(cè)試集上的表現(xiàn)出較好的準(zhǔn)確性和穩(wěn)定性。相對(duì)于單傳感器信號(hào)，該文獻(xiàn)使用的多傳感器信號(hào)對(duì)故障描述更加全面、準(zhǔn)確。DBN 從融合頻譜中挖掘固有特征，并建立融合頻譜和退化特征之間的非線性映射，有效降低了多傳感器特征提取的難度，避免了特征提取不充分，導(dǎo)致的準(zhǔn)確性較差的問(wèn)題。同時(shí)，模型的深度結(jié)構(gòu)和大量神經(jīng)元，使得模型的訓(xùn)練時(shí)間相對(duì)于淺層神經(jīng)網(wǎng)絡(luò)等方法更長(zhǎng)。若采取離線訓(xùn)練后對(duì)模型進(jìn)行部署，仍能夠保證模型的實(shí)時(shí)性。該方法采用信號(hào)處理常用的手段對(duì)傳感器信號(hào)進(jìn)行處理，因此，在多傳感器數(shù)據(jù)融合領(lǐng)域有較好的擴(kuò)展性。此外，該方法采取平行疊加的方式對(duì)數(shù)據(jù)進(jìn)行融合，但是在傳感器節(jié)點(diǎn)較少的情況下，并不能有效降低某節(jié)點(diǎn)傳感器數(shù)據(jù)異常造成的影響。

Zhai等人[46]提出一種基于深度學(xué)習(xí)融合識(shí)別方法，通過(guò)合成孔徑雷達(dá)（SAR）圖像數(shù)據(jù)進(jìn)行融合以提升目標(biāo)識(shí)別準(zhǔn)確度，其模型流程如圖4所示。首先通過(guò)主成分分析（PCA）對(duì)SAR圖像數(shù)據(jù)進(jìn)行降維，并將其作為輸入，通過(guò)堆疊自動(dòng)編碼器（Stacked Auto-encoder，SAE）來(lái)獲取SAR 圖像的深層特征；之后將經(jīng)過(guò)預(yù)處理的SAR圖像數(shù)據(jù)作為輸入，使用CNN網(wǎng)絡(luò)提取深層特征；然后將SAE提取的特征向量和CNN提取的特征向量直接拼接完成融合；最后將融合特征通過(guò)Softmax 分類器進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效避免噪聲、背景和姿態(tài)角對(duì)目標(biāo)識(shí)別模型的影響，提升了模型的魯棒性。在該方法中，CNN網(wǎng)絡(luò)具有較好的平移不變性，能夠有效地提取SAR 數(shù)據(jù)的深層特征，并且對(duì)數(shù)據(jù)的背景和噪音具有較好的魯棒性；使用PCA 和SAE 網(wǎng)絡(luò)對(duì)添加隨機(jī)高斯噪聲的SAR 圖像數(shù)據(jù)進(jìn)行降維，使得模型具有較好的抗噪能力。但是，一維的PCA 特征缺失了圖像的部分域信息，這導(dǎo)致目標(biāo)識(shí)別的精度有所下降。該方法有效降低了姿態(tài)角、背景以及噪聲等對(duì)檢測(cè)結(jié)果影響，因此該方法在SAR 目標(biāo)檢測(cè)中具有較好的適應(yīng)性和擴(kuò)展性。

圖4 基于SAE和CNN的數(shù)據(jù)融合模型

除了上述經(jīng)典深度學(xué)習(xí)方法在數(shù)據(jù)融合中的應(yīng)用，改進(jìn)的深度學(xué)習(xí)方法也在數(shù)據(jù)融合中有廣泛的應(yīng)用。Zheng 等人[47]使用BPNN 和indRNN 提取數(shù)據(jù)的空間特征和時(shí)間特征，并通過(guò)全連接層對(duì)特征進(jìn)行融合。該方法通過(guò)引入時(shí)間特征，大大降低了時(shí)間特征對(duì)產(chǎn)量預(yù)測(cè)的影響，降低了預(yù)測(cè)誤差。

3.2.2 基于深度學(xué)習(xí)融合的數(shù)據(jù)融合方法

基于深度學(xué)習(xí)融合的數(shù)據(jù)融合方法中，深度學(xué)習(xí)模塊的主要功能為對(duì)輸入的數(shù)據(jù)進(jìn)行融合。在實(shí)際應(yīng)用中，該模塊的輸入數(shù)據(jù)可能是原始數(shù)據(jù)集，也可能是經(jīng)過(guò)處理后的數(shù)據(jù)特征。盡管在此類方法中，深度學(xué)習(xí)模塊主要起到數(shù)據(jù)融合作用，但是，通常在數(shù)據(jù)融合操作的同時(shí)具有一定的特征提取功能。

Chen等人[48]在故障診斷研究過(guò)程中，提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)融合模型（DCNN），其模型結(jié)構(gòu)如圖5 所示。由于單個(gè)傳感器采集的故障數(shù)據(jù)通常不太穩(wěn)定且噪聲影響嚴(yán)重，因此，作者提出在不同位置安裝傳感器，分別用來(lái)采集水平振動(dòng)信號(hào)數(shù)據(jù)和垂直振動(dòng)信號(hào)數(shù)據(jù)，這使得傳感器數(shù)據(jù)對(duì)故障特征描述更加全面和準(zhǔn)確。首先對(duì)水平振動(dòng)信號(hào)和垂直振動(dòng)信號(hào)進(jìn)行重疊切片，并將同一時(shí)刻的切片信號(hào)進(jìn)行組合，作為DCNN模型的輸入；然后通過(guò)DCNN模型對(duì)組合后的切片信號(hào)進(jìn)行融合，并同時(shí)完成對(duì)數(shù)據(jù)的特征提取；最后將融合后的數(shù)據(jù)特征通過(guò)Softmax層進(jìn)行分類。由于使用兩個(gè)傳感器同時(shí)采集設(shè)備在水平和垂直方向上的信號(hào)，能夠有效地消除噪聲對(duì)所采集到數(shù)據(jù)的影響，并且使得傳感器數(shù)據(jù)對(duì)設(shè)備狀態(tài)的描述更加全面。通過(guò)對(duì)同時(shí)刻的傳感器信號(hào)數(shù)據(jù)進(jìn)行切片組合也能很好地保留不同傳感器之間的時(shí)間相關(guān)性。文獻(xiàn)通過(guò)實(shí)驗(yàn)證明了將兩個(gè)傳感器數(shù)據(jù)融合后進(jìn)行故障診斷能夠獲得更好的診斷效果。此外，通過(guò)在多個(gè)數(shù)據(jù)集上與支持向量機(jī)（Support Vector Machine，SVM）、BP 神經(jīng)網(wǎng)絡(luò)（Back Propagation Neural Network，BPNN）等淺層網(wǎng)絡(luò)對(duì)比，結(jié)果表明通過(guò)引入DCNN 數(shù)據(jù)融合方法使得檢測(cè)模型具有更好的檢測(cè)性能和擴(kuò)展性。該方法充分體現(xiàn)了基于深度學(xué)習(xí)數(shù)據(jù)融合的優(yōu)勢(shì)，即DCNN模型具有的非線性映射能力，能夠進(jìn)行特征自動(dòng)提取并通過(guò)數(shù)據(jù)融合提高模型魯棒性。但是，DCNN模型的特征學(xué)習(xí)能力與神經(jīng)網(wǎng)絡(luò)層數(shù)成正比，而深層網(wǎng)絡(luò)結(jié)構(gòu)意味著需要更多的訓(xùn)練數(shù)據(jù)和大量待訓(xùn)練參數(shù)，模型的訓(xùn)練時(shí)間也會(huì)更久。但是通過(guò)離線訓(xùn)練后部署模型，仍能夠使模型具有不錯(cuò)的實(shí)時(shí)性。此外，該方法對(duì)噪聲數(shù)據(jù)并未進(jìn)行預(yù)處理處理操作，因此該方法有進(jìn)一步研究的空間。

圖5 基于深度卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)融合模型

Wu等人[49]提出一種基于深度長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Deep Long Short Time Memory，DLSTM）數(shù)據(jù)融合預(yù)測(cè)模型，用于對(duì)設(shè)備剩余使用壽命預(yù)測(cè)。該模型以LSTM神經(jīng)單元為基礎(chǔ)，多個(gè)LSTM神經(jīng)單元構(gòu)成LSTM層，DLSTM模型通過(guò)多層LSTM層進(jìn)行疊加構(gòu)成，其結(jié)構(gòu)如圖6 所示。相較于單傳感器數(shù)據(jù)使用多個(gè)傳感器數(shù)據(jù)進(jìn)行預(yù)測(cè)，能夠提高預(yù)測(cè)的準(zhǔn)確性和可靠性。在DLSTM模型中，將多傳感器數(shù)據(jù)構(gòu)造成為二維矩陣，矩陣中的行數(shù)和列數(shù)分別為k 和T ，其中k 為傳感器數(shù)量，T 表示對(duì)單個(gè)傳感器采樣數(shù)據(jù)量。模型的輸入層神經(jīng)元為所選傳感器信號(hào)的數(shù)量，即k。多個(gè)LSTM層堆疊構(gòu)成DLSTM模型對(duì)多傳感器數(shù)據(jù)進(jìn)行融合并提取深層特征，不同的LSTM 層在空間上相連，數(shù)據(jù)從上層神經(jīng)元輸入到下層神經(jīng)元，每個(gè)LSTM層的LSTM神經(jīng)元之間進(jìn)行信息交換。因此，通過(guò)在層之間以及神經(jīng)元之間的連接，DLSTM 模型能夠很好地挖掘多傳感器數(shù)據(jù)之間的長(zhǎng)期依賴關(guān)系。文獻(xiàn)通過(guò)實(shí)驗(yàn)驗(yàn)證了基于DLSTM 數(shù)據(jù)融合預(yù)測(cè)模型的預(yù)測(cè)準(zhǔn)確率有明顯提高，并且模型的魯棒性也有很大提高。DLSTM模型層與層之間、神經(jīng)元與神經(jīng)元之間的信息交換，使其能夠更好地對(duì)多傳感器數(shù)據(jù)進(jìn)行融合。但是，DLSTM 網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、待訓(xùn)練參數(shù)較多，因此，DLSTM 網(wǎng)絡(luò)的訓(xùn)練過(guò)程較為復(fù)雜且漫長(zhǎng)，而且對(duì)運(yùn)算設(shè)備的計(jì)算能力要求更高。該方法的平均在線計(jì)算時(shí)間為0.18 s，實(shí)時(shí)性滿足實(shí)際應(yīng)用要求，并且該方法具有較好的多傳感器融合能力，可以廣泛應(yīng)用于工業(yè)領(lǐng)域中，具有較好的擴(kuò)展性。

圖6 DLSTM數(shù)據(jù)融合模型結(jié)構(gòu)

Li等人[50]為解決在多源數(shù)據(jù)融合故障診斷中，數(shù)據(jù)融合困難的問(wèn)題，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的自適應(yīng)數(shù)據(jù)融合方法，該方法基于卷積神經(jīng)網(wǎng)絡(luò)的自適應(yīng)卷積核設(shè)計(jì)自適應(yīng)數(shù)據(jù)融合層，之后提出基于空洞卷積的一維卷積神經(jīng)網(wǎng)絡(luò)對(duì)融合數(shù)據(jù)特征進(jìn)行提取。該方法有效降低了多源數(shù)據(jù)的融合難度。Fu 等人[51]提出一種基于殘差網(wǎng)絡(luò)的多尺度特征融合卷積神經(jīng)網(wǎng)絡(luò)（MCFFCNN），用于車輛顏色識(shí)別。MCFF-CNN通過(guò)組合不同的網(wǎng)絡(luò)層的輸出特征實(shí)現(xiàn)圖像特征的多尺度融合，同時(shí)將深層網(wǎng)絡(luò)和淺層網(wǎng)絡(luò)的輸出特征融合，從而獲得車輛圖像的更深層特征。該方法能夠很好地識(shí)別出不同光線條件下車輛顏色，方法具有很好的魯棒性。

3.2.3 基于深度學(xué)習(xí)全過(guò)程的數(shù)據(jù)融合方法

基于深度學(xué)習(xí)全過(guò)程數(shù)據(jù)融合方法的特征提取階段以及數(shù)據(jù)融合階段都使用深度學(xué)習(xí)模型。在該類模型中，特征提取和數(shù)據(jù)融合既可以使用相同類型的深度學(xué)習(xí)模型，也可以使用不同類型的深度學(xué)習(xí)模型。

Du 等人[52]提出一種基于CNN 模型、GRU（Gated Recurrent Unit）模型和自適應(yīng)多模態(tài)聯(lián)合模型的深度學(xué)習(xí)框架，用于對(duì)短時(shí)交通流量進(jìn)行預(yù)測(cè)，框架結(jié)構(gòu)如圖7 所示。該模型中的CNN 模型用于學(xué)習(xí)序列數(shù)據(jù)局部趨勢(shì)的空間表示，GRU 模型學(xué)習(xí)長(zhǎng)期依賴特征的時(shí)間表示，之后將提取出的時(shí)間相關(guān)特征和空間相關(guān)特征，通過(guò)帶注意力機(jī)制融合層進(jìn)行初步融合。該過(guò)程表示如下：

其中，Si和Ti分別表示輸入數(shù)據(jù)集Ii通過(guò)N模型C 和GRU 模型G 得到的空間和時(shí)間相關(guān)特征，MA 表示帶有注意力機(jī)制的特征融合層，Ri表示時(shí)間相關(guān)特征和空間相關(guān)特征Ti和Si的共享表示。至此，僅完成單一模式數(shù)據(jù)類型的融合。為了完成多模式數(shù)據(jù)類型融合，作者提出一種自適應(yīng)多模態(tài)融合層，融合表示如下：

其中，JM 表示自適應(yīng)深度學(xué)習(xí)框架，π 表示不同時(shí)空相關(guān)特征Ri的融合特征表示，i 表示模態(tài)數(shù)量，Wi和bi表示模型權(quán)重和偏置。在該文獻(xiàn)中，模型通過(guò)CNN和GRU獲得交通數(shù)據(jù)的深層次非線性相關(guān)特征并進(jìn)行融合，充分考慮了不同交通流數(shù)據(jù)之間的相關(guān)性，有效地提高模型的魯棒性和預(yù)測(cè)精度。由于模型很好地挖掘數(shù)據(jù)時(shí)間和空間特征，因此在多模式相關(guān)數(shù)據(jù)融合方面具有較好的擴(kuò)展性。該方法組合多種深度學(xué)習(xí)模型，具有復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和較多待學(xué)習(xí)參數(shù)，因此，該模型訓(xùn)練較為耗時(shí)，并且模型對(duì)所部署設(shè)備的運(yùn)算能力要求較高。此外，文獻(xiàn)對(duì)模型的實(shí)時(shí)性并未進(jìn)行評(píng)價(jià)，但是實(shí)時(shí)性是短時(shí)交通流預(yù)測(cè)較為重要的指標(biāo)，因此，還需對(duì)模型的實(shí)時(shí)性做進(jìn)一步研究。

圖7 基于CNN、GRU和自適應(yīng)多模態(tài)聯(lián)合數(shù)據(jù)融合模型

Hu等人[53]提出一種基于聯(lián)合監(jiān)督損失和多層特征融合的深度學(xué)習(xí)判別模型（DDFLJM），該模型由兩部分構(gòu)成：特征提取網(wǎng)絡(luò)（FEN）和特征融合網(wǎng)絡(luò)（FFN），該模型簡(jiǎn)易結(jié)構(gòu)如圖8 所示。在FEN 中，采用Inception-Resnet-v1作為骨干網(wǎng)絡(luò)來(lái)快速提取輸入數(shù)據(jù)的低維特征表示，并在引入兩個(gè)降維塊（Dimension Reduction Block，DRB）以充分利用深度網(wǎng)絡(luò)中間層的輔助特征，其中DRB 的輸入為Inception-Resnet-v1 網(wǎng)絡(luò)的中間層輸出，在該部分能夠得到數(shù)據(jù)的低維特征表示（嵌入特征）和輔助特征。在FFN 中，特征的融合主要通過(guò)MGTNN（Modified Gated Two-stream Neural Network）進(jìn)行特征融合，MGTNN 是一個(gè)八層深度網(wǎng)絡(luò)，相較于GTNN（Gated Two-stream Neural Network），MGTNN 通過(guò)增加MFM（Max Feature Map）激活層來(lái)進(jìn)一步降低嵌入特征和輔助特征的維度，進(jìn)而減少特征包含的冗余信息，并通過(guò)添加ReLU 激活層來(lái)增加融合網(wǎng)絡(luò)的非線性。因此，MGTNN能夠充分利用嵌入特征和輔助特征之間的互補(bǔ)信息完成對(duì)特征融合，最終獲得融合特征。文獻(xiàn)通過(guò)實(shí)驗(yàn)說(shuō)明了，對(duì)嵌入特征和輔助特征進(jìn)行融合能夠有效提高模型的識(shí)別精度，并且模型的魯棒性也有較為明顯提高。該方法的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，，參數(shù)變化對(duì)結(jié)果的影響較大，模型訓(xùn)練困難，耗時(shí)較長(zhǎng)。此外，該模型網(wǎng)絡(luò)層數(shù)較多，對(duì)該模型訓(xùn)練時(shí)需要較多的訓(xùn)練樣本，否則易出現(xiàn)過(guò)擬合問(wèn)題。因此，該方法雖在人臉識(shí)別領(lǐng)域有較好的識(shí)別效果，但是由于模型自身網(wǎng)絡(luò)特點(diǎn)限制，該模型的擴(kuò)展性有限。

圖8 DDFLJM數(shù)據(jù)融合模型

除了上述典型的深度學(xué)習(xí)模型在數(shù)據(jù)融合中的應(yīng)用，很多研究人員對(duì)深度學(xué)習(xí)模型進(jìn)行改進(jìn)，將其應(yīng)用在數(shù)據(jù)融合領(lǐng)域。Xu 等人[54]為有效融合多傳感器數(shù)據(jù)，基于CNN 模型設(shè)計(jì)并行卷積神經(jīng)網(wǎng)絡(luò)（Parallel Convolutional Neural Network，PCNN）用于多傳感器數(shù)據(jù)的特征提取以及特征融合，然后將融合特征以此通過(guò)CNN、ResNet、Bi-LSTM獲得時(shí)間依賴和空間相關(guān)性，從而有效提高融合質(zhì)量和決策精度。Zhang等人[55]提出醫(yī)學(xué)圖像樣本偏少，但是含有豐富的信息，使用傳統(tǒng)深度學(xué)習(xí)方法處理已過(guò)擬合。為解決該問(wèn)題，作者提出一種跨模態(tài)特征學(xué)習(xí)框架。通過(guò)GAN神經(jīng)網(wǎng)絡(luò)來(lái)獲取圖像的不同模態(tài)特征，之后通過(guò)構(gòu)建的新型深度神經(jīng)網(wǎng)絡(luò)對(duì)多模態(tài)特征進(jìn)行深度融合，該方法不僅解決了樣本少導(dǎo)致模型訓(xùn)練困難的問(wèn)題，提高了模型的預(yù)測(cè)精度，同時(shí)模型在醫(yī)學(xué)圖像領(lǐng)域具有較好的擴(kuò)展性。

3.3 總結(jié)與比較

通過(guò)對(duì)上述基于深度學(xué)習(xí)的數(shù)據(jù)融合模型分析發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性表達(dá)能力，使其能夠充分挖掘多源數(shù)據(jù)之間的深層抽象特征，避免了因特征提取不充分導(dǎo)致的影響模型輸出精度降低的問(wèn)題；深度學(xué)習(xí)具有的自學(xué)習(xí)能力，使其能自主獲得多源信息之間的相關(guān)性，并按照相關(guān)性進(jìn)行充分融合；基于深度學(xué)習(xí)的數(shù)據(jù)融合方法在計(jì)算能力較強(qiáng)的設(shè)備上運(yùn)行時(shí)，具有很好的實(shí)時(shí)性，能夠滿足相關(guān)領(lǐng)域的實(shí)時(shí)性要求。因此，基于深度學(xué)習(xí)的數(shù)據(jù)融合方法相較于傳統(tǒng)數(shù)據(jù)融合方法具有更好的性能。雖然深度學(xué)習(xí)在數(shù)據(jù)融合領(lǐng)域具有較好的應(yīng)用前景，但是，深度學(xué)習(xí)模型的自身特點(diǎn)也一定程度上限制其應(yīng)用。目前，大多數(shù)深度學(xué)習(xí)算法為了提高網(wǎng)絡(luò)的非線性表達(dá)能力而增加模型的深度和網(wǎng)絡(luò)復(fù)雜度，但同時(shí)也增加了模型的參數(shù)和模型的訓(xùn)練難度，運(yùn)算資源消耗也進(jìn)一步提高。因此，基于深度學(xué)習(xí)的數(shù)據(jù)融合方法在傳感器網(wǎng)絡(luò)節(jié)點(diǎn)、可移動(dòng)終端等小型設(shè)備并不適用。最后如表1所示，本文從深度學(xué)習(xí)方法、融合數(shù)據(jù)類型、實(shí)時(shí)性、擴(kuò)展性以及資源消耗等方面對(duì)本節(jié)中提到的基于深度學(xué)習(xí)的數(shù)據(jù)融合方法進(jìn)行歸納總結(jié)。

表1 基于深度學(xué)習(xí)的數(shù)據(jù)融合方法總結(jié)

通過(guò)對(duì)近年來(lái)關(guān)于數(shù)據(jù)融合文獻(xiàn)的詳細(xì)闡述和分析，發(fā)現(xiàn)無(wú)論是傳統(tǒng)的數(shù)據(jù)融合方法還是基于深度學(xué)習(xí)的數(shù)據(jù)融合方法都已經(jīng)得到了廣泛應(yīng)用。傳統(tǒng)的數(shù)據(jù)融合方法和基于深度學(xué)習(xí)的數(shù)據(jù)融合方法在算法本質(zhì)上存在不同，這也導(dǎo)致兩者在應(yīng)用場(chǎng)景、融合思路等方面存在差異。傳統(tǒng)的數(shù)據(jù)融合方法在對(duì)數(shù)據(jù)進(jìn)行特征提取時(shí)，通常采用專家制定提取規(guī)則或人工標(biāo)注等方式進(jìn)行，因此適合處理小規(guī)模數(shù)據(jù)集。但是人工提取特征會(huì)導(dǎo)致提取的特征不全面，無(wú)法進(jìn)一步挖掘多源數(shù)據(jù)間存在的關(guān)聯(lián)關(guān)系，使得決策精度降低。在實(shí)時(shí)性方面，傳統(tǒng)數(shù)據(jù)融合方法復(fù)雜度相對(duì)較低，具有更好的實(shí)時(shí)性?；谏疃葘W(xué)習(xí)的數(shù)據(jù)融合方法具有自學(xué)習(xí)能力和非線性特點(diǎn)，能夠自動(dòng)挖掘數(shù)據(jù)的相關(guān)特征，因此在對(duì)海量數(shù)據(jù)進(jìn)行融合時(shí)具有優(yōu)勢(shì)。但是基于深度學(xué)習(xí)的數(shù)據(jù)融合方法的復(fù)雜度較高，訓(xùn)練模型較為費(fèi)時(shí)并且對(duì)計(jì)算設(shè)備的計(jì)算能力要求較高。傳統(tǒng)的數(shù)據(jù)融合方法與基于深度學(xué)習(xí)的數(shù)據(jù)融合方法比較總結(jié)如表2所示。

4 結(jié)論與展望

本文對(duì)基于深度學(xué)習(xí)的數(shù)據(jù)融合方法進(jìn)行了較為全面的綜述。首先對(duì)傳統(tǒng)的數(shù)據(jù)融合方法和深度學(xué)習(xí)方法進(jìn)行簡(jiǎn)單概述；然后，將基于深度學(xué)習(xí)的數(shù)據(jù)融合方法按照深度學(xué)習(xí)在數(shù)據(jù)融合中所參與的階段，分為基于深度學(xué)習(xí)特征提取的數(shù)據(jù)融合方法、基于深度學(xué)習(xí)融合的數(shù)據(jù)融合方法和基于深度學(xué)習(xí)全過(guò)程的數(shù)據(jù)融合方法，并對(duì)每種方法的形式分別進(jìn)行描述。最后將傳統(tǒng)的數(shù)據(jù)融合方法和基于深度學(xué)習(xí)的數(shù)據(jù)融合方法進(jìn)行對(duì)比，并根據(jù)基于深度學(xué)習(xí)的數(shù)據(jù)融合方法的特點(diǎn)進(jìn)行分析，提出了其目前存在的難點(diǎn)以及未來(lái)需要研究的方向。

表2 常用的數(shù)據(jù)融合方法與基于深度學(xué)習(xí)數(shù)據(jù)融合方法比較

4.1 基于深度學(xué)習(xí)的數(shù)據(jù)融合方法難點(diǎn)

在數(shù)據(jù)量愈加龐大的時(shí)代，數(shù)據(jù)融合技術(shù)借助深度學(xué)習(xí)得到進(jìn)一步發(fā)展?；谏疃葘W(xué)習(xí)的數(shù)據(jù)融合也成為最有發(fā)展前景的數(shù)據(jù)融合方法。但是，基于深度學(xué)習(xí)的數(shù)據(jù)融合方法仍存在一些難點(diǎn)。

（1）異構(gòu)數(shù)據(jù)

多源異構(gòu)數(shù)據(jù)通常具有不同的數(shù)據(jù)表示方式、數(shù)據(jù)單位、數(shù)據(jù)密度以及數(shù)據(jù)分布，這也體現(xiàn)了數(shù)據(jù)的多模態(tài)。目前，融合數(shù)據(jù)類型較為豐富，包括結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。異構(gòu)數(shù)據(jù)特征表示的差異性是數(shù)據(jù)融合的難點(diǎn)。此外，異構(gòu)數(shù)據(jù)具有高維或超高維特性，而高維數(shù)據(jù)的特征表示對(duì)數(shù)據(jù)融合方法也具有挑戰(zhàn)性。如何對(duì)多源異構(gòu)數(shù)據(jù)提取特征并對(duì)多模式特征進(jìn)行融合是需要進(jìn)一步研究的問(wèn)題。

（2）數(shù)據(jù)融合模型訓(xùn)練

基于深度學(xué)習(xí)的數(shù)據(jù)融合方法通常具有較為復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，模型復(fù)雜度較高。而這些方法在進(jìn)行訓(xùn)練時(shí)，對(duì)計(jì)算機(jī)運(yùn)算設(shè)備的要求也較高，如3.2 節(jié)中，模型訓(xùn)練使用的硬件資源有NVIDIA GTX 1080Ti[44]、NVIDIA Tesla K80[52]、NVIDIA Quadro K4200[48]等。因此，基于深度學(xué)習(xí)的數(shù)據(jù)融合方法只有在消耗大量計(jì)算資源的情況下才能確保有效性，這也導(dǎo)致基于深度學(xué)習(xí)的數(shù)據(jù)融合方法在傳感器等小型設(shè)備上并不適用。目前，關(guān)于提升深度學(xué)習(xí)訓(xùn)練效率的方法主要分為兩類：計(jì)算優(yōu)化、硬件優(yōu)化[56]。計(jì)算優(yōu)化包括模型結(jié)構(gòu)優(yōu)化、模型剪枝、模型量化等措施，盡可能減少模型計(jì)算量，進(jìn)而尋求模型效果和效率的平衡。硬件優(yōu)化主要是通過(guò)增加硬件計(jì)算資源或提高硬件的計(jì)算速度來(lái)提升訓(xùn)練效率。如何對(duì)基于深度學(xué)習(xí)的數(shù)據(jù)融合方法進(jìn)行計(jì)算優(yōu)化減少計(jì)算量，從而減少對(duì)高性能計(jì)算設(shè)備的依賴，擴(kuò)大方法的應(yīng)用領(lǐng)域，是基于深度學(xué)習(xí)的數(shù)據(jù)融合方法未來(lái)需要解決的問(wèn)題。

4.2 基于深度學(xué)習(xí)的數(shù)據(jù)融合方法展望

盡管基于深度學(xué)習(xí)的數(shù)據(jù)融合方法在應(yīng)用中還存在一些困難，但是對(duì)其進(jìn)行進(jìn)一步研究與應(yīng)用卻是至關(guān)重要的。通過(guò)對(duì)基于深度學(xué)習(xí)的數(shù)據(jù)融合方法的難點(diǎn)進(jìn)行分析，從難點(diǎn)的本質(zhì)入手對(duì)其進(jìn)行進(jìn)一步研究。

（1）異構(gòu)數(shù)據(jù)融合研究

異構(gòu)性是大數(shù)據(jù)的主要特征之一，而異構(gòu)性不可避免會(huì)導(dǎo)致數(shù)據(jù)特征存在差異。如何完成對(duì)異構(gòu)數(shù)據(jù)的關(guān)聯(lián)、交叉，最終獲得數(shù)據(jù)間的相關(guān)關(guān)系，這是對(duì)異構(gòu)數(shù)據(jù)融合研究的重點(diǎn)。通過(guò)對(duì)基于深度學(xué)習(xí)的數(shù)據(jù)融合方法文獻(xiàn)的分析后發(fā)現(xiàn)，目前已有研究人員對(duì)異構(gòu)數(shù)據(jù)融合進(jìn)行研究。例如，Rodrigues等人[57]提出一種針對(duì)時(shí)間序列數(shù)據(jù)和文本數(shù)據(jù)的數(shù)據(jù)融合模型，使用不同的深度學(xué)習(xí)模型學(xué)習(xí)不同數(shù)據(jù)的特征并融合。在已有研究工作的基礎(chǔ)上，可以對(duì)異構(gòu)數(shù)據(jù)的特點(diǎn)進(jìn)行分析，通過(guò)多模型融合的方式來(lái)實(shí)現(xiàn)多任務(wù)集成的深度學(xué)習(xí)，并通過(guò)挖掘所得的多源異構(gòu)數(shù)據(jù)關(guān)聯(lián)關(guān)系實(shí)現(xiàn)融合，獲得數(shù)據(jù)的共享表示。

（2）基于深度學(xué)習(xí)的數(shù)據(jù)融合方法訓(xùn)練效率

深度學(xué)習(xí)復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)使其具有很好的數(shù)據(jù)處理能力，但是也帶來(lái)了一系列的問(wèn)題。例如，訓(xùn)練模型需要大量數(shù)據(jù)、訓(xùn)練模型對(duì)設(shè)備的計(jì)算能力要求高、訓(xùn)練模型所耗費(fèi)的時(shí)間較長(zhǎng)等。這些問(wèn)題也制約了基于深度學(xué)習(xí)的數(shù)據(jù)融合方法發(fā)展。目前，關(guān)于提高深度學(xué)習(xí)模型訓(xùn)練效率主要在兩個(gè)研究方向：其一為增加計(jì)算資源，該方法最為有效，但是并不能解決關(guān)于模型訓(xùn)練的根本問(wèn)題；另一個(gè)方向?yàn)閷?duì)模型網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行壓縮或?qū)W(wǎng)絡(luò)參數(shù)進(jìn)行量化，這類方法能從根本上解決網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜帶來(lái)的一系列問(wèn)題，但是這類優(yōu)化操作較為依賴人工經(jīng)驗(yàn)，費(fèi)時(shí)費(fèi)力。因此，讓模型在訓(xùn)練過(guò)程中自動(dòng)完成對(duì)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化，是提升基于深度學(xué)習(xí)的數(shù)據(jù)融合模型訓(xùn)練效率有效的手段，值得進(jìn)行深入研究。

（3）數(shù)據(jù)融合評(píng)價(jià)體系

對(duì)數(shù)據(jù)融合模型的評(píng)價(jià)應(yīng)是全面且有充分的依據(jù)作為支撐?，F(xiàn)階段大部分?jǐn)?shù)據(jù)融合方法的評(píng)價(jià)是以基于模擬或理想化的假設(shè)進(jìn)行的，這使得很難對(duì)模型的實(shí)際應(yīng)用效果做出評(píng)價(jià)。Laere[58]在有關(guān)數(shù)據(jù)融合模型評(píng)價(jià)的綜述文獻(xiàn)中，討論了在實(shí)際應(yīng)用中數(shù)據(jù)融合性能評(píng)估挑戰(zhàn)。在對(duì)52 篇數(shù)據(jù)融合相關(guān)文獻(xiàn)研究后發(fā)現(xiàn)，只有約6%的研究工作是基于實(shí)際應(yīng)用場(chǎng)景對(duì)融合模型進(jìn)行評(píng)估的。脫離實(shí)際場(chǎng)景對(duì)模型進(jìn)行評(píng)價(jià)，會(huì)使得研究人員更加注重模型在理想化條件下的表現(xiàn)，而忽略模型在實(shí)際應(yīng)用場(chǎng)景中的性能，阻礙數(shù)據(jù)融合技術(shù)的發(fā)展與應(yīng)用。因此，建立合理的數(shù)據(jù)融合評(píng)價(jià)體系，對(duì)模型評(píng)價(jià)過(guò)程進(jìn)行規(guī)范化是數(shù)據(jù)融合重要的研究方向。

（4）數(shù)據(jù)融合模型安全性

目前，大多數(shù)針對(duì)數(shù)據(jù)融合的研究注重于提高融合方法的性能，而鮮有對(duì)模型安全的相關(guān)研究。在數(shù)據(jù)融合的特殊應(yīng)用領(lǐng)域，如軍事領(lǐng)域，迫切需要安全的模型來(lái)完成對(duì)軍事數(shù)據(jù)的融合?，F(xiàn)階段，模型的攻擊通常發(fā)生在模型的訓(xùn)練或預(yù)測(cè)階段，攻擊者通過(guò)不同手段對(duì)模型的輸入、輸出做出惡意修改或通過(guò)某種手段竊取模型的內(nèi)部參數(shù)，從而破壞模型的保密性、完整性。保密性攻擊手段主要有：通過(guò)構(gòu)造惡意模型竊取敏感信息；根據(jù)預(yù)測(cè)信息破解模型參數(shù)，通過(guò)模型逆向獲得近似原始數(shù)據(jù)的數(shù)據(jù)[59]。完整性攻擊主要通過(guò)對(duì)輸入數(shù)據(jù)的修改來(lái)影響模型的性能。在模型訓(xùn)練階段，攻擊者對(duì)訓(xùn)練數(shù)據(jù)增加干擾，影響訓(xùn)練過(guò)程從而降低模型的準(zhǔn)確性，該階段常見(jiàn)的攻擊手段為數(shù)據(jù)投毒攻擊。在模型預(yù)測(cè)階段，攻擊者也可以對(duì)待預(yù)測(cè)數(shù)據(jù)進(jìn)行修改，從而使模型預(yù)測(cè)出現(xiàn)錯(cuò)誤，常用的攻擊手段為對(duì)抗樣本攻擊。在設(shè)計(jì)數(shù)據(jù)融合模型時(shí)，為保證模型的安全性和可靠性，應(yīng)該考慮會(huì)對(duì)模型發(fā)起攻擊的手段以及攻擊強(qiáng)度。目前，大多數(shù)數(shù)據(jù)融合模型在設(shè)計(jì)時(shí)并未過(guò)多考慮攻擊者，使得在實(shí)際應(yīng)用中模型抗攻擊能力很弱。因此，模型的安全性是數(shù)據(jù)融合領(lǐng)域亟待進(jìn)一步研究的方向。