李浩然, 熊 偉, 崔亞奇

(海軍航空大學(xué)信息融合研究所, 山東 煙臺 264001)

0 引 言

當(dāng)今海洋權(quán)益越來越受到重視,海洋監(jiān)視技術(shù)對維護(hù)海洋權(quán)益有著重要意義[1]。在海洋監(jiān)視領(lǐng)域,合成孔徑雷達(dá)(synthetic aperture radar, SAR)與船舶自動識別系統(tǒng)(automatic identification system, AIS)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系的建立有著廣泛的應(yīng)用場景[2],如偵察監(jiān)視[3-5]、污染監(jiān)控[6-8]、目標(biāo)識別[9-11]、非法打撈等[12-14]。星載SAR和AIS都具有全天時(shí)全天候的工作能力,但又各具特點(diǎn),在艦船目標(biāo)監(jiān)視方面有著優(yōu)勢互補(bǔ)的特性。AIS信息更新頻率快且精度高,可以直接獲得艦船的位置、航向、尺寸等特征信息[15]。星載SAR探測范圍廣,獲取圖像的分辨率較高,但訪問周期長。AIS信息中艦船的具體特征信息可作為對應(yīng)SAR圖像中目標(biāo)信息的補(bǔ)充,而SAR圖像又是AIS信息中對應(yīng)目標(biāo)更直觀的表示。通過SAR圖像與AIS信息關(guān)聯(lián)關(guān)系的建立,由AIS信息關(guān)聯(lián)檢索到對應(yīng)SAR圖像,可以快速鎖定目標(biāo)所在的大致區(qū)域,有助于周圍環(huán)境態(tài)勢的判定;而SAR圖像關(guān)聯(lián)檢索到對應(yīng)AIS數(shù)據(jù),能夠進(jìn)一步獲得目標(biāo)的具體信息,有利于了解目標(biāo)的基本情況。SAR圖像與AIS信息之間相互補(bǔ)充可以使我們對目標(biāo)情況掌握更全面,提升海洋目標(biāo)的態(tài)勢感知能力。

數(shù)據(jù)關(guān)聯(lián)用于判別來自不同傳感器的信息是否源于同一目標(biāo)[16],是實(shí)現(xiàn)上述兩種信息有效互補(bǔ)的基礎(chǔ)和前提。SAR和AIS的關(guān)聯(lián)屬于典型的跨模態(tài)數(shù)據(jù)關(guān)聯(lián)問題。文獻(xiàn)[17]提出了用一種對SAR和AIS數(shù)據(jù)融合的新方法,在決策層采用算數(shù)平均函數(shù)對數(shù)據(jù)融合,并在模擬數(shù)據(jù)集上進(jìn)行了檢驗(yàn)。文獻(xiàn)[18]通過一種改進(jìn)的自適應(yīng)支持向量機(jī)對AIS信息中的知識進(jìn)行遷移來提高SAR艦船分類性能,實(shí)驗(yàn)證明傳統(tǒng)方法的效果可以得到明顯改進(jìn)。文獻(xiàn)[19]提出了一種利用SAR圖像中目標(biāo)的航速估計(jì)來提高SAR與AIS匹配精度的方法,具有較廣泛的適應(yīng)性。文獻(xiàn)[20]提出了一種在密集場景下輔助分類的SAR與AIS數(shù)據(jù)關(guān)聯(lián)技術(shù),利用基于AIS信息遷移學(xué)習(xí)的SAR分類模型提高了數(shù)據(jù)關(guān)聯(lián)的置信度。然而,以上針對SAR圖像與AIS數(shù)據(jù)關(guān)聯(lián)的方法,通常提取兩種數(shù)據(jù)中目標(biāo)的位置及屬性特征信息,轉(zhuǎn)換為同模態(tài)的數(shù)據(jù)后再通過融合決策實(shí)現(xiàn)關(guān)聯(lián)匹配。然而上述方法很大程度上依賴于SAR圖像中的位置信息,輔助以目標(biāo)的尺寸等信息實(shí)現(xiàn)關(guān)聯(lián),未能充分利用遙感圖像豐富的語義信息,若缺失準(zhǔn)確位置信息則難以實(shí)現(xiàn)兩者的關(guān)聯(lián)。此外,這些方法多依賴于人工設(shè)計(jì)特征且關(guān)聯(lián)步驟繁瑣,關(guān)聯(lián)效率低。

近年來,深度學(xué)習(xí)技術(shù)已經(jīng)越來越廣泛應(yīng)用于圖文檢索[21]、音頻翻譯[22]和文本視頻匹配[23]等領(lǐng)域中的跨模態(tài)數(shù)據(jù)關(guān)聯(lián)問題。但AIS信息并不同于一般的文本或是音頻等信息,AIS信息中包含時(shí)空信息以及目標(biāo)屬性等信息,其不同于一般的句子結(jié)構(gòu),文本信息中不是僅僅是單詞的有序組合,而是名稱詞語和對應(yīng)數(shù)值的組合,相對來說結(jié)構(gòu)更加復(fù)雜,而且數(shù)據(jù)本身上下文間沒有明顯的邏輯性,特征信息挖掘難度大。通常的用于解決跨模態(tài)問題的模型對文本這一模態(tài)特征的獲取是立足于語言模型,獲得文本數(shù)據(jù)的語法結(jié)構(gòu)以及深層語義信息,但這種結(jié)構(gòu)不能完全適用于AIS信息,故難以達(dá)到滿意關(guān)聯(lián)的效果,這使得遙感圖像與AIS信息間關(guān)聯(lián)模型的建立更具挑戰(zhàn)性。

為了更好地解決遙感圖像與AIS信息的關(guān)聯(lián)問題,克服多源數(shù)據(jù)類型之間存在的異構(gòu)鴻溝,實(shí)現(xiàn)高效準(zhǔn)確的關(guān)聯(lián)檢索,本文提出了一種基于深度特征融合的SAR圖像與AIS信息關(guān)聯(lián)學(xué)習(xí)的方法。根據(jù)SAR圖像和AIS數(shù)據(jù)所含信息豐富且難獲取的特點(diǎn)分別設(shè)計(jì)了相應(yīng)的特征提取網(wǎng)絡(luò)模型,將網(wǎng)絡(luò)學(xué)習(xí)到的兩種模態(tài)數(shù)據(jù)的特征表示映射到同一特征空間并進(jìn)行融合,然后在這一空間中通過關(guān)聯(lián)學(xué)習(xí)目標(biāo)函數(shù)實(shí)現(xiàn)跨模態(tài)數(shù)據(jù)之間關(guān)聯(lián)關(guān)系的學(xué)習(xí),同時(shí)構(gòu)建了一個(gè)包含SAR圖像和AIS信息的數(shù)據(jù)集,并在數(shù)據(jù)集上驗(yàn)證了所提模型的有效性。

1 模型設(shè)計(jì)

SAR圖像與AIS信息的數(shù)據(jù)之間存在異構(gòu)鴻溝,難以直接進(jìn)行數(shù)據(jù)間的關(guān)聯(lián)。首先需要將兩種不同傳感器獲取的數(shù)據(jù)信息映射到同一個(gè)特征空間,使得不同類型的信息有統(tǒng)一的特征表示形式。進(jìn)一步,通過對關(guān)聯(lián)學(xué)習(xí)目標(biāo)函數(shù)的設(shè)計(jì)發(fā)掘兩種數(shù)據(jù)間潛在的關(guān)聯(lián)關(guān)系,實(shí)現(xiàn)SAR圖像與AIS信息之間的關(guān)聯(lián)檢索。本文設(shè)計(jì)的用于SAR圖像與AIS信息關(guān)聯(lián)的模型結(jié)構(gòu)如圖1所示,分別通過兩個(gè)子網(wǎng)絡(luò)模型對SAR和AIS數(shù)據(jù)特征進(jìn)行充分的學(xué)習(xí),再將學(xué)得的兩種模態(tài)特征表示分別映射到同一特征空間中,然后在共同的特征空間進(jìn)行關(guān)聯(lián)關(guān)系的建模。這個(gè)過程可以表示為

圖1 本文方法構(gòu)架

i=WII

(1)

t=WTT

(2)

S=cos(i,t)

(3)

式中:WI和WT分別為SAR圖像和AIS文本信息的權(quán)重矩陣;i和t分別為SAR圖像和AIS信息的特征表示;cos(x,y)表示x,y兩個(gè)向量之間的余弦相似度。下面將具體介紹本文的方法。

1.1 SAR圖像特征表示

SAR圖像特征學(xué)習(xí)的基本過程如圖2所示,為了更好地學(xué)習(xí)到圖像中的目標(biāo)信息,輸入的SAR圖像首先會通過一個(gè)目標(biāo)檢測模型,保存獲得的圖像中目標(biāo)的邊界框并將其標(biāo)注在圖像上。進(jìn)一步,將帶有邊界框的SAR圖像輸入到卷積神經(jīng)網(wǎng)絡(luò),使用的圖像特征提取模型為在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的Resnet18[24],每幅輸入的SAR圖像大小都調(diào)整為256×256后輸入到網(wǎng)絡(luò)模型中以獲取對應(yīng)的特征表示。

圖2 SAR圖像特征提取網(wǎng)絡(luò)

遙感圖像不同于自然圖像,其具有更豐富的語義信息,僅使用全局特征雖然可以表示圖像所包含的大部分信息,但仍有一定缺陷。文獻(xiàn)[25]設(shè)計(jì)的殘差精化模塊有助于提取到圖片的精細(xì)化特征,深層特征圖尺度大,能夠捕獲突出對象的高級語義信息;而淺層特征圖尺度小,能夠提取目標(biāo)精細(xì)語義信息。在這種方法的啟發(fā)下我們設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)在獲得遙感圖像特征表示時(shí),不但提取圖像的全局特征同時(shí)也得到各層的特征圖,獲得一組多尺度特征圖。然后對不同層輸出的特征圖進(jìn)行了上采樣,進(jìn)而對特征圖進(jìn)行拼接分別獲得底層特征和高層特征,然后使用卷積層對底層特征采樣使其大小與高層特征相匹配,高層特征則通過卷積進(jìn)行等尺度變化。最后得到的SAR圖像特征表示是將提取的不同層次特征圖融合后的結(jié)果,以此得到遙感圖像的更細(xì)粒度表示,更能體現(xiàn)目標(biāo)特征。SAR圖像特征融合示意圖如圖3所示。

圖3 SAR圖像特征融合

上述過程可以表示為

L=conv3×3(Cat(F2,Upsample(F3)))

(4)

H=conv1×1(Cat(F4,Upsample(F5)))

(5)

i=(σ(Linear(Cat(L,H))))⊙G

(6)

式中:Fi代表第i層網(wǎng)絡(luò)的輸出特征,網(wǎng)絡(luò)的基本結(jié)構(gòu)參數(shù)如表1中所示;conv()表示卷積操作,右下角標(biāo)為卷積核大小;Cat()表示維數(shù)一致的特征向量,在通道數(shù)維度上進(jìn)行拼接;Upsample()代表上采樣操作;Linear()代表線性變換;σ()代表Sigmoid激活函數(shù);G為網(wǎng)絡(luò)獲取的全局特征;i為各層級圖像特征融合后得到的SAR圖像特征表示;⊙表示按元素相乘。

表1 SAR圖像特征提取網(wǎng)絡(luò)基本結(jié)構(gòu)參數(shù)

1.2 AIS信息特征表示

AIS信息的輸入形式為文本格式,其中包含海上移動通信業(yè)務(wù)標(biāo)識(maritime mobile service identity, MMSI)、經(jīng)緯度、船的尺寸、航向等具有代表性的目標(biāo)基本信息。AIS信息輸入后,首先對AIS文本信息進(jìn)行分詞并編碼,由于AIS的文本信息不同于一般的句子,所以我們對分詞器進(jìn)行了特定的設(shè)計(jì),分詞得到的目標(biāo)信息的名稱和真值保持結(jié)合在一起,例如“MMSI:107521122”的形式,這樣的設(shè)計(jì)更利于體現(xiàn)AIS數(shù)據(jù)中所包含的目標(biāo)特征信息,保證了信息的整體一致性,利于后續(xù)的特征提取。然后將分詞后的每個(gè)單詞編碼嵌入到300維向量后再輸入到網(wǎng)絡(luò)模型中進(jìn)一步挖掘數(shù)據(jù)中的特征信息,由于AIS信息與一般文本語句有較大差異,以及分詞后詞間并無明顯的邏輯性,為了提高對AIS信息的表示能力,充分挖掘數(shù)據(jù)中的表征信息。AIS信息特征提取過程如圖4所示,構(gòu)建了以門控循環(huán)單元(gated recurrent unit,GRU)作為循環(huán)神經(jīng)網(wǎng)絡(luò)的基本節(jié)點(diǎn)以及以一維卷積為基本過濾器的卷積神經(jīng)網(wǎng)絡(luò)模型處理AIS的文本信息,以獲取數(shù)據(jù)整體以及細(xì)節(jié)的語義信息,最終由兩個(gè)網(wǎng)絡(luò)分支獲取的特征融合構(gòu)成AIS信息的特征表示。

圖4 AIS信息特征提取網(wǎng)絡(luò)

假設(shè)輸入的AIS信息中分詞后得到n個(gè)字符串,在對分詞得到的結(jié)果編碼后,AIS信息的輸入可以表示為{s1,s2,…,sn},si∈R300,si為對字符串編碼后的向量。然后分別輸入到GRU以及一維卷積神經(jīng)網(wǎng)絡(luò)中提取特征,得到AIS信息的細(xì)粒度表示。

GRU主要包含更新門zt和重置門,通過這兩個(gè)門來控制輸入和遺忘信息的平衡,其網(wǎng)絡(luò)結(jié)構(gòu)計(jì)算過程可表示為

rt=σ(Wr·[ht-1,xt])

(7)

zt=σ(Wz·[ht-1,xt])

(8)

(9)

(10)

yt=σ(Wo·ht)

(11)

表2 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

AIS文本信息的最終特征表示是由GRU和一維卷積神經(jīng)網(wǎng)絡(luò)獲取的兩部分特征相結(jié)合:

s=GRU(T)+CNN1D(T)

(12)

1.3 特征融合設(shè)計(jì)

在SAR圖像與AIS信息特征提取的網(wǎng)絡(luò)模型中,通過特征融合能夠得到網(wǎng)絡(luò)模型對單模態(tài)信息更準(zhǔn)確的特征表示,但兩模態(tài)特征信息之間并沒有交互,容易造成模型過于依賴圖單一模態(tài)的表征,不利于提高跨模態(tài)信息之間的關(guān)聯(lián)性。單一模態(tài)的AIS信息雖然在一定程度上能夠反映遙感圖像中目標(biāo)的部分特征,但通常不能包含圖像中更全面的目標(biāo)信息。受到文獻(xiàn)[26]啟發(fā),在模型中可以利用圖像特征信息來指導(dǎo)AIS信息的特征表示輸出,實(shí)現(xiàn)兩模態(tài)特征的交互。通過利用已經(jīng)獲取的遙感圖像特征對AIS信息的特征表示進(jìn)行引導(dǎo),特征融合后得到含有引導(dǎo)信息的特征輸出,使模型不僅僅局限于關(guān)注單模態(tài)特征表示,還引入了不同模態(tài)間的交互信息,使獲得的目標(biāo)的特征表示信息更全面且能夠增強(qiáng)模態(tài)間信息的語義相關(guān)性,有助于提高SAR圖像與AIS信息的關(guān)聯(lián)效果。圖像特征向量經(jīng)過線性層及激活函數(shù)后,與文本特征結(jié)合來指導(dǎo)其特征輸出。可以表示為

t=σ(Linear(i))⊙s

(13)

式中:σ()為激活函數(shù);i和s分別為獲取的SAR圖像特征表示和AIS信息特征表示;Linear(x)表示對x進(jìn)行線性變換;t代表帶有視覺信息指導(dǎo)下的AIS信息表示。

1.4 關(guān)聯(lián)學(xué)習(xí)目標(biāo)函數(shù)

為了構(gòu)建SAR圖像與AIS信息之間準(zhǔn)確的關(guān)聯(lián)關(guān)系,通過目標(biāo)函數(shù)在共同空間的約束,使得兩種模態(tài)相匹配數(shù)據(jù)的特征表示在高層語義保持一致。網(wǎng)絡(luò)模型關(guān)聯(lián)學(xué)習(xí)的目標(biāo)函數(shù)由兩部分組合而成,目標(biāo)函數(shù)的設(shè)計(jì)可以加快模型的收斂同時(shí)學(xué)習(xí)到更具辨別性的特征,其表達(dá)式為

L=Lsim+Ltriple

(14)

式中:Lsim表示相似性約束損失;Ltriple表示三元損失。

1.4.1 相似性約束

針對不同模態(tài)數(shù)據(jù)之間的異構(gòu)性,該約束使匹配的SAR圖像與AIS信息的特征表示在統(tǒng)一的特征空間中相互靠近,克服由于數(shù)據(jù)異構(gòu)性造成數(shù)據(jù)間的語義鴻溝,增強(qiáng)不同模態(tài)特征表示間的語義關(guān)聯(lián)性,拉近了匹配的SAR與AIS信息的特征表示在共同空間中的距離。

(15)

式中:N為一個(gè)批次中所含的成對樣本數(shù);i和t分別為SAR圖像和AIS文本信息的特征表示。

1.4.2 三元損失

隨著多模態(tài)特征匹配的發(fā)展,三元損失已經(jīng)是多模態(tài)特征匹配領(lǐng)域常用的損失函數(shù)之一。文獻(xiàn)[27]對三元損失進(jìn)行了改進(jìn),提高了其在圖文檢索應(yīng)用的效果。在共同空間中,三元損失通過增大樣本與其對應(yīng)的負(fù)樣本之間的距離,同時(shí)使該樣本與其對應(yīng)的正樣本之間的距離盡可能近,這樣可以使模型學(xué)習(xí)到更細(xì)微的特征,增強(qiáng)提取到特征的判別性,進(jìn)一步提高關(guān)聯(lián)的準(zhǔn)確性。

(16)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集構(gòu)建

由于獲取相匹配的遙感圖像與AIS信息難度大,目前并沒有遙感圖像與AIS信息相互匹配的公開數(shù)據(jù)集。為了驗(yàn)證本文所提方法的有效性,解決SAR圖像與AIS信息之間的關(guān)聯(lián)問題,本文構(gòu)建了一個(gè)包含SAR圖像和對應(yīng)AIS文本信息的數(shù)據(jù)集,圖5展示了數(shù)據(jù)集中的部分樣例。對應(yīng)文本信息選取了AIS中具有代表性的目標(biāo)特征信息,包含MMSI、經(jīng)緯度、船的長寬、航向等基本信息。數(shù)據(jù)集的構(gòu)建以SAR圖像艦船目標(biāo)檢測數(shù)據(jù)集(SAR ship detection dataset,SSDD)[28]為基礎(chǔ),從中選取了650張只包含一個(gè)目標(biāo)的SAR圖像,每張SAR圖像對應(yīng)的AIS信息根據(jù)目標(biāo)特點(diǎn)進(jìn)行標(biāo)注。

圖5 數(shù)據(jù)集樣例

2.2 實(shí)驗(yàn)設(shè)置

在本實(shí)驗(yàn)中,隨機(jī)挑選數(shù)據(jù)集中80%的數(shù)據(jù)作為訓(xùn)練集,10%作為驗(yàn)證集,剩余的10%作為測試集。以Resnet18為基本網(wǎng)絡(luò)構(gòu)架提取SAR圖像的特征表示,訓(xùn)練過程隨機(jī)讀取匹配的SAR圖像與AIS信息,同時(shí)輸入到網(wǎng)絡(luò)模型中。我們使用Adam優(yōu)化器來訓(xùn)練整個(gè)網(wǎng)絡(luò),三元損失門限值設(shè)置為0.3,批次大小設(shè)置為16,訓(xùn)練迭代20個(gè)循環(huán),學(xué)習(xí)率設(shè)置為0.000 2。

此外,實(shí)驗(yàn)檢索任務(wù)分為SAR圖像到AIS信息(S2A)和AIS信息到SAR圖像(A2S)兩種類型。本實(shí)驗(yàn)中采用基于實(shí)值表示學(xué)習(xí)跨模態(tài)檢索任務(wù)[29]常用的性能評價(jià)指標(biāo)召回率(Recall)作為模型的評價(jià)指標(biāo),召回率是指給定查詢樣本時(shí)模型返回的相關(guān)樣本與數(shù)據(jù)集中所有與其相匹配的樣本數(shù)之比。在跨模態(tài)領(lǐng)域,R@K(K=1,5,10)表示針對一種模態(tài)信息的查詢,返回另一種模態(tài)數(shù)據(jù)的前K個(gè)結(jié)果中包含正確匹配樣本的百分比。R_m是R@K所有數(shù)據(jù)的平均值,用于評估模型的整體性能更為合理。兩個(gè)評價(jià)指標(biāo)的值越高,模型表現(xiàn)越好。

2.3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文模型算法的有效性,我們在構(gòu)建的SAR圖像與AIS信息相匹配的數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證,分別進(jìn)行了SAR圖像檢索以及AIS信息的檢索。為確保模型的有效性和可靠性,實(shí)驗(yàn)結(jié)果我們采用五折交叉驗(yàn)證后的平均值,在兩種任務(wù)上的實(shí)驗(yàn)結(jié)果如表3所示。

表3 本文方法實(shí)驗(yàn)結(jié)果

表3中分別展示了本文方法在SAR圖像檢索AIS信息(SAR->AIS)以及AIS檢索SAR圖像(AIS->SAR)的實(shí)驗(yàn)結(jié)果以及與SCAN[30]以及AMFMN[31]方法的對比。從數(shù)據(jù)上可以看出,本文方法在所構(gòu)建的數(shù)據(jù)集上可以達(dá)到較好的效果,尤其是在返回的前幾個(gè)結(jié)果檢索到匹配信息的準(zhǔn)確率較高,表明模型能夠較好地學(xué)習(xí)到兩種異構(gòu)數(shù)據(jù)潛在的關(guān)聯(lián)關(guān)系,能夠較準(zhǔn)確地實(shí)現(xiàn)這兩種模態(tài)數(shù)據(jù)的相互檢索。SCAN使用堆疊交叉注意力模型實(shí)現(xiàn)圖文匹配,是在自然領(lǐng)域的圖文跨模態(tài)檢索任務(wù)中的經(jīng)典算法,后續(xù)的很多相關(guān)研究都將其作為基準(zhǔn)對比效果;而AMFMN是在遙感領(lǐng)域最近提出的用于圖文跨模態(tài)的關(guān)聯(lián)學(xué)習(xí)方法,其能適應(yīng)多尺度輸入并能夠過濾冗余特征,并在更細(xì)粒度的數(shù)據(jù)集上表現(xiàn)出較好的性能。從上述方法對比的實(shí)驗(yàn)結(jié)果可以進(jìn)一步看出,本文的方法較SCAN、AMFMN表現(xiàn)更好,尤其是在R@1和R@5這兩個(gè)指標(biāo)上有較大提升,說明本文方法關(guān)聯(lián)匹配的精準(zhǔn)度更高,證明了本文方法用于SAR圖像與AIS信息關(guān)聯(lián)檢索任務(wù)的有效性。

為了更直觀地分析模型效果,從測試數(shù)據(jù)集中挑選出具有代表性的例子,以及模型檢索到的最相似的前3個(gè)對象。如圖6和圖7所示,其中紅框標(biāo)出的圖像或文本為對應(yīng)查詢樣本的真值。

圖6 AIS->SAR檢索結(jié)果

圖7 SAR->AIS檢索結(jié)果

圖6和圖7分別展示了SAR圖像檢索AIS信息以及AIS信息檢索SAR圖像的幾個(gè)結(jié)果,可以看出查詢對象所對應(yīng)的真值大多都能包含在排序靠前的檢索結(jié)果中,這說明本文對SAR圖像和AIS信息之間進(jìn)行關(guān)聯(lián)學(xué)習(xí)的方法是有效的。此外,對于查詢對象返回的相似度較高但不是真值的那些樣本,其特征信息是與真值非常類似的,只是在細(xì)節(jié)上有所差異。通過這種將結(jié)果可視化的方式,可以看出本文設(shè)計(jì)的網(wǎng)絡(luò)模型在提取SAR圖像與AIS 信息細(xì)粒度特征以及發(fā)掘兩者之間潛在關(guān)聯(lián)關(guān)系的突出能力,進(jìn)一步說明了本文方法的有效性。

為了驗(yàn)證所提模型中各部分的作用,進(jìn)一步檢驗(yàn)本文方法的有效性,我們設(shè)計(jì)了不同模塊組合的模型,并進(jìn)行了對比實(shí)驗(yàn)進(jìn)行分析。為簡化表示,分別用“M”“M1”“M2”“M3”“M4”“M5”“M6”“M7”“M8”代表本文完整模型、SAR圖像細(xì)節(jié)特征模塊與AIS信息的GRU特征模塊組合、SAR圖像細(xì)節(jié)特征模塊與AIS信息的一維卷積特征模塊組合、SAR圖像全局特征模塊與AIS信息的GRU特征模塊組合、SAR圖像全局特征模塊與AIS信息的一維卷積特征模塊組合、SAR圖像細(xì)節(jié)特征模塊與AIS信息的完整特征模塊組合、SAR圖像完整特征模塊與AIS信息的GRU特征模塊組合、SAR圖像完整特征模塊與AIS信息的一維卷積特征模塊組合、SAR圖像全局特征模塊與AIS信息的完整特征模塊組合,這些組合的模型在兩類任務(wù)上的實(shí)驗(yàn)結(jié)果如表4所示。

表4 對比實(shí)驗(yàn)結(jié)果

從對比實(shí)驗(yàn)結(jié)果可以看出,如果從本文模型的SAR圖像特征提取模塊以及AIS信息特征提取模塊中各移除一個(gè)模塊,則剩余部分的組合模型整體關(guān)聯(lián)效果會有明顯下降;如果只是從整個(gè)模型中任意移除某一模塊,也會導(dǎo)致模型的整體效果下降,只有當(dāng)模型完整時(shí)達(dá)到最佳效果,對比實(shí)驗(yàn)結(jié)果充分說明了本文方法所設(shè)計(jì)各模塊的有效性。

3 結(jié) 論

針對SAR圖像與AIS信息關(guān)聯(lián)難度大,其數(shù)據(jù)間相似性難以度量的問題,提出了一種基于深度特征融合的SAR圖像與AIS信息關(guān)聯(lián)的方法。與現(xiàn)有的方法相比,無需過多的人工干預(yù),能夠直接對兩種模態(tài)信息的關(guān)聯(lián)關(guān)系進(jìn)行建模,將不同模態(tài)特征表示映射到同一特征空間并通過特征融合以增強(qiáng)關(guān)聯(lián)性,使得模型實(shí)現(xiàn)更加高效準(zhǔn)確的關(guān)聯(lián)檢索。為了驗(yàn)證方法的有效性,構(gòu)建了一個(gè)包含SAR圖像及匹配AIS信息的數(shù)據(jù)集。然而,受限于匹配的SAR圖像與AIS信息難獲得性,數(shù)據(jù)集中的AIS信息多參照實(shí)際的數(shù)據(jù)內(nèi)容形式進(jìn)行標(biāo)注獲得,而且構(gòu)造數(shù)據(jù)集的規(guī)模較小,下一步工作需要構(gòu)建實(shí)測的且包含更多復(fù)雜場景大規(guī)模數(shù)據(jù)集來進(jìn)行實(shí)驗(yàn)驗(yàn)證并深入探索以進(jìn)一步提高關(guān)聯(lián)的準(zhǔn)確性。