周春花, 魏維偉, 張學(xué)成, 鄭 鑫, 程冕之

(1. 上海無線電設(shè)備研究所, 上海 201109; 2. 上海目標(biāo)識別與環(huán)境感知工程技術(shù)研究中心, 上海 201109; 3. 中國航天科技集團(tuán)交通感知雷達(dá)技術(shù)研發(fā)中心, 上海 201109; 4. 陸軍裝備部駐上海地區(qū)第三軍事代表室, 上海 200031; 5. 上海航天技術(shù)研究院, 上海 201109)

0 引 言

傳統(tǒng)機(jī)器學(xué)習(xí)任務(wù)依賴大量有良好標(biāo)注的數(shù)據(jù),并且在許多識別任務(wù)中都取得了重大進(jìn)展。然而,傳統(tǒng)機(jī)器學(xué)習(xí)方法僅能識別與訓(xùn)練類別相同的目標(biāo),當(dāng)一個新的類別出現(xiàn)時,傳統(tǒng)模型無法識別出這一新的目標(biāo)類型。逆合成孔徑雷達(dá)(inverse synthetic aperture imaging radar,ISAR)隱身目標(biāo)的實(shí)際應(yīng)用即面臨這一問題。一方面,直到目前為止,沒有公開、確鑿的隱身目標(biāo)ISAR的數(shù)據(jù)支撐;另一方面,隱身目標(biāo)的ISAR成像受目標(biāo)位置、姿態(tài)、雷達(dá)照射角度和隱身目標(biāo)的低可探測性影響,難以實(shí)現(xiàn)人工標(biāo)注。由已有的先驗(yàn)數(shù)據(jù)可知,隱身目標(biāo)的視覺圖像信息和文本語義特征信息與ISAR成像信息相比較為充裕,由此提出ISAR隱身目標(biāo)零樣本學(xué)習(xí),通過借助文本語義描述信息,生成圖像特征信息,以支撐不可見未知的新目標(biāo)識別。

文獻(xiàn)[1]將圖像小塊分割后引入多頭自監(jiān)督的視覺注意力轉(zhuǎn)換機(jī)制以解決可鑒別屬性定位問題;文獻(xiàn)[2]基于二維視覺圖像和無紋理的三維模型訓(xùn)練零樣本學(xué)習(xí)模型推理三維未知模型;文獻(xiàn)[3]提出了既可以處理分類,也可以泛化處理的語義分割零樣本學(xué)習(xí)模型;文獻(xiàn)[4]通過部組件識別重構(gòu)圖像場景的主謂賓語義理解關(guān)系,從而實(shí)現(xiàn)場景生成模型的性能提升;文獻(xiàn)[5]提出意大利語的文本語義與圖像特征對零樣本學(xué)習(xí)模型;文獻(xiàn)[6]利用雙層注意模塊結(jié)合區(qū)域和場景上下文信息來豐富特征,以更好地實(shí)現(xiàn)多標(biāo)簽的零樣本學(xué)習(xí)分類。

本文提出使用兩個生成模型分別處理隱身目標(biāo)ISAR圖像信息和語義描述信息,通過學(xué)習(xí)具備模態(tài)不變特征的潛在變量來實(shí)現(xiàn)對于不可見類別的識別。使用所提模型在公開數(shù)據(jù)集和私有數(shù)據(jù)集均獲得了良好效果,其中對于隱身目標(biāo)的識別率達(dá)到了75%。

1 算法原理

零樣本學(xué)習(xí)指借助文本語義信息的輔助來實(shí)現(xiàn)對于不可見類型目標(biāo)的識別。通常情況下,零樣本學(xué)習(xí)算法會首先利用可見類別目標(biāo)的視覺圖像和對應(yīng)的語義描述來訓(xùn)練一個生成網(wǎng)絡(luò),實(shí)現(xiàn)以輸入語義描述生成視覺圖像的生成過程。然后,使用該生成網(wǎng)絡(luò)和不可見類語義描述來生成與之對應(yīng)的不可見類圖像,從而解決不可見類圖像的樣本缺失問題,借助常見的分類器網(wǎng)絡(luò)實(shí)現(xiàn)對于不可見類目標(biāo)的識別。

本文首次在ISAR隱身目標(biāo)零樣本識別問題中引入零樣本學(xué)習(xí),采用的零樣本學(xué)習(xí)同樣遵循了生成式的方法,實(shí)現(xiàn)文本語義特征信息到雷達(dá)圖像特征生成遷移。所謂生成式指的是訓(xùn)練一個生成網(wǎng)絡(luò),該網(wǎng)絡(luò)能夠根據(jù)給出的語義描述生成對應(yīng)的圖像特征。在生成式的零樣本學(xué)習(xí)研究中,有兩種典型的生成網(wǎng)絡(luò),一種是生成式對抗網(wǎng)絡(luò)(generative adversarial network, GAN)[7],另一種是變分自編碼器(variational auto-encoder, VAE)[8]網(wǎng)絡(luò)。通過生成網(wǎng)絡(luò),借助不可見類的文本語義描述信息,可以獲得對應(yīng)的不可見類的圖像特征。采用生成的不可見類圖像特征來進(jìn)行分類識別,當(dāng)生成的圖像特征具備了真實(shí)目標(biāo)特征時,就能夠?qū)崿F(xiàn)對于真實(shí)不可見類目標(biāo)的識別,從而實(shí)現(xiàn)利用文本語義信息輔助來實(shí)現(xiàn)對于不可見類目標(biāo)的識別,能夠成功地分辨出各類型的實(shí)體。其中,GAN需要的計算資源豐富、訓(xùn)練成本高、訓(xùn)練時間更長,而VAE需要的計算資源較少、訓(xùn)練時間較短,但存在一定程度的生成圖像失真問題。為了能夠?qū)崿F(xiàn)高效網(wǎng)絡(luò)運(yùn)行,本文采取VAE的結(jié)構(gòu)。

Ez～qθ(z|x)[lnpφ(x|z)]-DKL(qθ(z|x)‖p(z))

(1)

式中:qθ(z|x) 表示參數(shù)為θ的編碼器;pφ(x|z)表示參數(shù)為φ的解碼器。式(1)中的第1項(xiàng)為自編碼器的重構(gòu)誤差,第2項(xiàng)DKL(·)為KL散度(Kullback-Leibler divergence),這一項(xiàng)的作用是約束編碼器qθ(z|x)以更加接近符合高斯分布的前驗(yàn)分布p(z)。

為了能夠充分利用語義描述和視覺圖像特征兩種模態(tài)的信息,設(shè)計了兩個用于生成的模型,一個用于進(jìn)行語義描述信息的編碼和解碼過程,另一個用于進(jìn)行視覺圖像信息的編碼和解碼過程。通過兩個模型來實(shí)現(xiàn)對于語義描述信息a和視覺圖像特征x的綜合利用,所采用網(wǎng)絡(luò)模型訓(xùn)練的損失函數(shù)為

(2)

式中:前兩項(xiàng)表示用于進(jìn)行視覺圖像特征編解碼的訓(xùn)練損失函數(shù);后兩項(xiàng)表示用語義描述信息進(jìn)行編解碼器訓(xùn)練的損失函數(shù)。式(2)中的z1和z2分別表示視覺圖像特征和語義描述信息的潛在變量,即視覺圖像特征和語義描述信息編碼器的輸出。

通過式(2)的約束,本文所設(shè)計的生成模型分別對視覺圖像特征和語義描述信息分別進(jìn)行了自編碼處理。為融合利用兩種信息實(shí)現(xiàn)的零樣本目標(biāo)的識別,視覺圖像特征自編碼器和語義描述信息自編碼器的潛在變量需要包含視覺特征和語義描述兩種模態(tài)的信息,因此針對表示視覺圖像特征和語義描述信息編碼器的輸出的潛在變量z1和z2施加互信息處理,通過互信息處理讓z1和z2包含的信息相互接近,從而實(shí)現(xiàn)兩種信息的融合。進(jìn)行互信息操作的一般過程如下:

(3)

式中:X和Y表示任意的兩個變量。在本文中,采用增強(qiáng)同類別變量之間的互信息而減弱不同類別變量之間的互信息,因此最終對模型進(jìn)行訓(xùn)練的損失函數(shù)為

(4)

針對視覺圖像特征和語義描述信息編碼器輸出的潛在變量z1和z2施加互信息,實(shí)現(xiàn)了對來自視覺圖像和語義描述兩種模態(tài)信息的融合。在本文所設(shè)計的方法中,最終需要針對潛變量來完成分類識別任務(wù),因此在保證來自同一類別的潛在變量z1和z2包含模態(tài)不變信息的同時,還應(yīng)保證能夠充分學(xué)習(xí)兩個潛在變量的特征。因此,對兩個潛在變量z1和z2的聯(lián)合分布進(jìn)行最大化熵的操作,該操作如下:

(5)

式中:z=(z1,z2)是潛在變量的聯(lián)合變量;H(z)表示計算聯(lián)合變量的熵;f(·)表示進(jìn)行softmax操作;pz1z2表示潛在變量z1和z2的聯(lián)合分布。針對潛在變量施加互信息約束,通過最大化熵的操作,分類器在識別z1和z2時需要充分利用兩個潛在變量的信息,而不會僅利用部分特殊信息來分辨潛在變量。

在零樣本的學(xué)習(xí)任務(wù)中,處理了視覺圖像特征模態(tài)和語義描述兩種模態(tài)的數(shù)據(jù),在涉及到多種模態(tài)處理的領(lǐng)域中,循環(huán)一致重構(gòu)(cycle-consistent reconstruction,CCR)已被證實(shí)能夠有效處理多模態(tài)數(shù)據(jù)問題[9-11]。同時,利用CCR進(jìn)一步確保了潛在變量包含足夠的模態(tài)不變信息。進(jìn)行這一操作的過程如下:

|a-Ds(Ev(x))|]

(6)

式中:η>0是一個超參數(shù)。

在生成網(wǎng)絡(luò)基礎(chǔ)上,添加了互信息、最大化熵、CCR 3種技術(shù)手段來提升生成模型的表現(xiàn)。在進(jìn)行模型訓(xùn)練時,將式(2)、式(4)～式(6)同時添加到訓(xùn)練損失中,得到的整體損失函數(shù)如下:

(7)

經(jīng)過對生成模型的訓(xùn)練之后,針對潛在變量z1和z2訓(xùn)練一個softmax分類器,來執(zhí)行零樣本目標(biāo)的識別任務(wù)。

為了方便和其他方法比較,遵循其他方法的設(shè)定,在視覺圖像特征的自編碼器輸入端使用經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的圖像特征而非圖像本身。自編碼器中的編碼器和解碼器均由多層感知(multi-layer perception,MLP)機(jī)構(gòu)成。

本文所使用算法的示意圖如圖1所示,本文所采用的編碼器和解碼器均為帶有一個隱藏層的MLP機(jī)。其中,用于處理視覺圖像信息的編碼器隱藏層包含1 560個單元,相應(yīng)的解碼器隱藏層包含1 660個單元。用于處理語義描述信息的編碼器隱藏層有1 450個單元,解碼器的隱藏層有660個單元。

圖1 本文算法示意圖Fig.1 Schematic diagram of the proposed algorithm

模型進(jìn)行訓(xùn)練的過程如圖2所示,通過圖2的流程使用訓(xùn)練數(shù)據(jù)進(jìn)行模型的訓(xùn)練,同時每完成一次訓(xùn)練,使用驗(yàn)證集來進(jìn)行模型的測試,根據(jù)測試結(jié)果判斷是否繼續(xù)進(jìn)行訓(xùn)練。當(dāng)驗(yàn)證結(jié)果及測試結(jié)果均滿足預(yù)期要求時,停止訓(xùn)練,并保存網(wǎng)絡(luò)模型參數(shù)。

圖2 模型訓(xùn)練流程圖Fig.2 Flowchart of model training

2 實(shí)驗(yàn)驗(yàn)證

2.1 公開數(shù)據(jù)集效果驗(yàn)證

為了對所提出的模型進(jìn)行測試驗(yàn)證,同時為了表明零樣本模型的真實(shí)能力,在公開動物屬性(animal with attributes, AWA)數(shù)據(jù)集AwA1[12]、 AwA2[13],以及加州理工學(xué)院鳥類(caltech-USCD birds,CUB)數(shù)據(jù)集[14],以及場景理解(scene understanding,SUN)數(shù)據(jù)集[15]上進(jìn)行測試。其中,AwA1和AwA2數(shù)據(jù)集為動物的圖像數(shù)據(jù)集,包括50個類別的圖片,其中40個類別作為訓(xùn)練集,10個類別作為測試集,每個類別的語義為85維。AwA1總共有30 475張圖片,AwA2總計有37 322張圖片。CUB全部都是鳥類的圖片,總共200類,150類為訓(xùn)練集,50類為測試集,類別的語義為312維,有11 788張圖片。SUN數(shù)據(jù)集總共有717個類別,每個類別包含20張圖片,類別語義為102維,645個類別用于訓(xùn)練,72個類別用于測試,總計14 340張圖片。上述的數(shù)據(jù)集是目前學(xué)術(shù)界進(jìn)行零樣本研究的主要數(shù)據(jù)集,在該類型數(shù)據(jù)集取得的效果能夠證明算法模型的表現(xiàn)和性能。表1展示了綜合識別可見類與不可見類時的結(jié)果,表格中的結(jié)果表示為可見類與不可見類識別結(jié)果的調(diào)和平均值,即調(diào)和均值=(2×可見類結(jié)果×不可見類結(jié)果)/(可見類結(jié)果+不可見類結(jié)果)。本文在公開數(shù)據(jù)集對比的方法包含特征標(biāo)簽嵌入(attribute label embedding,ALE)[14]、深度嵌入模型(deep embedding model, DEM)[16]、生成對抗零樣本方法(generative adversarial approach for zero-shot learning,GAZSL)[17]、合成示例方法(synthesized examples, SE)[18]和自適應(yīng)置信平滑方法(adaptive confidence smoothing, COSMO)[19]。

表1 不同方法在公開數(shù)據(jù)集上的效果表現(xiàn)Table 1 Performance of different methods on public dataset

根據(jù)表1中的結(jié)果,該方法明顯優(yōu)于之前的方法,在AwA1數(shù)據(jù)集上得到了4%的提升,在AwA2數(shù)據(jù)集上得到了5.4%的提升,在CUB數(shù)據(jù)集上得到了4.8%的提升,在SUN數(shù)據(jù)集上得到了0.4%的提升。

2.2 自制數(shù)據(jù)集效果驗(yàn)證

在進(jìn)行零樣本目標(biāo)識別時,由于文中待識別的目標(biāo)為ISAR隱身目標(biāo),采取針對目標(biāo)的光學(xué)和雷達(dá)雙模態(tài)識別,首先獲取光學(xué)圖像,然后仿真生成雷達(dá)圖像,最終達(dá)到的識別效果優(yōu)于單一模態(tài)下的效果。此外,在實(shí)驗(yàn)中可直接獲取的可見類圖像主要為光學(xué)圖像,因此在光學(xué)圖像場景下的數(shù)據(jù)分析能夠更加清晰地表明零樣本學(xué)習(xí)效果,同時更便于理解零樣本學(xué)習(xí)算法的實(shí)際作用。

本文的實(shí)驗(yàn)驗(yàn)證階段首先收集了18種不同型號飛機(jī)的光學(xué)圖像信息,表2詳細(xì)介紹了數(shù)據(jù)集中各類型飛機(jī)及其對應(yīng)的數(shù)目。

表2 進(jìn)行零樣本識別的飛機(jī)數(shù)據(jù)集Table 2 Aircraft dataset for zero-shot recognition

續(xù)表2Continued Table 2

針對文本語義描述信息,采用了基于目標(biāo)屬性的方式進(jìn)行語義描述信息的制作,對“機(jī)身長度”“翼展”“是否有翼尖小翼(0,1)”“尾翼(0,1)”“機(jī)翼面積(m2)”“高度”“展弦比”“發(fā)動機(jī)個數(shù)”“機(jī)翼形狀(后掠翼、三角翼、梯形翼、菱形翼)”“推進(jìn)動力(螺旋槳,噴氣機(jī)等)”“機(jī)翼數(shù)量”“起落架數(shù)量”“主起落架輪子數(shù)”“垂直穩(wěn)定器數(shù)量”“飛機(jī)類型” 等類型屬性進(jìn)行標(biāo)注。表3詳細(xì)介紹了進(jìn)行零樣本識別時使用的語義描述信息。最終,將所有的屬性信息按照順序進(jìn)行了排布,然后根據(jù)屬性的內(nèi)容處理為浮點(diǎn)數(shù)值,將內(nèi)容中為數(shù)值的內(nèi)容轉(zhuǎn)換為浮點(diǎn)類型數(shù)據(jù),將布爾值數(shù)據(jù)轉(zhuǎn)換為用“0”與“1”代表的數(shù)值數(shù)據(jù),將比率數(shù)據(jù)直接轉(zhuǎn)化為以小數(shù)表示的浮點(diǎn)數(shù)據(jù),將選項(xiàng)值數(shù)據(jù)按照選項(xiàng)個數(shù)進(jìn)行編號,并以編號內(nèi)容作為屬性值。通過數(shù)據(jù)化的操作,最終所有的語義標(biāo)注信息轉(zhuǎn)變?yōu)橐粭l由純數(shù)據(jù)構(gòu)成的屬性向量。屬性向量的維度為17維,每一維度對應(yīng)屬性中的每一個項(xiàng)目。

表3 進(jìn)行零樣本識別的語義描述含義Table 3 Meaning of semantic description for zero-shot recognition

續(xù)表3Continued Table 3

針對飛行器數(shù)據(jù)集,采用15種類型的飛機(jī)來進(jìn)行訓(xùn)練,經(jīng)過訓(xùn)練和最終的測試,測試結(jié)果如圖3所示,該模型成功識別了不可見類飛行器(圖3所示A機(jī)型和B機(jī)型)并達(dá)到了75%的綜合識別效果,其中針對A機(jī)型的識別率更是達(dá)到了86%。

圖3 自制數(shù)據(jù)集零樣本識別效果Fig.3 Zero-shot sample recognition performance of customized data set

在針對飛機(jī)類型的測試中,該模型在識別B機(jī)型時識別成功率為63%,即在100份B機(jī)型的雷達(dá)圖像或光學(xué)圖像中,能夠識別出63%的目標(biāo)并將其正確標(biāo)記為B機(jī)型。在對A機(jī)型飛機(jī)進(jìn)行識別時,該模型的成功率為86%,即在100份A機(jī)型的雷達(dá)圖像或光學(xué)圖像中,能夠識別出86%的目標(biāo)并將其正確標(biāo)記為A機(jī)型。針對兩者的綜合情況,采取對兩者的識別率計算綜合分類成功概率為(86%+63%)/2=75%,因此模型綜合識別兩種類型的不可見類目標(biāo)的效果為75%。

此外,還針對不同的生成網(wǎng)絡(luò)生成樣本的情況進(jìn)行了對比實(shí)驗(yàn),實(shí)驗(yàn)最終結(jié)果如表4所示。

護(hù)理前兩組心理健康指標(biāo)漢密爾頓相關(guān)指數(shù)接近，差異無統(tǒng)計學(xué)意義（P＞0.05）；護(hù)理后試驗(yàn)組心理健康指標(biāo)漢密爾頓相關(guān)指數(shù)的改善幅度更大，差異有統(tǒng)計學(xué)意義（P＜0.05）。

表4 3種不同生成模型的識別結(jié)果Table 4 Recognition results of three different generative models

由表4可以發(fā)現(xiàn),使用單個VAE和單個GAN生成模型獲得的最終識別率均低于本文所使用的方法,這也證明了本文所提算法與已有的成熟算法相比具備更高的生成效果,能夠?qū)崿F(xiàn)更好的零樣本目標(biāo)特征的生成。為了進(jìn)一步證明本文所提算法的先進(jìn)性,表4還報告了傳統(tǒng)的零樣本學(xué)習(xí)算法在飛行器數(shù)據(jù)集上的效果。需要注意的是,這里的傳統(tǒng)零樣本學(xué)習(xí)算法指的是非生成式方法。由于本文研究的是一個零樣本識別問題,非零樣本學(xué)習(xí)方法無法處理這一問題,所有非可見類目標(biāo)都會被錯誤分到可見類目標(biāo)中,使得非可見類目標(biāo)的準(zhǔn)確率為0。因此,本文只對零樣本學(xué)習(xí)方法進(jìn)行對比。

最后,為了進(jìn)一步分析特征數(shù)量對精度的影響,在圖4中報告了不同特征數(shù)量下精度的變化。

圖4 特征數(shù)量對識別率的影響Fig.4 Recognition rate results with different number of features

從圖4可以看出,隨著特征數(shù)量的增加,模型的精度呈現(xiàn)增長趨勢,證明了在零樣本數(shù)據(jù)集中選擇的特征均對最終識別精度有積極影響,沒有冗余特征。

3 結(jié) 論

本文提出了ISAR隱身目標(biāo)零樣本學(xué)習(xí)方法的算法原理、實(shí)驗(yàn)驗(yàn)證過程及結(jié)果分析,依托不同飛機(jī)類目標(biāo)細(xì)節(jié)屬性的文本語義特征表達(dá),訓(xùn)練零樣本學(xué)習(xí)模型完成可見的源目標(biāo)圖像特征到具體類別的文本語義表達(dá),不可見未知的新類別采用該語義生成不可見未知的新目標(biāo)圖像特征信息,支撐不可見未知的新目標(biāo)識別,統(tǒng)計未知的新類別識別正確率達(dá)75%以上。