林曉晶,肖鵬浩,何 良,王海鵬
(1.復(fù)旦大學(xué) 信息科學(xué)與工程學(xué)院 電磁波信息科學(xué)教育部重點實驗室,上海 200433;2.北京華航無線電測量研究所,北京 102445)
雷達利用電磁波的轉(zhuǎn)發(fā)、二次輻射和目標的固有輻射實現(xiàn)目標探測,具有全天時、全天候的工作特點及高靈敏度遠距離探測的工作優(yōu)勢,在軍事領(lǐng)域與社會生產(chǎn)中有著廣泛的應(yīng)用。
全極化相參雷達集成相參雷達和極化雷達兩者的優(yōu)勢,其具有更強的探測識別能力。相參體制雷達發(fā)射脈沖間的載波相位確定,能夠基于目標和雷達間相對運動產(chǎn)生的多普勒效應(yīng),通過相參積累獲得目標的速度分辨能力。極化雷達則是基于電磁波的極化特性和不同材質(zhì)表面對電磁波極化改變具有差異的原理,獲得探測目標的極化特性,在極化域?qū)δ繕颂匦宰龀鲈敿毭枋觥?/p>
海面場景下的艦船目標檢測識別是全極化相參雷達應(yīng)用的重點領(lǐng)域,基于全極化相參雷達距離-多普勒(Range Doppler,RD)回波數(shù)據(jù)的海面目標檢測識別任務(wù)要求,在RD 回波上給出目標的位置和類別。相較于可見光數(shù)據(jù),雷達RD 回波數(shù)據(jù)中目標區(qū)域占比小,局部紋理、形狀、顏色等特征較弱,且由于雷達數(shù)據(jù)采集方式的制約使回波數(shù)據(jù)在部分重要場景信噪比偏低,增加了海面艦船目標檢測識別任務(wù)的難度。
傳統(tǒng)目標檢測識別流程將目標的檢測識別分為兩個獨立的階段。在檢測階段,通常使用基于雜波統(tǒng)計理論的恒虛警率(Constant False Alarm Rate,CFAR)檢測算法及其變體確定目標位置;在識別階段,基于檢測階段提取到的待分類目標計算其時、頻、極化等多域特征,最后構(gòu)造分類器確定目標類別。當海況環(huán)境復(fù)雜、目標多樣時,基于雜波統(tǒng)計的檢測方法通常難以選擇合適的雜波模型[1-5]。構(gòu)造分類器時同樣也面臨著特征參數(shù)選擇多樣、閾值設(shè)置困難和復(fù)合判斷條件構(gòu)建復(fù)雜的問題。
近年來,深度學(xué)習(xí)理論的飛速發(fā)展推動目標檢測與識別領(lǐng)域的深刻變革[6-9]。深度學(xué)習(xí)技術(shù)使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)提取目標的深度特征,深度特征具有強大的描述能力,使得深度學(xué)習(xí)技術(shù)在光學(xué)目標檢測識別領(lǐng)域的應(yīng)用中取得巨大成功。同時也有不少學(xué)者嘗試將深度學(xué)習(xí)技術(shù)引入雷達目標檢測識別領(lǐng)域,取得了一定的研究成果[10-17]。2017 年COZZOLINO等[11]設(shè)計了一種單階段的基于CNN 的艦船檢測結(jié)構(gòu),實驗表明模型在有“鬼影船”的情形下顯著優(yōu)于CFAR 方法,該方法計算復(fù)雜度低,但是泛化到大規(guī)模數(shù)據(jù)集時存在性能下滑的風險;西安電子科技大學(xué)周峰等[12]與魯兵兵[13]在極化合成孔徑雷達(Polarimetric Synthetic Aperture Radar,POLSAR)數(shù)據(jù)上使用雙區(qū)域建議網(wǎng)絡(luò)(Region Proposal Networks,RPN)做艦船檢測,檢測性能比CFAR 類算法有顯著提升,但該方法存在參數(shù)量大、易過擬合的問題;2020 年金侃等[14]提出P2P-CNN(Patch-to-Pixel Convolutional Neural Network)用于艦船像素分類,采用稠密塊(Dense Block)結(jié)構(gòu)結(jié)合多層語義信息并利用空洞卷積增大感受野,該模型在采用的所有數(shù)據(jù)集上,分類性能均優(yōu)于其余參與測試的算法,但該算法并未涉及如何利用目標的極化信息。上述工作證明了深度神經(jīng)網(wǎng)絡(luò)對雷達數(shù)據(jù)建模的有效性,但是對涉及如何利用全極化雷達回波數(shù)據(jù)的極化信息并將其更好地遷移融合進深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的相關(guān)研究有所欠缺?;诖耍疚奶岢隽艘环N基于深度學(xué)習(xí)的全極化相參雷達RD 回波數(shù)據(jù)目標檢測識別算法,其主要貢獻如下:
1)針對雷達回波數(shù)據(jù)的全極化特性,提出一種基于全極化相參雷達RD 回波數(shù)據(jù)的融合極化特征的極化深度學(xué)習(xí)目標檢測網(wǎng)絡(luò)。
2)針對雷達回波數(shù)據(jù)不同的極化特征進行對比試驗,驗證極化信息與相關(guān)極化特征的性能差異,并根據(jù)不同的目標、場景與性能要求擇優(yōu)選取極化特征提取算法。
選用兩階段的Faster R-CNN(Faster Region CNN)作為基礎(chǔ)檢測識別框架,在保持檢測識別速度的前提下,優(yōu)化全極化雷達回波數(shù)據(jù)海面場景目標檢測識別的精度。設(shè)計cascade 級聯(lián)結(jié)構(gòu),通過級聯(lián)多個檢測識別模塊迭代精調(diào)預(yù)測結(jié)果,每個檢測模型采用不同的交并比(Intersection over Union,IoU)閾值用以選取參與訓(xùn)練的正負樣本,且該閾值呈現(xiàn)逐級遞增的趨勢;針對搭建特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks,F(xiàn)PN),實現(xiàn)極化雷達信號多尺度特征學(xué)習(xí)與融合[18-19]。由于全極化雷達回波數(shù)據(jù)中的目標區(qū)域占比微小,目標取值動態(tài)范圍大,且海面環(huán)境復(fù)雜,這極大地增加了雷達目標檢測識別任務(wù)的難度。因此本文充分考慮全極化雷達回波數(shù)據(jù)的極化特性,將極化信息融入深度神經(jīng)網(wǎng)絡(luò),更好地實現(xiàn)對雷達目標與干擾、目標與海雜波背景的差異化特征提取,最終設(shè)計并構(gòu)造出全極化雷達回波數(shù)據(jù)目標檢測識別算法結(jié)構(gòu),如圖1 所示。首先,將原始的全極化數(shù)據(jù)送入極化特征預(yù)提取模塊(Polarimetric Feature Extractor,PFE)來提取極化特征;其次,將提取的極化特征輸入以Faster R-CNN為基礎(chǔ)的檢測識別框架并融合FPN 結(jié)構(gòu)的級聯(lián)檢測模型Cascade FPN R-CNN,不斷迭代精調(diào)預(yù)測結(jié)果。其中,IoUth=0.7、IoUth=0.6、IoUth=0.5表示檢測模型的交并比閾值分別為0.7、0.6 與0.5,conv1~conv5 為CNN 網(wǎng)絡(luò)根據(jù)特征圖大小劃分的不同階段,P2~P5為金字塔結(jié)構(gòu)的特征層,RPN with FPN 表示將FPN應(yīng)用于RPN 網(wǎng)絡(luò),RoI Pooling(Region of Interest Pooling)為感興趣區(qū)域特征提取網(wǎng)絡(luò),F(xiàn)C layer 為全連接層。
圖1 極化深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)框圖Fig.1 Block diagram of the polarimetric deep neural networks
在使用深度神經(jīng)網(wǎng)絡(luò)模型進行目標檢測與識別之前,預(yù)置極化特征預(yù)提取模塊,基于電磁波的極化與極化分解分析目標與干擾之間散射機制的差異,并將利用手工初步提取的目標與干擾的差異化特征作為深度神經(jīng)網(wǎng)絡(luò)的輸入,輔助深度學(xué)習(xí)模型優(yōu)化深度特征。
算法引入特征金字塔網(wǎng)絡(luò),用以緩解某些干擾類型區(qū)域占比過于微小的問題,對于這些類型,若只采用單一的高層特征進行檢測,則存在檢測性能下滑的風險,而同時結(jié)合高層特征與低層特征進行目標檢測則會帶來更高的計算量,從而提高模型檢測性能。
同時,算法引入級聯(lián)結(jié)構(gòu),用以緩解兩階段目標檢測識別算法中訓(xùn)練階段與推理階段區(qū)域建議框的分布差異問題。
雷達交替發(fā)射,同時接收水平與垂直極化的電磁波,用一個二維方陣來表征雷達入射場與散射場之間滿足的線性變換過程,并稱之為散射矩陣。散射矩陣表征了特定觀測頻率下的全部極化信息:
式中:矩陣中的元素為電磁波散射相關(guān)系數(shù),元素下標第一個字母表示散射場,第二個字母表示入射場。
在滿足互易性定理(SHV=SVH)的情形下,根據(jù)Pauli 分解,將式(1)進行“Pauli 展開”,可得k向量[20]和極化相干矩陣T:
式中:(·)T為向量的轉(zhuǎn)置;(·)H為向量的共軛轉(zhuǎn)置。
類似地,在滿足互易性定理的條件下,將散射矩陣進行“直序展開”:
據(jù)此可得極化協(xié)方差矩陣C為
如圖1 所示的算法結(jié)構(gòu)中極化特征預(yù)提取模塊以散射矩陣、極化相干矩陣及極化協(xié)方差矩陣為基礎(chǔ),基于電磁波的極化與極化分解分析目標的極化信息與散射機制。極化特征預(yù)提取模塊,一方面可以利用極化信息以豐富目標的特征表達;另一方面通過限制極化分解方法一定程度上降維模型優(yōu)化解空間,不至于在引入極化特征后使得模型難以收斂。極化特征預(yù)提取模塊包括5 類極化特征,分別為簡單極化通道合成極化特征、Pauli極化特征、三分量極化特征、四分量極化特征、基于特征值與特征矢量的極化特征[20-24],各極化特征的具體描述見表1。
表1 極化特征描述Tab.1 Description of the polarimetric features
在上述極化特征中,以簡單極化通道合成極化特征為基準,著重關(guān)注Pauli 極化特征、三分量極化特征、四分量極化特征及基于特征值與特征矢量的極化特征這4 類基于極化分解理論的特征。
電磁波的極化對目標的幾何結(jié)構(gòu)、介電常數(shù)、散射特性等因素較為敏感,因此采取全極化測量方式有助于雷達充分獲取目標的各方面信息。極化電磁波具有可分性,極化分解理論的發(fā)展驗證了極化電磁波所攜帶的目標信息同樣具有可分性[25-26]。對目標進行極化分解,探究目標所包含的物理散射機制,根據(jù)不同目標之間散射機制的差異,可輔助進行目標的判別。
具體地說,對于艦船目標,散射機制較為復(fù)雜,例如,艦船的甲板表面主要發(fā)生表面散射機制,艦船上船員住艙與甲板形成的垂直結(jié)構(gòu)、艦船與海面之間形成的垂直結(jié)構(gòu)等主要發(fā)生二面角散射機制,艦船上一些復(fù)雜的結(jié)構(gòu)主要發(fā)生體散射機制。對于干擾來說,不同干擾類型產(chǎn)生的散射機制不盡相同,某些干擾類型可建模為大量隨機運動的偶極子集合體,其散射機制主要為體散射;而某些干擾主要發(fā)生二面角散射機制等。采用極化特征預(yù)提取模塊提取目標與干擾所包含的散射類型,這些手工特征一定程度上體現(xiàn)了它們之間散射機制的異同與比例差異,有助于后續(xù)深度神經(jīng)網(wǎng)絡(luò)利用這些差異化特征進一步提取具有更強描述能力的深度特征。
在兩階段目標檢測識別算法中存在一個固有問題——訓(xùn)練階段與推理階段的區(qū)域建議框的分布差異。在推理階段,通常設(shè)定IoU 閾值來界定參與模型訓(xùn)練的正負樣本,這意味著參與訓(xùn)練的樣本經(jīng)過了篩選,而推理階段產(chǎn)生的區(qū)域建議框相對來說質(zhì)量較差。
在模型訓(xùn)練過程中,當該閾值設(shè)置為較低值時,將會導(dǎo)致較高的虛警率與低精度的預(yù)測框。若直接提高此閾值,雖然可以有效減少假陽性,但由于參與訓(xùn)練的樣本數(shù)量驟降,模型過擬合的風險會提高,且閾值的增大將會造成訓(xùn)練階段與推理階段的區(qū)域建議框之間更嚴重的分布差異。
實際上,模型難以通過設(shè)置一個單一的IoU 閾值(例如IoUth=0.5)使得其對于IoU 跨度較大的區(qū)域建議框(例如IoU 閾值區(qū)間為[0.5,0.9])都達到最佳的檢測識別性能。為了解決上述問題,引入了cascade 級聯(lián)結(jié)構(gòu)。該結(jié)構(gòu)通過級聯(lián)若干檢測模型來實現(xiàn)檢測識別精度的大幅度提升,每個階段檢測模型設(shè)定的IoU 閾值逐級遞增,且它們更加專注于其設(shè)定的閾值附近的區(qū)域建議。級聯(lián)結(jié)構(gòu)如圖2 所示。圖中,I 為輸入數(shù)據(jù),conv 為卷積層,pool 為感興趣區(qū)域特征提取網(wǎng)絡(luò),H1~H3 為檢測頭,B0 為區(qū)域建議框,B1~B3 為每個階段的檢測識別模型輸出的預(yù)測框,C1~C3 為每個階段的分類結(jié)果。
圖2 Cascade R-CNN 算法結(jié)構(gòu)框[18]Fig.2 Frame of the cascade R-CNN algorithm[18]
深度神經(jīng)網(wǎng)絡(luò)模型的低層特征含有的語義信息較少,但是目標的位置較準確;而高層特征的語義信息豐富,目標的位置信息較為模糊。對于小目標來說,隨著網(wǎng)絡(luò)層次不斷加深,降采樣操作使得小目標所占據(jù)的有效區(qū)域更加微小,若檢測模型只采用單一的高層特征進行預(yù)測,將會導(dǎo)致預(yù)測框的精度較低。
為了解決上述問題,在Faster R-CNN 的RPN 網(wǎng)絡(luò)及基礎(chǔ)骨干網(wǎng)絡(luò)中引入特征金字塔網(wǎng)絡(luò)(Feature-Pyramid Networks,F(xiàn)PN),用以處理雷達目標的多尺度預(yù)測問題。FPN 的結(jié)構(gòu)如圖3 所示,自底向上為網(wǎng)絡(luò)模型的前向傳播過程;自頂向下的過程則是將高層的特征圖經(jīng)過上采樣與低層特征圖相加。特征金字塔網(wǎng)絡(luò)同時利用高層特征與低層特征進行目標檢測識別,該方法在基本不增加網(wǎng)絡(luò)模型計算量的前提下,大幅提高了小目標的檢測識別精度。圖3 中,1×1 conv 為1×1 的卷積層,2×up 表示2 倍的上采樣。
圖3 特征金字塔網(wǎng)絡(luò)[19]Fig.3 Diagram of the FPN[19]
實驗基于40 284 幀全極化相參雷達對海場景RD 回波數(shù)據(jù)驗證算法性能,每幀回波包括HH、HV、VH、VV 這4 路數(shù)據(jù)。數(shù)據(jù)多普勒維點數(shù)64 點,距離維點數(shù)區(qū)間為[512,3 072]。數(shù)據(jù)集共有標注實例160 154 個,包含2 類艦船目標和3 類干擾目標,各類目標數(shù)據(jù)分布見表2。
表2 數(shù)據(jù)集中各類目標與干擾的數(shù)量分布Tab.2 Numbers of objects and disturbances in the data set
全極化相參雷達回波數(shù)據(jù)動態(tài)范圍大,輸入網(wǎng)絡(luò)前需要進行數(shù)據(jù)標準化處理。實驗中各路極化數(shù)據(jù)均采用相同的復(fù)數(shù)數(shù)據(jù)矩陣標準化計算方法,不失一般性以HH 通道為例進行說明。計算方法如式(6),首先計算HH 路數(shù)據(jù)的均值HHave與方差HHstd,然后所有數(shù)據(jù)點減去均值再除以方差得到標準化后的數(shù)據(jù)。標準化后的數(shù)據(jù)服從均值為0、方差為1 的分布,能加快網(wǎng)絡(luò)收斂速度,獲得更好的模型性能。
式中:m、n分別為全極化相參雷達回波HH 路數(shù)據(jù)的距離維與多普勒維的分辨率。
網(wǎng)絡(luò)優(yōu)化過程中,采用動量優(yōu)化(Momentum Optimizer,MO)器,使用學(xué)習(xí)率預(yù)熱(Warmup)策略,初始學(xué)習(xí)率設(shè)置為0.005,權(quán)重衰減率和動量系數(shù)分別設(shè)置為0.000 01 與0.9,共迭代320 000 輪。試驗采用高性能服務(wù)器作為實驗平臺。服務(wù)器配置4 塊NVIDIA Tesla V100 GPU,Intel Xeon CPU,256 GB安裝內(nèi)存,軟件環(huán)境為Python 3.8.13、Pytorch 1.7.1。評估指標為平均精度(Average Precision,AP)與mAP(mean Average Precision)值[6]。
針對FPN 網(wǎng)絡(luò)做了消融實驗,在采用相同基礎(chǔ)分類網(wǎng)絡(luò)(ResNet-101)的情形下,更加說明引入FPN 的重要性。實驗結(jié)果見表3,若只采用高層特征進行目標檢測識別,對于Ⅱ型干擾來說檢測識別性能較差,原因在于Ⅱ型干擾區(qū)域占比遠小于艦船目標及其他干擾類型,而當引入特征金字塔網(wǎng)絡(luò)時,模型的整體檢測識別性能有了極大的提升。
表3 融合特征金字塔網(wǎng)絡(luò)的消融實驗結(jié)果Tab.3 Ablation test results of the fused feature pyramid networks
在上述實驗的基礎(chǔ)上,進一步對引入極化特征預(yù)提取模塊、FPN 及級聯(lián)結(jié)構(gòu)的極化神經(jīng)網(wǎng)絡(luò)模型進行分析。實驗分為對極化神經(jīng)網(wǎng)絡(luò)處理雷達RD回波極化特征建模有效性驗證,和極化分解極化特征的有效性、優(yōu)越性及表征性能差異對比2 部分。在極化神經(jīng)檢測網(wǎng)絡(luò)上對1.1 節(jié)提出的所有極化預(yù)提取特征進行測試,試驗結(jié)果見表4。
表4 不同特征提取方式下的算法性能Tab.4 Performances of the algorithm under different feature extraction methods
1)首先驗證極化特征建模的有效性:第一,特征預(yù)提取方式為HH 單極化通道歸一化幅度表征,此種特征預(yù)提取方式不含極化信息;第二,特征預(yù)提取方式為基于HH、HV、VV 的簡單極化通道合成極化特征,該提取算法僅簡單堆疊各路數(shù)據(jù)的幅度信息。
在HH 單極化通道的基礎(chǔ)上,合并HV 極化通道與VV 極化通道,盡可能充分地利用極化信息,但檢測識別性能卻明顯下降。原因在于,全極化雷達回波數(shù)據(jù)中,并非所有的極化信息都有利于艦船目標的檢測與識別,目標、干擾與背景的某些極化特征由于其相似性會導(dǎo)致神經(jīng)網(wǎng)絡(luò)發(fā)生混淆。因此,不能簡單堆疊極化信息,而需要優(yōu)選特征,充分挖掘目標與干擾的差異化特征。
基于HH、HV、VV 的簡單極化通道合成極化特征對于艦船檢測識別任務(wù)來說比較有效,但其相比起單極化情形來說并不具備優(yōu)越性。因此,為了充分解析目標與干擾的差異化特征,引入了基于極化分解的4 種極化特征。
2)在采用極化特征建模的情形下來驗證極化分解的有效性。對比實驗包括:第一,特征預(yù)提取方式為基于HH、HV、VV 的簡單極化通道合成極化特征;第二,基于極化分解的極化特征提取。以上極化特征預(yù)提取方式所利用的極化信息的信息量相當。
由表4 可知,極化分解優(yōu)化了極化特征,使得包含目標與干擾在內(nèi)的各個類別的測試性能相比起簡單極化通道合成極化特征均有了顯著的提升。值得關(guān)注的是,極化分解有利于Ⅰ型艦船深度特征的提取與檢測性能的提高。綜合對比表中第1~6行的結(jié)果,可以發(fā)現(xiàn)僅僅利用HH 單通道幅度歸一化值進行檢測識別已經(jīng)能取得良好的檢測結(jié)果,而極化分解的最大優(yōu)勢便在于對Ⅰ型艦船檢測性能的提升。表中第1 行,Ⅰ型艦船的平均精度為0.819 9,而第3~6 行的4 種極化特征對于Ⅰ型艦船的平均精度分別達到0.907 8、0.907 0、0.907 6、0.907 9,檢測識別性能大幅度提升。
在全極化相參雷達回波數(shù)據(jù)集上,三分量極化特征達到了最優(yōu)的綜合檢測識別精度,其mAP 值為0.901 0;基于特征值與特征矢量的極化特征對于該數(shù)據(jù)集中2 類艦船目標的平均精度最高,分別為0.907 9與1.000 0。在實際的應(yīng)用場景中,應(yīng)依據(jù)具體任務(wù)的要求對多種極化特征進行實驗并擇優(yōu)選取。
本文針對全極化雷達回波數(shù)據(jù)海面場景目標檢測識別方法進行學(xué)習(xí)研究,提出的極化神經(jīng)網(wǎng)絡(luò)引入了全極化數(shù)據(jù)極化特征預(yù)提取PFE 模塊提取全極化相參雷達RD 回波數(shù)據(jù)的極化特征,用以挖掘目標與干擾、目標與海雜波之間的差異化特征,使用了特征金字塔網(wǎng)絡(luò)FPN 緩解雷達目標有效區(qū)域占比微小問題的影響,同時引入了級聯(lián)模型進一步提高檢測識別精度。通過在全極化相參雷達回波數(shù)據(jù)集上的實驗表明:
1)基于極化分解理論提取的全極化相參雷達回波數(shù)據(jù)的極化特征有利于增大目標與干擾、目標與海雜波之間的差異,從而提高目標的檢測識別精度,例如Pauli 極化特征對于Ⅰ型艦船的平均精度達到0.907 8;對于Ⅱ型艦船的平均精度高達1.000 0;對于所有目標與干擾類別的mAP 達到0.898 4。
2)對于實驗所采用的全極化相參雷達回波數(shù)據(jù)集來說,綜合表現(xiàn)最佳的極化特征為基于三分量分解的三分量極化特征,mAP 值達到0.901 0;對于兩類艦船目標表現(xiàn)最佳的是基于特征值與特征矢量的極化特征,其對于Ⅰ型艦船與Ⅱ型艦船的平均精度分別為0.907 9 與1.000 0。因此,在實際應(yīng)用中,應(yīng)根據(jù)應(yīng)用場景與性能要求擇優(yōu)選取極化特征。