何易德,朱 斌,王 詢,陳 好,賈 靜
(西南技術(shù)物理研究所,成都610041)
導(dǎo)引頭半實物仿真試驗要求目標/場景模型與真實目標/場景一致,需重點考慮目標尺度變化、遮擋、輻射信息等,因此加大了目標/場景的紅外建模難度。若在給定的飛行軌跡、目標運動軌跡及復(fù)雜場景條件下,能定性分析和定量計算紅外目標/場景模型的置信度,可逐步實現(xiàn)半實物仿真試驗替代外場試驗,從而提高導(dǎo)引頭的研制效率,降低成本,縮短開發(fā)周期。高效實用的紅外目標模型評估方法和相應(yīng)模型數(shù)據(jù)庫的建立在仿真方面有巨大的意義,是該領(lǐng)域的基礎(chǔ)。
最直觀的方法是考慮場景/目標模型與實際拍攝紅外圖像來進行逐像素評估,利用統(tǒng)計分析和行業(yè)專家的主觀經(jīng)驗來估計模型的逼真度。該方法簡單可行,但從全局圖像出發(fā),忽略了成像過程的探測器光/電效應(yīng)和圖像內(nèi)容,既不能充分說明圖像的關(guān)鍵信息(如小目標),又增加了目標/場景的紅外輻射特性建模難度。不少研究者[1-5]通過分析半實物仿真試驗中的目標模型傳輸流程,從目標模擬器方面來分析目標/場景的成像逼真度,但僅從傳輸?shù)挠布胧衷u估無法解決模型源的真實逼真度。TIAN等人[6]提出等效逼真和過程逼真的概念,即深入分析目標模型在給定軌跡條件下與實際飛行條件中目標成像進行評估,對目標形狀等效、面積等效、距離等效、輻射照度等效、輻射對比度等效指標進行評分和綜合,完成目標模型逼真度的評估。該方案符合人眼視覺和傳統(tǒng)跟蹤算法中的時域模板匹配,但并不滿足日益發(fā)展的跟蹤需求,特別是初始階段真實目標與偽目標并存的情況下,無法真實反映紅外目標模型內(nèi)在特征。
現(xiàn)有方法沒有從跟蹤角度來分析紅外仿真目標模型圖像,僅僅從圖像自身進行分析,忽略了目標模型仿真的實際意義。鑒于紅外目標/場景模型圖像的驗證是現(xiàn)階段半實物仿真試驗的難點,且現(xiàn)有模型逼真度驗證方法的不足,深入分析武器逼近中對紅外目標的跟蹤過程,在等效逼真原則下,本文中結(jié)合目標模型紅外輻射特性建模流程和跟蹤目標的關(guān)鍵特征提取算法,提出利用典型常用的跟蹤算法的關(guān)鍵特征來驗證紅外目標模型圖像的逼真度,并通過計算關(guān)鍵特征的均方差來量化模型的逼真度。
評估紅外仿真目標模型的前提是仿真目標模型圖像與拍攝目標圖像的成像條件一致,本文中采用起始等效逼真和過程等效逼真的觀念[6],同時按照紅外仿真建模的條件和流程對目標進行建模。
起始等效逼真指末制導(dǎo)階段開啟圖像功能并完成目標的搜索過程,將目標移至成像視場中心。過程逼真指跟蹤逼近過程中,由于跟蹤擾動或目標運動,成像視點均鎖定目標,目的始終是將目標移至成像中心。起始等效逼真和過程逼真必須明確此刻的距離、角度、環(huán)境參量以及成像視場、成像分辨率、目標固有幾何參量與物理屬性等客觀參量。目標固有幾何參量指外觀尺寸大小、部件組成、紋理等信息,物理屬性指各部件的材質(zhì)特性以及局部先驗信息,物理屬性與環(huán)境參量、距離、角度同時決定目標的紅外輻射,顯現(xiàn)為目標模型的灰度值、對比度等信息。結(jié)合實際場景和目標信息,基于熱輻射原理,同時考慮目標與場景之間的散射輻射以及大氣傳輸效應(yīng),對武器成像時的目標進行紅外輻射特性建模。在等效逼真的前提下,采用提出的關(guān)鍵特征方法來評價目標模型圖像與實際目標圖像之間的逼真度。由于紅外目標模擬器對仿真目標模型信息的損失在設(shè)計時已固定,已知目標模擬器的光學(xué)畸變等誤差上界,故本文中暫不分析目標模擬器在仿真目標模型逼真度中的作用。
本文中的核心是通過分析現(xiàn)有目標模型逼真度評價方法和目標模擬器在目標模型中的評估作用,深入剖析跟蹤對真實目標紅外輻射特性和目標紅外模型的關(guān)鍵特征提取算法,提出在等效逼真和過程逼真的前提下目標輻射特性建模的側(cè)重點應(yīng)該符合實際跟蹤算法處理的核心內(nèi)容:關(guān)鍵特征,而不是目標/場景模型圖像與實際紅外成像逐像素一致。同時關(guān)鍵特征應(yīng)從常用典型跟蹤算法入手,不僅僅是傳統(tǒng)的模板匹配跟蹤算法。故目標模型逼真度的評估驗證應(yīng)以常用典型跟蹤算法為基準,利用各跟蹤算法提取目標模型圖像關(guān)鍵特征描述來評估目標模型的逼真度;同時通過分析大量跟蹤視頻及跟蹤過程,跟蹤所關(guān)注的重點區(qū)域為包含目標模型的中心區(qū)域,而不是整幅圖像(因為現(xiàn)階段有效的跟蹤算法僅僅能處理目標在成像視場內(nèi),對于目標長期在視場外的情況基本無法再次捕獲并跟蹤目標;穩(wěn)定跟蹤過程中,目標位于視場邊緣或突變到視場外的時間非常短暫)。
在下一節(jié)中,詳細設(shè)計所提出的目標模型逼真度評價方法時,遵循上述初始等效逼真和過程逼真的原則,詳細分析常用典型跟蹤的特征提取算法,選擇目標紅外輻射特性建模圖像與實際目標輻射圖像來提取關(guān)鍵特征進行描述評估,分析常用跟蹤算法的特征提取,將特征量化并根據(jù)量化結(jié)果給出模型的逼真度值。
(1)模板匹配的跟蹤算法過程重點關(guān)注目標面積和目標量化輻照對比度兩個特征。在等效逼真前提下,計算仿真目標模型與拍攝目標圖像的面積和輻射對比度特征均方差的加權(quán)和為:
式中,α1和α2為加權(quán)系數(shù)。
(2)基于關(guān)鍵特征點的跟蹤算法,本文中采用尺度不變特征變換[7-8](scale invariant feature transform,SIFT)特征點提取算法,SIFT算法提取目標模型和拍攝目標圖像的關(guān)鍵點特征,包括位置、尺度及方向等信息的點特征,利用此不變特征,利用SIFT特征描述子的信息組成(每一特征由128維向量組成)的加權(quán)均方差:
式中,αk為加權(quán)系數(shù),n為相對應(yīng)的特征點總數(shù),Vs,k(x1,x2,…,x128)為仿真目標模型對應(yīng)的第 k個特征點,每一特征點的描述由128維向量表征,Vk(x1,x2,…,x128)為實際拍攝目標圖像對應(yīng)的第 k個特征點。
(3)基于相關(guān)濾波的跟蹤算法,相關(guān)算法分別計算仿真目標模型和拍攝目標圖像的最優(yōu)濾波器[9],將計算得到的兩個最優(yōu)濾波器(即相關(guān)跟蹤算法的特征)進行均方差:
式中,i,j為濾波器大小,Xs,i,j表示目標模型圖像最優(yōu)濾波器,Xi,j表示實際拍攝圖像最優(yōu)濾波器。
(4)基于深度學(xué)習(xí)的跟蹤算法,分別計算將仿真目標模型和拍攝目標圖像輸入訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)[10-13]得到的全連接層中的主要權(quán)系數(shù)(即為此跟蹤算法所關(guān)注的特征)的加權(quán)均方差為:
式中,n表示神經(jīng)網(wǎng)絡(luò)全連接層的主要特征數(shù),αk為相應(yīng)的加權(quán)系數(shù),i,j為相應(yīng)特征的大小,Xs,k,i,j表示目標模型圖像的第k個特征,Xk,i,j表示實際拍攝圖像的第k個特征。
未來脊髓成像方法的發(fā)展需要MRI設(shè)備制造商和軟件開發(fā)工程師進行不間斷的更深層次溝通,以使方法和技術(shù)共享。未來發(fā)展的方向為促進方法和數(shù)據(jù)的廣泛共享,如可以為脊髓成像軟件和方法建立一個自由訪問的方法庫,可以用于共享脊髓成像數(shù)據(jù)。專門討論脊髓成像方面的成果和新進展,使更多研究人員能參與,彌補相互不足而促進更快的發(fā)展。因此,在我們對脊髓損傷的病理生理學(xué)的詳細了解和脊髓功能磁共振成像所利用的信號變化的生物物理機制之間架起橋梁是很重要的。放射科醫(yī)生、神經(jīng)學(xué)家和脊柱外科醫(yī)生由于工作繁忙,無法親自進行后期手動生成量化指標,所以數(shù)據(jù)分析需要完全自動化,方法耗時、不可靠或不準確都是不可接受的。
本文中詳細分析了常用典型目標模型逼真度評估試驗設(shè)計中涉及的目標跟蹤特征提取算法,為接下來的試驗結(jié)果分析提供基礎(chǔ)。試驗設(shè)計遵循等效逼真和過程逼真的原則,即試驗中所采用的仿真目標模型圖像與外拍目標圖像具有相同的成像距離、成像角度、3維幾何參量信息以及環(huán)境條件,對某些無法獲取的實際圖像,本文中盡量保證仿真目標模型圖像和實際外拍圖像的一致性。
模板匹配跟蹤算法利用的目標特征包括目標形狀、面積、輻射對比度、輻射照度等,該算法具有簡單、實時、高效、靈活的優(yōu)勢,是最常用的跟蹤算法。大多的紅外目標模型逼真度評估方法均以該算法為依據(jù),結(jié)合行業(yè)專家主觀判斷或行業(yè)專家加權(quán)綜合判斷。此方法優(yōu)于逐像素的統(tǒng)計分析方法,也是現(xiàn)階段該領(lǐng)域大多數(shù)研究人員所采用的評估驗證方法。通過計算目標模型圖像和實際目標圖像的等效面積和等效灰度對比度兩類關(guān)鍵特征,在給定加權(quán)系數(shù)的條件下,計算該特征的加權(quán)均方差,該值說明目標模型的逼真度。
圖像最重要的信息是其包含的關(guān)鍵特征點,可通過特征點來描述整幅圖像?;陉P(guān)鍵特征點的提取方法,如SIFT算法,具有尺度和旋轉(zhuǎn)不變性、抗遮擋等優(yōu)點,已經(jīng)大量應(yīng)用于目標的跟蹤和檢測匹配?;陉P(guān)鍵特征不變點的提取過程來指導(dǎo)目標模型的紅外特性建模具有實際意義,根據(jù)關(guān)鍵特征點的描述可逆推得到目標模型的重點建模部分。通過計算目標模型圖像和實際目標圖像相匹配的關(guān)鍵特征點描述子的均方差加權(quán)求和來闡述目標模擬的逼真度。
SIFT算法提取圖像關(guān)鍵特征點的主要流程包括:(1)圖像金字塔尺度空間的構(gòu)建和極值檢測;(2)關(guān)鍵特征點的定位與非極值點的抑制;(3)特征點方向的確定;(4)關(guān)鍵特征點的描述。
相關(guān)濾波跟蹤算法于2010年首次在學(xué)術(shù)界提出,該算法利用最小化平方和誤差來迭代計算最優(yōu)濾波器,使濾波器與輸入圖像的卷積響應(yīng)達到最優(yōu)峰值,在跟蹤過程中,根據(jù)當前幀的濾波器和計算得到的位置模型更新下一幀的濾波器和位置模型,完成對目標的跟蹤。該算法具有計算速率快、穩(wěn)定等優(yōu)點,研究人員在相關(guān)濾波算法的基礎(chǔ)上提出了核相關(guān)濾波算法(kernel correlation filter,KCF)等[14]實時高效的跟蹤算法。相關(guān)濾波算法通過輸入多幀圖像和初始的濾波器,迭代計算所需的最優(yōu)濾波器模型,可簡單表述為:
式中,H*為所需求解的最優(yōu)濾波器,F(xiàn)l為輸入圖像的局部區(qū)域,Gl=Fl·H*。上述最優(yōu)問題表示為:H*=,跟蹤過程中采用在線更新策略,即逐次迭代后 Hl*=Al/Bl,其中,Al=ηGl·Fl+(1-η)Al-1,Bl=ηFl·Fl+(1-η)Bl-1,η為學(xué)習(xí)率。
通過計算跟蹤過程的最優(yōu)濾波器的均方差來說明目標模型圖像和實際目標圖像的逼真度。
深度學(xué)習(xí)的實質(zhì)是表示學(xué)習(xí)算法,通過建立深層次的網(wǎng)絡(luò)連接,利用大量訓(xùn)練樣本來提取圖像的隱式特征,對特征進行有效的表示,從而解決所面臨的計算機視覺問題。本試驗的設(shè)計目的是利用網(wǎng)絡(luò)學(xué)習(xí)來提取目標模型圖像與實際目標圖像的卷積特征,采用遷移學(xué)習(xí)的主框架[15],提取全連接層中主要的目標卷積表示特征,采用加權(quán)求均方差的方法評價目標模型圖像的逼真度。
基于深度學(xué)習(xí)特征可靠性[16-21]遷移框架的目標關(guān)鍵特征流程可描述為:(1)選用成熟的深度學(xué)習(xí)框架,利用開源數(shù)據(jù)庫對框架進行參量學(xué)習(xí);(2)挑選開源數(shù)據(jù)庫中的車輛圖像對框架參量進行重點學(xué)習(xí);(3)凍結(jié)框架中的大部分參量,輸入給定的試驗圖像(圖像經(jīng)過旋轉(zhuǎn)可得到多個樣本),訓(xùn)練框架最后的全連接層,該層重點提取小樣本中的關(guān)鍵特征;(4)輸出全連接層的參量特征,進行統(tǒng)計比對試驗。
本文中根據(jù)試驗設(shè)計與分析的內(nèi)容,給出下列正反兩對試驗數(shù)據(jù),圖1為所給定的兩組試驗圖像數(shù)據(jù)(大小均為69pixel×143pixel)。依次為:卡車長波紅外模型圖像、長波紅外實際拍攝卡車圖像(對照試驗);坦克長波紅外模型圖像、長波紅外實際拍攝坦克圖像(設(shè)計試驗)??ㄜ噲D像為不同類型的卡車圖像,目標面積、對比度等信息均有一定的差異,以此組圖像作為對照試驗,從反面來說明不同類型的模型跟蹤算法所提取的特征非常不同。坦克圖像為同類型坦克的紅外仿真模型圖像和實際拍攝圖像,設(shè)計此圖像的目的是為了從正面肯定本文中提出的方法。
Fig.1 Two sets of test images(truck and tank)
在(1)式中,權(quán)重系數(shù)均取0.5,將目標灰度均值歸一化到和面積(目標像素所占圖像像素比)等效條件下,利用(1)式計算卡車圖像面積和對比度特征的均方差為0.29,坦克圖像面積和對比度特征的均方差為0.02。
通過SIFT關(guān)鍵特征點(見圖2)的提取算法得到兩張卡車圖像總特征點均取25個,相匹配的特征點為5個;兩張?zhí)箍藞D像總特征點取50個,相匹配的特征點為30個。在(2)式中,因為特征點總數(shù)和相匹配特征點數(shù)目的不一致,故卡車圖像的權(quán)重系數(shù)?。?/25)-1×1/5=5×0.2,坦克圖像的權(quán)重系數(shù)為(30/50)-1×1/30=5/3×1/30。利用(2)式計算卡車圖像關(guān)鍵特征點的均方差為60.48,坦克圖像關(guān)鍵特征點的均方差為16.26。
Fig.2 SIFT features of truck and tank
通過相關(guān)濾波算法求取最優(yōu)濾波器得到的卡車和坦克最優(yōu)濾波器特征(見圖3),利用(3)式計算卡車圖像最優(yōu)濾波器特征的均方差為44.11,坦克圖像最優(yōu)濾波器的均方差為10.36。
Fig.3 Optimal filtering features of truck and tanka—the optimal filter feature of the picture of truck simulation mode—the optimal filter feature of infrared images of truck outsid—the optimal filter feature of the picture of tank simulation mode—the optimal filter feature of infrared images of tank outside
通過卷積網(wǎng)絡(luò)提取給定圖像的全卷積層主要特征(見圖4和圖5),在(4)式中,權(quán)重系數(shù)取 1/36,利用(4)式計算的卡車圖像卷積特征的均方差為41.22,坦克圖像卷積特征的均方差為22.07。
Fig.4 Truck convolution neural network full-connection layer coefficients
Fig.5 Tank convolution neural network full-connection layer coefficients
從上面給定的數(shù)據(jù)可知,對照試驗組的均方差均是設(shè)計試驗組的均方差的2倍以上。由于模板匹配中需要的目標面積和灰度均值為百分比格式,且外拍實際卡車圖像與仿真卡車模型圖像平均灰度值相差較大,故均方差比坦克圖像的面積和對比度均方差相差10倍以上。(2)式的權(quán)重系數(shù)考慮了匹配的特征點數(shù)目與總特征點數(shù)目的比值后再取均值。
通過上述試驗及結(jié)果分析可知,本文中提出的方法在目標模型逼真度的評估方面有一定的效果,基于前人的等效逼真前提下,拓展了行業(yè)內(nèi)僅考慮逐像素級評估和目標圖像面積、對比度等特征的主觀綜合評價。該方法簡單可行且符合實際情況,但由于現(xiàn)階段行內(nèi)領(lǐng)域缺乏有效的紅外目標模型標準數(shù)據(jù)庫,故此方法并未達到非常滿意的結(jié)果,建立用于實驗驗證行業(yè)領(lǐng)域的紅外目標模型標準數(shù)據(jù)庫是接下來的研究方向之一。
本文中提出了一種有效的方法來評估仿真紅外目標模型:利用跟蹤過程提取的目標關(guān)鍵特征算法來評估仿真紅外目標模型的逼真度,并重點考慮以目標模型為中心圖像。設(shè)計分析了現(xiàn)階段典型常用的跟蹤算法的特征提取,在等效逼真前提下計算了給定目標圖像對的逼真度,從正反兩方面說明了基于目標圖像關(guān)鍵特征來驗證目標模型的有效性。
紅外目標/場景模型的逼真度驗證是行業(yè)內(nèi)的一大難點,現(xiàn)階段主要根據(jù)行業(yè)專家的經(jīng)驗,結(jié)合外拍實際紅外目標圖像(可能并不是等效逼真前提下),給出綜合的評價,實際應(yīng)用中非常受限。本文中所設(shè)計的驗證計算方案具有顯著的效果和可行的操作,具有一定的說服力,因行業(yè)缺乏標準的紅外目標模型數(shù)據(jù)庫,故試驗結(jié)果不盡人意,但是從跟蹤算法的關(guān)鍵特征和接下的對目標模型庫的建立是仿真試驗驗證的發(fā)展方向。建立紅外目標/場景標準數(shù)據(jù)庫對紅外半實物仿真試驗意義重大,可實現(xiàn)半實物仿真試驗代替外場試驗的可能性。