王 馳, 占李黎, 于明坤, 李富迪, 張 鼎
(1. 上海大學(xué)精密機械工程系,上海 200444; 2. 近地面探測技術(shù)重點實驗室,江蘇 無錫 214035)
利用投射的方式將地雷散布在預(yù)定區(qū)域(即拋撒地雷),具有快速、靈活、機動性高等優(yōu)點[1],易于實現(xiàn)大規(guī)模大面積雷場的高效布設(shè)?,F(xiàn)代地雷配備的引信可使目標靠近到一定距離時即觸發(fā),在夜間微弱光條件下對拋撒地雷的遠距離探測難度更大。此外,大量拋撒地雷被組合使用形成地雷場,地雷場是指特定的一塊區(qū)域,其中按照一定正面、縱深和密度布設(shè)防坦克或防步兵地雷,遠距離被動式快速檢測是現(xiàn)代雷場安全探測的一個重要研究方向[2-5]。目前對于拋撒地雷的遠距離探測技術(shù)主要可分為成像檢測技術(shù)和非成像檢測技術(shù),成像技術(shù)如紅外、雷達、多光譜和衛(wèi)星遙感等,在夜間光線強度很弱時成像效果較不理想,存在受周圍環(huán)境干擾大、隱蔽性差、成像不清晰等缺點,探測精度穩(wěn)定性較差[6-9];非成像技術(shù)如脈沖雷達技術(shù)等,通過獲取拋撒地雷的輻射信號進行目標信號的處理和檢測,通信傳輸繁雜,受周圍環(huán)境影響較大,尤其對夜間拋撒地雷的探測難度較大[10-12]。因此,對夜間拋撒地雷進行探測實驗研究,分析不同時間、不同場景中對拋撒地雷和多雷區(qū)的探測精度,可為真實場景中拋撒地雷的有效探測提供方法基礎(chǔ)。
利用高精度被動式微光夜視儀能夠?qū)崿F(xiàn)在夜視場景中對拋撒地雷遠距離清晰成像,不需要主動照明光源,且具有隱蔽性強、受環(huán)境影響小等特點[13-16],在拋撒地雷遠距離夜視智能檢測方面具有廣闊的應(yīng)用前景。在文獻[17]中,運用YOLO(V2)算法構(gòu)建了拋撒地雷智能檢測網(wǎng)絡(luò)模型,利用幾何光學(xué)成像的三角形相似性原理,實現(xiàn)對拋撒地雷距離的快速測算,初步驗證了拋撒地雷夜視智能檢測模型算法,但其選用的實驗場景相對簡單,缺少考慮拋撒地雷在實際情況中有可能被部分土壤遮擋等因素。為此,本文在已有研究成果基礎(chǔ)上,利用基于機器學(xué)習(xí)的被動式夜視智能探雷方法與探雷系統(tǒng),結(jié)合微光夜視儀技術(shù),對不同場景下的拋撒地雷進行智能識別的實驗研究,分析不同場景對拋撒地雷的影響,并對含有多個拋撒地雷的區(qū)域(多雷區(qū))進行智能探測方法的實驗研究。
本文研究的拋撒地雷智能檢測方法基于文獻[17]所提出的拋撒地雷智能檢測網(wǎng)絡(luò)模型。首先,根據(jù)YOLO (V2)算法,將Darknet-19作為拋撒地雷智能檢測網(wǎng)絡(luò)模型的基本架構(gòu),該架構(gòu)由19個卷積層和5個最大池化層組成,Darknet-19網(wǎng)絡(luò)使用了3×3的卷積核和全局平均池化,將1×1的卷積核置于3×3的卷積核之間,用來壓縮特征;在每一個卷積層后使用批量歸一化方法穩(wěn)定網(wǎng)絡(luò)模型訓(xùn)練,加速收斂并泛化網(wǎng)絡(luò)模型。本文應(yīng)用的YOLO(V2)網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。
圖1 YOLO V2網(wǎng)絡(luò)結(jié)構(gòu)圖
將輸入的拋撒地雷圖片歸一化為832×832像素、3通道的標準輸入圖片,此時具有832×832×3個數(shù)值,經(jīng)過13層卷積和4次池化將圖片轉(zhuǎn)換為52×52像素、512通道的特征圖。從兩個方向處理特征圖:第一個方向是將52×52×512個數(shù)值重新組合成26×26像素和2048通道的特征圖,第二個方向是經(jīng)過1層池化和7層卷積將特征圖轉(zhuǎn)換為26×26像素和1 024通道的特征圖。將兩個處理方向的結(jié)果進行融合得到26×26像素和3 072通道的特征圖,經(jīng)過2層卷積得到最終的特征圖。
定 義 4種 變 量 : TureMines、 TureNMines、FalseMines、FalseNMines。其中,TureMines表示目標為拋撒地雷,且被正確檢測為拋撒地雷;TureNMines表示目標不為拋撒地雷,且未被誤檢為拋撒地雷;FalseMines表示目標不為拋撒地雷,但被誤檢為拋撒地雷;FalseNMines表示目標為拋撒地雷,但未被檢測為拋撒地雷。召回率和精確率由公式(1)和公式(2)計算:
利用上述公式和網(wǎng)絡(luò)模型的均值平均精度(mAP)指標對拋撒地雷智能檢測網(wǎng)絡(luò)進行以下優(yōu)化:對拋撒地雷智能檢測網(wǎng)絡(luò)模型的每一層參數(shù)進行統(tǒng)計,根據(jù)其分布規(guī)律自定義每一層的裁剪比例,選擇較小比例的數(shù)據(jù)進行剪裁,比例從0~50%不等,剪枝前模型參數(shù)量為193 Mb,剪枝后模型參數(shù)量為133 Mb,剪掉31.088%的參數(shù)量;采用動態(tài)定點的權(quán)值精簡方式對拋撒地雷智能檢測網(wǎng)絡(luò)模型進行量化處理,確定一個定點后的固定數(shù)據(jù)位寬,然后通過分析數(shù)據(jù)集合的特點,確定定點位置,將數(shù)據(jù)轉(zhuǎn)換為定點數(shù),多余位寬數(shù)據(jù)截斷,完成量化處理。模型優(yōu)化前后的拋撒地雷圖像測試集的PR曲線(即橫縱坐標組成的坐標點)如圖2所示。測試集測試結(jié)果顯示,模型優(yōu)化前測試集的召回率為96.64%,精確率為 97.14%,均值平均精確度為95.286%;模型優(yōu)化后測試集的召回率為99.22%,精確率為98.98%,均值平均精確度為99.2%。模型優(yōu)化后,測試集相關(guān)指標明顯提高。
此外,根據(jù)幾何光學(xué)的三角形相似性原理,實現(xiàn)對拋撒地雷距離的測算。將采集到的拋撒地雷圖像中拋撒地雷目標的像素坐標轉(zhuǎn)化為實際坐標,在檢測出地雷目標后,確定目標地雷到相機的實際距離。并且利用先驗數(shù)據(jù)對拋撒地雷的測距模型進行誤差補償,使拋撒地雷測距模型的檢測精度進一步提高,在6~22 m的測距范圍內(nèi),該模型的測距誤差在±10 cm之內(nèi)。
拋撒地雷智能識別實驗系統(tǒng)如圖3所示,采用德國元奧儀器公司(PCO)的PCO.edge4.2夜視高速相機,鏡頭為尼克爾(Nikkor)D型定焦鏡頭,相機輸出分辨率為 2 060×2 048,成像波段 0.3~1.0 μm,像元尺寸為6.5 μm×6.5 μm,F(xiàn)數(shù)為1.8,物鏡焦距50 mm。采用嵌入式端的機器學(xué)習(xí)進行硬件設(shè)計,將拋撒地雷智能檢測網(wǎng)絡(luò)模型與拋撒地雷測距模型移植到FPGA硬件開發(fā)板中,并采用工控機處理終端,將夜視相機PCO.edge4.2放置于相機支撐架上,通過CameraLink數(shù)據(jù)傳輸線連接工控機,工控機通過數(shù)據(jù)線連接顯示屏。
圖3 拋撒地雷智能識別實驗系統(tǒng)
拋撒地雷智能識別實驗系統(tǒng)搭建完成后,選擇實驗場地為戶外,在夜晚不同時間進行實驗測試。用到的拋撒地雷目標包括72式防坦克金屬地雷(直徑31 cm)、69式防坦克塑殼地雷(直徑28 cm)、58式防步兵橡膠地雷(直徑15 cm)。放置拋撒地雷目標時選擇多種背景,包括平坦水泥路面、矮小灌木叢、雜草叢、樹林等,測試地雷在距離相機5,10,15,18,21 m 進行測距實驗。
利用上述實驗系統(tǒng)及方法,以72式防坦克金屬地雷、69式防坦克橡膠地雷、58式防步兵橡膠地雷作為拋撒地雷目標,設(shè)計以下3種不同場景進行被動式夜視智能識別實驗:1)在晴朗夜間,無明顯干擾物、背景為簡單的灌木叢和樹林,拋撒地雷完全裸露在草地上;2)在晴朗夜間,有石塊、土塊、雜草、落葉、落花等較多干擾物的復(fù)雜場景,地雷的裸露面積被輕微遮擋;3)在晴朗夜間,有石塊、土塊、雜草、落葉、落花等較多干擾物,地雷的裸露面積大部分被遮擋。采集上述場景下的拋撒地雷圖像,建立數(shù)據(jù)集進行測試,利用公式(1)和公式(2)驗證該模型的召回率和準確性,及檢測的漏警率Miss rate和虛警率False alarm,見公式(3)和公式(4),分析對比3種場景下拋撒地雷的探測精度。
實驗過程中,根據(jù)周圍環(huán)境調(diào)節(jié)相機的曝光時間,調(diào)節(jié)定焦鏡頭光圈,使探測區(qū)域能夠在相機中清晰成像,相機采集到的圖像通過CameraLink數(shù)據(jù)傳輸線傳輸?shù)焦た貦C,利用拋撒地雷智能檢測網(wǎng)絡(luò)模型對采集到的圖像進行識別,若識別到拋撒地雷目標,將其進行標注并返回拋撒地雷目標的像素坐標值。將構(gòu)建的拋撒地雷測距模型利用C++編程語言編寫程序,輸入的像素橫坐標為拋撒地雷目標像素橫坐標的平均值,輸入的像素縱坐標為拋撒地雷目標中最大的縱坐標值,通過拋撒地雷測距模型進行計算,顯示記錄拋撒地雷的實際距離。
本文利用4個地雷布設(shè)簡易多雷區(qū)進行雷區(qū)范圍標定實驗。多雷區(qū)由多個地雷共同組成,滿足一定距離或者密度關(guān)系的地雷才可當作是雷區(qū)一員,當一個地雷目標與其他地雷距離較近時,是雷區(qū)中心點的可能性較大,對決策的影響也越大。圖4為地雷與雷區(qū)關(guān)系示意圖,其中 0、1、2、3、4、5為 6個地雷,圓圈區(qū)域為多雷區(qū)??梢钥闯?,0點遠離雷區(qū),若把0點當作雷區(qū)中的一點時,雷區(qū)中危險性較小的區(qū)域?qū)⒈粩U大很多,不利于最佳決策,所以0點對決策者的影響很小。4點與雷區(qū)距離較近,若雷區(qū)包括這點時,對決策的貢獻也與0點一樣較小。5點與4點類似,而1、2、3三點則屬于雷區(qū)的范圍之中,是構(gòu)成雷區(qū)的元素之一。為評價個點對決策的影響,實現(xiàn)雷場的約簡方法,引入“吸引子”的概念,是一個用來反映雷區(qū)中地雷與其他地雷之間依賴性強弱的量,當某個地雷遠離其他地雷目標時,其吸引子數(shù)值小,反之吸引子數(shù)值增大?!拔印备拍钍墙栌昧宋锢韺W(xué)中引力的概念,用來描述地雷間的相互作用,即當?shù)乩啄繕伺c其他地雷距離較近時,是雷區(qū)中點的可能性越大,與它距離近的地雷數(shù)越多時,是雷區(qū)中點的可能性也越大,對決策的影響越大。通過“吸引子”判斷單個地雷對雷區(qū)的影響,然后使用雷區(qū)樣本訓(xùn)練獲取門限,將低于門限的孤立地雷進行去除。
圖4 孤立雷排除原理圖
吸引子用于去除對雷區(qū)影響較小的點,孤立點的吸引子數(shù)值小,而密度較大的雷區(qū)中地雷的吸引子數(shù)值較大。因此本文將地雷實際位置大致按圖中0、1、2、3點的位置設(shè)置,根據(jù)“吸引子”的概念,定義相近距離地雷的吸引子設(shè)置門限值,將吸引子大于這個門限的地雷合并,排除孤立雷。然后確定多雷區(qū)范圍并進行標定。在排除孤雷之后,分別取其他拋撒地雷的最外側(cè)像素坐標值,帶入已經(jīng)訓(xùn)練好的拋撒地雷智能測距模型,將測距模型測量出的拋撒地雷距離與利用激光測距儀測量的數(shù)據(jù)進行對比,并圈定為多雷區(qū),驗證被動式夜視智能探雷系統(tǒng)對多雷區(qū)的探測有效性。
首先,在草地環(huán)境較簡單空曠、干擾物少或不明顯、地雷基本裸露無遮擋的場景下,背景為灌木叢和樹林的拋撒地雷可以被準確識別出來,如圖5和圖6的綠色矩形邊框所示。該測試集共含有387張照片,現(xiàn)能檢測出拋撒地雷的照片數(shù)量為383張,4張未檢測出來。對測試集指標進行分析,在該情境下利用上述公式(1)~(4)計算可得拋撒地雷識別的精確率為98.97%,召回率為99.22%,漏警率為0.78%,虛警率為1.03%。
圖5 背景為灌木叢
圖6 背景為樹林
第2個場景是有部分石塊、土塊、雜草、落葉、落花等干擾物,將防坦克地雷與防步兵地雷的裸露面積輕微遮擋來進行布設(shè),相隔一定的距離,對其進行拋撒地雷的識別實驗。實驗結(jié)果如圖7和圖8所示,被輕微遮擋的拋撒地雷可以被檢測出來,防步兵地雷會存在漏檢情況。在此種情境下,分析測試集數(shù)量通過計算得拋撒地雷的識別精確率為98.5%,召回率為71.3%,虛警率為1.5%,漏警率為28.7%。
圖7 3個地雷全部檢測出
圖8 一個防步兵地雷漏檢
第3個場景是有明顯干擾物的復(fù)雜環(huán)境中,將拋撒地雷置于落花、石塊、落葉較多的草叢之中,對其裸露面積進行大部分遮擋;放置另一個拋撒地雷于干凈整潔的路邊,背景為草地,用一根樹枝對其裸露面積進行遮擋。測試被動式夜視智能探雷網(wǎng)絡(luò)模型在地雷面積被部分遮擋時檢測的有效性,分析拋撒地雷暴露面積對智能探測的影響。實驗結(jié)果,如圖9所示,該模型仍能夠?qū)⒉糠置娣e被遮擋的拋撒地雷用綠色邊框識別框選出來,并對測試集整體識別結(jié)果分析,計算得到被干擾物遮擋的拋撒地雷的識別精確率為87.5%,召回率為56.8%,虛警率為12.5%,漏警率為43.2% ,表明拋撒地雷暴露面積的大小對拋撒地雷的夜間智能識別結(jié)果影響較大。
圖9 部分被遮擋地雷檢出
分析3種不同情景下的拋撒地雷識別指標,并進行對比,如表1所示。
表1 3種不同場景下識別指標
分析不同場景下的拋撒地雷智能識別實驗結(jié)果,在無干擾物、較為簡單場景、地雷無遮擋情景下的精確率與召回率指標最好,而在有土塊、石塊、雜草、落花等較多干擾物且地雷部分面積被輕微遮擋為時,對拋撒地雷識別的精確率為98.5%,召回率為71.3%,被干擾物遮擋面積較多時的拋撒地雷的識別精確率為87.5%,召回率為56.8%,說明本文應(yīng)用的被動式夜視智能探雷方法及探雷系統(tǒng)識別精確率等受干擾物復(fù)雜度、地雷被遮擋程度的影響。此外,本文對有土塊、石塊、雜草、落花等較多干擾物情景下漏檢的拋撒地雷進行分析,分析表明對于防坦克地雷檢測的漏警率較低,僅在漏檢的拋撒地雷中占0.9%,而對防步兵地雷的漏警率較高,在漏檢的拋撒地雷中占99.1%。由于防步兵地雷體積較小,在整體場景中,目標較小,識別難度較大,且受周圍干擾物及遮擋物的影響程度較大,故漏警率較高。
利用被動式夜視智能探雷系統(tǒng)對多雷區(qū)進行智能識別,根據(jù)顯示器顯示記錄:智能探雷系統(tǒng)共識別出4個拋撒地雷,并分別給出像素坐標值,見圖10(圖中只截取了其中3個地雷)。
圖10 多雷區(qū)智能識別界面圖
被動式夜視智能探雷系統(tǒng)在完成多雷的智能識別的基礎(chǔ)上,反饋識別出的拋撒地雷目標框的對角線像素坐標值,分別取其像素平均值進行研究分析,4顆拋撒地雷的位置及利用測距模型測算地雷真實距離位置的像素坐標如表2所示。
表2 拋撒地雷的像素坐標值
將上述坐標值分別代入公式(5)計算兩兩地雷間的距離,計算結(jié)果如表3所示。
表3 兩兩地雷之間距離的實驗數(shù)據(jù)
用公式(6)計算吸引子數(shù)值,如表4所示。
表4 吸引子數(shù)據(jù)
結(jié)合上述實驗原理,根據(jù)所得數(shù)據(jù)定義相近距離設(shè)置門限2×10-2,值大于門限值的地雷進行合并,值小于門限值的地雷設(shè)置為孤立雷,在本實驗中地雷的吸引子值<2×10-2,所以將地雷定義為孤立雷,不考慮在雷場之內(nèi)。
在排除0號孤立雷之后,取多雷區(qū)最外側(cè)1、2、3號拋撒地雷的像素坐標值,帶入已經(jīng)訓(xùn)練好的拋撒地雷智能測距模型,由表3可得最外側(cè)拋撒地雷相互間距離、、分別為45 cm、77 cm、32 cm,以該地雷為頂點連接形成多邊形,此多邊形即為多雷區(qū),如圖11中紅線所示。在真實地雷場識別中,需預(yù)留出對地雷場做出反應(yīng)的時間,故將多雷區(qū)的標定范圍外擴20 m。由于本文布設(shè)的是模擬多雷區(qū),受實驗場地的限制,在本實驗中將多雷區(qū)的邊界向外擴展0.8 m作為多雷區(qū)的標定邊界,如圖11中綠線所示。
圖11 多雷區(qū)標定及外擴示意圖
本文根據(jù)在真實拋撒地雷探測時,探測環(huán)境較為復(fù)雜,可能存在石塊、樹葉等干擾物的影響,而且拋撒地雷在布設(shè)時會存在部分面積被遮擋的可能,以及大量拋撒地雷被組合使用形成的地雷場,設(shè)計了3種不同場景下,對拋撒地雷進行識別實驗,研究了“多雷區(qū)”的識別方法,設(shè)計實驗分析該方法對夜間多雷區(qū)遠距離智能探測的可行性。結(jié)果表明,在微弱夜間光的復(fù)雜情景下,本文應(yīng)用的方法可對不同場景下的拋撒地雷進行有效識別;并實現(xiàn)了在夜間對“多雷區(qū)”的智能識別與標定,為大面積真實拋撒地雷場的夜間智能探測提供了一定的研究基礎(chǔ)和方法借鑒。