宋羿銘,解文彬,周未
(1.陸軍工程大學(xué)指揮控制工程學(xué)院,南京210000;2.軍委裝備發(fā)展部?jī)r(jià)格評(píng)審中心,北京100034)
在現(xiàn)代信息化戰(zhàn)爭(zhēng)中,遙感偵察已成為各國(guó)主要的偵察技術(shù)手段之一,復(fù)雜戰(zhàn)場(chǎng)環(huán)境中,如何從海量的遙感偵察圖像中快速準(zhǔn)確地獲取信息,是獲取打擊優(yōu)勢(shì)的重要環(huán)節(jié),為取代效率低下的人工作業(yè),開發(fā)用于檢測(cè)遙感圖像[1]中的軍事目標(biāo)軟件進(jìn)行輔助偵察具有重要的軍事意義。
但是傳統(tǒng)目標(biāo)識(shí)別檢測(cè)系統(tǒng),如基于HOG 和SVM的船舶圖像分類算法[2]只是采用單一的特征進(jìn)行學(xué)習(xí)訓(xùn)練,訓(xùn)練效果具有一定的約束性,容易發(fā)生漏檢測(cè)、錯(cuò)檢測(cè)的現(xiàn)象,這在軍事上會(huì)產(chǎn)生不可估量的后果。而近年來(lái)深度學(xué)習(xí)已經(jīng)成為研究熱點(diǎn),深度特征在遙感圖像的目標(biāo)檢測(cè)中的應(yīng)用也越發(fā)廣泛起來(lái),但是深度學(xué)習(xí)的成效只有在對(duì)大量樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)訓(xùn)練時(shí)才能得以顯現(xiàn),因此也需要大量的時(shí)間來(lái)進(jìn)行訓(xùn)練,所以訓(xùn)練成本大、要求高,具有一定的限制性。
基于此背景,本文將淺層特征(LBP 特征)和中層特征(HOG 特征)進(jìn)行融合[4],并運(yùn)用SVM 支持向量機(jī)[3]進(jìn)行訓(xùn)練,得到關(guān)于軍事目標(biāo)(以飛機(jī)為例)的分類器,成功實(shí)現(xiàn)對(duì)軍事目標(biāo)的檢測(cè),并對(duì)軟件的交互界面進(jìn)行開發(fā)。
將遙感圖像軍事目標(biāo)檢測(cè)功能劃分為四部分,首先從輸入的遙感圖像中提取可能的目標(biāo)區(qū)域,然后再用訓(xùn)練好的關(guān)于軍事目標(biāo)(以飛機(jī)為例)的分類器提取特征并進(jìn)行比對(duì),以此來(lái)區(qū)分目標(biāo)和背景,最后將檢測(cè)結(jié)果顯著標(biāo)記在輸入的遙感圖像上,并將檢測(cè)結(jié)果顯示出來(lái)。如圖1 所示。
圖1 軍事目標(biāo)檢測(cè)程序流程圖
從輸入的遙感圖像中提取可能的目標(biāo)區(qū)域我們使用的是基于選擇性搜索的方法[6],因?yàn)閭鹘y(tǒng)的滑窗方法產(chǎn)生的候選區(qū)域非常多,這極大增加了計(jì)算量,而選擇性搜索算法[6]采用的是多樣化的分割策略,在輸入的遙感圖像中搜索可能的目標(biāo),盡可能實(shí)現(xiàn)快速搜索,從中提取可能的目標(biāo)區(qū)域,為后期特征提取和比對(duì)打下基礎(chǔ)。
關(guān)于軍事目標(biāo)(以飛機(jī)為例)的分類器的訓(xùn)練,我們搜集整理遙感圖像和軍事目標(biāo)(以飛機(jī)為例)的正、負(fù)樣本,然后把所有正、負(fù)樣本的淺層特征(LBP 特征)和中層特征(HOG 特征)提取出來(lái)并進(jìn)行融合,將正樣本的特征標(biāo)簽標(biāo)記為1,負(fù)樣本的特征標(biāo)簽標(biāo)記為0,再將融合特征和標(biāo)簽用SVM 進(jìn)行訓(xùn)練,便可得到一個(gè)分類器。我們?nèi)诤狭藴\層和中層特征,這種方式克服了單一特征訓(xùn)練的約束性,在很大程度上提高了檢測(cè)的正確率。
交互界面我們使用Qt 搭建了一個(gè)遙感圖像軍事目標(biāo)檢測(cè)系統(tǒng),讓其能夠調(diào)用基于選擇性搜索的方法和訓(xùn)練好的分類器來(lái)處理輸入的遙感圖像,讓程序能在遙感圖像中檢測(cè)出軍事目標(biāo),用矩形框突出顯示出來(lái)檢測(cè)到的軍事目標(biāo),并將檢測(cè)結(jié)果輸出出來(lái)。
輸入遙感圖像后,先生成初始的分割區(qū)域,再將所有的分割區(qū)域加入到可能區(qū)域列表中,再將一部分區(qū)域根據(jù)顏色、紋理和大小的相似度進(jìn)行合并,在選擇性搜索算法[6]中,分割合并是關(guān)鍵的核心環(huán)節(jié)的環(huán)節(jié)。分割合并時(shí)的度量依據(jù)為:
式中s(ri,rj)為區(qū)域ri和rj之間的相似性;scolour(ri,rj)、stexture(ri,rj)和ssize(ri,rj)分別為兩個(gè)區(qū)域間的顏色、紋理和大小的相似性;sfill(ri,rj)是兩個(gè)區(qū)域之間的包容性;ai(i= 1,2,3,4 )是權(quán)重,和為1。將合并后的區(qū)域放到列表中,然后開始迭代,最終得到可能的目標(biāo)區(qū)域,效果如圖2 所示。
SVM 可以通過(guò)標(biāo)定標(biāo)簽數(shù)據(jù),在多維空間進(jìn)行有效分割,實(shí)現(xiàn)不同類型的最佳區(qū)分。因此,在使用過(guò)程中,SVM 可以自動(dòng)根據(jù)訓(xùn)練樣本做出最佳分類預(yù)測(cè),所以首先應(yīng)當(dāng)準(zhǔn)備足量的正、負(fù)樣本,然后把所有正、負(fù)樣本的淺層特征(LBP 特征)和中層特征(HOG 特征)提取出來(lái)并進(jìn)行融合,將正樣本的標(biāo)簽標(biāo)記為1,負(fù)樣本的標(biāo)簽標(biāo)記為0,將融合后的特征和標(biāo)簽用SVM 進(jìn)行訓(xùn)練,便可得到一個(gè)飛機(jī)分類器。故在使用SVM 的過(guò)程中,要分為以下幾步。
(1)準(zhǔn)備正負(fù)樣本
正樣本:如圖3 所示,指算法想要正確分類出的類別所對(duì)應(yīng)的樣本。以飛機(jī)為例,我們希望的目的是在遙感圖像中檢測(cè)出飛機(jī),則正樣本則為各種各樣不同的飛機(jī)。
圖2 選擇性搜索得到的可能目標(biāo)區(qū)域
圖3 飛機(jī)的正樣本
負(fù)樣本:如圖4 所示,指算法想要排除的樣本。以飛機(jī)為例,所有不是飛機(jī)的圖片均可作為負(fù)樣本存在。
圖4 飛機(jī)的負(fù)樣本
選取的樣本為不同時(shí)間和背景下的有關(guān)飛機(jī)的遙感圖像,從中處理得到了大量的正、負(fù)樣本,正樣本應(yīng)包括完整的飛機(jī),而負(fù)樣本不應(yīng)包括飛機(jī)。樣本大小統(tǒng)一為64×64。理論上正、負(fù)樣本的數(shù)量越多,訓(xùn)練就會(huì)越充分,準(zhǔn)確度就會(huì)提高。最終用于訓(xùn)練的樣本分別為:正樣本為10000 個(gè),負(fù)樣本為15000 個(gè)。
(2)提取特征
LBP,即 Local Binary Patterns,LBP 特征描述子能夠很好表達(dá)圖像的紋理特征,它具有尺度、光照和旋轉(zhuǎn)不變性等特點(diǎn),對(duì)復(fù)雜背景、光照和遮擋等具有很好的魯棒性。最開始的LBP 算子是定義在3×3 的方格中,以中間像素點(diǎn)的灰度值為比對(duì)對(duì)象,如果周圍像素點(diǎn)的灰度值大于中心像素點(diǎn)的灰度值,則標(biāo)記為1,小于中間像素點(diǎn)的標(biāo)記為0,然后將得到一個(gè)8 位的二進(jìn)制數(shù)轉(zhuǎn)化為十進(jìn)制數(shù),得到的即為L(zhǎng)BP 值,用于反映圖像在該區(qū)域的紋理信息。如圖5 所示。
圖5 LBP值得計(jì)算
HOG,即 Histogram of Oriented Gradient,方向梯度直方圖[5],是計(jì)算機(jī)視覺(jué)、圖像處理領(lǐng)域中用于目標(biāo)檢測(cè)的特征描述子,它通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征,具體來(lái)說(shuō)就是梯度方向的分布圖。遙感圖像中,因?yàn)槲覀兏雨P(guān)注目標(biāo)的形狀和輪廓,局部目標(biāo)的梯度或邊緣的方向密度分布能很好地描述目標(biāo)的輪廓形狀。HOG 其本質(zhì)是梯度的相關(guān)信息,而梯度主要存在于邊緣部分,所以HOG 是用來(lái)計(jì)算局部目標(biāo)梯度的方向信息的統(tǒng)計(jì)值的。
HOG 特征的具體提取步驟如下:
圖6 HOG特征提取流程和可視化
然后如圖7 所示,將兩種特征融合起來(lái)用于分類器訓(xùn)練使用。
(3)訓(xùn)練分類器
把融合后的特征值存入特征矩陣,再將正樣本的特征標(biāo)簽標(biāo)記為1,負(fù)樣本的特征標(biāo)簽標(biāo)記為0,以供SVM 訓(xùn)練使用,將特征和標(biāo)簽數(shù)據(jù)輸入到SVM 中進(jìn)行訓(xùn)練,通過(guò)機(jī)器學(xué)習(xí)找到一個(gè)最優(yōu)超平面,即得到一個(gè)分類器,如圖8 所示。
圖7 特征融合示意圖
圖8 使用SVM訓(xùn)練得到的分類器
為了便于人機(jī)交互,我們使用Qt 搭建了一個(gè)遙感圖像軍事目標(biāo)檢測(cè)系統(tǒng)交互界面,讓其能夠調(diào)用基于選擇性搜索的方法和訓(xùn)練好的分類器來(lái)處理輸入的遙感圖像。如圖9 所示,軟件首先將遙感圖像顯示出來(lái),點(diǎn)擊“開始檢測(cè)”按鈕后,軟件調(diào)用基于選擇性搜索的方法和訓(xùn)練好的分類器進(jìn)行軍事目標(biāo)檢測(cè),并將檢測(cè)到的軍事目標(biāo)用矩形框顯著標(biāo)注出來(lái),同時(shí)將檢測(cè)結(jié)果顯示出來(lái)。
圖9 遙感圖像軍事目標(biāo)檢測(cè)軟件界面
遙感圖像軍事目標(biāo)檢測(cè)軟件效果如圖10 所示,基本能精確檢測(cè)到遙感圖像中的軍事目標(biāo)。
檢測(cè)的準(zhǔn)確率較于單一特征明顯有所提升,如表1所示,能達(dá)到92.68%。
圖10 軟件檢測(cè)結(jié)果
表1 檢測(cè)準(zhǔn)確率對(duì)比
本文給出了特征融合、選擇性搜索算法和訓(xùn)練軍事目標(biāo)分類器的核心思路以及以此為基礎(chǔ)的遙感圖像軍事目標(biāo)檢測(cè)軟件的程序。該程序有助于讀者更好地學(xué)習(xí)、理解和應(yīng)用機(jī)器學(xué)習(xí)算法,如LBP 特征、HOG 特征、選擇性搜索算法和支持向量機(jī),同時(shí)該程序可輔助遙感偵察,具有一定的實(shí)際意義。