陳蘇婷， 牛宇寧， 張 闖， 張艷艷

(南京信息工程大學a.江蘇省氣象探測與信息處理重點實驗室;b.江蘇省大氣環(huán)境與裝備技術協(xié)同創(chuàng)新中心，南京210044)

0 引言

近年來，隨著航拍技術的不斷發(fā)展，高分辨率航拍遙感相機相繼研制成功，航拍圖像在應急救災、數(shù)字城市建設、工程設計等重大需求領域得到了廣泛的應用［1］;同時，隨著大數(shù)據(jù)技術的興起，為航拍圖像處理提供了新的思路。航拍圖像包含的豐富信息量覆蓋了各個尺度的物體，且分布密集，如何快速高效地實現(xiàn)航拍圖像目標檢測至關重要。

航拍圖像具有大范圍、寬視角、高分辨率、數(shù)據(jù)量巨大等特點，這給目標檢測帶來巨大的挑戰(zhàn)。文獻［2］中提出基于單像素特征動態(tài)貝葉斯網(wǎng)絡的目標檢測法，該方法針對不同高度和不同角度所拍得的航拍圖像實驗均取得較好效果，然而當有形狀與目標相似或低對比度情況下容易造成誤報或漏檢;文獻［3］中使用超像素和稀疏編碼分割圖像并提取特征生成詞典，依據(jù)生成的字典訓練航拍圖片實現(xiàn)目標檢測，提高了識別能力和檢測效率，但計算復雜度較高;文獻［4］中提出一種時空顯著性方法，首先通過時間顯著性得到一個粗略的分割，再通過空間顯著性提取目標的細節(jié)信息，最后通過加權線性融合的方法得到最終檢測結果，此方法雖簡單，但融合所用的加權系數(shù)需要預設或者訓練。文獻［5］中提出一種面向超像素的目標檢測算法，通過最小化能量函數(shù)的方式對超像素進行標記以達到目標檢測的效果，和傳統(tǒng)的方法相比有更多的靈活性，但是需要更大的輸出空間和提前了解超像素的標簽信息。

由上述分析可見，目前的研究主要是通過對整幅航拍圖像提取特征來實現(xiàn)對航拍圖像目標的分割與檢測，沒有充分考慮到圖像中包含大量的背景以及特征區(qū)分能力不足的缺點［6］。航拍圖像中的物體形態(tài)隨著拍攝視角的不同變化較大，常規(guī)的提取單一特征的算法已難以從航拍圖像中檢測感興趣目標。針對這些問題，本文提出了基于SFFS［7］多特征選擇的航拍圖像目標檢測方法。在研究航拍圖像目標紋理特征和形狀特征的基礎上，針對航拍相機鏡頭旋轉以及飛行姿態(tài)變化帶來仿射變換等問題，引入目標檢測中對鏡頭畸變穩(wěn)健的 RIFF［8］特征，提出基于 BING［9］算法粗定位和SFFS算法的多特征描述，提高目標檢測的準確率，在降低維數(shù)的同時，提高檢測速度。

1 目標檢測算法流程

本文所提出的算法整體流程圖如圖1所示。首先，用BING算法初步定位目標，尋找出包含目標可能性較大的區(qū)域，再進行精確檢測。然后，提取感興趣區(qū)域中目標的多種特征，增加對航拍圖像中目標的描述能力;最后，利用SFFS算法對提取的多種特征進行選擇，降低特征維數(shù)，并基于支持向量機實現(xiàn)目標檢測。

圖1 算法整體流程圖

2 BING算法目標粗定位

由于航拍圖像場景復雜多變，給特征提取帶來困難;同時，為解決在繁多的航拍特征信息中，精確提取有用特征信息，提高特征提取效率，本文提出基于感興趣區(qū)域的多特征目標檢測方法。該方法首先利用BING算法進行粗定位，提取出可能包含目標的區(qū)域以減少計算量，然后利用多特征選擇進行航拍圖像目標檢測。粗定位具體步驟如下:

Step 1 使用模板［－1，0，+1］作用于航拍圖像，由此計算出航拍圖像的梯度值，bk，l∈{0，1}8×8，并進行歸一化處理，通過尺度變換將梯度幅值歸一化到8×8的尺度，得到歸一化的梯度特征值(NG)。

Step 2 利用二進制估計算法，對NG特征進行估計，獲得最終的BING特征，表示為:

步驟1梯度特征值為［0，255］，那么8×8窗口上的每個點的NG特征值就可以用1 byte來存儲，即用一個8位的二進制串來表示，本文中利用前Ng個位值對特征值進行近似，Ng取4。

Step 3 SVM分類器訓練過程。

(1)提取正負樣本的 BING特征，輸入到LinearSVM中進行訓練，到SVM分類器并將其歸一化，作為第1級分類器。

(2)將得到的SVM分類器作用于訓練樣本所在的位置，得到待選目標框，通過非極大值抑制，將剩下的一些較小的待選框作為第2級分類器的訓練樣本正例，較大的待選框作為訓練樣本負例。

(3)將第2步生成的正例和負例輸入LinearSVM中進行訓練得到的分類器作為第2級分類器。

Step 4 利用窮舉得到的待選區(qū)域，將上述訓練得到的分類器作用于待選區(qū)域，每1個待選區(qū)域通過線性模型w∈R64打分機制得到最終的感興趣區(qū)域，得分為:

坐標為l=(i，x，y)，其中:i為尺度，即一個保存了不同窗口大小的數(shù)組中挑出的第i個尺度;(x，y)表示待選區(qū)域的中心位置。

3 多特征提取和SFFS特征選擇

由于航拍圖像的復雜背景與目標的多樣性，僅使用單一圖像特征對目標進行檢測精度不高，容易造成誤檢。局部二值模式通過一階統(tǒng)計特征來描述目標的局部紋理信息，缺乏對航拍圖像結構信息的描述，而傅里葉形狀特征能夠很好的描述目標的輪廓，與紋理特征具有一定的互補性。綜合考慮紋理特征和形狀特征的特點和優(yōu)勢，并引入能夠克服航拍圖像鏡頭畸變的RIFF特征，提出一種基于SFFS多特征選擇的航拍圖像目標檢測方法。

3.1 旋轉不變LBP特征提取

局部二值模式(Local Binary Pattern，LBP)是一種通過比較像素鄰域灰度值大小對圖像進行描述的紋理特征，在紋理分類以及人臉檢測中得到廣泛應用［10］。通過比較，得到掩膜中心8鄰域的無符號值，即為該掩膜中心像素的LBP值并用這個值來反映該區(qū)域的紋理信息，如圖2所示。

圖2 LBP特征示意圖

由于傳統(tǒng)LBP模式的窗口為3×3大小，對較大尺度的紋理描述能力較差，Ojala等將其擴展到任意鄰域LBPP，R，即以中心像素點為圓心，在半徑為R的鄰域內均勻取P個元素進行比較［11］。常見的(P，R)取值有(8，1)、(16，2)、(24，3)。假設gc的坐標為(a，b)，則gp的坐標為(a+Rcos(2πp/P)，b+Rsin(2πp/P))。圖像的坐標必須是整數(shù)，若按照上式計算得到的gp坐標不是整數(shù)，則利用雙線性插值算法計算gp的像素灰度值。任意圓形鄰域集都可以得到一個LBP編碼，定義如下:

式中，2i為編碼權重值，

S(gi－gc)為每個采樣點gi與中心像素gc作灰度二值化運算。

LBP算子在實際應用中常用兩種模式:旋轉不變模式和等價模式。針對航拍圖像的目標檢測，本文采用的是LBP算子的旋轉不變模式。旋轉不變的LBP特征(RI-LBP)［12］可由擴展的LBP特征通過數(shù)據(jù)的循環(huán)移為操作實現(xiàn)，取其最小值作為該鄰域的LBP值，計算公式為:

式中:ROR(x，k)表示對P位二進制數(shù)x進行向右循環(huán)以為k次(|k|＜P)。本文使用P=8，R=1，0時的旋轉不變LBP特征，示例如圖3所示，根據(jù)RI-LBP算法過程，可得其中最小的LBP值是15，即掩膜中心像素的RI-LBP值為15。

圖3 RI-LBP特征示意圖(P=8，R=1)

得到各個像素的RI-LBP值后，通過直方圖來描述旋轉不變的LBP特征。

3.2 輪廓法形狀特征提取

形狀特征可以用來描述圖像中目標輪廓特征，彌補顏色特征和紋理特征對圖像含義表達的缺陷。形狀描述可分為三類:輪廓描述算法、區(qū)域描述算法和骨架描述算法［13］?？紤]到航拍圖像的特點以及目標檢測的實時性要求，所使用的形狀描述子應計算簡單，且具有平移、旋轉、尺度不變性及起始點的無關性。因此本文引入基于變換域的傅里葉描述法用于對形狀的輪廓描述FD［13］。設一維形狀標識函數(shù)為u(t)，則其離散

由式(6)，通過{an}來描述形狀特征。若對目標形狀選擇不同的起點可以得到不同的形狀標識函數(shù)。在實際應用中，若對圖像輪廓進行起點改變、尺度縮放、平移或者旋轉，可得到新的標識函數(shù)傅里葉變換:

式中:a0n為變換前的形狀標識;exp(inτ)表示起點改變變化因子;exp(i)表示旋轉變化因子;s表示尺度變化因子。除了直流分量變化，其他因子不受影響，因此，形狀描述子{an}的具有不變性。

3.3 RIFF 特征提取

為了克服鏡頭畸變對檢測的影響，進一步增加檢測的準確度，引入RIFF特征，徑向梯度變換(Radial Gradient Transform，RGT)［14］是 RIFF 特征具有旋轉不變性的關鍵，通過對梯度旋轉適當?shù)慕嵌龋瑢崿F(xiàn)旋轉不變性。RIFF特征提取的過程為:首先對輸入圖像的梯度進行 RGT變換，然后通過盒式差分濾波核(Difference of Boxes filter kernel)進行檢測，最后通過構建金字塔尺度空間尋找出局部空間極值，并確定最終的特征描述子。具體實現(xiàn)如下:

Step 1 計算感興趣區(qū)域的梯度，并對其進行RGT變換。如圖4所示，C為圓心，P為圓周上任意一點，r=CP/CP為點P的徑向單位向量，t=Rπ/2r為點P的切向單位向量，g為點P的梯度向量，RΘ為旋傅里葉變換表達式為:轉Θ角的旋轉矩陣。由文獻［16］可知，梯度向量g在r－t坐標系上的坐標表示為(gTr，gTt)。假設P旋轉角度Θ到達PΘ后，可得gΘ在rΘ－tΘ坐標系上的坐標表示為(

可得:

圖4 RGT示意圖

由上述可知，經(jīng)過RGT變換后的梯度具有旋轉不變性。

Step 2 利用盒式差分濾波核檢測塊區(qū)域。在檢測過程中，每個點的濾波器響應值為不同大小的兩個盒式濾波器相減得到，在尺度參數(shù)s下，較小盒式濾波器的大小為2s+1，較大的則為4s+1，那么任意點的濾波器響應為:

式中，B(x，y，s)為區(qū)域規(guī)范化的濾波器函數(shù)，具體為:

∑(x，y，s) 定義為以(x，y)為中心，寬度為 2s+1 的區(qū)域中所有像素和。

Step 3 為增加特征的尺度不變性并降低計算復雜度，利用金字塔尺度空間獲取不同尺度下的局部空間值，而后通過比較獲取局部空間極值。

Step 4 在給定尺度下獲取感興趣特征點，利用RGT產生魯棒性強，具有旋轉不變性的特征描述算子。

以感興趣特征點(x，y，s)為圓心，提取半徑為P的統(tǒng)計塊(bin)，處于統(tǒng)計塊內(bin)的每個像素點可以以下坐標表示:

式中:sp為局部塊的直徑大小;s*u，s*v分別對應為x、y在尺度s下的離散值。計算bin內的笛卡爾梯度，若梯度最大值與次大值相差超過10%，選擇梯度最大值的方向作為該bin的主方向;否則選取最大值與次大值中間方向作為鄰域主方向，同時將梯度值歸一化。使用文獻［8］中的方法生成描述子:D=［H1…Hnb］，其中nb表示為統(tǒng)計塊bin內的n個特征。

3.4 SFFS多特征選擇

特征提取過程中分別提取出感興趣區(qū)域的RILBP特征、FD特征和RIFF特征，若只是對3種特征進行簡單的串聯(lián)融合，會導致特征描述子維度過高，計算量大大增加，不能滿足實時檢測的需求。為此，本文提出使用SFFS算法對提取的多種特征進行特征選擇以降低特征維數(shù)并減少計算復雜度，生成最終的特征描述子。

SFFS算法是一種浮動搜索策略，通過貝葉斯分類對不同的特征子集進行分類評價。具體實現(xiàn)如下:

Step 1 SFFS從空集開始，在未選擇的特征中選擇一個子集x，并計算對應的評價函數(shù)，使評價函數(shù)達到最優(yōu)。

Step 2 在已選擇的特征中選擇子集z，并使剔除子集z后評價函數(shù)達到最優(yōu)。

Step 3 在剔除子集z評價函數(shù)達到最優(yōu)的情況下，進一步可得貝葉斯正確分類的精度為:式中:Z表示選擇后的特征子集;Tr表示錯分的集合;Dr表示訓練集，這里為第4節(jié)所提取的LBP特征、FD形狀特征和RIFF特征的集合;ε(Z，Tr;Dr)表示貝葉斯分類錯分率。

Step 4 當錯分概率的期望值達到最低值時，此時的集合為最優(yōu)集合解。

Step 5 在測試階段，確定特征子集依據(jù)Jnrep(Z)。對于兩個特征子集Z1，Z2，若Jnrep1(Z1) ＞Jnrep2(Z2)，選用特征子集Z1;反之，則選取特征子集Z2。

由上述分析可見，選擇后生成的最終特征描述子，在去除冗余無關特征之后，使得特征具有更好的表征能力與旋轉不變特性，并能夠較好地克服航拍過程中因鏡頭旋轉導致圖片發(fā)生扭曲形變的問題。

4 SVM目標檢測

支持向量機(Support Vector Machine，SVM)［15］是一種適用于二分類的監(jiān)督學習算法，廣泛使用于小樣本、非線性及高維模式識別問題中，因此本文選擇使用SVM對圖像特征進行訓練分類，并在分類器后加上一個非極大值抑制的過程，用來過濾錯誤的分類。

設圖像特征輸入為{xi|i∈Z1}，輸出為{yi|i∈Z1}，其中:Z1表示特征子集;i為第i個特征;最大間隔為 max，以及核函數(shù)K(xi，x)，得到分類函數(shù):

式中:b為偏移量;為當前特征距離分類平面的間隔;w為需要求取的檢測結果。將問題轉換為求取minw2/2的最小值;最后通過拉格朗日函數(shù)將約束條件融合到目標函數(shù)中去，由此得到問題的最優(yōu)解即為最終的檢測結果。

5 實驗結果及分析

5.1 實驗樣本數(shù)據(jù)

目前，適用于目標檢測的航拍場景數(shù)據(jù)庫較為匱乏，為了驗證本文目標檢測算法的有效性，采集了GoogleEarth上的4類航拍圖像作為樣本，分別為汽車、飛機、船舶、道路，每類選取200個標準樣本，共計800個樣本，并在這800個樣本中隨機選擇600個作為訓練樣本，其余200個作為測試樣本對檢測結果進行評價。本文實驗基于VS2012+OpenCV2.4.9，運行環(huán)境是Win7，工作站配置為Intel Xeon E5-2650 CPU 2.60 Hz 2.60 Hz，64 GB 內存。

5.2 實驗結果

圖5展示了本文算法目標檢測的結果。從結果可以看出，目標幾乎全部都被檢測出來，并用黃顏色方框進行了標示。

如圖5(a)所示的汽車檢測的實驗中，由于背景相對復雜，且存在大量與待檢測目標像似的物體，如建筑、路牌等，影響了最后的檢測結果，誤檢率較高。如圖(b)和(c)所示的飛機和船舶檢測實驗中，由于待檢測目標與背景差異較大，形狀特征較為明顯，誤檢率較低，最終的檢測結果較好。圖(d)所示的道路檢測實驗中，由于道路與背景混在一起，存在一定的誤檢。

圖5 航拍圖像目標檢測結果圖

5.3 實驗分析

為進一步說明本文算法的有效性，采用目標檢測的準確率與召回率對算法進行性能評估，其中，查準率是指被正確檢測出來的目標占所有檢測出來的目標的百分比，查全率是指正確檢測出來的目標占總的樣本的百分比。

圖6分別給出了利用BING+RI-LBP，BING+FD，BING+RIFF，BING+RI-LBP+FD+RIFF+SFFS算法對汽車，飛機，船舶，道路進行檢測的P-R(查準率-查全率)曲線圖。從圖6可以看出，相比使用單一特征進行目標檢測的方法，融合旋轉LBP特征、FD特征和RIFF特征并使用SFFS算法進行特征選擇后的目標檢測方法性能更優(yōu)。使用BING+RI-LBP進行檢測的性能明顯低于其他算法，因為RI-LBP算法只是提取圖像淺層紋理特征，所以單一的紋理特征不適用于航拍圖像的目標檢測。

為驗證本文算法的先進性，將本文算法與S-saliency［4］算法、LS［5］算法和 DAVE 算法［16］進行比較，并用平均準確率(mean Average Precision，mAP)對這4種算法進行定量比較，如表1所示。mAP更能客觀地說明結果的全局性，而它的提出也是為了解決召回率與準確率的單值局限性。4種算法中，LS算法效果較差;S-saliency算法的尺度旋轉不變特征性使得mAP比LS算法高出0.6% ～2.5%;而DAVE算法僅比S-saliency算法高1.3% ～3.0%，這是由于DAVE算法采用深度學習的方法進行目標檢測，能夠自動學習圖像的深層特征，而本文實驗航拍圖像訓練集不足，限制了DAVE深度學習算法的性能，只能達到較高的水平;本文算法在上述幾種算法中，平均準確率達到最高，這是因為本文算法在大大減少特征維數(shù)的同時，挖掘了具有相互補充和增強描述能力的潛在特征，提高了目標檢測的平均準確度。

圖6 目標的P-R曲線圖

表1 目標的平均檢測準確率

圖7為本文算法與S-saliency算法、LS算法和DAVE算法的運行時間比較，在文獻［4］中，通過顯著性的方法進行目標檢測，摒棄傳統(tǒng)的分別計算空間和時間的顯著性，而是設計出一種分層的顯著性檢測方法，減少了時間代價，達到了實時的檢測效果;在文獻［5］中的實驗中，以超像素為計算目標，通過最小化能量函數(shù)的方式對超像素進行標記以達到目標檢測的效果，靈活性較好，但是檢測效率較低。DAVE使用多個網(wǎng)絡實現(xiàn)目標檢測，算法不能滿足實時性要求。本文算法通過在感興趣區(qū)域提取特征，縮小了特征提取范圍，帶來了一定的速度提升，雖然在時間運行效率上落后于LS算法，但在滿足實時性的需求下，目標檢測的準確率更高。

圖7 算法運行時間比較

6 結語

本文針對高清航拍圖像視角變化大、目標豐富、背景復雜的特點，提出基于多特征選擇的航拍目標檢測方法，在滿足實時性的需求下，獲得了更高的準確率。為提高航拍圖像的目標檢測效率，本文利用BING算法提取航拍圖像中目標的感興趣區(qū)域，并通過提取感興趣區(qū)域的多種特征，利用SFFS算法進行特征選擇生成表述能力強的特征描述符，并將其融入到SVM訓練檢測模型。經(jīng)過實驗表明，本文提出的多特征選擇檢測算法獲得了較好的檢測結果。由于數(shù)據(jù)集的獲取、準備工作量較大，為了驗證本文算法的有效性，本文只采用了幾類目標，為了使得算法具有泛化性，下一步可以擴大數(shù)據(jù)集。