楊 松,李盛陽,邵雨陽,鄭 賀
YANG Song1,2,3,LI Shengyang1,2,SHAO Yuyang1,2,ZHENG He1,2,3
1.中國科學(xué)院 空間應(yīng)用工程與技術(shù)中心,北京 100094
2.中國科學(xué)院 太空應(yīng)用重點(diǎn)實(shí)驗(yàn)室,北京 100094
3.中國科學(xué)院大學(xué),北京 100049
1.Technology and Engineering Center for Space Utilization,ChineseAcademy of Sciences,Beijing 100094,China
2.Key Laboratory of Space Utilization,ChineseAcademy of Sciences,Beijing 100094,China
3.University of ChineseAcademy of Sciences,Beijing 100049,China
建筑物識(shí)別是計(jì)算機(jī)視覺、模式識(shí)別領(lǐng)域的研究熱點(diǎn)之一,它能夠使人們根據(jù)圖像快速獲取建筑物的位置、名稱、描述等相關(guān)信息,在建筑物定位、建筑設(shè)計(jì)、建筑物標(biāo)記等領(lǐng)域有著重要的應(yīng)用價(jià)值,而如何有效地描述建筑物的特征是建筑物識(shí)別的關(guān)鍵問題。
李松霖等人[1]提出了一種基于特征線匹配的城市建筑物識(shí)別系統(tǒng),該系統(tǒng)可以滿足移動(dòng)條件下建筑物快速識(shí)別的需求,但是準(zhǔn)確率不高。董肖等人[2]提出了一種快速穩(wěn)健的建筑物圖像識(shí)別系統(tǒng),該系統(tǒng)在建筑物識(shí)別上具有很高的準(zhǔn)確性,但是圖像識(shí)別的速度較慢。齊沁芳等人[3]提出了一種應(yīng)用于增強(qiáng)現(xiàn)實(shí)系統(tǒng)的建筑物識(shí)別算法,可通過手持設(shè)備實(shí)時(shí)獲得建筑物的相關(guān)信息,圖像識(shí)別速度較快,但準(zhǔn)確率不高。Li等人[4]提出基于方向可控濾波器的建筑物識(shí)別方法(Steerable Filteredbased Building Recognition,SFBR),首次將方向可控濾波器應(yīng)用在建筑物識(shí)別中,提取建筑物不同方向的邊界信息作為特征。蔡興泉等人[5]使用SIFT算法進(jìn)行圖像識(shí)別,但SIFT計(jì)算量較大,響應(yīng)時(shí)間較長。
梯度方向直方圖(Histograms of Oriented Gradient,HOG)是近年來在目標(biāo)識(shí)別研究中應(yīng)用較為廣泛的特征提取方法,HOG最早由Dalal等人[6]提出,應(yīng)用于行人檢測(cè)中,并取得了較好的效果。HOG是一種基于圖像梯度方向的特征描述子,能夠捕捉局部的輪廓信息,較好地描述物體邊緣形狀,同時(shí),對(duì)圖像幾何和光學(xué)形變保持很好的不變性,而且計(jì)算量較小[7]。由于建筑物存在豐富的邊緣信息,因此HOG適用于提取建筑物特征。徐云云[8]將方向可控濾波器和HOG方法結(jié)合,并通過特征匹配的方式實(shí)現(xiàn)掌紋識(shí)別,該方法需要實(shí)驗(yàn)確定濾波器方向,而且識(shí)別效率較低。
本文深入研究了方向可控濾波器在建筑物邊界提取的特點(diǎn),提出了一種基于改進(jìn)HOG的建筑物識(shí)別方法。該方法利用方向可控濾波器替換傳統(tǒng)HOG方法中的濾波器模版,改進(jìn)HOG的梯度求解方法,更好地提取水平方向和垂直方向的邊緣信息,并結(jié)合支持向量機(jī)機(jī)器學(xué)習(xí)方法對(duì)建筑物進(jìn)行分類,通過實(shí)驗(yàn)驗(yàn)證了方法的有效性。
Freeman等人[9]提出方向可控濾波器(Steerable Filters)的概念,并介紹了設(shè)計(jì)方法,可控濾波器在圖像邊緣檢測(cè)、紋理分析等領(lǐng)域表現(xiàn)出較好的優(yōu)勢(shì)。方向可控濾波器是基于函數(shù)極坐標(biāo)形式的傅里葉級(jí)數(shù)展開式,由若干個(gè)基濾波器函數(shù)的線性組合而成[10]。
方向可控濾波器的一般形式為:
其中N為基濾波器的個(gè)數(shù),F(xiàn)i為第i個(gè)基濾波器,ki(θ)為僅與方向θ有關(guān)的濾波器系數(shù),F(xiàn)θ為θ方向的濾波器。
由于高斯函數(shù)的各階導(dǎo)函數(shù)都可以表示為一個(gè)圓對(duì)稱的窗函數(shù)和一個(gè)多項(xiàng)式的乘積,常常采用基于高斯的方法來構(gòu)造可控濾波器。本文采用基于高斯函數(shù)二階導(dǎo)數(shù)所構(gòu)成的可控濾波器,形式如下:
HOG方法中往往采用較為簡單的梯度求解方法。如:[-101],[-101]T。傳統(tǒng)的梯度求解方法不能有效地提取目標(biāo)的邊界特征,本文研究利用可控濾波器在邊緣信息表達(dá)上的優(yōu)勢(shì),提出改進(jìn)的HOG算法,其特征提取流程如圖1所示,具體步驟如下:
(1)將彩色圖像轉(zhuǎn)化為灰度圖像。
(2)構(gòu)造水平和豎直方向的方向可控濾波器(令濾波器的方向分別?。謩e記為 F0、Fπ2。計(jì)算灰度圖像(x,y)處像素點(diǎn)在水平和豎直方向的梯度值如果θ(x,y)<0,令θ(x,y)=θ(x,y)+π,使得θ(x,y)∈[0,π)。
圖1 改進(jìn)HOG方法流程圖
(3)將圖像劃分成大小相同的單元(Cell),將相鄰的單元組合成有重疊的塊(Block),有效利用重疊的邊緣信息,如圖2所示。
圖2 像素、單元、塊之間的關(guān)系
(4)圖像中每個(gè)像素點(diǎn)的梯度方向和梯度幅值各不相同,按梯度方向劃分為若干個(gè)均勻的區(qū)間(Bin),將單元中的每個(gè)像素點(diǎn)的梯度幅值累加到對(duì)應(yīng)Bin中,生成單元的梯度方向直方圖。然后統(tǒng)計(jì)整個(gè)塊的直方圖特征,并對(duì)每個(gè)塊內(nèi)的梯度直方圖進(jìn)行L2歸一化,即對(duì)于向量v,令:
(5)將所有塊的HOG特征組合形成圖像的HOG特征向量,其維度d為:
其中w、h為圖像的寬度和高度;b、c分別為塊、單元的大??;p為單元內(nèi)梯度方向的數(shù)目;s為塊移動(dòng)的步長。
支持向量機(jī)(Support Vector Machine,SVM)是Vapnik[11]提出的一種監(jiān)督式學(xué)習(xí)方法,它建立在統(tǒng)計(jì)學(xué)習(xí)理論中VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理的基礎(chǔ)上,通過適當(dāng)?shù)剡x擇函數(shù)子集及該子集中的判別函數(shù),使得學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)達(dá)到最小[12]。支持向量機(jī)具有結(jié)構(gòu)簡單、全局最優(yōu)、泛化性能好、學(xué)習(xí)和預(yù)測(cè)效率高等優(yōu)點(diǎn)[13],能夠成功地處理分類問題,因此被廣泛應(yīng)用于文本識(shí)別[14]、圖像識(shí)別[15]等領(lǐng)域。SVM的原理是尋找一個(gè)滿足分類要求的最優(yōu)分類超平面,使得該超平面在保證分類精度的同時(shí),能夠使分類間隔最大化。
以二分類問題為例,給定訓(xùn)練樣本集(xi,yi),i=1,2,…,l,x∈Rn,y∈{±1},超平面記為(w·x)+b=0 ,為能夠?qū)λ袠颖菊_分類并且具備分類間隔,需滿足如下約束條件:
得到最優(yōu)分類器超平面(w*·x)+b*=0,相應(yīng)地,最優(yōu)分類函數(shù)為:
對(duì)于線性不可分情況,對(duì)x做Φ變換映射到特征空間H,即
則最優(yōu)分類函數(shù)為:
本文采用libsvm庫[16]進(jìn)行SVM訓(xùn)練,建筑物識(shí)別是多分類問題,libsvm使用的是“一對(duì)一”方法,即在任意兩類樣本之間建立一個(gè)SVM,k個(gè)類別的樣本則建立k(k-1)/2個(gè)SVM。當(dāng)對(duì)一個(gè)樣本進(jìn)行分類時(shí),得票最多的類別即為該樣本的類別。
為了客觀評(píng)價(jià)方法在建筑物識(shí)別中的有效性,本文進(jìn)行的建筑物識(shí)別實(shí)驗(yàn)采用與SFBR方法相同的數(shù)據(jù)集——SBID[17],并對(duì)結(jié)果進(jìn)行分析。
SBID數(shù)據(jù)集包含40類建筑物,共4 178張圖像,每張圖像均放縮為160×120像素。這些圖像拍攝時(shí)間不同,拍攝角度不同,拍攝遠(yuǎn)近不同,如圖3所示。
實(shí)驗(yàn)配置為處理器Intel?Core?CPU i7-3770@3.40 GHz,4 GB內(nèi)存,操作系統(tǒng)為32位Windows 7,開發(fā)軟件是Visual Studio 2010,采用C/C++語言編程實(shí)現(xiàn)。
圖3 SBID建筑物圖像(從左到右,從上到下依次代表1~40類)
方向可控濾波器F0、Fπ2的大小均為7×7,w 、h為120、160;c、b、p、s分別取20、80、9、40,特征向量的維度d為864。通過大量實(shí)驗(yàn),支持向量機(jī)選用C_SVC分類器和線性核函數(shù)時(shí),效果最好。
本文在SBID數(shù)據(jù)集上進(jìn)行20次獨(dú)立的實(shí)驗(yàn),每次實(shí)驗(yàn)隨機(jī)從每類建筑物中選取一半數(shù)量的圖像(共2 098幅圖像)進(jìn)行特征提取并訓(xùn)練SVM分類器,剩余的圖像(共2 080幅圖像)進(jìn)行特征提取作為測(cè)試樣本。
實(shí)驗(yàn)結(jié)果如圖4所示,由于每次實(shí)驗(yàn)選取的訓(xùn)練樣本和測(cè)試樣本不同,同類圖像在不同實(shí)驗(yàn)中的誤分個(gè)數(shù)有所變化。各類圖像在不同實(shí)驗(yàn)中的誤分個(gè)數(shù)均在15以內(nèi),其中有多處誤分個(gè)數(shù)為0,如第4次實(shí)驗(yàn)中第1、2類建筑物全部分類正確;第18次實(shí)驗(yàn)中第16類建筑物全部分類正確;第20次實(shí)驗(yàn)中第4、7、8、9類建筑物全部分類正確。
圖4 實(shí)驗(yàn)結(jié)果
記β為識(shí)別準(zhǔn)確率,其計(jì)算方法為:
其中N為測(cè)試樣本的個(gè)數(shù),M為識(shí)別正確的樣本個(gè)數(shù)。
記βi為第i類建筑物的識(shí)別準(zhǔn)確率,其計(jì)算方法為:
其中Ni為第i類建筑物測(cè)試樣本的個(gè)數(shù),Mi為第i類建筑物識(shí)別正確的樣本個(gè)數(shù)。
如圖5反映了各類圖像的平均準(zhǔn)確率,第23類建筑物的平均準(zhǔn)確率最高,接近100%,第32類建筑物的平均準(zhǔn)確率最低,介于85%~90%之間。除第32類建筑物以外,其他建筑物的平均準(zhǔn)確率均大于90%,其中有30類建筑物的平均準(zhǔn)確率高于95%。
圖5 每類圖像的平均識(shí)別準(zhǔn)確率
如圖6反映了每次實(shí)驗(yàn)的識(shí)別準(zhǔn)確率,可以看出本文方法的準(zhǔn)確率在97%附近波動(dòng),計(jì)算得出20次實(shí)驗(yàn)的平均準(zhǔn)確率為96.56%。SFBR方法的平均準(zhǔn)確率為94.66%,與SFBR方法相比,本文方法的平均準(zhǔn)確率提高了1.9%。
圖6 每次實(shí)驗(yàn)的識(shí)別準(zhǔn)確率
為了進(jìn)一步驗(yàn)證方法的性能,實(shí)驗(yàn)采用召回率Recall、精確率Precision、F1值等評(píng)價(jià)指標(biāo)進(jìn)行分析。
記TP為“真”正例的個(gè)數(shù),F(xiàn)P為“偽”正例的個(gè)數(shù),TN為“真”負(fù)例的個(gè)數(shù),F(xiàn)N為“偽”負(fù)例的個(gè)數(shù)。召回率、精確率、F1值的計(jì)算公式分別如下:
本文求得統(tǒng)計(jì)量在每類圖像的分類性能,然后求均值作為最終的結(jié)果,結(jié)果如表1所示。從表1可以看出,本文方法在TP、FP、Recall、Precision、F1值等指標(biāo)上均優(yōu)于SFBR方法。
表1 實(shí)驗(yàn)結(jié)果
本文將方向可控濾波器應(yīng)用到HOG算法中,結(jié)合支持向量機(jī)方法,提出一種建筑物識(shí)別方法。以SBID數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù),使用SVM對(duì)提取的建筑物特征進(jìn)行訓(xùn)練與識(shí)別。實(shí)驗(yàn)結(jié)果表明,在建筑物識(shí)別中,本文方法得到了較高的準(zhǔn)確率,并且識(shí)別效果優(yōu)于SFBR方法。因此本文提出的建筑物識(shí)別方法可以提取建筑物的關(guān)鍵特征,增強(qiáng)建筑物的區(qū)分性,有效地對(duì)建筑物進(jìn)行識(shí)別。
在后續(xù)的工作中,將進(jìn)一步研究方向可控濾波器的特點(diǎn),提取更有效的邊界特征從而提高識(shí)別的準(zhǔn)確率和魯棒性。此外,研究提取顏色信息作為建筑物識(shí)別的輔助特征,進(jìn)一步提高建筑物識(shí)別率。
參考文獻(xiàn):
[1]李松霖,范海生,陳秀萬.基于特征線匹配的城市建筑物識(shí)別方法研究[J].遙感技術(shù)與應(yīng)用,2012,27(2):190-196.
[2]董肖.快速穩(wěn)健的建筑物識(shí)別算法與系統(tǒng)[D].廣州:華南理工大學(xué),2012.
[3]齊沁芳.應(yīng)用于增強(qiáng)現(xiàn)實(shí)系統(tǒng)的建筑物識(shí)別算法的研究與實(shí)現(xiàn)[D].北京:北京郵電大學(xué),2013.
[4]Li J,Allinson N.Building recognition using local oriented features[J].IEEE Transactions on Industrial Informatics,2013,9(3):1697-1704.
[5]蔡興泉,柳靜華.建筑物圖像識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代計(jì)算機(jī):專業(yè)版,2015(14):18-20.
[6]Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//Proceedings of IEEE Conference on Computer Vision&Pattern Recognition,2013:886-893.
[7]王陽,穆國旺,睢佰龍.基于HOG特征和SVM的人臉表情識(shí)別[J].河北工業(yè)大學(xué)學(xué)報(bào),2013(6):39-42.
[8]徐云云.面向智能手機(jī)的掌紋識(shí)別技術(shù)研究[D].合肥:合肥工業(yè)大學(xué),2015.
[9]Freeman W T,Adelson E H.The design and use of steerable filters[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,1991,13(9):891-906.
[10]趙淵潔.結(jié)合可控濾波器與偏微分方程的圖像去噪方法[D].天津:天津理工大學(xué),2013.
[11]Vapnik V N.An overview of statistical learning theory[J].IEEE Transactions on Neural Networks,1999,10(10):988-999.
[12]丁世飛,齊丙娟,譚紅艷.支持向量機(jī)理論與算法研究綜述[J].電子科技大學(xué)學(xué)報(bào),2011,40(1):2-10.
[13]郭明瑋,趙宇宙,項(xiàng)俊平,等.基于支持向量機(jī)的目標(biāo)檢測(cè)算法綜述[J].控制與決策,2014(2):193-200.
[14]劉曉亮,丁世飛,朱紅,等.SVM用于文本分類的適用性[J].計(jì)算機(jī)工程與科學(xué),2010,32(6):106-108.
[15]李雪花,許姜滌宇,于安軍,等.基于SVM多類分類器的字符識(shí)別[J].信息技術(shù),2016(1):20-22.
[16]Chang C C,Lin C J.LIBSVM:A library for support vector machines[J].ACM Transactions on Intelligent Systems&Technology,2011,2(3):389-396.
[17]Li J,Allinson N M.Subspace learning-based dimensionality reduction in building recognition[J].Neurocomputing,2009,73(1/3):324-330.