毛玉仁, 郭 松, 鄭陽明, 林 華

(1.浙江大學(xué) 航空航天學(xué)院 微小衛(wèi)星研究中心,浙江 杭州 310027; 2.上海航天技術(shù)研究院, 上海 200235)

基于似物性判別的視覺目標(biāo)檢測方法*

毛玉仁1, 郭 松2, 鄭陽明1, 林 華1

(1.浙江大學(xué)航空航天學(xué)院微小衛(wèi)星研究中心,浙江杭州310027;2.上海航天技術(shù)研究院,上海200235)

提出了一種基于似物性判定理論的單圖像視覺目標(biāo)檢測算法。在組合幾何學(xué)的引導(dǎo)下遴選候選圖像窗口;應(yīng)用創(chuàng)新提出的基于圖像分割的結(jié)構(gòu)化特征結(jié)合支持向量機(jī)對候選窗口的似物性進(jìn)行評分;根據(jù)評分對候選窗口進(jìn)行排序遴選。在PASCAL VOC2007數(shù)據(jù)集上進(jìn)行了定量驗(yàn)證,結(jié)果表明：當(dāng)候選集容量為1 000時,算法可達(dá)到96.1 %的召回率。檢測性能優(yōu)于目標(biāo)識別領(lǐng)域的4種經(jīng)典算法。

目標(biāo)檢測; 似物性判定; 基于圖像分割的結(jié)構(gòu)化特征

0 引 言

基于單張圖像的目標(biāo)檢測是計算機(jī)視覺領(lǐng)域最富挑戰(zhàn)的研究課題之一。目前,對于一些特定物體的目標(biāo)檢測技術(shù)已經(jīng)很成熟并廣泛應(yīng)用于各種圖像設(shè)備中,如人臉檢測[1]、行人檢測[2]等。但是,針對任意物體的目標(biāo)檢測仍是計算機(jī)視覺領(lǐng)域的難題。而該檢測技術(shù)恰恰是當(dāng)前人工智能設(shè)備中急需的技術(shù)。本文主要研究針對任意物體的目標(biāo)檢測技術(shù),即準(zhǔn)確定位出圖像中的前景物體,并指明該物體的存在范圍。

基于圖像窗口似物性(objectness)判別的目標(biāo)檢測方法是目前目標(biāo)檢測領(lǐng)域的研究熱點(diǎn),被廣泛認(rèn)為是解決任意物體檢測問題的有效途徑。本文在似物性檢測(objectness estimation)的思想的基礎(chǔ)上,提出了一種基于似物性判別的目標(biāo)識別方法。該方法創(chuàng)新性地引入了組合幾何學(xué)的知識,縮小了初始候選圖像窗口集的容量。采用特征工程的方法提出了一種基于圖像分割的特征,可以較好地表征圖像窗口的似物性。結(jié)合支持向量機(jī)(support vector machine,SVM),生成了一種對圖像候選窗口進(jìn)行評分的體系。應(yīng)用評分對初始候選集進(jìn)行排序,可遴選出最有可能包含目標(biāo)的候選圖像窗口。

算法在PASCAL VOC2007[3]的測試圖片上進(jìn)行測試。取得了較4種經(jīng)典方法[4～7]更好的檢測性能。

1 基于似物性的目標(biāo)檢測

似物性定義了一個圖像窗口中包含一個目標(biāo)物體的可能性?；谒莆镄耘卸ǖ哪繕?biāo)檢測方法旨在生成一個涵蓋圖像中所有前景物體(即目標(biāo))的圖像窗口候選集。所提出的候選集容量盡可能小,召回率盡可能高。基于似物性的目標(biāo)檢測方法的整體框架如圖1所示。

圖1 基于似物性判定的目標(biāo)檢測方法的整體框架

目前,初始候選集的生成[8～10]旨在方法的源頭減小候選集的容量,縮小目標(biāo)檢測在圖像上的搜索范圍。評分模塊對候選集中的圖像窗口的似物性進(jìn)行打分,似物性越高評分越高,反之越低。評分之后對候選圖像窗口按其得分進(jìn)行逆序排序,遴選將排在前面的圖像窗口集合作為目標(biāo)檢測方法提出的最終候選集。

2 本文方法

本文在基于似物性的目標(biāo)檢測框架的基礎(chǔ)上采用基于滑動窗口的方法在組合幾何的指引下進(jìn)行初始候選集生成,并提出了基于圖像分割的結(jié)構(gòu)化特征對評分模塊進(jìn)行改進(jìn),取得了較經(jīng)典方法更好的檢測性能。本文方法的檢測效果如圖2所示,其中矩形框框定的區(qū)域?yàn)樗岢龊蜻x集中IoU(intersection of union) 最高的候選窗口。

圖2 本文方法在VOC2007數(shù)據(jù)集測試圖片上的檢測效果

2.1 初始候選集生成

對一張W×H的圖像,遍歷圖像中所有位置所有尺寸需要WH(W-1)(H-1)/4個圖像窗口?？梢?通過窮舉遍歷生成初始候選集在計算上是不可行的。初始候選集必須在更優(yōu)化的策略下生成,在容量盡可能小的情況下覆蓋圖像中所有潛在的目標(biāo)區(qū)域。

文獻(xiàn)[11]從組合幾何學(xué)的角度證明了在采用IoU-0.5準(zhǔn)則(IoU大于0.5,即認(rèn)為有效覆蓋了目標(biāo)) 的情況下,一張圖像中的所有潛在目標(biāo)可以被少于5 000個具有36種圖像窗口尺寸的圖像窗口完全覆蓋。本文結(jié)合文獻(xiàn)[4]和文獻(xiàn)[11]提出了一種初始候選集生成策略,如下：1)定義36種圖像伸縮尺寸{(W0,H0)},并將原圖像進(jìn)行伸縮變化到以上尺寸生成36種尺寸的圖像,其中,W0,H0∈{10,20,40,80,160,320}。2)用8×8的圖像窗口在每一種尺寸對應(yīng)的圖像上滑動遍歷所有位置,并賦予每個圖像窗口以隨機(jī)評分。3)運(yùn)用極大值抑制將得分小的窗口去除。如果一種尺寸上的候選窗口數(shù)量大于150,則隨機(jī)選取150個候選窗口作為對應(yīng)尺寸圖像的候選集。4)獲得所有8×8候選窗口后,進(jìn)行相應(yīng)的反變換,映射到原圖像的對應(yīng)位置和對應(yīng)尺寸。

通過上述策略產(chǎn)生的初始候選集可以在容量小于3 000時覆蓋97 %以上的潛在目標(biāo)。

2.2 基于圖像分割的結(jié)構(gòu)化特征

如何在初始候選集的基礎(chǔ)上遴選出似物性高的候選圖像窗口是基于似物性的目標(biāo)檢測問題的關(guān)鍵。本文提出了一種基于圖像分割的結(jié)構(gòu)化特征(segmentation-based structural feature,SSF),可以提升似物性判定的性能。

通過觀察圖像分割后的結(jié)果,發(fā)現(xiàn)含有潛在目標(biāo)的圖像窗口包含的分割圖塊的結(jié)構(gòu)與不包含的目標(biāo)的窗口具有很大區(qū)別。前者窗口中有著更多的完整的獨(dú)立圖塊,獨(dú)立于窗口外超像素,如圖3所示。窗口內(nèi)的圖塊的組合方式,本文稱為窗口基于圖像分割的結(jié)構(gòu),也可以作為區(qū)分窗口是否包含目標(biāo)的特征。

得益于圖像分割領(lǐng)域的研究進(jìn)展[12～14],圖像分割可以實(shí)現(xiàn)與邊緣檢測等底層視覺變換的快速和高效,保證了基于圖像分割的方法的運(yùn)算效率。本文采用文獻(xiàn)[12]提出的圖像分割方法。參數(shù)設(shè)定為δ=0.08,k=300。

本文圖像分割方法的結(jié)構(gòu)化特征(SSF)共13維,來源于窗口中的圖塊的3種屬性：存在范圍,完整性和獨(dú)立性。

圖3 基于圖像分割的結(jié)構(gòu)化特征效果展示

將圖塊的存在范圍劃歸于6個區(qū)間中((0.5,1],(0.25,0.5],(0.125,0.25],以此類推),并計算屬于每種區(qū)間的圖塊的完整性和獨(dú)立性。通過上述策略可以得到12維特征。另外,圖像窗口的橫、縱比可以作為判斷似物性的輔助特征。容易發(fā)現(xiàn),一個100×200的圖像窗口較一個5×200的圖像窗口更有可能包含有目標(biāo)。故將圖像窗口的橫、縱比作為SSF第13維特征。

SSF的前6維特征定義了圖像窗口中包含的圖塊的完整性,可以由式(1)計算

(1)

式中Ss,sk,T分別為圖像窗口中包含的所有圖塊的集合,集合中的第k個圖塊及決定一個圖塊是否完整的閾值,設(shè)置T=0.6;Psk為sk的存在范圍。

(2)

式中Wsk,Hsk分別為圖塊sk的外界矩形的寬度和高度;W,H分別為該圖像窗口的寬度和高度。

Isk為表征sk完整性的變量

(3)

六維特征用于表示屬于各存在范圍區(qū)間的圖塊的獨(dú)立性的統(tǒng)計信息計算如下

(4)

示例圖4中,以圖4(a)所示的圖像窗口為例解釋f1和f7的計算過程,由此可類推f2～f6和f8～f12的計算方法。該圖像窗口中的綠色圖塊和青色圖塊的外接矩形的面積大于了窗口1/2的面積(即1/2

第13維特征被定義為圖像窗口的橫縱比,其可由式(5)計算

(5)

上述13維特征具有旋轉(zhuǎn)不變和尺度不變形,可以作為衡量圖像窗口似物性的穩(wěn)定特征。從圖3中可看出,SSF具有較強(qiáng)的區(qū)分度。

圖4 f1和f7計算示例

2.3 生成評分模型進(jìn)行排序遴選

借鑒文獻(xiàn)[4]的評分策略在SSF的基礎(chǔ)上對圖像窗口的似物性進(jìn)行評分。

首先,計算初始候選圖像窗口的評分

si=〈w,φ(F)〉

(6)

式中w∈R13。Si為過濾得分(filtering score);i為圖像窗口所屬伸縮尺寸的標(biāo)記,i∈[1,2,…,36];F為圖像窗口的SSF;φ(·)為所選的核函數(shù)。

為了得到w,本文引入帶高斯核的支持向量機(jī)。在訓(xùn)練過程中,正例為在VOC2007的訓(xùn)練集中隨機(jī)遴選的IoU大于0.6的圖像窗口。負(fù)例為在VOC2007的訓(xùn)練集中隨機(jī)遴選的IoU小于0.4的圖像窗口。正、負(fù)例各2 000個。

在得到si后,對模型進(jìn)行調(diào)優(yōu)。對每一種尺寸的窗口的得分進(jìn)行加權(quán)加偏

(7)

式中vi,ti∈R分別為每一種窗口伸縮尺寸i的權(quán)重和偏置。其可以由36個線性支持向量機(jī)訓(xùn)練得到。訓(xùn)練集為VOC 2007的訓(xùn)練集中的樣本的初始候選集。應(yīng)用過濾得分si作為1維特征對線性支持向量機(jī)進(jìn)行訓(xùn)練。樣本則根據(jù)IoU-0.5準(zhǔn)則進(jìn)行標(biāo)注。IoU大于0.5的候選窗口標(biāo)注為正例,小于0.5被標(biāo)記為負(fù)例。

3 實(shí)驗(yàn)設(shè)計與結(jié)果分析

實(shí)驗(yàn)在包含20類4 952張圖片的PASCAL VOC 2007測試集上進(jìn)行。 首先,對SSF在似物性檢測上的區(qū)分度進(jìn)行了測試,然后測試了基于似物性判定的目標(biāo)檢測算法的檢測率(detection rate)隨候選窗口數(shù)量(#WIN)的變化情況。并在相同測試集上與4種其他方法進(jìn)行了對比。

3.1 特征區(qū)分度測試與對比

為了證明SSF的泛化性和區(qū)分度,構(gòu)建了評測系統(tǒng)用于評價其在判別一個圖像窗口中是否含有目標(biāo)的性能。即用應(yīng)用SSF作為二分類器的輸入特征,對圖像窗口是否包含物體進(jìn)行二分類。

訓(xùn)練集由在VOC2007訓(xùn)練集中的圖片上隨機(jī)選取的圖片窗口組成,其中正、負(fù)樣本各2 000個。測試集由在VOC2007測試集中的樣本上隨機(jī)選取的圖片窗口組成,其中,正、負(fù)樣本各500個。樣本的標(biāo)定按照IoU-0.5準(zhǔn)則進(jìn)行,即IoU大于0.5的圖像窗口被標(biāo)記為正例,小于0.5的被標(biāo)記為負(fù)例。在同樣采用線性支持向量機(jī)作為分類器的情況下。應(yīng)用SSF特征可以達(dá)到的分類準(zhǔn)確率高于經(jīng)典的BING[4]特征和卷積神經(jīng)網(wǎng)絡(luò)中間層特征(VggNet 第19層輸出向量)。識別準(zhǔn)確率如表1所示。

表1 分類準(zhǔn)確率對比

實(shí)驗(yàn)結(jié)果表明：本文SSF特征對圖像窗口的似物性具有表征能力。在維度較低的情況下,性能優(yōu)于經(jīng)典的似物性特征描述子。

3.2 檢測率測試與對比

應(yīng)用DR#win測量準(zhǔn)則在VOC 2007測試集上驗(yàn)證所提出的基于似物性判定的目標(biāo)檢測方法,并與方法BING[4],OBN[5],CSVM[6],SEL[7]進(jìn)行了對比。結(jié)果如圖5所示。定量實(shí)驗(yàn)結(jié)果表明：所提方法在候選集容量為1 000時可達(dá)到96.1 %的召回率。在候選樣本容量小于100時性能明顯優(yōu)于其他4種方法,即本文方法可以在小尺寸候選集上取得更高的召回率。圖中展示的其他4種經(jīng)典方法的結(jié)果均按照對應(yīng)文獻(xiàn)中提供的參數(shù)設(shè)定進(jìn)行仿真。

圖5 檢測率隨候選窗口數(shù)量變化情況對比

4 結(jié) 論

提出了一種基于圖像分割的結(jié)構(gòu)化特征,該特征對圖像窗口的似物性具有很強(qiáng)的表征能力。在該特征和組合幾何學(xué)的基礎(chǔ)上,提出了一種基于似物性判定的目標(biāo)識別方法,其可以在候選集容量較小的情況下,取得較高的召回率。方法適用于人工智能設(shè)備的視覺系統(tǒng),具有廣闊的應(yīng)用前景。

[1] Viola P,Jones M J.Robust real-time face detection[J].International Journal of Computer Vision,2004,57(2):137-154.

[2] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]∥Computer Vision and Pattern Recognition(CVPR),San Diego:IEEE,2005:886-893.

[3] Everingham M,Winn J.The PASCAL visual object classes challenge 2007,VOC 2007,Development Kit[R].Leeds:University of Leeds,2007.

[4] Cheng M M,Zhang Z,Lin W Y,et al.BING:Binarized normed gradients for objectness estimation at 300fps[C]∥Computer Vision and Pattern Recognition(CVPR),Columbus:IEEE,2014:3286-3293.

[5] Alexe B,Deselaers T,Ferrari V.Measuring the objectness of image windows[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2189-2202.

[6] Zhang Z,Warrell J,Torr P H S.Proposal generation for object detection using cascaded ranking SVMs[C]∥Computer Vision and Pattern Recognition(CVPR),Colorado:IEEE,2011:1497-1504.

[7] Uijlings J R R,van de Sande K E A,Gevers T,et al.Selective search for object recognition[J].International Journal of Computer Vision,2013,104(2):154-171.

[8] Yan Q,Xu L,Shi J,et al.Hierarchical saliency detection[C]∥Computer Vision and Pattern Recognition(CVPR),Portland:IEEE,2013:1155-1162.

[9] Alexe B,Deselaers T,Ferrari V.What is an object[C]∥Computer Vision and Pattern Recognition(CVPR),San Francisco:IEEE,2010:73-80.

[10] Zitnick C L,Dollár P.Edge boxes:Locating object proposals from edges[C]∥European Conference on Computer Vision,Zurich:Springer International Publishing,2014:391-405.

[11] Zhao Q,Liu Z,Yin B.Cracking bing and beyond[C]∥British Machine Vision Conference(BMVC),BMVA Press,2014.

[12] Felzenszwalb P F,Huttenlocher D P.Efficient graph-based image segmentation[J].International Journal of Computer Vision,2004,59(2):167-181.

[13] Arbelaez P,Maire M,Fowlkes C,et al.Contour detection and hierarchical image segmentation[J].IEEE Transactions on Pattern Analysis and Machine intelligence,2011,33(5):898-916.

[14] Shi J,Malik J.Normalized cuts and image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(8):888-905.

Visualobjectdetectionmethodbasedonobjectnessestimation*

MAO Yu-ren1, GUO Song2, ZHENG Yang-ming1, LIN Hua1

(1.Micro-satelliteResearchCenter,SchoolofAeronauticsandAstronautics,ZhejiangUniversity,Hangzhou310027,China;2.ShanghaiAcademyofSpaceflightTechnology,Shanghai200235,China)

An object detection method for single images based on objectness estimation theory is proposed.Original proposals are generated based on combinational geometry.The proposals are scored by segmentation-based structural feature and support vector machine.Proposals are sorted according to their score.Quantitative validation on PASCAL VOC 2007 dataset,when the number of the proposals is 1 000,the algorithm can achieve recall rate at 96.1 %.Its detection performnce outperforms four classic algorithms.

object detection; objectness estimation; image segmentation-based structural feature

10.13873/J.1000—9787(2017)11—0147—04

TP 391.41

A

1000—9787(2017)11—0147—04

2016—10—31

國家“863”高技術(shù)研究發(fā)展計劃資助項(xiàng)目(GFJG—128205—E31401)

毛玉仁(1991-),男,碩士研究生,主要研究方向?yàn)橛嬎銠C(jī)視覺,機(jī)器學(xué)習(xí)。

鄭陽明(1978-)，男，通訊作者，副教授，主要從事機(jī)器人整體，計算機(jī)視覺，人工智能應(yīng)用等方面的研究工作。