鄭 耀，方向忠，路慶春

(上海交通大學(xué)電子工程系，上海 200240)

基于圖像的實(shí)際目標(biāo)檢測如行人檢測、車輛檢測、人臉檢測［1］等是一個非常具有挑戰(zhàn)性的問題。由于實(shí)際應(yīng)用中圖像的場景往往比較復(fù)雜，同一類物體常常會表現(xiàn)出不同的姿態(tài)、紋理、顏色，如何能夠快速準(zhǔn)確地識別這些目標(biāo)就成為了人們廣泛研究的問題。

基于機(jī)器學(xué)習(xí)的圖像的目標(biāo)檢測方法主要有:基于決策樹的目標(biāo)檢測方法，基于超平面分割的目標(biāo)檢測方法，基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法等。基于決策樹的檢測方法通常采用AdaBoost或類似的方法進(jìn)行訓(xùn)練。常常使用 Haar－like 特征，Edge－let特征，或者 Image－strip 特征［2］等。使用該類方法通常可以得到很快的檢測速度?；赟VM的目標(biāo)檢測方法通過利用支持向量獲得基于超平面分割的分類器，通常配合HOG特征［3］、LBP特征地等。該類方法可以相對準(zhǔn)確地進(jìn)行目標(biāo)分類和檢測，因?yàn)樵擃惙椒ㄔ诜诸愡^程中需要使用所有提取的特征。另外還有基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法等。通常來說，一類方法使用的特征數(shù)越多，信息量越大，檢測的準(zhǔn)確度越高，但是同時，其消耗的運(yùn)算量也越多［4］。

通過綜合利用快速檢測和準(zhǔn)確檢測兩類方法的優(yōu)點(diǎn)，本文提出了一種兩級級聯(lián)的目標(biāo)檢測方法。第一級被設(shè)計成具有快速檢測的檢測器，它能夠檢測到幾乎所有的目標(biāo)，同時，也會將很多非目標(biāo)的檢測窗當(dāng)成正確的檢測窗。即具有很高的檢出率和相對較高的錯檢率。然后，對檢測出的窗口進(jìn)行分類，將檢出的具有相似大小和相近位置的窗口分為一組?？梢哉J(rèn)為，正確的目標(biāo)出現(xiàn)位置和目標(biāo)的大小最有可能是一個分組檢出窗口對應(yīng)的中心位置和平均大小，同一組內(nèi)檢出的窗口將按照它們距離分組中心的距離進(jìn)行排序。在第二級，設(shè)計的分類器將具有非常高的準(zhǔn)確度，以此來對第一級的檢出結(jié)果進(jìn)行確認(rèn)。為了實(shí)現(xiàn)第二級分類器的高識別率，首先將待檢測的目標(biāo)按照顏色、姿勢等特征進(jìn)行子分類。利用交叉驗(yàn)證的方法，可以自適應(yīng)地獲得子分類的分類數(shù)和最終的分類結(jié)果。然后對于不同的子分類，將訓(xùn)練出不同的識別模型。對于待檢驗(yàn)的窗口，首先判斷它屬于哪一個子分類，再用對應(yīng)的識別模型進(jìn)行判別。

1 目標(biāo)檢測流程

圖1為所設(shè)計的兩級分類器的系統(tǒng)框圖。

圖1 目標(biāo)檢測流程

圖1中的第一級給出的結(jié)果是一些排好序的檢出窗口組。對于每一個檢出窗口組，使用第二級級聯(lián)分類器進(jìn)行準(zhǔn)確的識別，判斷該窗口組的檢出內(nèi)容是否是需要的檢測目標(biāo)。第一級中，因?yàn)檎鎸?shí)目標(biāo)更有可能出現(xiàn)在每一個檢出分組的中心位置，其大小更有可能是每一個分組內(nèi)檢出窗口的平均大小，所以每一組內(nèi)的排序依據(jù)是該組每一個檢出窗口到該分組的中心位置和平均大小的距離。第二級識別的方法是:對于第一級的每一組檢出窗口，按組內(nèi)順序進(jìn)行判斷。如果一個窗口被判斷為是正確的檢測目標(biāo)，則認(rèn)為該組為正確的檢測目標(biāo);輸出被檢測正確的檢出窗口的位置和大小;繼續(xù)進(jìn)行下一組檢出窗口的檢測。如果全組檢測窗口均被判斷為不是正確的檢測目標(biāo)，則拋棄該檢測窗口組。

后處理過程將相互重疊區(qū)域比較大的檢出窗口進(jìn)行聚類和取平均值，作為最終的檢測結(jié)果。設(shè)計的細(xì)節(jié)將在下文中介紹。

2 第一級:快速檢測和分組

圖2為第一級檢測和分組的示意圖。首先采用Ada－Boost訓(xùn)練出的級聯(lián) Haar－like 檢測器［5－6］作為基本檢測器進(jìn)行快速的目標(biāo)檢測。通過基本檢測器，將可以得到一系列檢出窗口。如圖2中間所示，共檢測出7個可能為目標(biāo)的窗口。

圖2 第一級結(jié)構(gòu)示例圖

然后采用投票和聚類的方法對所有檢出的窗口進(jìn)行快速的聚類，得到一系列的分組。對于每個分組，根據(jù)每一個檢出窗口距離分組中心和平均分組大小的遠(yuǎn)近進(jìn)行排序。如圖2右側(cè)所示，7個檢測出的窗口被分成了3組。分組和排序的方法如下:

兩個檢出窗口的距離定義為

式中:centeri是第i個檢出窗口的中心位置坐標(biāo)，areai是第i個檢出窗口的面積大小。根據(jù)本文對檢測窗口之間距離的定義，設(shè)計了對快速目標(biāo)檢測的檢出窗口進(jìn)行分組和排序的方法。

首先對每一個檢出窗口進(jìn)行投票，偽代碼為:

然后，根據(jù)式(1)中定義的距離，相近的檢出窗口將被聚類到同一個組。同時，每個組內(nèi)的子窗口將根據(jù)投票的結(jié)果和距離組中心的距離進(jìn)行排序，偽代碼為:

3 第二級:基于自適應(yīng)子分類的準(zhǔn)確識別

在實(shí)際場景中，即使是同一類物體，相互之間的差異也是非常巨大的，如不同的光照、外形、顏色、姿態(tài)等，如圖3所示。所以，需要建立不同的模型來識別同一類目標(biāo)。

相關(guān)工作［7］顯示，將一類目標(biāo)分成若干個子類進(jìn)行識別檢測，將能夠有效地提升檢測的性能。在第二級，將訓(xùn)練數(shù)據(jù)集分成K個子類。其中K是一個通過最優(yōu)化交叉驗(yàn)證結(jié)果自適應(yīng)計算出的參數(shù)，K的計算將在下文中進(jìn)行描述。第二級準(zhǔn)確識別的系統(tǒng)框圖如圖4所示。通過將一類目標(biāo)分成K個子類，訓(xùn)練出K個分類器。每次判斷檢測窗口是否為待檢測目標(biāo)時，首先選擇合適的分類器，然后用合適的分類器進(jìn)行判別。這樣大大提高了識別的準(zhǔn)確性。

圖3 左圖為“樹”;右圖為“樹”對應(yīng)在提取的特征空間上的一種可能的分布

圖4 第二級結(jié)構(gòu)

不失一般性，在特征池中只提取圖像的HOG特征。這一類特征常常用來描述目標(biāo)的結(jié)構(gòu)化信息。本文在計算HOG特征時，采用的塊大小為16×16像素，細(xì)胞單元大小為8×8像素，相鄰塊之間交疊為8個像素，使用9通道直方圖。對于一個80×32的窗口來說，可以計算出一個維度為972的HOG特征向量，記為v。

可以看出，特征向量v是一個高維度的歐氏空間上的向量。對應(yīng)的正訓(xùn)練樣本集就是一組特征向量的集合:P={v1，v2，…，vM}其中，M是正訓(xùn)練樣本的圖片數(shù)。使用K－means算法將整個正樣本集分成K個子類:P1，P2，…，PK，其中P=P1∪P2，…，∪PK。負(fù)樣本訓(xùn)練集對應(yīng)的特征向量為N。于是，K組訓(xùn)練集合分別是:(Pi，N)其中i=1，2，…，K。使用這K組訓(xùn)練集合可以訓(xùn)練出K個分類器:fi其中i=1，2，…，K。對于一個待識別圖像I，對應(yīng)的特征向量為vx，首先計算它到K組訓(xùn)練集合中每個集合Pj所有向量的均值ˉvj的歐氏距離‖vx－‖，并選擇距離最小的一組Pi。通過使用Pi對應(yīng)訓(xùn)練出的分類器來對當(dāng)前圖像進(jìn)行識別。識別結(jié)果由fi(vx)給出。將訓(xùn)練一系列分類器到選擇合適的分類器對圖像進(jìn)行識別的過程(即圖4所示所有過程)抽象為訓(xùn)練和使用分類器FK，其中K是子類的個數(shù)。

為了自適應(yīng)地完成“子分類”的工作，采用交叉驗(yàn)證中的“留一驗(yàn)證”的方法來獲得最合適的子分類個數(shù)K，并自動完成子分類工作。假定整個訓(xùn)練集為S=(P，N)，對應(yīng)的標(biāo)簽集合D為{1，1，…，1，－1，－1，…，－1}，其中標(biāo)簽為1表示對應(yīng)的樣本為正樣本，－1表示對應(yīng)的樣本為負(fù)樣本。記si是S中的第i個向量，di是D中的第i個元素。那么K可以定義為如下最優(yōu)化問題的解

式中:是使用特征向量集S－{si}和對應(yīng)的標(biāo)簽集D－{di}訓(xùn)練出來的分類器。通過全空間搜索的方法，可以求解出最優(yōu)的K。

在求解出最優(yōu)的K之后，可以得到第二級分類器FK。如圖1所示，利用FK對第一級的結(jié)果進(jìn)行再判別，得到的檢出窗口將被認(rèn)為是待檢測的目標(biāo)。為了消除重復(fù)檢出的窗口，進(jìn)行簡單的后處理工作。

通過兩級檢測器的窗口，如果相互之間重疊的面積足夠大，則認(rèn)為是同一類，即

式中:centeri是第i個子窗口的中心位置;areai是第i個子窗口的面積。最終的輸出結(jié)果是每一類的中心位置和平均尺寸。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用了在目標(biāo)檢測問題中被廣泛使用的UIUC車輛檢測數(shù)據(jù)集［8］。該數(shù)據(jù)集包含550個車輛側(cè)邊的圖像作為正訓(xùn)練樣本和500張無車圖像作為負(fù)訓(xùn)練樣本;包含170張單一尺度的車輛檢測測試圖像，圖像中共有200輛車;包含108張多尺度車輛檢測測試圖像，圖像內(nèi)包括139輛車。作為對樣本集的簡單擴(kuò)充，從網(wǎng)絡(luò)上收集了2 400張不包含車輛的圖像，同時，對已有的正樣本進(jìn)行左右鏡像變換。最終的訓(xùn)練集中包含了1 100張車輛圖片和2 900張無車圖片，訓(xùn)練樣本如圖5所示。這些訓(xùn)練圖像首先被統(tǒng)一到尺寸80×32。對于第一級快速檢測，訓(xùn)練分類器使得虛警率低于5×10－4，訓(xùn)練出的決策樹高度為10左右。第一級的檢測結(jié)果如圖6a所示，不同的分組被使用不同的顏色標(biāo)注出來。第二級計算出的最優(yōu)K數(shù)值為2，對應(yīng)的K－means算法將正樣本分成的兩個子類分別為車頭向左和車頭向右兩種類，如圖6b所示。第二級最終檢測結(jié)果如圖6c所示。圖6d顯示了針對高清圖像的車輛檢測結(jié)果。

4.1 檢測準(zhǔn)確性

對于目標(biāo)檢測準(zhǔn)確性問題，采用常用的圖像目標(biāo)檢測的正確檢測定義［4］。如果一個檢測到的窗口和真實(shí)的目標(biāo)所在的位置大小重合的面積超過它們所覆蓋的總面積，就認(rèn)為該檢測到的窗口為正確的窗口，否則認(rèn)為檢測出現(xiàn)了錯誤。具體定義如下

圖5 訓(xùn)練樣本示例

圖6 目標(biāo)檢測結(jié)果示例

式中:Aread是檢測到的窗口，Areag是某個目標(biāo)所在的真實(shí)位置。通常使用查準(zhǔn)率(Precision)和查全率(Recall)來衡量目標(biāo)檢測算法的優(yōu)劣。其定義如下

本文使用EER參數(shù)(當(dāng)Precision和Recall相等時的查準(zhǔn)率)比較了所提出的方法和現(xiàn)有算法的檢測準(zhǔn)確率。結(jié)果如表1所示。實(shí)驗(yàn)結(jié)果顯示，本方法在檢測的準(zhǔn)確性上優(yōu)于現(xiàn)有的算法。

表1 不同方法的EER比較 %

4.2 運(yùn)算復(fù)雜度

計算并比較了在UIUC車輛檢測單尺度測試圖像集上的各種算法的運(yùn)算復(fù)雜度。所有的方法均使用VisualStudio 2008 C++環(huán)境實(shí)現(xiàn)。在一臺 I7 2600 CPU、4 Gbyte內(nèi)存的機(jī)器上運(yùn)行。計算了每個檢測窗口平均需要耗費(fèi)的判別時間，比較結(jié)果如表2所示。

表2 UIUC數(shù)據(jù)集每個檢測窗口需要的檢測時間 s

可以看出，本文所述的方法具有相對較快的運(yùn)算速度。在UIUC單尺度測試集上，只用了0.9 s完成對全部170張圖片，共1 993 987個檢測窗口的目標(biāo)檢測。

為了進(jìn)一步測試目標(biāo)檢測的準(zhǔn)確率和運(yùn)算速度，使用了一些高分辨率圖像(1 280×960)進(jìn)行多尺度目標(biāo)檢測，如圖6d所示。平均每幅圖像檢測時間為0.7 s左右。

5 結(jié)論

本文提出了一種快速和高準(zhǔn)確率的目標(biāo)檢測方法。主要貢獻(xiàn)有:1)提出了2級級聯(lián)目標(biāo)檢測的方法。使得檢測的速度和檢測的準(zhǔn)確率得到了有效的兼顧。2)提出了通過自適應(yīng)子分類的方法，利用分而治之的思想，解決同一類待檢測目標(biāo)相互之間差異大的問題。有效地提升了檢測的準(zhǔn)確率。

UIUC數(shù)據(jù)集以及一些高清圖像的測試結(jié)果表明，所提出的檢測方法可以在達(dá)到很高的檢測速度同時，獲得非常高的檢測準(zhǔn)確度。第二級的實(shí)驗(yàn)結(jié)果表明，通過將同一類目標(biāo)進(jìn)行子分類的方法，將能夠有效提升目標(biāo)檢測的準(zhǔn)確性。

同時，可以通過在第一級結(jié)合更多的特征如Imagestrip特征［2］等，在第二級使用更多的圖像特征等來獲得更好的檢測率。

:

［1］閆娟，程武山，孫鑫.人臉識別的技術(shù)研究與發(fā)展概況［J］.電視技術(shù)，2006(12):81－84.

［2］ZHENG W，LIANG L.Fast car detection using image strip features［C］//Proc.IEEE Conference Computer Vision and Pattern Recognition.Miami，USA:IEEE Press，2009:2703－2710.

［3］DALAL N，TRIGGS B.Histograms of oriented graients for human detection［C］//Proc.IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos，CA，USA:IEEE Press，2005:886－893.

［4］REN Haoyu，HENG Cherkeng，ZHENG Wei.Fast object detection using boosted co－occurrence histograms of oriented gradients［C］//Proc.IEEE International Conference on Image Processing(ICIP).HongKong:IEEE Press，2010:2705－2708.

［5］LIENHART R，MAYDT J.An extended set of Haar－like features for rapid object detection［C］//Proc.International Conference on Image Processing.New York，USA:IEEE Press，2002:900－903.

［6］VIOLA P，JONES M.Rapid object detection using a boosted cascade of simple features［C］//Proc.IEEE Conference Computer Vision and Pattern Recognition.Kauai，USA:IEEE Press，2001:I－511.

［7］KUO N R.Robust multi－view car detection using unsupervised sub－categorization［C］//Proc.Applications of Computer Vision.Salt Lake City，USA:IEEE Press，2009:1－8.

［8］AGARWAL A A，ROTH D.Learning to detect objects in images via a sparse，part－based representation［J］.Pattern Analysis and Machine Intelligence，2004，26(11):1475－1490.

［9］WU B，NEVATIA R.Cluster boosted tree classifier for multi－view，multi－pose object detection［C］//Proc.IEEE Conference International Conference on Computer Vision.Rio de Janeiro，Brazil:IEEE Press，2005:1－8.