熊昌鎮(zhèn)， 蔣 杰

(北方工業(yè)大學 城市道路交通智能控制技術北京市重點實驗室 北京 100144)

0 引言

細粒度檢測任務是對具有相同結構,但是存在一些細微差異的對象進行識別,這需要提取表征對象細微差異的特征才能實現(xiàn)正確的識別.傳統(tǒng)的特征表示有灰度特征、顏色特征[1]、梯度直方圖特征[2]、費舍爾向量特征[3]、核描述子[4]等特征,但這些傳統(tǒng)的特征在細粒度識別方法上都無法取得良好的效果.隨著深度學習的興起,產(chǎn)生了一些與深度學習相關的細粒度分類和檢測的成果,如Yang等[5]使用GoogleNet[6]研究了CompCars數(shù)據(jù)集在各卷積模型下的精細分類效果.Sochor等[7]提出一種使用車輛的3D 矩形標注信息，及視角向量等附加信息作為卷積神經(jīng)網(wǎng)絡的輸入，來進行車型精細識別的方法,取得了良好的效果.Lin等[8]通過車輛的部分零件定位信息擬合出車輛的3D模型,從而將車輛的3D信息用于細粒度分類,取得了較好的分類效果.Sermanet等[9]研究了注意力模型在細粒度分類中的應用.Xiao等[10]研究了在卷積神經(jīng)網(wǎng)絡中用兩級注意力模型來進行細粒度分類的工作,從而有效避免了使用代價較大的包圍盒標注以及部分零件標注的工作.Gavves等[11]研究了費舍爾向量表征目標部分零件定位信息來進行細粒度分類的方法,取得了不錯的結果.Berg等[2]對每對關鍵點學習一個描述子,從而學習到一系列有高度差異性的中間特征用于識別.Chai等[3]發(fā)現(xiàn)聯(lián)合學習局部定位和前景分割信息有助于細粒度分類任務.Branson等[12]發(fā)現(xiàn)集成低層和高層的特征可以有效地改善細粒度識別.Simon等[13]提出一系列神經(jīng)激活的方法,可以通過無監(jiān)督學習來學習部分零件模型.Krause等[14]在無監(jiān)督學習的條件下,通過共同分割的方法生成部分零件來進行細粒度的識別.

隨著神經(jīng)網(wǎng)絡模型的不斷優(yōu)化,目標檢測領域的研究也取得了很多成果,特別是基于區(qū)域卷積神經(jīng)網(wǎng)絡的目標檢測算法,即RCNN[15].在此基礎上出現(xiàn)了SPPNET[16]、FAST-RCNN[17]、FASTER-RCNN[18]等改進的算法.從傳統(tǒng)的目標檢測算法到最新的FASTER-RCNN等目標檢測算法和模型的快速更新,IMAGENET數(shù)據(jù)集的檢測精度和檢測時間得到很大提升.最重要的識別精度、定位準確性、實時性幾個方面都得到了較大的提升.還有一些深度學習目標檢測的算法采用回歸的方法,如YOLO[19]和SSD[20].YOLO將輸入圖像分成S×S個格子,每個格子負責檢測落入該格子的物體,選擇目標窗口和原來標記窗口的交疊率最高的檢測框作為物體檢測輸出.SSD 是基于一個前向傳播 CNN 網(wǎng)絡,產(chǎn)生一系列固定大小的包圍盒檢測框,判斷每一個檢測框中包含物體實例的可能性,最后采用一個非極大值抑制算法得到最終的預測結果.

Sun等[21]研究了在FASTER-RCNN框架下將樣本送入卷積網(wǎng)絡進行訓練，并對輸入卷積網(wǎng)絡訓練的圖像做多尺度縮放，又利用串聯(lián)多個卷積特征層的池化結果作為最后的池化層做人臉細粒度識別的任務.Zhang等[22]研究了基于部分區(qū)域的卷積神經(jīng)網(wǎng)絡檢測方法，并基于部分區(qū)域卷積網(wǎng)絡的特征進行細粒度檢測,即將RCNN改進用于細粒度檢測,取得了很好的結果.唐斯琪等[23]研究了一種基于特征圖融合的多列卷積神經(jīng)網(wǎng)絡的人群密度估計算法,取得了較好的效果.朱威威等[24]提出了一種魯棒性自適應模糊C均值算法，得到了更好的圖像分割質量.

為了避免圖像背景對細粒度識別算法的影響,以及定位表征目標物體全局信息和局部特征信息的多尺度區(qū)域,從而構建并組合更能表征目標特性的高維度特征向量.本文在FASTER-RCNN框架下,在文獻[22]的基礎上，提出一種基于多尺度區(qū)域卷積特征的細粒度分類算法.首先利用多尺度區(qū)域數(shù)據(jù)集對FASTER-RCNN框架下的模型進行微調訓練，產(chǎn)生多個網(wǎng)絡模型,檢測出物體的多尺度區(qū)域特征,然后使用包圍盒約束和海倫約束將多尺度區(qū)域特征整合在一起，訓練支持向量機分類器進行細粒度的圖像識別.

1 多尺度區(qū)域特征分類算法

1.1 多尺度區(qū)域信息標注

為了微調多個區(qū)域尺度的FASTER-RCNN的網(wǎng)絡模型,需要對訓練數(shù)據(jù)進行多尺度目標區(qū)域標注.將檢測的目標區(qū)域分為3個尺度,最內層的尺度為p0區(qū)域,中間的尺度為p1區(qū)域,最外圍的部分為完整的目標區(qū)域.目標區(qū)域包含p1和p0區(qū)域,p1區(qū)域包含p0區(qū)域.其中最內層p0區(qū)域的標注信息和中間部分p1區(qū)域的標注信息分別為

1.2 包圍盒約束的算法

根據(jù)多尺度區(qū)域互相包含的關系,可以對檢測的結果進行包圍盒約束算法優(yōu)化.為有效篩選出準確包含多尺度區(qū)域信息的檢測框,并使得檢測出的多尺度區(qū)域檢測框的質量和檢測的定位準確度有所提高,需要設計p1區(qū)域包含在物體目標區(qū)域內,p0區(qū)域包含在p1區(qū)域內,即

Δbox(X)=Tbox(p0)Tbox(p1)Tp1(p0)≠0.

設置ε值為10,選擇滿足上述關系的檢測框，并且優(yōu)先選擇FASTER-RCNN檢測的包含目標物體得分概率分數(shù)依大到小排序靠前的檢測框.式中box表示檢測到的完整目標區(qū)域.

1.3 海倫約束算法

由于包圍盒約束僅能確定各尺度區(qū)域的包含關系,無法很好將所有尺度區(qū)域的檢測框中心點約束在同一個像素點.各尺度區(qū)域檢測框的中心點即為各區(qū)域檢測框對角線的交點,而將所有尺度檢測框中心點約束在同一個像素點可以求出檢測位置更精確的檢測框,平面上不在同一條直線上的3個點唯一確定一個外接圓,故而首先計算多尺度區(qū)域的中心點坐標.目標物體的檢測中心點坐標計算公式、目標物體中間層區(qū)域檢測框p1的中心點坐標公式以及目標物體最內層區(qū)域檢測框p0的中心點坐標公式分別為

各中心點坐標之間的距離分別用a、b、c表示.定義a為最內層區(qū)域p0中心點和最外圍的目標整體區(qū)域中心點的距離;定義b為中間層區(qū)域p1中心點和最外圍的目標整體區(qū)域中心點的距離;定義c為最內層區(qū)域p0中心點和中間層區(qū)域p1中心點的距離.計算各中心點坐標之間的距離公式分別為

各尺度區(qū)域中心點組成的三角形的周長的一半用p表示,計算連接各中心坐標的三角形的外接圓面積用S表示,即

設置面積S的最大值為120，即計算出的面積S的大小不能超過120,挑選FASTER-RCNN提取的候選框中包含物體得分概率分數(shù)排序靠前，且滿足海倫檢測約束條件的目標物體和各尺度區(qū)域檢測框.

1.4 多尺度區(qū)域特征分類器

在用包圍盒約束算法和海倫約束算法進行多尺度目標定位優(yōu)化后,采用多尺度區(qū)域模型分別提取目標的3個尺度區(qū)域的特征.每個尺度區(qū)域的特征為4 096維,將3個4 096維的特征串聯(lián)組合后形成12 288維的特征,然后使用支持向量機訓練分類器.

2 實驗結果

實驗的平臺為Ubuntu16.04系統(tǒng)下的Matlab R2015b,所有的實驗均在配置為Intel Core i5-4590 CPU,GTX1070 GPU,內存為8 GB的臺式電腦上完成.實驗中所用的車型數(shù)據(jù)集為CompCars數(shù)據(jù),實驗共使用其中的431個類型不同的汽車模型,共計20 673張圖片,隨機抽取70%的圖片作為訓練數(shù)據(jù)集,30%的圖片為測試數(shù)據(jù)集.實驗所用的鳥類數(shù)據(jù)集為Caltech-UCSD鳥類數(shù)據(jù)集,共使用鳥類數(shù)據(jù)集圖片11 788張,共200個類別.其中50%的圖片作為訓練集,50%的圖片作為測試集.實驗所用的網(wǎng)絡模型為ImageNet數(shù)據(jù)集上預訓練的牛津大學幾何視覺組(visual geometry group,VGG)的VGG-19模型.在此模型的基礎上進行網(wǎng)絡微調得到3個尺度區(qū)域特征的模型.微調訓練的參數(shù)采用分階段學習率,在模型訓練15萬次迭代之前采用0.001的學習率,在模型訓練15萬次迭代之后設置學習率為0.000 1.

圖1實線矩形框和虛線矩形框分別顯示了3個尺度的目標定位結果和采用包圍盒和海倫約束前后的結果.圖1(a)和(d)表示整體目標區(qū)域定位的結果，圖1(b)和(e)表示p1區(qū)域定位的結果，圖1(c)和(f)表示p0區(qū)域定位的結果.圖1(a)的車型圖片的整體目標區(qū)域定位的結果存在偏差,圖1(d)和(e)的鳥類圖片的整體目標區(qū)域定位的結果存在偏差,采用2種約束優(yōu)化的定位的結果用虛線矩形框顯示,可以看出約束優(yōu)化后的結果定位更加精確.從圖1(c)和(f)的區(qū)域檢測結果可以看出，最小尺度的區(qū)域基本上消除了背景的影響或者只有少量的背景信息.并且由圖可知算法構建的最小尺度的特征信息很好反映了目標物體中心矩形區(qū)域的局部信息,算法構建的中間層區(qū)域特征信息反映了較大范圍的目標局部信息,算法構建的最大尺度的特征信息即為目標的全局信息,是一種比較普適的方法.

圖1 目標檢測約束算法前后效果圖Fig.1 Pictures before and after target detection constraint algorithm

本文算法在Caltech-UCSD鳥類數(shù)據(jù)集和CompCars車型數(shù)據(jù)集精細化分類的結果如下所述.在Caltech-UCSD鳥類數(shù)據(jù)集中只用單個目標整體區(qū)域的特征的分類準確率為0.753,僅使用包圍盒約束算法優(yōu)化并將3個尺度區(qū)域特征組合訓練分類器進行分類的準確率為0.791,僅使用海倫約束算法優(yōu)化的分類準確率為0.805；組合包圍盒約束和海倫約束優(yōu)化后的分類準確率為0.828.在CompCars車型數(shù)據(jù)集上只用單個目標整體區(qū)域的特征的分類準確率為0.852,僅使用包圍盒約束算法優(yōu)化并將3個尺度區(qū)域特征組合訓練分類器進行分類的準確率為0.898,僅使用海倫約束算法優(yōu)化的分類準確率為0.903,組合包圍盒約束和海倫約束優(yōu)化后的分類準確率為0.935.實驗表明提出的算法有效地構建了高維度的特征信息，提高了細粒度分類的準確度,提出的包圍盒約束算法和海倫約束算法能進一步提高細粒度分類的準確率,相比未使用高維度特征信息的包圍盒約束算法和海倫約束算法之前,在Caltech-UCSD鳥類數(shù)據(jù)集上準確率提高7.5%,在CompCars數(shù)據(jù)集上準確率提高8.3%.

本文算法與其他算法在Caltech-UCSD鳥類數(shù)據(jù)集上的對比結果如下所述.Berg等[2]采用梯度直方圖特征方法的準確率為0.568；Chai等[3]采用費舍爾向量特征方法的準確率為0.594；Gavves等[11]采用費舍爾向量表征目標部分零件定位信息來進行細粒度分類的準確率為0.627；Lin等[22]采用基于部分區(qū)域的卷積神經(jīng)網(wǎng)絡檢測方法和基于部分區(qū)域卷積網(wǎng)絡特征的準確率為0.739；Branson等[12]采用集成底層和高層特征的方法的準確率為0.757；Simon等[13]采用一系列神經(jīng)激活的方法,并通過無監(jiān)督學習來學習部分零件模型的方法的準確率為0.810； Krause等[14]采用在無監(jiān)督學習的條件下,通過共同分割的方法生成部分零件來進行細粒度的識別的準確率為0.820；本文算法的準確率為0.828,比Zhang等[8]的算法提高了8.9%.相比于其他的性能較優(yōu)的算法,如Branson[12]、Simon[13]、Krause[14]的算法也有一個較好結果，驗證了本文算法的有效性.本文算法與其他算法在CompCars數(shù)據(jù)集上的對比結果如下所述.其中AlexNet的分類準確率為0.819,CaffeNet的分類準確率為0.816,GoogLeNet的分類準確率為0.912,本文算法比最優(yōu)的GoogLeNet模型算法的結果多了2.3%,在CompCars數(shù)據(jù)集上取得了很好的結果,也驗證了本文算法的有效性.

3 結論

本文提出了一種多尺度區(qū)域特征的精細目標分類方法.該方法通過訓練3個尺度的區(qū)域特征卷積網(wǎng)絡，并檢測3個尺度的區(qū)域位置,通過包圍盒約束和海倫約束方法優(yōu)化目標定位區(qū)域,然后提取3個尺度的區(qū)域特征訓練支持向量機分類器.在Caltech-UCSD鳥類數(shù)據(jù)集上和CompCars數(shù)據(jù)集上的實驗表明，采用多尺度區(qū)域標注信息分別訓練卷積網(wǎng)絡模型來進行多尺度區(qū)域特征分類算法是有效的.采用包圍盒約束算法和海倫約束算法的目標分類算法在Caltech-UCSD鳥類數(shù)據(jù)集及CompCars數(shù)據(jù)集上準確率都有較大的提高.相比于AlexNet、CaffeNet在CompCars數(shù)據(jù)集上實驗的算法,優(yōu)勢更加明顯,說明本文提出的算法是非常有效的.后續(xù)研究考慮加入其他輔助信息(如顏色信息)進行細粒度的任務研究.