李芳菊，林 楠

(1.中原工學(xué)院信息商務(wù)學(xué)院 信息技術(shù)系，河南 鄭州 451191；2.鄭州大學(xué) 軟件應(yīng)用技術(shù)學(xué)院，河南 鄭州 451191)

0 引 言

車(chē)標(biāo)識(shí)別技術(shù)[1,2]主要包括兩個(gè)部分[3,4]，一是車(chē)標(biāo)定位，二是車(chē)標(biāo)分類(lèi)。本文主要研究車(chē)標(biāo)分類(lèi)方法。車(chē)標(biāo)分類(lèi)是一種典型的圖像分類(lèi)技術(shù)，主要包括特征提取和特征分類(lèi)兩個(gè)環(huán)節(jié)。在特征提取方面，目前常用的有方向梯度直方圖(histogram of oriented gradient，HOG)特征[5]和局部二元模式(local binary pattern，LBP)特征[6]等，在特征分類(lèi)方面，目前常用的有隨機(jī)森林[7]、支持向量機(jī)(support vector machine，SVM)[8]和深度學(xué)習(xí)[9]等。如文獻(xiàn)[8]采用一種改進(jìn)的HOG特征描述車(chē)標(biāo)圖像，并采用SVM進(jìn)行特征分類(lèi)，實(shí)現(xiàn)車(chē)標(biāo)圖像的分類(lèi)。文獻(xiàn)[9]采用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)來(lái)進(jìn)行車(chē)標(biāo)識(shí)別，這樣可以避免車(chē)標(biāo)的精確檢測(cè)和分割過(guò)程。文獻(xiàn)[10]提出一種基于局部Fisher鑒別分析的車(chē)標(biāo)分類(lèi)方法，依據(jù)車(chē)標(biāo)圖像的水平和垂直局部梯度直方圖提取特征，采用無(wú)監(jiān)督的主成分分析(principal component analysis，PCA)方法進(jìn)行特征降維，最后采用有監(jiān)督的局部Fisher鑒別分析進(jìn)行車(chē)標(biāo)分類(lèi)。然后，由于車(chē)標(biāo)圖像采集環(huán)境和角度差異大，目前車(chē)標(biāo)圖像分類(lèi)方法的分類(lèi)性能還有待提高。

本文提出一種結(jié)合改進(jìn)Gaussian-Hermite矩特征和隨機(jī)森林的車(chē)標(biāo)圖像分類(lèi)方法，在圖像Gaussian-Hermite矩[11]的基礎(chǔ)上提取了Gaussian-Hermite不變矩和鑒別矩兩類(lèi)改進(jìn)特征，并結(jié)合隨機(jī)森林分類(lèi)器實(shí)現(xiàn)特征的學(xué)習(xí)和預(yù)測(cè)，降低車(chē)標(biāo)圖像分類(lèi)的錯(cuò)分率和時(shí)間消耗。

1 本文方法

本文提出了一種結(jié)合改進(jìn)Gaussian-Hermite矩特征和隨機(jī)森林的車(chē)標(biāo)分類(lèi)方法，主要?jiǎng)?chuàng)新在于改進(jìn)Gaussian-Hermite矩特征的提取方法。為了便于著重闡述該部分內(nèi)容，本文不再介紹車(chē)標(biāo)定位相關(guān)內(nèi)容，直接針對(duì)裁剪好的車(chē)標(biāo)區(qū)域圖像研究不同車(chē)標(biāo)的分類(lèi)方法，實(shí)現(xiàn)流程如圖1所示。首先，對(duì)圖像進(jìn)行光照校正，用于降低采集時(shí)光照差異引起的分類(lèi)誤差；接著，計(jì)算車(chē)標(biāo)圖像的Gaussian-Hermite矩；在此基礎(chǔ)上，提取改進(jìn)的Gaussian-Hermite矩特征，這是本文的研究重點(diǎn)，所述的改進(jìn)Gaussian-Hermite矩特征包括不變矩特征和鑒別矩特征兩部分；最后，采用隨機(jī)森林分類(lèi)器對(duì)特征進(jìn)行學(xué)習(xí)和預(yù)測(cè)，得到車(chē)標(biāo)分類(lèi)結(jié)果。詳細(xì)實(shí)現(xiàn)過(guò)程描述如下。

圖1 本文方法實(shí)現(xiàn)流程

1.1 光照校正

不同車(chē)標(biāo)圖像在采集時(shí)受環(huán)境光照變化的影響較大。因此，需要對(duì)車(chē)標(biāo)圖像進(jìn)行光照校正，降低光照差異對(duì)車(chē)標(biāo)分類(lèi)的影響。考慮到同一類(lèi)型車(chē)標(biāo)所在的車(chē)輛顏色可能是不同的，因此本文僅針對(duì)車(chē)標(biāo)的灰度圖像進(jìn)行光照校正以及后續(xù)的特征提取與分類(lèi)。具體地，考慮到車(chē)標(biāo)區(qū)域圖像的內(nèi)容比較簡(jiǎn)單，本文采用簡(jiǎn)單的直方圖均衡法進(jìn)行光照校正，避免車(chē)標(biāo)圖像過(guò)亮或者過(guò)暗，同時(shí)增強(qiáng)圖像的對(duì)比度。

1.2 Gaussian-Hermite矩計(jì)算

(1)Gaussian-Hermite多項(xiàng)式

Hermite多項(xiàng)式的一般形式為

(1)

其中，p∈1，x∈1。

給定一個(gè)權(quán)重函數(shù)

v(x)=exp(-x2)

(2)

式(1)所示的Hermite多項(xiàng)式滿足關(guān)于權(quán)重函數(shù)v(x)的正交歸一屬性，表示為

(3)

其中，δpq為克羅內(nèi)克符號(hào)。

引入一個(gè)擴(kuò)展因子s>0，則通用的Gaussian-Hermite多項(xiàng)式可以表示為

(4)

將Gaussian-Hermite多項(xiàng)式由一維推廣到二維，表示為

(5)

(2)Gaussian-Hermite矩

令I(lǐng)(x,y)表示一個(gè)連續(xù)的圖像矩陣，圖像的(p,q)階Gaussian-Hermite矩可以表示為

(6)

計(jì)算圖像的Gaussian-Hermite矩可以看作是將圖像映射到二維的Gaussian-Hermite基函數(shù)上。因此，這些矩刻畫(huà)了圖像的局部區(qū)域?qū)傩浴?/p>

采用圖像的Gaussian-Hermite矩可以重建原圖像，表示為

(7)

式(6)假設(shè)圖像是連續(xù)的，而實(shí)際上圖像是離散的,令G(i,j)表示一幅尺寸為U×V的離散圖像，0≤i≤U,0≤j≤V。為了從離散圖像矩陣中計(jì)算Gaussian-Hermite矩，需要進(jìn)行歸一化處理。采用簡(jiǎn)單的線性變換將圖像的橫縱坐標(biāo)都?xì)w一化到[-1,+1]之間，也即-1≤x≤1,-1≤y≤1。這樣，Gaussian-Hermite矩可以表示為

(8)

(9)

在本文中，Gaussian-Hermite多項(xiàng)式的最高階N可以表示為

(10)

其中，Int(·)表示取整運(yùn)算。α表示一個(gè)壓縮因子，取值范圍為(0,1)。本文取α=0.25。

這樣，一幅圖像的Gaussian-Hermite矩可以表示為

M=[M00,…,M0N,M10,…,M1N,…,MN0,…,MNN]

(11)

1.3 改進(jìn)的Gaussian-Hermite矩特征提取

基于圖像的Gaussian-Hermite矩，本文提出兩種矩特征提取方法，分別是Gaussian-Hermite不變矩特征和Gaussian-Hermite鑒別矩特征，然后將這兩類(lèi)矩特征融合在一起，得到改進(jìn)的Gaussian-Hermite矩特征。詳細(xì)介紹如下。

(1)Gaussian-Hermite不變矩特征

為了提高Gaussian-Hermite矩對(duì)噪聲和圖像形變的魯棒性，本文仿照Hu不變矩的構(gòu)建思路，提取Gaussian-Hermite不變矩特征，定義為

ρ=[ρ1,ρ2,…,ρ7]

(12)

其中

ρ1=M02+M20

(13)

(14)

(15)

(16)

(17)

(18)

(19)

其中

(20)

(21)

由于階數(shù)越靠前的Gaussian-Hermite矩所表達(dá)的圖像信息越充分，因此，盡管本文提取的Gaussian-Hermite不變矩特征只用到前3階Gaussian-Hermite矩，但也可以很好地反映圖像類(lèi)別的差異，同時(shí)對(duì)噪聲和圖像形變具有魯棒性。

(2)Gaussian-Hermite鑒別矩特征

為了區(qū)分不同類(lèi)別的車(chē)標(biāo)圖像，我們希望車(chē)標(biāo)圖像的類(lèi)內(nèi)差異越小越好，類(lèi)間差異越大越好。基于這一思路，本文借鑒Fisher特征的提取思想，提取Gaussian-Hermite矩的鑒別矩特征，增強(qiáng)特征對(duì)不同類(lèi)別車(chē)標(biāo)圖像的區(qū)分能力。

假設(shè)圖像類(lèi)別數(shù)為C，統(tǒng)計(jì)訓(xùn)練數(shù)據(jù)集中每一類(lèi)圖像的Gaussian-Hermite矩均值，表示為

(22)

(23)

統(tǒng)計(jì)訓(xùn)練數(shù)據(jù)集中所有圖像的Gaussian-Hermite矩均值，表示為

(24)

(25)

其中，Nall表示訓(xùn)練數(shù)據(jù)集中圖像總數(shù)。

于是，訓(xùn)練集中各類(lèi)圖像的類(lèi)內(nèi)散布矩陣的(p,q)階元素可以表示為

(26)

訓(xùn)練集中各類(lèi)圖像的類(lèi)間散布矩陣的(p,q)階元素可以表示為

(27)

其中

(28)

對(duì)于車(chē)標(biāo)圖像分類(lèi)應(yīng)用而言，特征的類(lèi)內(nèi)差異越小、類(lèi)間差異越大，越有利于鑒別不同類(lèi)別的車(chē)標(biāo)圖像。因此，本文用類(lèi)間散布與類(lèi)內(nèi)散布的比值作為Gaussian-Hermite矩的鑒別矩特征，表示為

ζ=

(29)

得到Gaussian-Hermite矩的不變矩特征和鑒別矩特征之后，本文將兩類(lèi)特征融合在一起，得到改進(jìn)的Gaussian-Hermite矩特征。在融合過(guò)程中，考慮到Gaussian-Hermite鑒別矩特征的維數(shù)偏大，數(shù)據(jù)運(yùn)算效率低。而且，Gaus-sian-Hermite鑒別矩特征的維數(shù)遠(yuǎn)遠(yuǎn)大于不變矩特征的維數(shù)，這樣不變矩特征對(duì)圖像分類(lèi)的貢獻(xiàn)將會(huì)降低，進(jìn)而會(huì)影響特征分類(lèi)方法的魯棒性。因此，本文采用主成分分析方法對(duì)Gaussian-Hermite鑒別矩特征進(jìn)行降維?？紤]到Gaussian-Hermite不變矩特征的維數(shù)為7，本文將Gaussian-Hermite鑒別矩特征的維數(shù)降維至21，也即其維數(shù)為不變矩特征維數(shù)的3倍，這樣Gaussian-Hermite不變矩特征對(duì)圖像分類(lèi)的貢獻(xiàn)不會(huì)有明顯消弱，同時(shí)Gaussian-Hermite鑒別矩特征的主要信息得到保留，不會(huì)影響Gaussian-Hermite鑒別矩特征對(duì)圖像分類(lèi)的貢獻(xiàn)。最后，本文將Gaussian-Hermite不變矩特征和鑒別矩特征串聯(lián)在一起，得到最終的28維圖像特征，表示為

F=[ρ1,ρ2,…,ρ7,ξ1,ξ2,…,ξ21]

(30)

其中，[ξ1,ξ2,…,ξ21]為降維后的Gaussian-Hermite鑒別矩特征。

1.4 隨機(jī)森林學(xué)習(xí)與預(yù)測(cè)

對(duì)于車(chē)標(biāo)圖像提取到的改進(jìn)Gaussian-Hermite矩特征，需要訓(xùn)練一個(gè)分類(lèi)器對(duì)其進(jìn)行分類(lèi)。目前常用的特征分類(lèi)方法有支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林等，本文采用隨機(jī)森林分類(lèi)器對(duì)改進(jìn)Gaussian-Hermite矩特征進(jìn)行學(xué)習(xí)與預(yù)測(cè)。隨機(jī)森林分類(lèi)器實(shí)質(zhì)上是一種集成分類(lèi)器，其基本單元是決策樹(shù)。在特征分類(lèi)時(shí)，各個(gè)決策樹(shù)對(duì)特征的預(yù)測(cè)值進(jìn)行投票，進(jìn)而得到最終的分類(lèi)結(jié)果。由于各個(gè)決策樹(shù)相互獨(dú)立，都可以獨(dú)立進(jìn)行學(xué)習(xí)和預(yù)測(cè)，因此隨機(jī)森林的學(xué)習(xí)和預(yù)測(cè)效率都非常高。同時(shí)，隨機(jī)森林分類(lèi)器便于實(shí)現(xiàn)一對(duì)多分類(lèi)，這對(duì)于多類(lèi)車(chē)標(biāo)的分類(lèi)而言非常便捷。隨機(jī)森林的學(xué)習(xí)與預(yù)測(cè)實(shí)現(xiàn)過(guò)程詳見(jiàn)文獻(xiàn)[7]，本文不再贅述。

2 實(shí)驗(yàn)與分析

本文提出了一種結(jié)合改進(jìn)Gaussian-Hermite矩特征和隨機(jī)森林的車(chē)標(biāo)分類(lèi)方法，重點(diǎn)是提出一種改進(jìn)Gaussian-Hermite矩特征，下面先從特征選擇方面進(jìn)行車(chē)標(biāo)分類(lèi)實(shí)驗(yàn)，定量評(píng)測(cè)本文特征提取方法和其它常用特征提取方法的性能指標(biāo)。然后從車(chē)標(biāo)分類(lèi)方面進(jìn)行對(duì)比實(shí)驗(yàn)，定量評(píng)測(cè)不同分類(lèi)方法的性能指標(biāo)。通過(guò)對(duì)比分析綜合評(píng)價(jià)本文方法的性能。詳細(xì)描述如下。

2.1 實(shí)驗(yàn)說(shuō)明

(1)數(shù)據(jù)集

數(shù)據(jù)集是算法評(píng)測(cè)的依據(jù)。車(chē)標(biāo)分類(lèi)領(lǐng)域目前還未見(jiàn)有公開(kāi)測(cè)試數(shù)據(jù)集。因此，本文使用自建的數(shù)據(jù)集進(jìn)行算法評(píng)測(cè)。車(chē)標(biāo)圖像數(shù)據(jù)集的構(gòu)建方法是：先從互聯(lián)網(wǎng)等場(chǎng)合搜集包含不同車(chē)標(biāo)的車(chē)輛圖像；然后人工裁剪車(chē)標(biāo)區(qū)域的灰度圖像，共搜集30類(lèi)車(chē)標(biāo)，每一類(lèi)車(chē)標(biāo)包含車(chē)標(biāo)圖像100幅。車(chē)標(biāo)圖像的高度統(tǒng)一縮放到80，寬度依據(jù)實(shí)際寬高比例縮放。實(shí)驗(yàn)時(shí)每一類(lèi)車(chē)標(biāo)選取前20幅圖像進(jìn)行訓(xùn)練，其余圖像用于測(cè)試。

(2)評(píng)價(jià)指標(biāo)

本文選用兩個(gè)定量的性能評(píng)價(jià)指標(biāo)，一是錯(cuò)分率RCE，表示為

(31)

二是平均分類(lèi)耗時(shí)TC，表示為

(32)

前者用于評(píng)價(jià)車(chē)標(biāo)分類(lèi)算法的可靠性，后者用于評(píng)價(jià)車(chē)標(biāo)分類(lèi)算法的運(yùn)算效率。

需要說(shuō)明的是，分類(lèi)耗時(shí)的統(tǒng)計(jì)與計(jì)算機(jī)處理平臺(tái)和軟件環(huán)境相關(guān)。本文采用相同的計(jì)算機(jī)處理平臺(tái)和軟件環(huán)境進(jìn)行對(duì)比測(cè)試，具體地，計(jì)算機(jī)處理平臺(tái)的參數(shù)為：CPU 3.6 GHz四核，RAM 8G DDR3；軟件環(huán)境參數(shù)為：操作系統(tǒng)Windows 7 64 bits，集成開(kāi)發(fā)環(huán)境Visual Studio 2012。

2.2 特征選擇對(duì)比分析

本文所述車(chē)標(biāo)分類(lèi)方法的主要?jiǎng)?chuàng)新在于提出一種改進(jìn)Gaussian-Hermite矩特征的提取方法，為了驗(yàn)證改進(jìn)Gaussian-Hermite矩特征對(duì)于車(chē)標(biāo)圖像分類(lèi)的有效性，本文采用上一節(jié)所述的光照校正和特征分類(lèi)算法，對(duì)比不同特征提取方法的車(chē)標(biāo)圖像分類(lèi)性能。其中，選用LBP[6]、HOG[5]以及Gaussian-Hermite矩[11]3種常用的特征提取方法進(jìn)行對(duì)比，錯(cuò)分率指標(biāo)對(duì)比結(jié)果如圖2所示，平均分類(lèi)耗時(shí)指標(biāo)對(duì)比結(jié)果見(jiàn)表1。

圖2 不同特征錯(cuò)分率對(duì)比

由圖2可見(jiàn)，在其它條件完全相同的情況下，采用本文的改進(jìn)Gaussian-Hermite矩特征得到的車(chē)標(biāo)圖像錯(cuò)分率明顯低于其它3種特征，這說(shuō)明改進(jìn)Gaussian-Hermite矩特征可以提高車(chē)標(biāo)圖像分類(lèi)的可靠性。由表1可見(jiàn)，改進(jìn)Gaussian-Hermite矩特征對(duì)應(yīng)的平均分類(lèi)耗時(shí)指標(biāo)也低于其它3種特征，盡管與經(jīng)典的Gaussian-Hermite矩相比，本文的改進(jìn)Gaussian-Hermite矩特征增加了Gaussian-Hermite不變矩和鑒別矩的提取步驟，也增加了PCA的降維步驟，但是改進(jìn)Gaussian-Hermite矩特征的特征維數(shù)遠(yuǎn)遠(yuǎn)小于Gaussian-Hermite矩，因此平均分類(lèi)耗時(shí)不僅沒(méi)有增加，反而略有降低。

表1 不同特征平均分類(lèi)耗時(shí)對(duì)比

2.3 圖像分類(lèi)對(duì)比分析

下面在相同訓(xùn)練和測(cè)試數(shù)據(jù)集下進(jìn)行不同方法的車(chē)標(biāo)分類(lèi)實(shí)驗(yàn)，對(duì)比本文車(chē)標(biāo)分類(lèi)方法與目前常用的圖像分類(lèi)方法的性能差異。圖3展示了不同方法的車(chē)標(biāo)圖像錯(cuò)分率對(duì)比結(jié)果。表2給出了不同方法的平均分類(lèi)耗時(shí)對(duì)比結(jié)果。

圖3 不同方法錯(cuò)分率對(duì)比

方法平均分類(lèi)耗時(shí)/ms文獻(xiàn)[8]方法69文獻(xiàn)[9]方法131文獻(xiàn)[10]方法72本文方法34

由圖3可見(jiàn)，本文方法的車(chē)標(biāo)圖像錯(cuò)分率是最低的，且明顯低于文獻(xiàn)[8]和文獻(xiàn)[10]兩種方法。由表2可見(jiàn)，本文方法的平均分類(lèi)耗時(shí)明顯低于其它3種方法，尤其是文獻(xiàn)[9]所述方法。因此，本文方法是一種可靠、高效的車(chē)標(biāo)圖像分類(lèi)方法。

3 結(jié)束語(yǔ)

本文提出了一種結(jié)合改進(jìn)的Gaussian-Hermite矩特征和隨機(jī)森林分類(lèi)器的車(chē)標(biāo)圖像分類(lèi)方法，核心是在圖像Gaussian-Hermite矩的基礎(chǔ)上，提取改進(jìn)的Gaussian-Hermite矩特征，包含借鑒Hu不變矩思路構(gòu)建的Gaussian-Hermite不變矩特征，以及借鑒Fisher特征提取思想構(gòu)建的Gaussian-Hermite鑒別矩特征，將降維后的兩類(lèi)特征進(jìn)行融合得到改進(jìn)的Gaussian-Hermite矩特征。本文采用隨機(jī)森林分類(lèi)器對(duì)該特征進(jìn)行學(xué)習(xí)和預(yù)測(cè)，在車(chē)標(biāo)圖像分類(lèi)實(shí)驗(yàn)中得到了最低的錯(cuò)分率指標(biāo)，同時(shí)平均分類(lèi)耗時(shí)最少，是一種可靠、高效的車(chē)標(biāo)圖像分類(lèi)方法。

參考文獻(xiàn)：

[2]YU Ye,NIE Zhenxing,JIN Qiang,et al.Vehicle logo recognition based on randomly sampled pixel-pair feature from foreground-background skeleton areas[J].China Journal of Image and Graphics,2016,21(10):1348-1356(in Chinese).[余燁,聶振興,金強(qiáng),等.前背景骨架區(qū)域隨機(jī)點(diǎn)對(duì)策略驅(qū)動(dòng)下的車(chē)標(biāo)識(shí)別方法[J].中國(guó)圖象圖形學(xué)報(bào),2016,21(10):1348-1356.]

[3]Pan C,Yan Z,Xu X,et al.Vehicle logo recognition based on deep learning architecture in video surveillance for intelligent traffic system[C]//International Conference on Smart and Sustainable City,2013:132-135.

[4]ZHANG Li,ZHANG Dongming,ZHENG Hong,et al.Vehicle logo recognition based on convolutional neural network combined with multiple layer feature[J].Journal of Computer Application,2016,36(2):444-448(in Chinese).[張力,張洞明,鄭宏,等.基于聯(lián)合層特征的卷積神經(jīng)網(wǎng)絡(luò)在車(chē)標(biāo)識(shí)別中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用,2016,36(2):444-448.]

[5]LU Feng,LIU Yun,ZHANG Renhui.Research on detection and recognition method of improved HOG based vehicle logo[J].Optical Communication 2012,36(5):26-29(in Chinese).[魯豐,劉蕓,張仁輝.基于改進(jìn)HOG特征值的車(chē)標(biāo)檢測(cè)與識(shí)別方法[J].光通信研究,2012,36(5):26-29.]

[6]Song X L,Wang W T,Zhang W W.Vehicle detection and tracking based on the local binary pattern texture and improved camshift operator[J].Journal of Hunan University,2013,40(8):52-57.

[7]Mistry P,Neagu D,Trundle P R,et al.Using random forest and decision tree models for a new vehicle prediction approach in computational toxicology[J].Soft Computing,2016,20(8):2967-2979.

[8]Llorca D F,Arroyo R,Sotelo M A.Vehicle logo recognition in traffic images using HOG features and SVM[C]//IEEE Intelligent Transportation Systems Conference.IEEE,2013:2229-2234.

[9]Huang Y,Wu R,Sun Y,et al.Vehicle logo recognition system based on convolutional neural networks with a pretraining strategy[J].IEEE Transactions on Intelligent Transportation Systems,2015,16(4):1951-1960.

[10]Wang S,Pedagadi S,Orwell J,et al.Vehicle logo recognition using local fisher discriminant analysis[C]//International Confe-rence on Imaging for Crime Detection and Prevention,2013.

[11]Hosny K M.Fast computation of accurate Gaussian-Hermite moments for image processing applications[J].Digital Signal Processing,2012,22(3):476-485.