魏英姿 歐陽海飛 譚龍?zhí)?/p>

摘 ?要：研究汽車商標(biāo)圖像的檢索對(duì)道路交通安全、駕駛輔助系統(tǒng)開發(fā)將起到重要作用。利用極端學(xué)習(xí)機(jī)快速收斂的特點(diǎn)，以HU不變矩作為主要特征值訓(xùn)練極端學(xué)習(xí)機(jī)，并針對(duì)不同檢索目標(biāo)選擇不同的訓(xùn)練特征參數(shù)，設(shè)定Harris角點(diǎn)與質(zhì)心的距離比作為特征值，以檢索不同類型汽車商標(biāo)圖像。采用差分進(jìn)化算法訓(xùn)練極端學(xué)習(xí)機(jī)的輸入權(quán)值與隱層偏置值，避免了極端學(xué)習(xí)機(jī)的隨機(jī)性，提高檢索精度。實(shí)驗(yàn)結(jié)果表明，引入新的特征值和使用差分進(jìn)化算法訓(xùn)練極端學(xué)習(xí)機(jī)都對(duì)檢索結(jié)果有明顯的改善。

關(guān)鍵詞：圖像檢索;極端學(xué)習(xí)機(jī);差分進(jìn)化;特征提取

引言

汽車主動(dòng)安全技術(shù)也成為近年來研究的熱點(diǎn)，利用多種傳感器和先進(jìn)的信號(hào)處理技術(shù)為駕駛者提供駕駛輔助，甚至在緊急安全時(shí)刻主動(dòng)介入駕駛。智能機(jī)器視覺技術(shù)應(yīng)用在汽車安全輔助駕駛上已得到廣泛關(guān)注，針對(duì)汽車商標(biāo)的圖像檢索是汽車安全駕駛中機(jī)器識(shí)別的一部分[1]。文章研究基于內(nèi)容的汽車商標(biāo)圖像檢索方法，力圖通過有效的機(jī)器學(xué)習(xí)方法在線找到檢索目標(biāo)[2]。

極端學(xué)習(xí)機(jī)（Extreme learning machine， ELM）已被證明是快速并有效的單隱層前饋神經(jīng)網(wǎng)絡(luò)[3]。在車標(biāo)檢索中引入ELM算法，能在很大程度上提高檢索速度，進(jìn)而提高安全駕駛中機(jī)器視覺的精度與速度。但是，由于ELM算法輸入權(quán)值與隱層偏置值多采用隨機(jī)方法設(shè)置，有時(shí)會(huì)使網(wǎng)絡(luò)的隱層輸出矩陣H無法達(dá)到列滿秩，進(jìn)而降低ELM的有效性。因此，文章采用差分進(jìn)化算法（Differential evolution ，DE）算法訓(xùn)練ELM的輸入權(quán)值與隱層偏置值來提高網(wǎng)絡(luò)的魯棒性，從而提高圖像檢索精度[4]。

本試驗(yàn)選用典型的七個(gè)HU不變矩特征作為圖像特征值[5]，并引

入三個(gè)距離比作為新的特征值，將差分進(jìn)化算法和極端學(xué)習(xí)機(jī)相結(jié)合，建立DE_ELM汽車商標(biāo)的檢索模型，通過多組試驗(yàn)驗(yàn)證算法的有效性。

1 極端學(xué)習(xí)機(jī)算法

ELM作為一類單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法與一般的前饋神經(jīng)網(wǎng)絡(luò)算法（如BP算法）相比不同。ELM是通過解方程的方式一次性求出網(wǎng)絡(luò)的輸出權(quán)值，從而提高訓(xùn)練速度。

（1）ELM基本原理如下：

給定N個(gè)訓(xùn)練樣本{xi，ti}，其中

i=1，2，3，…，N，

則由M個(gè)隱層節(jié)點(diǎn)，激活函數(shù)為g（a，x，b），可構(gòu)造一個(gè)單隱層前饋神經(jīng)網(wǎng)絡(luò)。

（2）ELM的數(shù)學(xué)模型為：

（1）

其中ai是連接輸入節(jié)點(diǎn)到第i個(gè)隱層節(jié)點(diǎn)的輸入權(quán)值;βi為連接第i個(gè)隱層節(jié)點(diǎn)與輸出神經(jīng)元的輸出權(quán)值;bi為第i個(gè)隱層節(jié)點(diǎn)的偏置值。將上述給定的N個(gè)訓(xùn)練樣本帶入式（1）中可得：

Hβ=T ? ? ?（2）

這里的H為隱層輸出矩陣。一般情況下隱層節(jié)點(diǎn)數(shù)遠(yuǎn)小于訓(xùn)練樣本數(shù)，H不可能方陣，就只能求出其偽逆，即Moore-Penrose 廣義逆。解（2）式中的方程得到輸出權(quán)值矩陣如下：

=H+T （3）

（3）綜上得ELM算法的訓(xùn)練步驟如下：

給定一組訓(xùn)練樣本集{xi，ti}，激活函數(shù)g（x）以及M個(gè)隱層神經(jīng)元。

a.隨機(jī)產(chǎn)生輸入權(quán)值ai和隱層偏置值bi;b.生成隨機(jī)隱層輸出矩陣H;c.根據(jù)式（3）計(jì)算隱層輸出權(quán)值。

2 差分進(jìn)化算法

差分進(jìn)化算法作為一種模擬生物進(jìn)化的隨機(jī)模型，是一種新興的進(jìn)化計(jì)算技術(shù)。適于求解一些利用常規(guī)的數(shù)學(xué)規(guī)劃方法所無法求解的復(fù)雜環(huán)境中的優(yōu)化問題。DE的迭代包括4個(gè)基本步驟：初始化、突變、重組和選擇。最后三個(gè)一直重復(fù)直到滿足停止準(zhǔn)則。

（1）初始化：

隨機(jī)產(chǎn)生數(shù)量為NP的初始種群X，最初的一組實(shí)驗(yàn)向量為D維，xi=[xi1，xi2，…，xiD]，其中?i∈[1，NP]。

（2）變異操作：

（4）

根據(jù)式（4），DE為每個(gè)個(gè)體xi，G生成一個(gè)對(duì)應(yīng)的臨時(shí)個(gè)體vi，G，名為變異個(gè)體。這里的r1，r2，r3是在[1，NP]范圍內(nèi)隨機(jī)選取的。G為進(jìn)化代數(shù)，F(xiàn)∈[0，2]為縮放因子。

（3）交叉操作：

其中

（5）

交叉也稱為重組，由式（5）混合目標(biāo)個(gè)體xi，G與變異個(gè)體可產(chǎn)生一個(gè)新的實(shí)驗(yàn)個(gè)體，CR為交叉概率，其作用是保證變異個(gè)體中至少有一維解被繼承到新的候選解中。

（4）選擇操作：

（6）

根據(jù)式（6）進(jìn)行選擇操作。這里的f（x）為待最小化的目標(biāo)函數(shù)，故如若新的實(shí)驗(yàn)個(gè)體的函數(shù)值不大于目標(biāo)個(gè)體的函數(shù)值，它將取代目標(biāo)個(gè)體進(jìn)入下一代。否則，目標(biāo)個(gè)體不變。DE的收斂性依賴于參數(shù)F與CR。文章選取F與CR的值分別為2，0.5。

3 改進(jìn)的極端學(xué)習(xí)機(jī)

針對(duì)極端學(xué)習(xí)機(jī)輸入權(quán)值與隱層節(jié)點(diǎn)的隨意性，采用差分進(jìn)化極端學(xué)習(xí)機(jī)，即，DE_ELM學(xué)習(xí)機(jī)。DE_ELM的基本思路是使用DE進(jìn)化算法對(duì)ELM的輸入權(quán)值和隱層權(quán)值進(jìn)行優(yōu)化，優(yōu)化的目標(biāo)是在確保檢索誤差最小的前提下，提高系統(tǒng)泛化性。實(shí)驗(yàn)中選取hardlim函數(shù)作為激活函數(shù)。Hardlim函數(shù)算法如式（7）所示：

（7）

DE_ELM算法步驟如下：

（1）隨機(jī)產(chǎn)生由ELM的輸入權(quán)值及偏置組成數(shù)據(jù)作為DE的初始種群;

pi=[ai1，ai2…ain，bi]

（2）將DE的初始種群放入ELM學(xué)習(xí)機(jī)中計(jì)算相應(yīng)的偽逆H+，進(jìn)而計(jì)算出相應(yīng)的輸出權(quán)值，將訓(xùn)練好的學(xué)習(xí)機(jī)進(jìn)行測(cè)試，得到的錯(cuò)誤率作為每個(gè)個(gè)體的適應(yīng)值;

（3）得到的每個(gè)個(gè)體的適應(yīng)值應(yīng)用與DE算法的優(yōu)化操作中，并在整個(gè)驗(yàn)證集上尋求最優(yōu)解。

4 特征提取方法

實(shí)驗(yàn)使用七個(gè)幾何不變矩與三個(gè)距離比作為特征值進(jìn)行圖像檢索，幾何矩是由HU在1962年提出的，具有平移、旋轉(zhuǎn)和尺度不變性。而三個(gè)距離比是文章中提出的一種新的特征，即質(zhì)心與圖像角點(diǎn)的距離比。特征提取步驟如下：

首先，對(duì)圖像庫中的圖片進(jìn)行一系列的預(yù)處理，得到歸一化大小的二值圖片。然后，檢測(cè)其Harris角點(diǎn)與質(zhì)心。三條直線的交點(diǎn)為質(zhì)心，車標(biāo)邊緣標(biāo)記的點(diǎn)為檢測(cè)到的角點(diǎn)，L1，L2，計(jì)算每個(gè)角點(diǎn)到質(zhì)心的直線距離Li=[L1，L2，…，Ln]，并求出最大值D。隨后將除D之外的所有的距離值與D做比值，根據(jù)式（8）、（9）、（10）得到三個(gè)距離比值，分別為最大的比值a、最小比值b以及平均比值c。

a=max

（8）

b=min

（9）

c=（10）

5 試驗(yàn)分析

分別選定大眾車商標(biāo)、標(biāo)致車商標(biāo)作為檢索目標(biāo)，在100張圖片中進(jìn)行檢索。試驗(yàn)使用ELM與DE_ELM兩種算法，分別在加入距離比特征變量與不加距離比特征變量的情況下對(duì)圖片進(jìn)行檢索。試驗(yàn)行環(huán)境為處理器為Intel（R） Core（TM）2，內(nèi)存為2G，開發(fā)工具為MATLAB R2012。

表1 應(yīng)用不同特征值變量的2種算法對(duì)大眾車標(biāo)的試驗(yàn)結(jié)果對(duì)比

表2 應(yīng)用不同特征值變量的2種算法對(duì)標(biāo)致車標(biāo)的試驗(yàn)結(jié)果對(duì)比

由表1、2中的數(shù)據(jù)可看出：在選取的特征相同的情況下，使用DE_ELM算法進(jìn)行檢索的精度與效果遠(yuǎn)比使用ELM檢索的精度效果好，精度甚至提高20% 。其次，在學(xué)習(xí)機(jī)算法不變的情況下，加入距離比三個(gè)特征值后的圖像檢索，不管是訓(xùn)練精度還是測(cè)試精度都比僅使用不變矩檢索的精度高，效果好。對(duì)比兩種車標(biāo)，大眾車標(biāo)是近似圓心對(duì)稱的圖像，通過差分進(jìn)化極端學(xué)習(xí)機(jī)只應(yīng)用不變矩特征值變量，就能夠?qū)υ瓐D像所蘊(yùn)含信息，進(jìn)行很好的描述和綜合抽象，得到令人滿意的檢索精度。標(biāo)致車標(biāo)相對(duì)于大眾車標(biāo)，角點(diǎn)分布更無規(guī)則且更不均勻，在加入距離比特征值后的測(cè)試精度提高了10%，訓(xùn)練精度提高4%。即，距離比作為特征值，對(duì)形狀不規(guī)則、角點(diǎn)分布不均勻的圖像具有更好的檢索效果。

6 結(jié)束語

極端學(xué)習(xí)機(jī)作為一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，其快速和有效性，使它能夠成為實(shí)時(shí)在線反應(yīng)系統(tǒng)中的一種有效算法。針對(duì)極端學(xué)習(xí)機(jī)算法對(duì)車標(biāo)圖像進(jìn)行分類檢索的方法，主要內(nèi)容即ELM的改進(jìn)和特征選取。利用差分進(jìn)化算法對(duì)極端學(xué)習(xí)機(jī)的神經(jīng)網(wǎng)絡(luò)輸入權(quán)值與隱層偏置值進(jìn)行篩選，優(yōu)化隱層的輸出矩陣來提高極端學(xué)習(xí)機(jī)的魯棒性。試驗(yàn)表明差分進(jìn)化極端學(xué)習(xí)機(jī)在容許耗費(fèi)機(jī)時(shí)范圍內(nèi)，能夠很大程度上提高極端學(xué)習(xí)機(jī)的檢索精度。選擇不同的特征值也會(huì)影響單隱層拓?fù)浣Y(jié)構(gòu)的極端學(xué)習(xí)機(jī)的性能，因此，考慮不同圖像檢索目標(biāo)的特點(diǎn)，選取合適的特征值變量，使極端學(xué)習(xí)機(jī)能夠很好地描述和抽象目標(biāo)信息，對(duì)提高極端學(xué)習(xí)機(jī)的性能也是至關(guān)重要的。

參考文獻(xiàn)

[1]李玉芝.圖像檢索的方法介紹.[J].NEW HORIZON，2011（1）.

[2]Guang-Bin Huang，Qin-Yu Zhu，Chee-Kheong Siew， ?Extreme learning machine： a new learning scheme of feedforward neural networks[J]. International Joint Conference on Neural Networks （IJCNN 2004），July 25-29，Budapest，Hungary：2004，985-990

[3]Y.Wang， F. Cao， Y. Yuan. A study on effectiveness of extreme learning machine[J]. Neurocomputing， 2011， ?74（16）： 2483～2490

[4]F.Xiang，H.Yong，S.Dandan，Z.Jiexian.An Image Retrieval Method Based on Hu Invariant Moment and Improved Annular Histogram [J].Electronics and Electrical Engineering，2014，20（4）.

[5]岳麗娟，吳錫生.基于Contourlet 變換和不變矩的紋理特征提取與分類[J].微電子學(xué)與計(jì)算機(jī)，2013，7.