楊 娜，陳后金，陳益強(qiáng)

（1.中北大學(xué)信息探測與處理山西省重點(diǎn)實(shí)驗(yàn)室，太原030051;2.中國科學(xué)院計(jì)算技術(shù)研究所，北京100190; 3.北京交通大學(xué) 電子信息工程學(xué)院，北京100044）

基于視覺注意機(jī)制PCNN模型的車牌圖像分割方法

楊 娜＊1,2，陳后金3，陳益強(qiáng)2

（1.中北大學(xué)信息探測與處理山西省重點(diǎn)實(shí)驗(yàn)室，太原030051;2.中國科學(xué)院計(jì)算技術(shù)研究所，北京100190; 3.北京交通大學(xué) 電子信息工程學(xué)院，北京100044）

車輛圖像中車牌具有所占比例小、位置不固定、大小不一，以及分割易受光照影響的特點(diǎn).因此，車牌圖像的分割始終是車輛跟蹤、車輛識別等領(lǐng)域中的難點(diǎn)問題.針對以上問題，本文提出了基于視覺注意機(jī)制脈沖耦合神經(jīng)網(wǎng)絡(luò)模型的車牌圖像分割方法.該方法將視覺注意機(jī)制中的數(shù)據(jù)驅(qū)動模式和任務(wù)驅(qū)動模式相結(jié)合.數(shù)據(jù)驅(qū)動模式中，通過對PCNN模型細(xì)胞感受野功能的完善，使優(yōu)化PCNN模型具有了尺度性和方向性.任務(wù)驅(qū)動模式中，針對不同尺度的分割，利用組合不變矩和局部灰度熵，自適應(yīng)地確定目標(biāo)的特征尺度和最佳尺度，并確定該目標(biāo)最終的分割結(jié)果.經(jīng)實(shí)驗(yàn)驗(yàn)證，該方法對車牌圖像具有較好的分割效果.

信息技術(shù)；圖像分割；視覺注意機(jī)制；優(yōu)化PCNN模型；組合不變矩；局部灰度熵

1 引言

人類及其他哺乳類動物能夠在復(fù)雜的視覺場景中迅速地找到“感興趣”的物體，而忽略其他不重要內(nèi)容的過程被稱為視覺注意.視覺注意機(jī)制在生物視覺信息處理過程中是一個很重要但難以描述清楚的問題，它是視覺感知的一部分，與學(xué)習(xí)、記憶等模塊協(xié)同工作，完成將待注意的目標(biāo)從背景中分離、注意焦點(diǎn)在多個目標(biāo)間轉(zhuǎn)移、注意目標(biāo)與記憶中的模式匹配等任務(wù).視覺注意的研究有助于高效、快速地從海量圖像數(shù)據(jù)中檢測出感興趣目標(biāo)，是當(dāng)前圖像應(yīng)用研究領(lǐng)域的一個熱點(diǎn)問題[1].

目前視覺注意計(jì)算模型中以Itti等人提出的高斯金字塔模型最具代表性[2,3]，該模型對靜態(tài)圖像顯著區(qū)域的檢測具有較好的效果，但由于該模型計(jì)算復(fù)雜度較高、運(yùn)算速度較慢，將其應(yīng)用于動態(tài)場景之中很難滿足實(shí)時性的要求.基于顯著性分布圖的視覺注意模型[4]充分考慮了輸入圖像的多尺度多通道特征,但該模型存在一個目標(biāo)被分成多個目標(biāo)的不足.隨著生物學(xué)、神經(jīng)學(xué)及計(jì)算機(jī)科學(xué)等領(lǐng)域?qū)θ祟愐曈X特性的研究與探索，脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Networks，PCNN）以其獨(dú)有的生物特性受到越來越多學(xué)者的關(guān)注[5]，被譽(yù)為“第三代神經(jīng)網(wǎng)絡(luò)”，但PCNN模型由于不具有尺度性和方向性，使其自適應(yīng)分割圖像的能力受到限制.針對運(yùn)動車輛圖像中感興趣目標(biāo)的分割，本文提出了視覺注意機(jī)制的脈沖耦合神經(jīng)網(wǎng)絡(luò)分割模型（Visual Attention Mechanism Pulse Coupled Neural Networks，VAMPCNN）.該模型將視覺注意機(jī)制中數(shù)據(jù)驅(qū)動模式和任務(wù)驅(qū)動模式進(jìn)行了很好地結(jié)合，數(shù)據(jù)驅(qū)動模式實(shí)現(xiàn)PCNN模型的優(yōu)化，使PCNN模型具有了尺度性和方向性.任務(wù)驅(qū)動模式通過對多尺度分割結(jié)果中目標(biāo)特征尺度和最佳尺度的確定，將車牌從運(yùn)動車輛圖像中分割出來.

2 優(yōu)化PCNN模型

Johnson在1999年的研究成果中指出在PCNN模型中存在兩個感受野.一個是連接域感受野，用于整合輸入的已調(diào)制信息；另一個是反饋域感受野，將調(diào)制信息輸入到神經(jīng)元的內(nèi)部電路.如果神經(jīng)元沒有感受野的輸入是不能被激活的[6].反饋域感受野從功能上更符合視皮層細(xì)胞感受野的范疇，而二維Gabor函數(shù)可以很好地模擬視皮層簡單細(xì)胞和復(fù)雜細(xì)胞感受野的空間特性[7].因此，本文利用Gabor函數(shù)代替PCNN模型反饋域中連接矩陣，將方向參數(shù)和尺度參數(shù)引入神經(jīng)元計(jì)算中，從而使PCNN模型具有了方向性和尺度性.優(yōu)化PCNN模型中單個神經(jīng)元結(jié)構(gòu)如圖1所示.

圖1 優(yōu)化PCNN模型神經(jīng)元結(jié)構(gòu)Fig.1 The neurons structure of Optimize PCNN model

優(yōu)化PCNN模型對單個神經(jīng)元工作機(jī)理可描述為

式中 Fij為反饋輸入矩陣；Sij為外部輸入刺激信號矩陣，即圖像矩陣中第i行第j列像素的灰度值；RFijrs表示感受野模型；Skl表示感受野區(qū)域神經(jīng)元的振幅，用區(qū)域內(nèi)神經(jīng)元的歸一化灰度值表示；σx、σy分別為Gaussian包絡(luò)在x和y方向上的標(biāo)準(zhǔn)差，在圖像平面上σx和σy表示感受野尺度的大小，本文實(shí)驗(yàn)中選取四邊形感受野（即σx=σy=σ），可以取3×3, 5×5,9×9等各種尺度；φ=0°表示on-型感受野類型，λ=30，γ=0.5，b=1；θ根據(jù)分割圖像特征選取最優(yōu)方向，θ=0°表示水平方向；Lij為線性連接輸入矩陣中的元素；Wijrs為加權(quán)系數(shù)；Yrs為感受野區(qū)域中神經(jīng)元的激發(fā)狀態(tài)；β為神經(jīng)元突觸間的鏈接強(qiáng)度；Uij為神經(jīng)元內(nèi)部活動項(xiàng)；Eij為神經(jīng)元內(nèi)部活動動態(tài)閾值；αE為衰減時間常數(shù)；Yij為PCNN產(chǎn)生輸出的時序脈沖.

3 感興趣目標(biāo)的特征提取

由于感興趣目標(biāo)總是位于圖像中的某個局部區(qū)域，提取局部區(qū)域的不變性特征有助于判定該局部區(qū)域中是否有感興趣目標(biāo)存在.這就需要在尺度空間分割圖中確定感興趣目標(biāo)的特征尺度，只有在特征尺度上提取的特征點(diǎn)才具有穩(wěn)定的尺度不變性.運(yùn)動車輛圖像中感興趣目標(biāo)為車牌，而車牌屬于剛體，剛體的矩特征具有旋轉(zhuǎn)、縮放和平移不變性，因此本文提出利用組合不變矩特征確定感興趣目標(biāo)的存在，并將符合特征值的區(qū)域定義為感興趣目標(biāo)的特征尺度.

M K Hu于1962年提出不變矩的概念[8]，并將幾何矩用于圖像描述.在離散狀態(tài)下,二維函數(shù)f(m, n)的(p+q)階矩和中心矩的公式如下[9]：

式中 M、N為圖像的大??；xˉ、yˉ表示圖像的重心坐標(biāo)，，p，q=0，1，2，3，….

中心矩僅僅具有平移不變性，歸一化中心矩則可構(gòu)造出同時滿足平移、旋轉(zhuǎn)和比例不變性的不變矩.歸一化中心矩定義為

Hu利用二階和三階中心矩構(gòu)造的7個不變矩,盡管在連續(xù)情況下具有比例不變性，但在離散情況下卻不成立.參考文獻(xiàn)[10]給出了不變矩在離散狀態(tài)下平移不變性和旋轉(zhuǎn)不變性的證明,同時給出了比例變換因子對不變矩的影響.不變矩特征在比例因子ρ變化前后的關(guān)系為

離散狀態(tài)下具有比例因子不變性的組合不變矩特征定義為[11]

圖像灰度熵可以對圖像空域能量分布的不確定性進(jìn)行度量[12].本文提出利用組合不變矩確定出感興趣目標(biāo)特征尺度的基礎(chǔ)上，進(jìn)一步利用灰度熵特征判定感興趣目標(biāo)的最佳尺度.

假設(shè)m×n表示一幅圖像中的局部區(qū)域，則此局部區(qū)域的灰度熵定義為

式中 He表示圖像的局部灰度熵；fij為圖像局部區(qū)域的灰度分布；Sij為圖像局部區(qū)域中點(diǎn)（i，j）處的灰度值.

4 視覺注意機(jī)制脈沖耦合神經(jīng)網(wǎng)絡(luò)模型

針對現(xiàn)有視覺注意模型存在的不足和實(shí)際車輛圖像中車牌占圖像比例小、位置不固定，以及車牌之間大小不一等特點(diǎn)，提出了視覺注意機(jī)制的脈沖耦合神經(jīng)網(wǎng)絡(luò)分割模型（Visual Attention Mechanism Pulse Coupled Neural Networks model，VAMPCNN model).VAMPCNN模型結(jié)構(gòu)如圖2所示.

圖2 VAMPCNN模型結(jié)構(gòu)圖Fig.2 VAMPCNN model structure chart

數(shù)據(jù)驅(qū)動部分接收外部輸入圖像，經(jīng)優(yōu)化PCNN模型產(chǎn)生多尺度的分割結(jié)果.優(yōu)化PCNN模型通過Gabor函數(shù)對脈沖耦合神經(jīng)網(wǎng)絡(luò)感受野結(jié)構(gòu)的完善，加強(qiáng)了神經(jīng)元的耦合特性及連接矩陣取值的自適應(yīng)性，同時也使PCNN模型具有了方向性和尺度性.圖2中的尺度空間由多尺度的分割結(jié)果構(gòu)成，作為任務(wù)驅(qū)動部分的輸入.

任務(wù)驅(qū)動模式用于解決僅憑圖像本身信息難以完成的復(fù)雜任務(wù).在每一尺度的分割結(jié)果中進(jìn)行目標(biāo)搜索，計(jì)算局部組合不變矩特征，如果組合不變矩特征值在預(yù)注意模塊設(shè)置的參考值范圍內(nèi)，此時目標(biāo)所在區(qū)域被定義為目標(biāo)的特征尺度.對確定的每一個目標(biāo)的特征尺度，以像素為單位放大/縮小一定的范圍（本文為10個像素）計(jì)算每一次改變特征尺度后區(qū)域的局部灰度熵特征，選取這些灰度熵特征值中與預(yù)注意參考值最接近的特征值，其所在的區(qū)域作為目標(biāo)的最佳尺度.

5 實(shí)驗(yàn)結(jié)果分析

以真實(shí)路況采集的1 200幅車輛圖像為研究對象，圖3為利用本文提出的VAMPCNN車牌圖像分割方法，在不同尺度空間對車牌目標(biāo)特征尺度和最佳尺度確定的結(jié)果.圖4為最終車牌目標(biāo)的分割結(jié)果.

圖3a(1)～3d(1)分別為車牌目標(biāo)在不同尺度空間中特征尺度的確定.從圖中可以看出，當(dāng) σi=3時，圖中的三個車牌目標(biāo)均被圈出；σi=5時只有中車牌和大車牌被圈出；σi=7，9時只有大車牌被圈出.這說明小尺度的分割對圖像細(xì)節(jié)的保留更完好，大尺度的分割對圖像的輪廓保留更完好.因此，大尺度分割時造成小車牌分割模糊，計(jì)算的不變矩特征與參考值相差很大，因此無法被圈出.圖3a(2)～3d(2)分別為在各自尺度空間目標(biāo)特征尺度確定的基礎(chǔ)上，利用式（14）進(jìn)一步確定車牌目標(biāo)最佳尺度的結(jié)果.

圖3 多尺度空間車牌特征尺度與最佳尺度的選取Fig.3 Select feature scale and optimal scale of the license plate in multi-scale space

圖4 VAMPCNN模型車牌分割結(jié)果圖Fig.4 The license plate segmentation result with VAMPCNN model

圖4為將多尺度空間中目標(biāo)最佳尺度比較后的最終分割結(jié)果，去除了圖像中其他內(nèi)容的干擾，只顯示感興趣目標(biāo).

最終測量精度(Ultimate Measurement Accuracy,UMA)準(zhǔn)則[12]是圍繞圖像分析的最終目標(biāo)——獲得對圖像中目標(biāo)特征值的精確測量而提出的，它通過對目標(biāo)特征值的測量和計(jì)算，根據(jù)其所反映的分割質(zhì)量而對分割算法的性能做出評判.UMA準(zhǔn)則可以突出體現(xiàn)尺度對特征提取的影響，較好地反映VAMPCNN模型分割的質(zhì)量和性能.其表達(dá)式為

式中 Rf代表參考圖像中獲得的原始特征量值，代表分割后的圖像中獲得的實(shí)際特征量值.從式（16）可以看出，UMA實(shí)際上是以目標(biāo)特征Sf為參數(shù)的一組評價準(zhǔn)則，是基于目標(biāo)特征實(shí)際值與測量值的差異來定義的.UMA值越小說明分割質(zhì)量越高或分割效果越好.

值得注意的是，為了描述同樣的目標(biāo)分割效果，UMA計(jì)算中可以選用不同的目標(biāo)特征.本文分別選用組合不變矩特征和局部灰度熵特征分析VAMPCNN模型對車牌圖像的分割效果.

圖5和圖6為選取120幅運(yùn)動車輛圖像的分割結(jié)果利用UMA方法統(tǒng)計(jì)出的分割效果評價圖.

圖5為UMA組合不變矩特征分割結(jié)果評價圖.圖中UMA的測量精度為0.02，越靠近0的方向分割效果越好，因此，越靠近縱軸的樣本數(shù)越多，表明實(shí)驗(yàn)圖像分割的效果越好.從圖5中可以看出，120幅樣本中有31幅的檢測精度在0.02范圍內(nèi)，橫軸向右依次類推，最低的精度也達(dá)到了0.2且只有3個樣本，這說明分割時目標(biāo)特征選取得當(dāng).但特征尺度與目標(biāo)的真實(shí)尺度之間還存在一定的差距，表現(xiàn)為UMA在0.02～0.2之間均有取值，且分布較分散.

圖5 UMA組合不變矩特征分割結(jié)果評價圖Fig.5 The UMA for the combination moment invariant in the segmentation result evaluation

圖6 UMA灰度熵特征分割結(jié)果評價圖Fig.6 The UMA for the gray entropy in the segmentation result evaluation

圖6為在組合不變矩基礎(chǔ)上進(jìn)一步通過灰度熵特征實(shí)現(xiàn)目標(biāo)分割的UMA分割結(jié)果評價圖.從圖中可以看出，經(jīng)過二次特征選取后，目標(biāo)所在區(qū)域的樣本特征值與參考特征值更加接近，120幅樣本中有106幅的檢測精度在0.02范圍內(nèi)，另有極少數(shù)樣本落入0.04～0.06范圍內(nèi)，檢測精度更高，體現(xiàn)了二次特征對目標(biāo)特征提取的作用，同時也說明了本模型對車牌圖像分割具有很高的精度和良好的分割效果.

6 研究結(jié)論

本文提出的車牌圖像分割方法通過對感受野函數(shù)的完善，加強(qiáng)了神經(jīng)元之間的耦合作用，使車牌分割不易受光照的影響.優(yōu)化的PCNN模型建立了基于分割結(jié)果的尺度空間，解決了車牌圖像大小不一的問題，使在所有尺度上分析圖像成為可能.不同尺度空間中目標(biāo)的特征尺度與最佳尺度的確定，簡化了感興趣目標(biāo)的搜索過程，提高了車牌目標(biāo)定位的準(zhǔn)確性.車牌圖像分割結(jié)果經(jīng)UMA準(zhǔn)則評測，具有較好的分割效果，滿足后續(xù)圖像處理的需要.

[1]羅四維.視覺信息認(rèn)知計(jì)算理論[M].北京:科學(xué)出版社, 2010:181-196.[LUO S W.The Perception computing of visual information[M].Beijing:Science Press,2010：181-196.]

[2]Itti L,Koch C.Computational modeling of visual attention [J].Nature Reviews Neuroscience，2001,2(3):100-l12.

[3]Bonaiuto J,Itti L.The use of attention and spatial infor?mation for rapid facial recognition in video[J].Image and Vision Computing,2006,24(6):557-563.

[4]Parikh N,Itti L,Weiland J.Saliency-based image pro?cessing for retinal prostheses[J].Journal of Neural Engi?neering,2010,7(1):1-10.

[5]楊娜,陳后金,李艷鳳,等.PCNN模型耦合參數(shù)的優(yōu)化及車輛圖像分割[J].交通運(yùn)輸系統(tǒng)工程與信息,2012,12 (1):48-54.[YANG N,CHEN H J,LI Y F,et al.Coupled parameter optimization of PCNN model and vehicle im?age segmentation[J].Journal of Transportation Systems Engineering and Information Technology,2012,12(1): 48-54.]

[6]John L,Johnson，Mary Lou Padgett.PCNN models and applications[J].Transactions on Neural Networks,1999, 10(3):480-498.

[7]汪云九,武志華.心靈之窗—視覺研究的進(jìn)展、應(yīng)用與意義[M].北京：科學(xué)出版社,2010:106-114.[WANG Y J,WU Z H.The window of the soul— visual research progress,application and significance[M].Beijing:Sci?ence Press,2010：106-114.]

[8]HU M K.Visual pattern recognition by moment invari? ants[J].IRE Transactions on Information Theory,1962, 8(2):179-187.

[9]楊娜,韓焱.矩在復(fù)雜構(gòu)件射線圖像識別中的應(yīng)用[J].探測與控制學(xué)報(bào),2007,29(4)：42-44.[YANG N,HAN Y.The application of moment features in digital image identification of complex components[J].Journal of De?tection＆Control,2007,29(4):42-44.]

[10]丁明躍,常金玲.不變矩算法研究[J].數(shù)據(jù)采集與處理, 1992,7(1):1-9.[DING M Y,CHANG J L.Research on moment invariants algorithm[J].Journal of Data Acquisi?tion&Processing,1992,7(1):1-9.]

[11]馮占國，徐玉如.基于不變性特征的水下目標(biāo)特征提取[J].哈爾濱工程大學(xué)學(xué)報(bào)，2007,28(12):1343-1347．[FENG Z G,XU Y R.Underwater target feature extrac?tion based on invariant features[J].Journal of Harbin En?gineering University，2007,28(12):1343-1347.]

[12]劉勍.基于脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像處理若干問題研究[D].西安電子科技大學(xué),2011：70-77.[LIU J.Re?search on several issues about image processing based on pulse coupled neural networks[D].Xidian University, 2011:70-77.]

A Segmentation Method of License Plate Image Based on PCNN Model with Visual Attention Mechanism

YANG Na1,2，CHEN Hou-jin3，CHEN Yi-qiang2
(1.Shanxi Key Laboratory of Signal Capturing&Processing,North University of China，Taiyuan 030051,China；2.Institute of Computing Technology，ChineseAcademy of Sciences，Beijing 100190；3.School of Electronic Information Engineering，Beijing Jiaotong University，Beijing 100044，China)

In the vehicle image,the license plate bares the characteristics of small proportion,random position,different sizes and sensitive to light in segmentation.The segmentation of license plate image has always been one of the urgent problems in vehicle tracking and identification fields.In view of this,this paper proposes a segmentation method for license plate image based on pulse coupled neural networks model with visual attention mechanism.The method combines data driven pattern and task driven pattern of visual attention mechanism.In the data driven pattern,the receptive field function of PCNN model is optimized,resulting in scale and orientation.In task driven pattern,the target’s feature scale and optimal scale are adaptively determined using combined invariant moment and local gray entropy.The final segmentation result is produced by comparing feature values at different scales.Experimental results show that the segmentation of license plate image achieves good performance.

information technology；image segmentation；visual attention mechanism；PCNN model；combined invariant moment；local gray entropy

1009-6744（2014）03-0051-07

TP391.9

A

2013-11-20

2014-03-19錄用日期：2014-03-25

國家自然科學(xué)基金資助項(xiàng)目（61271305，61227003）；工信部重大專項(xiàng)子課題（2012zx07205-005-07）；廣東省戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展專項(xiàng)資金支持項(xiàng)目（2011912030）.

楊娜（1977-），女，山西長治人，博士，博士后.*通訊作者：yangna@ict.ac.cn