萬(wàn) 燕，史琳琳，徐曉濤

（東華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 201620）

基于顏色和紋理特征相結(jié)合的車(chē)牌定位方法

萬(wàn) 燕，史琳琳，徐曉濤

（東華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 201620）

車(chē)牌定位是車(chē)牌自動(dòng)識(shí)別系統(tǒng)中的關(guān)鍵技術(shù).目前多數(shù)的車(chē)牌定位方法考慮車(chē)牌的顏色以及紋理特征，但針對(duì)復(fù)雜背景下的車(chē)牌定位問(wèn)題，其適應(yīng)性不強(qiáng).針對(duì)現(xiàn)實(shí)生活中復(fù)雜背景下的車(chē)牌定位，提出綜合使用紋理信息及顏色信息等多種特征的分層次車(chē)牌快速定位方法.首先在圖像的二值垂直邊緣圖中，利用車(chē)牌區(qū)域的邊緣信息及車(chē)牌的紋理特征進(jìn)行車(chē)牌候選區(qū)域的確定，在降低算法復(fù)雜度的同時(shí)提高了定位精確性，然后結(jié)合先驗(yàn)知識(shí)，運(yùn)用四元數(shù)主成分分析及K－means聚類方法，提取候選區(qū)域圖像特征并分類，最終得到精確車(chē)牌定位.試驗(yàn)證明該方法正確率高、魯棒性強(qiáng)，對(duì)于背景復(fù)雜的車(chē)牌定位具有很強(qiáng)的抗干擾性能，在復(fù)雜的環(huán)境和不同光照條件下實(shí)現(xiàn)車(chē)牌的精確定位.

車(chē)牌定位；四元數(shù)；主成分分析；K－means聚類

車(chē)牌識(shí)別技術(shù)是現(xiàn)代智能交通系統(tǒng)中的一項(xiàng)重要研究課題.車(chē)牌定位是車(chē)牌識(shí)別的關(guān)鍵環(huán)節(jié)，針對(duì)復(fù)雜的圖像背景，如何正確、快速、有效地進(jìn)行車(chē)牌定位，是當(dāng)前車(chē)牌識(shí)別中的重要研究課題.

目前，車(chē)牌定位技術(shù)主要分為兩大類，即基于紋理特征和基于顏色特征的車(chē)牌定位算法.例如，文獻(xiàn)［1］提出用穿過(guò)車(chē)牌區(qū)域水平直線的灰度呈現(xiàn)連續(xù)波峰、波谷、波峰分布這一特征來(lái)進(jìn)行車(chē)牌定位的方法.文獻(xiàn)［2］根據(jù)車(chē)牌圖像字符區(qū)域的縱向紋理特征豐富的特點(diǎn)，提出了基于紋理特征的車(chē)牌定位方法.

由于車(chē)牌多具有顏色，且大多數(shù)與車(chē)輛背景不同，因此，基于顏色特征來(lái)研究車(chē)牌定位是車(chē)牌識(shí)別領(lǐng)域的一種新思路.文獻(xiàn)［3］提出一種采用色彩分割及多級(jí)混合集成分類器的車(chē)牌自動(dòng)識(shí)別方法，這種方法的主要思想是通過(guò)三層前饋網(wǎng)絡(luò)對(duì)具有均勻色度空間的彩色圖像進(jìn)行色彩分割，再利用投影法分割出潛在的各種底色的車(chē)牌區(qū)域.文獻(xiàn)［4］提出的彩色邊緣檢測(cè)算子和彩色邊緣檢測(cè)與區(qū)域生長(zhǎng)相結(jié)合的牌照定位算法.

雖然上述各種車(chē)牌定位方法都具有一定的實(shí)用性和參考價(jià)值，但大多具有局限性.例如，基于彩色圖像的分割對(duì)于車(chē)牌與車(chē)身顏色一致的情況時(shí)，顯然完全失效；基于車(chē)牌紋理特征的方法在復(fù)雜背景下，對(duì)干擾太敏感，尤其是對(duì)車(chē)牌周?chē)能?chē)燈干擾，經(jīng)常會(huì)導(dǎo)致定位不準(zhǔn)確.背景復(fù)雜的車(chē)牌圖片（如圖1所示）不適用于現(xiàn)有車(chē)牌定位算法分析處理.

圖1 背景復(fù)雜的車(chē)牌圖片F(xiàn)ig.1 License plate image of complex background

目前，針對(duì)這些背景復(fù)雜圖像的車(chē)牌定位尚未有一種有效的解決方案，為此，本文提出一種針對(duì)復(fù)雜背景圖像的車(chē)牌定位算法.首先使用Sobel算子對(duì)預(yù)處理后的車(chē)牌圖像進(jìn)行邊緣檢測(cè)；然后運(yùn)用行掃描法將邊緣檢測(cè)圖像中的水平跳變點(diǎn)連接成線，提取車(chē)牌的候選區(qū)域；之后將候選區(qū)域圖像作為輸入圖像，并對(duì)其做歸一化處理，歸一化至尺寸為192像素×128像素，利用四元數(shù)描述彩色輸入圖像，并利用主成分分析方法提取圖像特征，構(gòu)建特征空間，降維并提取用于分類識(shí)別的特征參數(shù)；隨后根據(jù)提取的特征參數(shù)，采用K－means聚類方法對(duì)像素進(jìn)行分類，并將具有某一類圖像特征的像素迭代合并至理想簇；最后根據(jù)先驗(yàn)知識(shí)，對(duì)分類結(jié)果進(jìn)行再定位，得到精確車(chē)牌.本文算法的大致流程如圖2所示.

圖2 車(chē)牌定位流程圖Fig.2 Flow chart of license plate location

1 基于顏色和紋理特征相結(jié)合的車(chē)牌定位方法

1.1 設(shè)計(jì)思想

本文采用基于灰度圖像紋理特征的方法進(jìn)行候選區(qū)域的定位.在預(yù)處理的基礎(chǔ)上，使用Sobel垂直邊緣檢測(cè)算子提取圖像的垂直邊緣，再將行掃描技術(shù)與閾值法結(jié)合，實(shí)現(xiàn)對(duì)候選區(qū)域的選取.對(duì)圖1進(jìn)行基于紋理特征處理后的結(jié)果如圖3所示.

圖3 基于紋理特征處理后的車(chē)牌圖片F(xiàn)ig.3 License plate image processing based on texture features

對(duì)車(chē)牌、車(chē)身同色的情況，基于灰度紋理特征處理的方法具有速度快、定位準(zhǔn)的優(yōu)勢(shì)，如圖3（a）所示.但是對(duì)于車(chē)牌周邊有車(chē)燈影響的情況，灰度紋理特征無(wú)法排除其干擾，如圖3（b）所示，此時(shí)采用顏色特征進(jìn)行精確定位的處理效果較好.

對(duì)于彩色圖像，目前尚未有較為成熟的描述顏色模型的方法，常規(guī)方法為將彩色圖像的每個(gè)像素用RGB（紅綠藍(lán)）三原色表示，對(duì)R，G，B這3種顏色通道對(duì)應(yīng)的矩陣分別進(jìn)行處理.但是彩色圖像不是單純意義下的3個(gè)不同意義灰度圖像矩陣的疊加，R，G，B這3種顏色有著一定的制約關(guān)系.R，G，B這3種顏色被分割開(kāi)來(lái)分別處理，會(huì)影響圖像處理的最終結(jié)果［5］.另外一種常用方法是將RGB顏色模型轉(zhuǎn)化為HSI顏色模型，其中H分量表示色彩信息，根據(jù)H分量的值來(lái)判定該像素點(diǎn)的色彩.以判斷藍(lán)色為例，藍(lán)色象素點(diǎn)的H分量的數(shù)值一般在200～240之間，但試驗(yàn)證明根據(jù)這種方法來(lái)進(jìn)行車(chē)牌顏色判斷的效果很不好.因此，本文引入四元數(shù)代數(shù)方法描述彩色模型.

1.2 候選區(qū)域定位

選取候選區(qū)域的目的是對(duì)原始輸入圖像進(jìn)行快速處理，將可能是車(chē)牌的圖像區(qū)域提取出來(lái)，進(jìn)行下一步的判定，從而減少系統(tǒng)的運(yùn)算時(shí)間以及非目標(biāo)區(qū)域的干擾.由于拍攝到的圖像不可避免地受到復(fù)雜背景和成像條件（如天氣惡劣、光照不均、亮度不均和對(duì)焦不準(zhǔn)等問(wèn)題）的影響，因此，在候選區(qū)域提取之前需要對(duì)原始圖像進(jìn)行預(yù)處理.

將輸入的原圖像（圖4（a））轉(zhuǎn)變?yōu)榛叶葓D像，然后進(jìn)行降噪處理.對(duì)于車(chē)牌區(qū)域而言，垂直邊緣是其最穩(wěn)定的結(jié)構(gòu)特征，因此，本文在去噪的基礎(chǔ)上，使用Sobel垂直邊緣檢測(cè)算子提取圖像的垂直邊緣，得到邊緣提取圖（圖4（b））.將行掃描技術(shù)與閾值法結(jié)合，根據(jù)車(chē)牌先驗(yàn)知識(shí)，對(duì)邊緣圖進(jìn)行連線處理，得到連線結(jié)果（圖4（c））.將連線結(jié)果返回原圖，得到包含車(chē)牌在內(nèi)的彩色圖像，實(shí)現(xiàn)對(duì)候選區(qū)域的提?。▓D4（d））.

圖4 候選區(qū)域定位分步效果圖Fig.4 Step renderings of candidate region positioning

由圖4可知，因車(chē)牌兩邊有車(chē)燈干擾，車(chē)牌周邊存在紋理豐富的非車(chē)牌區(qū)域，導(dǎo)致候選區(qū)域定位的結(jié)果并不精確.

1.3 精確車(chē)牌定位

1.3.1 四元數(shù)簡(jiǎn)介

1996年，文獻(xiàn)［6］首次提出彩色圖像的四元數(shù)模型.彩色圖像的每個(gè)像素都可視為一個(gè)實(shí)部qr＝0的純四元數(shù)，那么一幅RGB彩色空間的圖像就可以用一個(gè)四元數(shù)矩陣來(lái)表示.這樣處理彩色圖像時(shí)，R，G，B這3種顏色不必再被分割在每個(gè)顏色通道獨(dú)立處理，而是可以作為一個(gè)統(tǒng)一的整體來(lái)處理.

四元數(shù)q是四維空間中的數(shù)，它包含1個(gè)實(shí)部qr和3個(gè)虛部qi、qj和qk，記這個(gè)四維空間的基為｛1，i，j，k｝，則四元數(shù)q可以表示為q＝qr＋qii＋qjj＋qkk，其中qr，qi，qj和qk為4個(gè)實(shí)數(shù)，基元i，j，k是3個(gè)正交的虛單位并滿足下面的運(yùn)算規(guī)則：

當(dāng)實(shí)部qr＝0時(shí)，稱q為純虛四元數(shù)（pure quaternion）.記Re（q）＝qr表示q的實(shí)部，每個(gè)四元數(shù)q都是1，i，j和k的線性組合［7－13］.對(duì)于彩色圖像而言，由于它包含3個(gè)部分，很自然地可以用四元數(shù)來(lái)表示，特別的一個(gè)RGB彩色圖像f（x，y）可以使用如下四元數(shù)表示：

式中：fR（x，y），fG（x，y），fB（x，y）是f（x，y）的 R，G，B 3個(gè)分量，fcom（x，y）為附加信息，此處可令fcom（x，y）＝0.

1.3.2 四元數(shù)主成分分析方法

主成分分析法（Principal Component Analysis，PCA）可用來(lái)進(jìn)行特征提取，能夠在降低特征空間維數(shù)的同時(shí)，充分保留信息，獲取互不相關(guān)的特征.如果采用最大特征值對(duì)應(yīng)的特征矢量組成變換矩陣，則能對(duì)應(yīng)地保留原模式中方差最大的特征成分，起到減少相關(guān)性、突出差異性的效果.

對(duì)于PCA算法，特征值越大，所對(duì)應(yīng)的特征矢量累計(jì)的方差就越大，即對(duì)變換矩陣中的貢獻(xiàn)度越大.為了降低算法的復(fù)雜度，提高效率，將求得的特征值λk，k＝1，…，l從小到大進(jìn)行排序，選擇前m個(gè)特征值對(duì)應(yīng)的特征矢量用于特征空間投影.考慮到本系統(tǒng)中，PCA算法是對(duì)車(chē)牌圖像進(jìn)行精定位，如果m值取得較大，則不能有很好的降維效果，并且置信區(qū)間也較大；反之，則會(huì)丟失過(guò)多的圖像特征，所以m值取為64.特征提取步驟如下所述.

（1）對(duì)于需要進(jìn)行特征提取的車(chē)牌候選區(qū)域圖像，將每一個(gè)抽樣圖像fi（x，y）用一個(gè)N2維的矢量xi來(lái)表示：xi＝（xi1，xi2，…，xij，…，xiN2），其中xij定義為矢量xi的第j分量，構(gòu)成此矢量的一個(gè)方法是將xi的第一組N個(gè)分量放置為fi（x，y）的第一行，即：

第二組N個(gè)分量放置為第二行，依此順序排列.用x表示某一抽樣圖像，則x的協(xié)方差矩陣Cx及均值mx分別如式（1）和（2）所示.

式中：E為數(shù)學(xué)期望.式（1）和（2）可用平均值近似表示，如式（3）和（4）所示.

其中：mx是大小為N2×1的矩陣，而Cx是大小為N2×N2的矩陣，M為樣本數(shù).

（2）設(shè)λi，ei（i＝1，2，…，N2）分別是Cx的特征值及相應(yīng)的特征矢量，為方便起見(jiàn)，假定特征值是按遞減次序排列的，即λ1≥λ2≥…≥λN2，這樣就可以得到一個(gè)由Cx的特征矢量構(gòu)成的矩陣A：

式中：eij是第i個(gè)特征矢量的j分量.于是主成份分析又可簡(jiǎn)單地表示為用A乘圖像矢量（x－mx），得到一個(gè)新的圖像矢量Y，即Y＝A（x－mx）.

本文主要用基于四元數(shù)的主成分分析方法來(lái)進(jìn)行特征提取，特征提取的結(jié)果即圖像附加信息及R，G，B 3個(gè)分量的特征圖像.

1.3.3 K－means聚類及結(jié)果

K－means是一種迭代式無(wú)監(jiān)督的學(xué)習(xí)算法，給定n個(gè)對(duì)象和一個(gè)聚類數(shù)目的變量k，該算法將這些對(duì)象聚為k類.通常將每個(gè)矢量對(duì)象映射為歐氏空間里的一個(gè)點(diǎn)，隨機(jī)選擇k個(gè)對(duì)象，每個(gè)對(duì)象代表一個(gè)聚類的質(zhì)心.對(duì)于其余的每一個(gè)對(duì)象，根據(jù)該對(duì)象與各聚類質(zhì)心之間的距離，把它分配到與之相似的聚類中，距離越近越相似［14］.K－means的分類任務(wù)是以目標(biāo)函數(shù)取得最小值為目的，目標(biāo)函數(shù)如式（6）所示.

最初由四元數(shù)主成份分析（QPCA）訓(xùn)練后期確定15個(gè)初始聚類中心點(diǎn)，然后根據(jù)其他對(duì)象與這些聚類中心的相似度（距離），分別將它們分配給與其最相似的（聚類中心所代表的）聚類，然后再計(jì)算每個(gè)所獲新聚類的聚類中心，不斷重復(fù)這一過(guò)程直到目標(biāo)函數(shù)收斂為止，最終得到15個(gè)不再發(fā)生變化的聚類；對(duì)于得到的15個(gè)聚類，將距離小于規(guī)定閾值的歸為一類，此時(shí)確定14個(gè)初始聚類中心點(diǎn)的位置，即k＝14，重新計(jì)算每個(gè)有變化的聚類的均值，以此類推.k的取值為3～15.由試驗(yàn)結(jié)果可知，當(dāng)k＝4時(shí)，效果最佳.K－means聚類中間結(jié)果如圖5所示.

圖5 K－means聚類中間結(jié)果Fig.5 The intermediate results of K－means clustering

雖然聚類算法是基于圖像的顏色特征，但是并不判斷車(chē)牌顏色，而是根據(jù)車(chē)牌區(qū)域與干擾區(qū)域具有不同顏色特征的特點(diǎn)，把具有某一類顏色特征的區(qū)域聚為一類，從而實(shí)現(xiàn)車(chē)牌與周邊干擾區(qū)域的分離.K－means是一種無(wú)監(jiān)督的局部最優(yōu)性算法，可以根據(jù)需要反復(fù)分割，直至取得最好的效果.1.3.4 車(chē)牌精確定位

精確定位是將車(chē)牌與周邊干擾區(qū)域分離并提取車(chē)牌，由車(chē)牌長(zhǎng)寬比、車(chē)牌形狀特征、車(chē)牌區(qū)域的灰度分布特征等，可輕易將車(chē)牌與干擾區(qū)域分離并最終提取車(chē)牌.精確定位結(jié)果如圖6所示.

圖6 精確定位中間結(jié)果Fig.6 The intermediate results of precise positioning

2 試驗(yàn)結(jié)果分析

為了驗(yàn)證算法的有效性，分別對(duì)300張公路抓取的晴朗天氣下普通車(chē)牌圖像、300張光照不均的交通路口抓取的車(chē)牌圖像以及300張夜晚拍攝的路面車(chē)牌圖像，采用本文算法進(jìn)行車(chē)牌定位，輸入圖像大小為720像素×288像素，其中復(fù)雜背景包括文字、柵欄、車(chē)燈等情況，試驗(yàn)結(jié)果如表1所示.由表1可知，本文算法能有效地提取車(chē)牌，平均定位準(zhǔn)確率達(dá)到97.78%.

表1 試驗(yàn)結(jié)果分析表Table 1 The analysis table of experiment results

部分測(cè)試結(jié)果如圖7所示，其中，第1和2行是針對(duì)不同藍(lán)色車(chē)牌的定位結(jié)果；第3，4，5，6行分別為夜晚燈光干擾、圖像背景干擾（柵欄）、車(chē)牌與車(chē)身一色、車(chē)身背景干擾（文字）條件下的車(chē)牌定位效果.

圖7 多種條件下車(chē)牌提取試驗(yàn)結(jié)果Fig.7 License plate extraction experiment results under multiple conditions

3 結(jié) 語(yǔ)

針對(duì)車(chē)牌定位研究中的難點(diǎn)，本文提出將車(chē)牌顏色與紋理特征相結(jié)合的車(chē)牌定位方法.根據(jù)車(chē)牌區(qū)域紋理豐富的特征，提取出所有可能的候選車(chē)牌區(qū)域，去除了大量的非車(chē)牌區(qū)域，加快了車(chē)牌定位算法的運(yùn)行速度；然后根據(jù)大量樣本生成基于四元數(shù)及主成分分析特征的K－means聚類方法，剔除候選車(chē)牌區(qū)域中的偽區(qū)域，得到定位準(zhǔn)確的車(chē)牌.該算法綜合了基于紋理特征的車(chē)牌定位算法速度快以及QPCA和K－means聚類方法的檢測(cè)率高和定位精確的優(yōu)勢(shì)，是一類性能較好的車(chē)牌定位算法.車(chē)牌自動(dòng)識(shí)別中，一個(gè)有效的輸入對(duì)得到理想的識(shí)別結(jié)果顯得尤為重要，因此，通過(guò)本文算法得到的完整、清晰的車(chē)牌，為后續(xù)車(chē)牌字符分析、識(shí)別提供良好的基礎(chǔ).由于K－means是迭代式聚類算法，所以本文方法的實(shí)時(shí)性不高，如何提高效率是亟待解決的問(wèn)題.

參 考 文 獻(xiàn)

［1］BARROSO J， RAFEL A. Number plate reading using computer vision［C］／／Proceedings of the IEEE International Symposium on Industrial Electronics.1997：76l－766.

［2］穆長(zhǎng)江，苑瑋琪.基于紋理特征的車(chē)牌定位方法 ［J］.控制工程，2004，11（6）：574－576.

［3］趙雪春，戚飛虎.基于彩色分割的車(chē)牌自動(dòng)識(shí)別技術(shù)［J］.上海交通大學(xué)學(xué)報(bào)，1988，32（10）：4－9.

［4］張引，潘云鶴.彩色汽車(chē)圖像牌照定位新方法［J］.中國(guó)圖象圖形學(xué)報(bào)：A版，2001，6（4）：374－377.

［5］PLATANIONTIS K N，VENETSANOPOULOS A N.Color image processing and applications［M］.Berlin：Springer，2000：179－181.

［6］PEI S C，CHENG C M.Novel block truncation coding of color images using aquaternion moment preserving principle［J］.IEEE Transactions on Communications，1997，45（5）：583－595.

［7］HAMILTON W R.Elements of quaternions［M］.Boston：Ginn＆Company，1887：103－157.

［8］SANGWINE S J. Colour image edge detector based on quaternion convolution［J］.Electronics Letters，1998，34（10）：969－971.

［9］CAI C H，MITRA S K.A normalized color difference edge detector based on quaternion representation［C］／／Proceedings of the IEEE International Conference on Image Processing.Vancouver，BC，Canada，2000：816－819.

［10］BAS P，LE BIHAN N，CHASSERY J M.Color image watermarking using quaternion Fourier transform ［C］／／Proceedings of the IEEE International Conference on Acoustics，Speech，and Signal Processing.Hong Kong，China，2003：521－525.

［11］SHI L L，F(xiàn)UNT B.Quaternion color texture segmentation［J］.Computer Vision and Image Understanding，2007，107（1／2）：88－96.

［12］FAREBROTHER R W，GROB J，TROSCHKE S O.Matrix representation of quaternions［J］.Linear Algebra and Its Applications，2003，362（15）：251－255.

［13］金良海.彩色圖像濾波與基于四元數(shù)的彩色圖像處理方法［D］.武漢：華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，2008：112－125.

［14］王海姣.顏色信息在車(chē)牌識(shí)別中的應(yīng)用研究［D］.大連：遼寧師范大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院，2008：28－29.

The Method of License Plate Location Based on Color and Texture Analysis

WANYan，SHILin－lin，XUXiao－tao
（School of Computer Science and Technology，Donghua University，Shanghai 201620，China）

License plate location is the key technology of license plate recognition.At present license plate color and texture feature were considered in the most license plate location methods，however，these methods had weak adaptability in different environment.So，a new algorithm for license plate location in complex backgrounds is proposed.This algorithm makes full use of the color，texture and geometric characteristics.Firstly the edge information and the texture features of license plate region are used to identify the candidate plates.The complexity of the algorithm is reduced and the accuracy of positioning is also improved.Then combined with prior knowledge，quaternion principal component analysis and K－means clustering method are used to extract features from the candidate area and to classify image by the features，the precise plate is got eventually.This method is proved effective with high speed and accuracy.In particular，it has strong robust performance for complex backgrounds images in complex environments and different lighting conditions.

license plate location；quaternion；principal component analysis；K－means clustering

TP 391.41

A

1671－0444（2013）01－0111－06

2011－09－18

中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目（B07－3）

萬(wàn) 燕（1970—），女，湖北黃岡人，副教授，博士，研究方向?yàn)閿?shù)字圖像處理.E－mail：winniewan＠dhu.edu.cn