陳存弟, 劉金清, 劉 引, 蔡淑寬, 何世強(qiáng), 周曉童, 鄧淑敏, 吳慶祥

(福建師范大學(xué) 光電與信息工程學(xué)院 醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 福州 350007)通訊作者: 劉金清, E-mail: jqliu8208@fjnu.edu.cn

基于DM642的紋理檢測(cè)與Adaboost分類(lèi)器相結(jié)合的車(chē)牌定位①

陳存弟, 劉金清, 劉 引, 蔡淑寬, 何世強(qiáng), 周曉童, 鄧淑敏, 吳慶祥

(福建師范大學(xué) 光電與信息工程學(xué)院 醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 福州 350007)通訊作者: 劉金清, E-mail: jqliu8208@fjnu.edu.cn

智能交通系統(tǒng)(Intelligent Transportation System, 簡(jiǎn)稱(chēng)ITS)是一種實(shí)時(shí)、準(zhǔn)確、高效的綜合交通運(yùn)輸管理系統(tǒng), 而車(chē)牌識(shí)別(License Plate Recognition LPR)技術(shù)是智能交通系統(tǒng)的關(guān)鍵技術(shù)之一. 為了在嵌入式系統(tǒng)中實(shí)現(xiàn)車(chē)牌的實(shí)時(shí)檢測(cè), 研究了基于TMS320DM642的車(chē)牌檢測(cè)、定位與識(shí)別技術(shù). 本文提出一種基于紋理檢測(cè)和Adaboost分類(lèi)器相結(jié)合的車(chē)牌定位算法, 針對(duì)該算法與DM642的結(jié)合進(jìn)行了系統(tǒng)設(shè)計(jì), 并且基于EMCV與Opencv圖像處理庫(kù)進(jìn)行了代碼移植. 該系統(tǒng)很好的避免了單獨(dú)紋理檢測(cè)的定位無(wú)方向性和單獨(dú)Adaboost分類(lèi)的定位不完整性的缺點(diǎn), 較好的提高了定位準(zhǔn)確率, 且定位后的車(chē)牌圖像能夠基于TCP協(xié)議發(fā)送到PC服務(wù)器, 實(shí)現(xiàn)遠(yuǎn)程的車(chē)輛車(chē)牌的定位和監(jiān)控.

TMS320DM642; 紋理檢測(cè); Adaboost分類(lèi); EMCV; Opencv

車(chē)牌識(shí)別系統(tǒng)分為車(chē)牌定位、字符分割和字符識(shí)別三個(gè)部分, 其中車(chē)牌定位的準(zhǔn)確率直接影響后續(xù)的識(shí)別. 為了提高車(chē)牌定位的速度和準(zhǔn)確性, 國(guó)內(nèi)提出了相關(guān)的車(chē)牌定位算法, 如基于車(chē)牌紋理特征[1-7], 車(chē)牌顏色[2,4,8], 車(chē)牌固有特征分類(lèi)[8,9], 數(shù)學(xué)形態(tài)學(xué)[10]等方法.

根據(jù)車(chē)牌固有的紋理特性, 本文提出一種基于紋理檢測(cè)和Adaboost[11]分類(lèi)器相結(jié)合的方法實(shí)現(xiàn)車(chē)牌定位, 其中紋理檢測(cè)過(guò)程中結(jié)合圖像形態(tài)學(xué)處理實(shí)現(xiàn)車(chē)牌的粗定位, 而Adaboost分類(lèi)器是繼紋理檢測(cè)后的多個(gè)粗定位區(qū)域篩選出真正存在的車(chē)牌. 最后借助EMCV和Opencv庫(kù)實(shí)現(xiàn)車(chē)牌定位算法在DM642的移植, 并以DM642平臺(tái)為客戶(hù)端, PC為服務(wù)器, 將車(chē)牌定位后的車(chē)牌圖像以幀方式傳向服務(wù)器.

1 基于紋理檢測(cè)的車(chē)牌

盡管車(chē)牌背景復(fù)雜多變, 但是標(biāo)準(zhǔn)車(chē)牌中的7個(gè)字符排布具有不變性, 絕大部分車(chē)牌的圖像經(jīng)邊緣提取后都能清晰的看到車(chē)牌字符的紋理特性, 而且邊緣提取后的紋理相對(duì)比較密集, 字符與字符之間的間隙有規(guī)律可尋, 依據(jù)該特性能夠?yàn)V除邊緣提取后絕大多數(shù)的偽車(chē)牌區(qū)域的白像素, 結(jié)合形態(tài)學(xué)處理獲取各個(gè)粗定位車(chē)牌區(qū)域的連通域, 根據(jù)車(chē)牌的長(zhǎng)寬比等固定特性進(jìn)一步濾除大部分的偽車(chē)牌區(qū)域. 本文使用的邊緣提取算法是基于Canny算子.

如圖1所示, 紋理檢測(cè)的具體步驟:

(1) 對(duì)灰度化后的車(chē)牌圖像進(jìn)行Canny邊緣檢測(cè).

(2) 去除圖像中由白像素連接的橫長(zhǎng)直線(xiàn). 因?yàn)檫吘壧崛『蟮能?chē)牌區(qū)域中的字符極少會(huì)含有連續(xù)的橫長(zhǎng)直線(xiàn). 本文算法中規(guī)定的橫長(zhǎng)直線(xiàn)定義為連續(xù)的15個(gè)像素, 如果找到則將圖像中的整行白像素置0.

(3) 針對(duì)行像素, 連接有可能的車(chē)牌區(qū)域的橫直線(xiàn).步驟(2)結(jié)束后, 圖像中剩下的點(diǎn)都是散布的白像素, 其中車(chē)牌區(qū)域的密度最大. 這一步, 設(shè)置整幅圖像每?jī)牲c(diǎn)不相連白像素允許的最大跳變距離Tmax, 還設(shè)置不相連的多個(gè)兩點(diǎn)允許的跳變個(gè)數(shù)為Hmin. 目的是將在同一行中兩點(diǎn)小于Tmax并且跳變數(shù)大于Hmin的初始位置連接起來(lái). 關(guān)于Tmax的設(shè)置, 由于在一張具有背景的圖片中,車(chē)牌區(qū)域只是鑲嵌在圖像中的極小部分, 而且標(biāo)準(zhǔn)車(chē)牌都有7個(gè)字符, 每個(gè)字符都有相應(yīng)的筆畫(huà), 這使得跳變間隔允許設(shè)置的非常小, 在定位過(guò)程中, 只需根據(jù)特定的車(chē)牌識(shí)別場(chǎng)所, 通過(guò)先驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)來(lái)調(diào)整Tmax即可得到更好的設(shè)置值. 關(guān)于Hmin的設(shè)置, 車(chē)牌經(jīng)Canny邊緣提取后, 車(chē)牌區(qū)域每?jī)蓚€(gè)相鄰行跳躍點(diǎn)間距小于Tmax的點(diǎn)數(shù)至少有12個(gè)(考慮到某個(gè)字符筆畫(huà)會(huì)有斷裂現(xiàn)象), 將Hmin設(shè)置為8, 是為了找出滿(mǎn)足跳變點(diǎn)數(shù)大于8的區(qū)域, 即是可能的車(chē)牌區(qū)域, 直到找到大于Tmax的點(diǎn)即記下該終止點(diǎn). 程序?qū)崿F(xiàn)過(guò)程中, 設(shè)置一個(gè)記錄數(shù)組不斷記錄每行的跳躍點(diǎn), 記錄前都要初始化數(shù)組為0. 設(shè)檢測(cè)到的兩個(gè)跳躍間隔為T(mén), 檢測(cè)到跳躍的點(diǎn)數(shù)為H, 若滿(mǎn)足則將始末兩點(diǎn)之間像素置為白像素, 如圖1(d). 本文采集樣本大小為2560*1920, 樣本攝像頭與車(chē)牌相距為1.5m-2m, 為了與DSP板配套的攝像頭分辨率相吻合, PC上模擬定位前將圖像縮小成720*540, 經(jīng)實(shí)驗(yàn)統(tǒng)計(jì), 取值比較合理. 本文設(shè)置的Tmax=30,Hmin=8.

圖1 紋理檢測(cè)圖

(4) 針對(duì)列像素, 連接有可能的車(chē)牌區(qū)域的豎直線(xiàn).同樣設(shè)置每列中兩點(diǎn)不相連白像素允許的最大跳變距離Tmax, 還設(shè)置不相連的多個(gè)兩點(diǎn)允許的跳變個(gè)數(shù)為Hmin. 目的是將在同一列中兩點(diǎn)小于Tmax并且跳變數(shù)大于Hmin的初始位置連接起來(lái), 還消除掉單獨(dú)的長(zhǎng)橫直線(xiàn). 繼步驟(3)后, 車(chē)牌區(qū)域的白色線(xiàn)條已經(jīng)非常密集,上下線(xiàn)條間距基本為1個(gè)像素, 設(shè)置Tmax=10, Hmin=2已經(jīng)完全滿(mǎn)足上下連線(xiàn)要求, 如圖1(e).

(5) 對(duì)預(yù)留下的區(qū)域進(jìn)行形態(tài)學(xué)處理. 對(duì)區(qū)域進(jìn)行適度的膨脹處理, 并消除長(zhǎng)寬比小于3的區(qū)域(一般車(chē)牌長(zhǎng)寬比大于3)和極小與極大的連通區(qū)域.

(6) 將最終連通域?qū)?yīng)的灰度圖像保留下來(lái), 供Adaboost“過(guò)濾”, 因?yàn)榧y理檢測(cè)的無(wú)方向性, 保留下來(lái)的區(qū)域還不能完全確定為車(chē)牌區(qū)域.

2 Adboost分類(lèi)器濾除偽車(chē)牌區(qū)域

Adaboost算法基本思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的分類(lèi)器, 然后把這些弱分類(lèi)器(類(lèi)似于決策樹(shù))集合起來(lái)構(gòu)成強(qiáng)分類(lèi)器. 車(chē)牌定位過(guò)程中使用Adaboost算法挑選出一些能代表車(chē)牌的矩形特征, 按照加權(quán)投票的方式將弱分類(lèi)器構(gòu)造為一個(gè)強(qiáng)分類(lèi)器, 再將訓(xùn)練得到的若干強(qiáng)分類(lèi)器串聯(lián)組成一個(gè)級(jí)聯(lián)結(jié)構(gòu)的分類(lèi)器,能有效地提高分類(lèi)器分類(lèi)的速度.

2.1 Haar-like特征提取[12,13]

如圖2所示, 車(chē)牌提取的特征是用Haar-like特征,分為三類(lèi): 邊緣特征、線(xiàn)性特征、中心特征和對(duì)角特征, 組合成特征模板. 特征模板內(nèi)有白色和黑色兩種矩形, 設(shè)置模板的特征值為白色矩形像素和與黑色矩形像素和之差. Haar-like特征反映車(chē)牌圖像灰度變化情況. 如車(chē)牌字符與車(chē)牌背景, 車(chē)牌背景與車(chē)牌邊框等.由于車(chē)牌中存在大量的水平、垂直和對(duì)角結(jié)構(gòu), 而矩形特征對(duì)邊緣和線(xiàn)段較為敏感, 故能使用于車(chē)牌的特征提取.

2.2 Haar-like特征的計(jì)算-積分圖[12,13]

圖2 Haar-like特征

矩形特征的計(jì)算量非常大, 特別在圖像較大時(shí), 實(shí)時(shí)性要求較高的情況下, 直接提取像素點(diǎn)灰度值再計(jì)算特征值無(wú)法滿(mǎn)足實(shí)時(shí)要求, 故引入積分圖. 積分圖就是只遍歷一次圖像就可以求出圖像中所有區(qū)域像素和的快速算法.

積分圖的構(gòu)造方式是位置(i, j)處的值是原圖像(i,j)左上角方向所有像素的和. 以表示源圖像,I(i,j)表示積分圖.

積分圖構(gòu)造算法:

(3) 逐行掃描圖像, 遞歸計(jì)算每個(gè)像素坐標(biāo)(i, j)中第i行和S(i, j)和積分圖I(i, j).

(4) 如果i還不等于圖像寬度, 則返回(3)繼續(xù)計(jì)算積分圖; 否則圖像積分圖就構(gòu)造好保存在I(i, j)中.

如圖3所示, 積分圖構(gòu)造好后, 圖像中任何矩陣區(qū)域的像素累加和都可以通過(guò)簡(jiǎn)單運(yùn)算得到.

圖3 積分圖

設(shè)A, B, C, D區(qū)域中右下角的坐標(biāo)分別為a, b, c, d.計(jì)算D區(qū)域的像素和

2.3 訓(xùn)練過(guò)程

Adaboost分類(lèi)器算法按規(guī)模和功能來(lái)劃分, 從小到大分為三類(lèi): 弱分類(lèi)器, 強(qiáng)分類(lèi)器和級(jí)聯(lián)分類(lèi)器.

2.3.1 弱分類(lèi)器[13]

最初的弱分類(lèi)器可能只是一個(gè)最基本的Haar-like特征, 計(jì)算輸入圖像的Haar-like特征值和最初的弱分類(lèi)器的特征值比較, 以此來(lái)判斷輸入圖像是不是車(chē)牌. 其準(zhǔn)確率只要大于50%就可以, 這樣對(duì)于每一輪訓(xùn)練過(guò)后, 根據(jù)本輪分類(lèi)器對(duì)所有樣本的分類(lèi)結(jié)果修改每個(gè)樣本的權(quán)重, 使分類(lèi)錯(cuò)誤的權(quán)重增加, 并投入下一輪的訓(xùn)練過(guò)程.

一個(gè)弱分類(lèi)器由下式表示:

其中x表示圖片, fi表示當(dāng)前特征, hj(x)表示弱分類(lèi)器,θj表示閾值, pj=±1指明不等式的方向. 式中fi和θj決定一個(gè)分類(lèi)器, 訓(xùn)練一個(gè)分類(lèi)器, 就是根據(jù)當(dāng)前的權(quán)重分布, 找到一個(gè)最優(yōu)的閾值, 使得這個(gè)弱分類(lèi)器對(duì)所有訓(xùn)練樣本的分類(lèi)誤差和最低. 一個(gè)弱分類(lèi)器僅僅對(duì)應(yīng)一個(gè)特征, 那么每一輪弱分類(lèi)器的訓(xùn)練過(guò)程其實(shí)就是選擇一個(gè)最好的將車(chē)牌樣本和非車(chē)牌分離出來(lái)的矩形特征. 訓(xùn)練時(shí)對(duì)于每一個(gè)特征都要確定一個(gè)最優(yōu)閾值, 使得該閾值對(duì)所有樣本的分類(lèi)效果最好. 每一輪訓(xùn)練過(guò)程都可以得到一個(gè)在當(dāng)前權(quán)重分布下分類(lèi)效果最好的特征, 而該特征所對(duì)應(yīng)的弱分類(lèi)器就是該輪所選出的最優(yōu)弱分類(lèi)器.

訓(xùn)練詳細(xì)過(guò)程[12,13]:

(1) 給定一組車(chē)牌的正負(fù)樣本圖片(f1, g1), (f2,g2)……(fn, gn), 其中fi是待訓(xùn)練的圖片, gi指出該圖片的真?zhèn)涡? 1為車(chē)牌圖像, 0為非車(chē)牌圖像.

(3) 對(duì)于給定的分類(lèi)器數(shù)目Num, for t=1, 2...Num

① 歸一化權(quán)重:

② 對(duì)每一個(gè)特征j訓(xùn)練一個(gè)分類(lèi)器hj(x), 根據(jù)權(quán)重計(jì)算誤差:

③ 選擇誤差最小的弱分類(lèi)器ht.

④ 更新權(quán)重:

當(dāng)樣本fi被正確分類(lèi)時(shí), ei=0, 否則ei=1且

2.3.2 訓(xùn)練強(qiáng)分類(lèi)器[12,13]

Adaboost分類(lèi)器包含許多弱分類(lèi)器, 按照一定的方式將這些弱分類(lèi)器串聯(lián)起來(lái)就形成一個(gè)強(qiáng)分類(lèi)器.經(jīng)過(guò)Num此訓(xùn)練后, 得到Num個(gè)最優(yōu)弱分類(lèi)器. 將這Num個(gè)分類(lèi)器按下列公式組成一個(gè)強(qiáng)分類(lèi)器.

當(dāng)使用這個(gè)強(qiáng)分類(lèi)器進(jìn)行檢測(cè)時(shí), 相當(dāng)于讓該分類(lèi)器中的多個(gè)弱分類(lèi)器篩選, 再對(duì)篩選結(jié)果好的弱分類(lèi)器設(shè)置大的權(quán)重, 篩選結(jié)果差的弱分類(lèi)器設(shè)置較小的權(quán)重, 以此來(lái)達(dá)到好的分類(lèi)效果.

2.3.3 訓(xùn)練級(jí)聯(lián)分類(lèi)器

多個(gè)強(qiáng)分類(lèi)器級(jí)聯(lián)起來(lái)形成一個(gè)級(jí)聯(lián)分類(lèi)器[14],以達(dá)到更高的檢測(cè)速度和更高的誤檢率. 每一級(jí)分類(lèi)器都是一個(gè)強(qiáng)分類(lèi)器, 每一個(gè)強(qiáng)分類(lèi)器都能檢測(cè)出大多數(shù)的車(chē)牌區(qū)域而排除大部分的非車(chē)牌區(qū)域. 這樣在后面的強(qiáng)分類(lèi)器計(jì)算量變少, 因而提高檢測(cè)速率. 具體訓(xùn)練方法[12,14].

2.3.4 訓(xùn)練樣本的制作

訓(xùn)練過(guò)程中, 需要收集正樣本和負(fù)樣本, 正樣本是從含有車(chē)牌的圖像中剪切出來(lái)的子圖, 負(fù)樣本是不包含車(chē)牌的任意背景圖, 最好選擇車(chē)輛背景作為樣本, 無(wú)須歸一化和灰度化. 截取2363張正樣本, 然后歸一化大小為50*14的樣本并灰度化即可. 訓(xùn)練過(guò)程使用opencv庫(kù)中自帶的opencv_haartraining.exe opencv_createsample.exe和convert_cascade.exe文件. 正負(fù)樣本如圖4所示.

圖4 正負(fù)樣本

結(jié)果如圖5所示, 本文定位方法綜合紋理檢測(cè)和Adboost分類(lèi)器方法, 首先紋理檢測(cè)能完整包含車(chē)牌區(qū)域, Adaboost分類(lèi)器能正確區(qū)分出紋理檢測(cè)后子圖的真?zhèn)诬?chē)牌, 起到過(guò)濾作用.

圖5 本文算法車(chē)牌定位圖

3 基于DM642[15]的車(chē)牌檢測(cè)系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)

3.1 系統(tǒng)構(gòu)成

車(chē)牌定位系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn), 本文硬件平臺(tái)選用的是北京瑞泰公司的ICETEK-DM642開(kāi)發(fā)板, 主要用到開(kāi)發(fā)板外圍器件有4路視頻端口, 4M*64_Bit SDRAM, 存儲(chǔ)多達(dá)32幀圖像, 8-32位Flash, 10-100 M以太網(wǎng)口, 板上JTAG仿真接口. 開(kāi)發(fā)環(huán)境是CCS2.2, 編程語(yǔ)言是C/C++語(yǔ)言.

DM642是TI公司C6000系列高性能數(shù)字媒體處理器, 時(shí)鐘頻率高達(dá)720 MHz, 本文設(shè)置時(shí)鐘頻率為600 MHz, 處理能力為4800MIPS. 64個(gè)32_Bit通用寄存器,8個(gè)獨(dú)立功能單元, 6個(gè)算數(shù)邏輯單元(ALU 32/40bit), 每個(gè)單元支持每時(shí)鐘周期32bit算術(shù)操作, 雙16位bit或4個(gè)8bit算數(shù)操作. 兩個(gè)乘法器支持每時(shí)鐘周期4個(gè)16x16的乘法[15].

3.2 車(chē)牌定位硬件系統(tǒng)的設(shè)計(jì)

3.2.1 硬件系統(tǒng)框架設(shè)計(jì)

如圖6所示, 本系統(tǒng)硬件以TMS320DM642為核心,輔以視頻解碼和視頻編碼等外設(shè)芯片. 圖像采集由CCD攝像頭采集大小為720*576的視頻信號(hào), 經(jīng)視頻解碼器A/D轉(zhuǎn)換為YUV信號(hào), 由EDMA搬運(yùn)視頻數(shù)據(jù)交予DM642進(jìn)行相應(yīng)的車(chē)牌定位處理, 處理后得到的定位數(shù)據(jù)和定位車(chē)牌區(qū)域圖像存在SDRAM中, 最后將定位結(jié)果用TCP/IP協(xié)議發(fā)送到PC服務(wù)器, 還傳向LCD實(shí)現(xiàn)回顯功能.

圖6 系統(tǒng)硬件框圖

3.2.2 基于DSP/BIOS的軟件系統(tǒng)框架設(shè)計(jì)

軟件系統(tǒng)框架, 如圖7所示.

圖7 系統(tǒng)軟件框圖

(1) DSP/BIO: 軟件框架的搭建是基于TI公司提供的DSP/BIOS簡(jiǎn)易實(shí)時(shí)嵌入式操作系統(tǒng). 系統(tǒng)基本運(yùn)行機(jī)制類(lèi)似于UCOS-II嵌入式實(shí)時(shí)操作系統(tǒng).

DSP/BIOS可剪裁, 提供諸如任務(wù)調(diào)度和優(yōu)先級(jí)管理、進(jìn)程間通信和存儲(chǔ)器管理等功能. 具有小型化和模塊化的特點(diǎn)使得可以編譯連接到應(yīng)用程序中, 而不是采用獨(dú)立運(yùn)行的方式工作, 可以看做是代碼庫(kù).

(2) Cache分配: DM642片內(nèi)內(nèi)存采用兩級(jí)高速緩存(Cache)結(jié)構(gòu), 程序和數(shù)據(jù)擁有各自獨(dú)立的高速緩存.

片內(nèi)的第一級(jí)程序緩存L1P和數(shù)據(jù)緩存L1D大小都為16K bytes. CPU與L1P和L1D直接相連[12], 因此這兩塊Cache都工作在CPU全速訪(fǎng)問(wèn)狀態(tài). 程序和數(shù)據(jù)共享的第二級(jí)存儲(chǔ)器為L(zhǎng)2, 大小為256Kbytes, L2的分段和大小分配可以由用戶(hù)決定. 本文設(shè)置的二級(jí)緩存128Kbytes作為緩存, 其余的128Kbytes作為程序和數(shù)據(jù)的緩存區(qū).

(3) RF5結(jié)構(gòu)

RF5是一種DSP軟件開(kāi)發(fā)的起步代碼參考框架, 它以DSP/BIOS為基礎(chǔ), 主要實(shí)現(xiàn)三個(gè)功能, 存儲(chǔ)管理, 線(xiàn)程模型和通道封裝, 共有4個(gè)基本數(shù)據(jù)處理部分: 任務(wù)(task)、通道(channel)、單元(cell)和XDAIS算法. 通常一個(gè)任務(wù)中可以包括一個(gè)或多個(gè)通道, 每個(gè)通道中可以包括一個(gè)或多個(gè)單元, 而每個(gè)單元?jiǎng)t封裝有一個(gè)XDAIS算法. 單元封裝XDAIS算法算法的作用在于: 提供算法與外部世界的一個(gè)標(biāo)準(zhǔn)接口, 每個(gè)單元執(zhí)行一個(gè)簡(jiǎn)單的ICELL接口, 通過(guò)該接口執(zhí)行算法. 通道可以執(zhí)行多個(gè)單元, 每個(gè)任務(wù)可以同時(shí)處理多個(gè)通道.

RF5的線(xiàn)程通信依靠SCOM消息和郵箱(MBX), 算法之間的通信基于cell單元. SCOM消息和MBX分別類(lèi)似于UCOS-II的消息隊(duì)列和郵箱. SCOM用于任務(wù)之間交換信息, 有對(duì)應(yīng)的存儲(chǔ)空間實(shí)現(xiàn)信息在任務(wù)間的讀取操作. Cell單元同樣基于數(shù)據(jù)緩存區(qū), 且存在一個(gè)內(nèi)部cell通信對(duì)象, 每個(gè)cell的輸入和輸出隊(duì)列均指向該ICC對(duì)象.

如圖8所示, 車(chē)牌定位系統(tǒng)有4個(gè)主要任務(wù), 每個(gè)任務(wù)都有靜態(tài)緩存區(qū), TSK_process有一個(gè)通道, 通道內(nèi)有一個(gè)cell單元, 存放的是JPEG算法.

圖8 車(chē)牌定位系統(tǒng)的RF5視頻傳輸框架

(4) 視頻采集和顯示驅(qū)動(dòng)能確保攝像頭采集過(guò)來(lái)的圖像數(shù)據(jù)運(yùn)行良好. 通過(guò)對(duì)輸入視頻數(shù)據(jù)的存儲(chǔ)管理, 輸入的視頻數(shù)據(jù)能夠由DM642的Vport口解碼后通過(guò)EDMA存儲(chǔ)到SDRAM中, 這個(gè)過(guò)程通過(guò)輸入視頻接口的設(shè)備驅(qū)動(dòng)程序完成. 在配置輸入視頻接口的設(shè)備驅(qū)動(dòng)程序時(shí), 開(kāi)設(shè)3個(gè)視頻緩存區(qū), 設(shè)備驅(qū)動(dòng)程序管理這些緩沖區(qū)用于實(shí)時(shí)視頻數(shù)據(jù)的采集. 輸出視頻數(shù)據(jù)的存儲(chǔ)管理也需要3個(gè)緩沖區(qū). 初始化是將視頻口驅(qū)動(dòng)程序準(zhǔn)備好, 并從視頻口驅(qū)動(dòng)程序申請(qǐng)一個(gè)輸入緩沖區(qū)和一個(gè)輸出緩沖區(qū); 進(jìn)入主循環(huán)后, 首先通過(guò)DMA調(diào)用將輸入緩沖區(qū)的數(shù)據(jù)讀出、處理, 再將數(shù)據(jù)存儲(chǔ)到輸出緩沖區(qū)中, 然后向視頻口驅(qū)動(dòng)程序切換輸入和輸出緩沖區(qū). 輸入和輸出視頻數(shù)據(jù)的存儲(chǔ)管理是實(shí)際上采用“乒乓”模式.

(5) 一旦BIOS、CSL、DMA、RF5框架結(jié)構(gòu)和視頻驅(qū)動(dòng)初始化完成后, BIOS便調(diào)度程序啟動(dòng)系統(tǒng), 按程序中線(xiàn)程的優(yōu)先級(jí)運(yùn)行各個(gè)任務(wù). 輸入任務(wù)從SDRAM中讀取一幀視頻數(shù)據(jù), 然后通過(guò)SCOM傳給處理任務(wù), 處理任務(wù)接受到視頻數(shù)據(jù)后, 便開(kāi)始運(yùn)行車(chē)牌定位算法. 由于視頻數(shù)據(jù)傳送過(guò)來(lái)的是YUV圖像數(shù)據(jù),Y分量表示的是圖像的亮度圖, 即是灰度圖, 而車(chē)牌定位算法中正好是采用灰度圖進(jìn)行信息提取處理. 經(jīng)過(guò)車(chē)牌定位的紋理檢測(cè)和Adaboost算法處理后, 將定位出來(lái)車(chē)牌區(qū)域圖像編碼經(jīng)JPEG編碼發(fā)送到網(wǎng)絡(luò)任務(wù),同時(shí)將未經(jīng)過(guò)編碼的圖像發(fā)送到輸出任務(wù). 網(wǎng)絡(luò)任務(wù)主要完成TCP/IP協(xié)議的搭建, 通過(guò)socket套接字實(shí)現(xiàn)TCP/IP協(xié)議的接口調(diào)用. TI推出NDK(Network Develop’s Kit)開(kāi)發(fā)套件, 目的是提供一個(gè)完整的TCP/IP功能環(huán)境. 基于NDK模塊, 視頻數(shù)據(jù)得以發(fā)送到基于VS平臺(tái)搭建的PC網(wǎng)絡(luò)服務(wù)器中經(jīng)JPEG解碼后顯示. 輸出任務(wù)接收到視頻數(shù)據(jù)后回顯車(chē)牌區(qū)域的幀圖像.

3.3 系統(tǒng)軟件工具

TI公司的DSP集成開(kāi)發(fā)環(huán)境CCS2.2提供了基于C語(yǔ)言系統(tǒng)的編譯、鏈接和調(diào)試工具, 并能進(jìn)行系統(tǒng)仿真和實(shí)時(shí)跟蹤, 為DSP程序的設(shè)計(jì)和開(kāi)發(fā)提供了極大的方便.

3.4 系統(tǒng)代碼移植

由于CCS平臺(tái)調(diào)試程序需要通過(guò)JTAG將代碼下載到DM642后才能查看算法運(yùn)行的有效性, 這無(wú)非給調(diào)試帶來(lái)很大的困難, 而且會(huì)花費(fèi)很多時(shí)間在程序下載上, 會(huì)大大降低開(kāi)發(fā)速度. 本文先在PC環(huán)境下, 調(diào)用計(jì)算機(jī)視覺(jué)Opencv函數(shù)庫(kù), 在Visual Studio 2010下仿真實(shí)驗(yàn). 算法的實(shí)驗(yàn)效果達(dá)到預(yù)期的要求后, 便開(kāi)始著手移植到DSP. CCS2.2支持C/C++編程, 而Opencv函數(shù)庫(kù)的源代碼正是開(kāi)源的C/C++代碼, 這無(wú)非給開(kāi)發(fā)帶來(lái)方便. 但是Opencv還不能完全適用于特定的DSP開(kāi)發(fā)環(huán)境, 故有必要對(duì)其進(jìn)行裁剪和優(yōu)化. EMCV是Opencv分離出來(lái)的一個(gè)適合TI DM64x系列DSP上運(yùn)行的計(jì)算機(jī)視覺(jué)庫(kù), 提供了跟Opencv完全一致的函數(shù)接口, 移植EMCV能夠把Opencv中少量的算法移植到DSP, 但是在車(chē)牌定位過(guò)程中使用到Canny邊沿檢測(cè)算法, 圖像的縮小放大(Resize)算法和Adaboost算法等, 這些算法在EMCV庫(kù)中并不帶有, 因此在移植EMCV后還要在Opencv中裁剪出EMCV中沒(méi)有的算法. 本文使用的是Opencv1.0版本結(jié)合EMCV移植到DSP, 最后裁剪出來(lái)車(chē)牌定位真正需要的算法, 這樣就能大大降低程序的代碼量.

在程序移植過(guò)程中, 由于車(chē)牌定位采用的Adaboost分類(lèi)器文件是.xml格式文件, 在CCS中無(wú)法讀取該文件, 因此本文讀取分類(lèi)器的方式改為讀取.txt文件. 移植后, 讀取Adaboost分類(lèi)器使用cvLoadHaar ClassifierCascade()函數(shù), 檢測(cè)車(chē)牌區(qū)域使用cvHaarDetect Objects()函數(shù).

4 系統(tǒng)優(yōu)化

由于系統(tǒng)實(shí)時(shí)性要求特別高, 因此需要針對(duì)DM642的硬件特性對(duì)算法和配置進(jìn)行相應(yīng)的優(yōu)化. 本文首先將EMCV庫(kù)和Opencv庫(kù)文件的C++文件改為C文件, 然后主要針對(duì)C語(yǔ)言和CCS提供的編譯器優(yōu)化選項(xiàng)進(jìn)行優(yōu)化, 方法如下:

(1) 浮點(diǎn)轉(zhuǎn)定點(diǎn)運(yùn)算[12,16]: 由于DM642是定點(diǎn)型DSP, 將程序中的浮點(diǎn)運(yùn)算轉(zhuǎn)為定點(diǎn)運(yùn)算后, 程序運(yùn)行速度大大提高.

(2) EDMA搬移視頻數(shù)據(jù)[12]: EMCV可以在CPU不參與的情況下完成數(shù)據(jù)的復(fù)制.

(3) 使用內(nèi)聯(lián)函數(shù)[12]: 頻繁的函數(shù)調(diào)用將導(dǎo)致系統(tǒng)額外開(kāi)銷(xiāo)的增多, 將一些功能簡(jiǎn)單的函數(shù)寫(xiě)成內(nèi)聯(lián)函數(shù)能大大增加系統(tǒng)運(yùn)行速度.

(4) 使用編譯器選項(xiàng)進(jìn)行優(yōu)化[12,17]: 在編譯器中提供了若干等級(jí)和種類(lèi)的自動(dòng)優(yōu)化選項(xiàng).

●-O3: 表示可得到的最好程度的優(yōu)化, 編譯器將執(zhí)行各種優(yōu)化循環(huán)的方法, 包括軟件流水、循環(huán)展開(kāi)

●-pm: 聯(lián)合所有源程序文件在程序級(jí)優(yōu)化代碼

本文采用了-O3和-pm優(yōu)化選項(xiàng), 使車(chē)牌定位速度大大提升.

5 算法的比較

(1) 結(jié)果如圖9所示, 單獨(dú)紋理檢測(cè)定位, 由于車(chē)牌背景復(fù)雜多變, 且易受環(huán)境和光照等影響, 難免會(huì)檢測(cè)出多個(gè)誤判的車(chē)牌區(qū)域, 本文將紋理檢測(cè)方法所帶造成的誤判稱(chēng)為無(wú)方向性, 但是優(yōu)點(diǎn)是檢測(cè)出的車(chē)牌區(qū)域中, 能夠包含整體的車(chē)牌, 如圖9(a), 而不會(huì)只檢測(cè)到一部分的車(chē)牌區(qū)域. 帶有偽區(qū)域張數(shù)定義為在車(chē)牌定位過(guò)程中的誤檢區(qū)域, 如圖9(b)單獨(dú)紋理檢測(cè)剪切出的偽區(qū)域.

圖9 單獨(dú)紋理檢測(cè)

(2) 結(jié)果如圖10所示, 如果只單獨(dú)使用Adaboost分類(lèi)器方法, 就有以下缺點(diǎn):

① 雖然Adaboost將強(qiáng)分類(lèi)器級(jí)聯(lián)起來(lái)提高運(yùn)行速度, 但這是相對(duì)于不將強(qiáng)分類(lèi)級(jí)聯(lián)起來(lái)比較的. 一幀720x576的圖像數(shù)據(jù), Adaboost分類(lèi)器檢測(cè)時(shí)大部分的時(shí)間都花在積分圖上, 這勢(shì)必增加檢測(cè)時(shí)間.

② Adaboost分類(lèi)器雖然能夠準(zhǔn)確的識(shí)別某個(gè)區(qū)域有車(chē)牌, 但是有時(shí)候無(wú)法完全把車(chē)牌區(qū)域標(biāo)識(shí)出來(lái), 所以把這樣的定位視為失敗, 也就是說(shuō)會(huì)導(dǎo)致車(chē)牌區(qū)域定位不完整, 這讓接下來(lái)的車(chē)牌分割與識(shí)別順利完成增加難度.

圖10 單獨(dú)Adaboost檢測(cè)

(3) 紋理檢測(cè)和Adaboost算法相結(jié)合

將紋理檢測(cè)得到的包含有車(chē)牌的小部分區(qū)域圖像輸入到Adaboost算法中進(jìn)行過(guò)濾處理, 既能夠克服單獨(dú)Adaboost分類(lèi)的定位區(qū)域不完整性, 而且能夠避免單獨(dú)檢測(cè)的無(wú)方向性, 大大提高了車(chē)牌定位的準(zhǔn)確性.

定位過(guò)程, 紋理檢測(cè)與Adaboost相結(jié)合的方法相對(duì)于單獨(dú)Adaboost方法稍微快, 因?yàn)閱为?dú)Adaboost檢測(cè)需要計(jì)算整幅圖像的卷積圖, 而本文算法只是對(duì)紋理檢測(cè)后的子圖計(jì)算卷積圖, 并且紋理檢測(cè)后的子圖遠(yuǎn)遠(yuǎn)小于原圖. 紋理檢測(cè)與Adaboost相結(jié)合的方法檢測(cè)一幀圖像需要300 ms左右, 而單獨(dú)使用Adaboost算法定位需要400 ms左右. 整個(gè)系統(tǒng)運(yùn)行后, 紋理檢測(cè)與Adaboost相結(jié)合的方法1秒能夠運(yùn)行3-4幀, 而單獨(dú)使用Adaboost算法定位1秒能夠運(yùn)行2-3幀.

6 DM642上檢測(cè)結(jié)果和PC服務(wù)器顯示結(jié)果

車(chē)牌在DM642上檢測(cè)結(jié)果在PC服務(wù)器上和LCD顯示器上顯示, 如圖11所示.

圖11 定位顯示結(jié)果

本文的定位準(zhǔn)確率評(píng)判標(biāo)準(zhǔn): 不僅能夠定位出車(chē)牌位置, 而且定位出來(lái)的矩形區(qū)域必須具有完整性. 定位的準(zhǔn)確率與帶有偽區(qū)域張數(shù)是兩個(gè)獨(dú)立的量, 因?yàn)橛行﹫D像能準(zhǔn)確定位到車(chē)牌卻帶有一些誤檢的子圖,誤檢的子圖可以在車(chē)牌字符分割后得到的字符個(gè)數(shù)來(lái)確定是否是車(chē)牌, 故本文將帶有偽區(qū)域但能正確定位到車(chē)牌的圖像設(shè)為正確定位圖像. 本文在PC機(jī)上模擬定位, 樣本采自福建師范大學(xué)校內(nèi)201張不同場(chǎng)景下的車(chē)牌圖像, 比較本文的定位算法與單獨(dú)使用紋理檢測(cè)方法和單獨(dú)使用Adaboost算法的準(zhǔn)確率, 結(jié)果如表1所示.

表1 實(shí)驗(yàn)結(jié)果比較

本文算法定位方法中錯(cuò)誤定位7張, 其中2張是攝像頭與車(chē)牌間距比較近, 導(dǎo)致紋理檢測(cè)錯(cuò)誤, 進(jìn)而Adaboost分類(lèi)算法無(wú)法過(guò)濾, 5張是車(chē)牌定位有斷裂現(xiàn)象, 如圖12(a). 剩下的194張中有2張定位正確, 但是帶有偽區(qū)域, 是因?yàn)锳daboost分類(lèi)算法誤檢所致, 如圖12(b).

圖12 本文定位斷裂圖(a)和帶偽區(qū)域圖(b)

實(shí)驗(yàn)表明, 紋理檢測(cè)和Adaboost相結(jié)合的方法很好的避免了紋理檢測(cè)的無(wú)方向性和單獨(dú)Adaboost分類(lèi)定位的不完整性, 能大大剔除偽區(qū)域. 單獨(dú)紋理檢測(cè)過(guò)程, 為了能保證車(chē)牌區(qū)域不被濾除, 將檢測(cè)條件設(shè)置稍微寬松, 主要能保證在檢測(cè)到的所有子圖中存在車(chē)牌即可, 但這會(huì)造就帶有的偽區(qū)域張數(shù)特別多(58張), 又由于本文算法是基于紋理檢測(cè)后用A d a b o o s t進(jìn)行過(guò)濾, 故準(zhǔn)確率與單獨(dú)紋理檢測(cè)的準(zhǔn)確率相同, 但非常大的優(yōu)點(diǎn)能把偽區(qū)域張數(shù)剔除. 單獨(dú)Adaboost定位, 雖然能絕大部分定位到車(chē)牌區(qū)域, 但出現(xiàn)車(chē)牌不完整現(xiàn)象很?chē)?yán)重, 導(dǎo)致準(zhǔn)確率降到87.5%, 而且?guī)в?4張偽區(qū)域. 若將帶有偽區(qū)域的圖片視為定位錯(cuò)誤, 完全定位到有192張, 正確率也能達(dá)到95.5%, 而單獨(dú)紋理檢測(cè)和Adaboost定位正確率大大下降.

7 結(jié)束語(yǔ)

本文介紹了基于DM642的車(chē)牌實(shí)時(shí)檢測(cè)系統(tǒng), 雖然本文只實(shí)現(xiàn)了車(chē)牌定位部分, 但是, 整個(gè)系統(tǒng)框架完全適用于車(chē)牌的整個(gè)識(shí)別系統(tǒng). 定位部分提出一種基于車(chē)牌紋理特性檢測(cè)和Adaboost分類(lèi)器相結(jié)合的車(chē)牌定位方法, 該方法相對(duì)于單獨(dú)紋理檢測(cè)和單獨(dú)Adaboost分類(lèi)檢測(cè), 定位準(zhǔn)確率大大提高, 并且保證了車(chē)牌定位的完整性, 并且采用EMCV與Opencv圖像處理庫(kù)方法將代碼移植在DM642上, 使得本定位算法能夠?qū)崿F(xiàn)實(shí)時(shí)定位的效果. 在確保車(chē)牌定位準(zhǔn)確率的情況下, 能為接下來(lái)的車(chē)牌分割和車(chē)牌識(shí)別的順利進(jìn)行提供了保障.

1丁亞男. 基于圖像分解的車(chē)牌定位算法. 電子科技, 2014,27(1): 42–44.

2萬(wàn)燕, 徐勤燕, 黃蒙蒙. 復(fù)雜背景中基于紋理和顏色的車(chē)牌定位研究. 計(jì)算機(jī)應(yīng)用與軟件, 2013, 30(10): 259–262, 316.[doi: 10.3969/j.issn.1000-386x.2013.10.089]

3郭延祥, 陳耀武. 基于邊緣檢測(cè)和顏色紋理直方圖的車(chē)牌定位方法. 計(jì)算機(jī)科學(xué)與探索, 2014, 8(6): 719–726.

4孫紅, 郭凱. 融合字符紋理特征與RGB顏色特征的車(chē)牌定位. 光電工程, 2015, 42(6): 14–19.

5柴曉榮, 劉錦高. 基于紋理分析的精確車(chē)牌定位算法. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2010, 19(2): 160–163.

6穆長(zhǎng)江, 苑瑋琦. 基于紋理特征的車(chē)牌定位方法. 控制工程, 2004, 11(6): 574–576.

7潘勇, 趙佳樂(lè), 徐志剛, 等. 基于紋理特征的低照度環(huán)境下車(chē)牌定位與識(shí)別算法. 公路交通科技, 2015, 32(7): 140–148.

8張曉娜, 何仁, 陳士安, 等. 基于主動(dòng)學(xué)習(xí)Adaboost算法與顏色特征的車(chē)牌定位. 交通運(yùn)輸工程學(xué)報(bào), 2013, 13(1): 121–126.

9曾毅. 遺傳算法在車(chē)牌定位中的應(yīng)用. 福建電腦, 2015, (7):88–90.

10陳佳. 基于形態(tài)學(xué)的車(chē)牌定位方法的研究與應(yīng)用[碩士學(xué)位論文]. 衡陽(yáng): 南華大學(xué), 2015.

11Freund Y, Schapire RE. A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 1997, 55(1): 119–139.

12聶江浩. 基于DM642的人臉檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[碩士學(xué)位論文]. 重慶: 重慶大學(xué), 2009.

13Viola P, Jones M. Rapid object detection using a boosted cascade of simple features. Proc. of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai, HI, USA. 2001. I-511–I-518.

14Lienhart R, Kuranov A, Pisarevsky V. Empirical analysis of detection cascades of boosted classifiers for rapid object detection. Lecture Notes in Computer Science. Berlin,Heidelberg. Springer. 2003. 297–304.

15TMS320DM642 Video/Imaging Fixed-Point Digital Signal Processor (SPRS200J). Texas Instruments, 2005.

16C Fast RTS Library User Guide (Rev 1.0). Texas Instruments,2008.

17TMS320C6000 Optimizing Compiler User’s Guide(SPRU187L). Texas Instruments, 2004.

Vehicle Plate Location by the Texture Recognition and Adaboost Classifier Based on DM642

CHEN Cun-Di, LIU Jin-Qing, LIU Yin, CAI Shu-Kuan, HE Shi-Qiang, ZHOU Xiao-Tong, DENG Shu-Min,
WU Qing-Xiang
(Key Laboratory of OptoElectronic Science and Technology for Medicine of Ministry of Education, College of Photonic and Electronic Engineering, Fujian Normal University, Fuzhou 350007, China)

The Intelligent transportation system is a real-time, accurate and efficient integrated transportation management system, with the LPR(License Plate Recognition) as one of its key technologies. In order to realize the real-time detection of license plate in the embedded systems, the license plate detection, location and recognition technology based on TMS320DM642 are studied. This paper proposes a kind of license plate location algorithm by combining texture detection with the Adaboost classifier. The system design combining with DM642 is based on EMCV and Opencv image processing library to come true coding porting. The system avoids the non-directional under the condition of only texture detection and the non-integrity under the condition of only Adaboost Classification, it also improves the accuracy of the positioning. In addition, the license plate image which has been located can be sent to the PC server by the TCP protocol.Then the license plate location and monitoring of remote vehicles can be realized.

TMS320DM642; texture detection; Adaboost classifier; EMCV; Opencv

陳存弟,劉金清,劉引,蔡淑寬,何世強(qiáng),周曉童,鄧淑敏,吳慶祥.基于DM642的紋理檢測(cè)與Adaboost分類(lèi)器相結(jié)合的車(chē)牌定位.計(jì)算機(jī)系統(tǒng)應(yīng)用,2017,26(7):56–64. http://www.c-s-a.org.cn/1003-3254/5853.html

國(guó)家自然科學(xué)基金(61179011); 福建教育廳項(xiàng)目(JAS151254); 福建師大項(xiàng)目(I201502019)

2016-10-30; 收到修改稿時(shí)間: 2016-12-05