吳曉華 付相祥 楊思怡

編者按：針對(duì)人工檢查記錄車輛費(fèi)時(shí)費(fèi)力等問(wèn)題，文章提出了基于OpenCV與OCR的車牌識(shí)別系統(tǒng)。首先采用了圖像預(yù)處理的方法對(duì)圖像進(jìn)行灰度處理以及邊緣檢測(cè);再通過(guò)形態(tài)學(xué)的開(kāi)運(yùn)算閉運(yùn)算、膨脹腐蝕提高車牌定位的效率;最后利用字符的統(tǒng)一性，用垂直投影區(qū)域來(lái)對(duì)車牌進(jìn)行分割并識(shí)別。

引言

針對(duì)越來(lái)越多人不遵守交通規(guī)則，交通事故不斷增加這一現(xiàn)象，單純通過(guò)人工檢查記錄通過(guò)車輛費(fèi)時(shí)費(fèi)力，因此建立了車牌識(shí)別系統(tǒng)。車牌識(shí)別系統(tǒng)（LPR）是交通智能系統(tǒng)中的核心技術(shù)之一，在停車場(chǎng)、高速公路、城市交通等領(lǐng)域起著重要作用，通過(guò)對(duì)監(jiān)控視頻圖像進(jìn)行逐幀獲取車牌圖像后再進(jìn)行識(shí)別。車牌識(shí)別系統(tǒng)主要包括了圖像輸入、車牌定位、文字提取、文字分割以及文字輸出。

圖像預(yù)處理

圖像預(yù)處理的目的是為了將車輛圖像中的一些無(wú)關(guān)信息處理掉方便后期進(jìn)行分析?；静襟E分為圖像灰度處理、圖像濾波、閾值分割、邊緣檢測(cè)五個(gè)部分。

圖像灰度處理

由于在視頻圖像獲取的過(guò)程中，可能受到天氣、光線等因素，對(duì)車牌圖像產(chǎn)生一定的影響，圖像的明暗程度不同，會(huì)造成二值化閾值設(shè)定困難，所以要將圖像進(jìn)行預(yù)處理。預(yù)處理主要包括了圖像去噪、灰度處理以及平滑處理。

彩色圖像轉(zhuǎn)換為灰度圖像一般采用加權(quán)的方法轉(zhuǎn)換，R、G、B的比一般為3：6：1。任何顏色都是由紅、綠、藍(lán)三個(gè)基本顏色組成，假設(shè)原來(lái)某點(diǎn)的顏色為RGB（R，G，B），那么，我們可以通過(guò)平均值法將其轉(zhuǎn)換為灰度：Gray=（R+G+B）/3

本文通過(guò)平均值法求得Gray后，將原來(lái)的RGB（R，G，B）中的R，G，B都用Gray替換，形成新的RGB（Gray，Gray，Gray），用它替換掉原來(lái)的RGB（R，G，B）就是灰度處理過(guò)后的圖像。

除了平均值法還有浮點(diǎn)算法、整數(shù)方法可以將原始圖像轉(zhuǎn)換為灰度圖像。代碼如下：

carplate_extract_img_gray_blur = cv2.medianBlur（carplate_extract_img_gray，3）

plt.axis（‘off’）

plt.imshow（carplate_extract_img_gray_blur，cmap = ‘gray’）;

Sobel邊緣檢測(cè)

邊緣檢測(cè)是指圖像周圍像素灰度快速變化的像素的集合，它是圖像最基本的特征。邊緣存在與區(qū)域、背景、和圖像之間，所以，它成為了圖像分割需要依賴的最重要依據(jù)。

本文主要采取的是Sobel邊緣檢測(cè)算法，它是一個(gè)離散微分算子，結(jié)合了微分求導(dǎo)和高斯平滑，主要的作用是對(duì)噪聲的產(chǎn)生起到了平滑抑制的作用，并且在灰度漸變?cè)肼暤膱D像中也起到了很大的作用，主要用來(lái)計(jì)算圖像亮度函數(shù)。除此之外，Sobel的算子有兩個(gè)，一個(gè)是檢測(cè)水平邊緣，另一個(gè)是檢測(cè)垂直邊緣。

車牌定位

車牌定位是指把車輛圖像中的車牌區(qū)域部分提取出來(lái)，方便后續(xù)對(duì)車牌進(jìn)行分割、識(shí)別。車牌定位的原理使用的是統(tǒng)計(jì)像素點(diǎn)的方法分割出車牌可能出現(xiàn)的區(qū)域，車牌底色進(jìn)行二值化處理后對(duì)其區(qū)域進(jìn)行圖像的預(yù)處理，包括了灰度處理、平滑處理、降噪處理以及通過(guò)形態(tài)學(xué)的開(kāi)運(yùn)算閉運(yùn)算、膨脹腐蝕[4]進(jìn)行處理來(lái)進(jìn)一步消除邊緣區(qū)域的大部分噪聲點(diǎn)，從而達(dá)到了提高車牌定位效率的目的（見(jiàn)圖1、圖2）。

粗略定位

在車輛圖像中，車牌的邊緣區(qū)域會(huì)出現(xiàn)豐富的特征：①車牌區(qū)域?yàn)榫匦危矬w的面積固定一個(gè)范圍值;②車牌上有固定的字符，呈水平排列;③車牌矩形在長(zhǎng)寬比上有固定的范圍值，存在一個(gè)最大值和最小值。

根據(jù)車牌區(qū)域的特征信息，對(duì)車牌提取的像素邊緣檢測(cè)先做一個(gè)初步定位，圖3為車牌可能出現(xiàn)的區(qū)域范圍。

準(zhǔn)確定位

在對(duì)車牌圖像進(jìn)行粗略定位后，可進(jìn)一步地進(jìn)行精確定位。我國(guó)車牌的顏色是固定的，包括了：黃色、綠色、藍(lán)色、黑色和白色，在這特征上可以在粗略定位中找到車牌準(zhǔn)確的位置。

圖像校正

車牌進(jìn)行了準(zhǔn)確定位后，將會(huì)得到一個(gè)車牌圖像，但如果遇到不良的拍攝角度抓取到圖像，得到的車牌圖像可能存在不是矩形，不利于后續(xù)對(duì)車牌識(shí)別的字符提取和分割識(shí)別。主要利用輪廓提取技術(shù)、霍夫變換知識(shí)和ROI感興趣區(qū)域知識(shí)進(jìn)行圖像轉(zhuǎn)正，方便后續(xù)的字符識(shí)別，圖4利用的是感興趣區(qū)域提取。代碼如下：

def carplate_extract（image）：

carplate_rects

=carplate_haar_casscade.detectMultiScale（image，scaleFactor=1.1，minNeighbors=5）

for x，y，w，h in carplate_rects：

carplate_img = image[y+15：y+h-10，x+15：x+w-20]

return carplate_img

車牌字符分割、識(shí)別

字符分割

中國(guó)車牌號(hào)一共有固定的七位字符，第一位是代表車戶口所在的省級(jí)行政區(qū);第二位是英文字母代表戶口所在的地級(jí)行政區(qū)的字母代碼。車牌編號(hào)字符位數(shù)是5位，由英文字母和阿拉伯?dāng)?shù)字組成。

這里將得到的車牌圖像區(qū)域進(jìn)行二值化處理后再進(jìn)行了形態(tài)學(xué)處理，方便字符識(shí)別。本文主要運(yùn)用的是垂直投影區(qū)域來(lái)對(duì)車牌進(jìn)行分割識(shí)別，根據(jù)字符的統(tǒng)一性，可確定車牌的7個(gè)字符寬度的閾值范圍。

字符識(shí)別

整個(gè)車牌識(shí)別系統(tǒng)中字符識(shí)別是最后一步，主要的工作是將分割好的字符圖像進(jìn)行匹配識(shí)別轉(zhuǎn)化成文字字符。車牌識(shí)別算法一共有三種：（1）支持向量機(jī)（SVM），這個(gè)方法所涉及的數(shù)學(xué)知識(shí)和原理比較復(fù)雜，有一定的難度，所以一般可以直接調(diào)用現(xiàn)有的工具箱進(jìn)行匹配。（2）神經(jīng)網(wǎng)絡(luò)，可分為兩種：一個(gè)是生物神經(jīng)網(wǎng)絡(luò)，它是一種模仿動(dòng)物的神經(jīng)網(wǎng)絡(luò)作為特征，進(jìn)行信息處理的一種算法模型，通過(guò)了內(nèi)部節(jié)點(diǎn)的相互連接，達(dá)到了處理信息的目的。第二個(gè)則是人工神經(jīng)網(wǎng)絡(luò)。（3）模塊匹配：這是一種比較基礎(chǔ)的匹配方法，這個(gè)方法的原理是在含有標(biāo)準(zhǔn)字符模板塊里進(jìn)行匹配，這個(gè)算法對(duì)車牌字符圖像要求比較高，需要清晰干凈校正的車牌才能夠識(shí)別。識(shí)別效果如圖5、圖6所示。

OCR文字識(shí)別

OCR這個(gè)技術(shù)主要分為六個(gè)步驟：（1）圖像采集：捕獲和存儲(chǔ)圖像;（2）預(yù)處理：將圖像經(jīng)過(guò)預(yù)處理產(chǎn)生更好的圖像識(shí)別效果;（3）分割：將圖像內(nèi)的文字符號(hào)進(jìn)行分割;（4）特征提?。狠斎氲臄?shù)據(jù)具有可識(shí)別的基本特征，將每個(gè)字符歸類;（5）訓(xùn)練神經(jīng)網(wǎng)絡(luò)：提取了特征后，就可以將它們提取到神經(jīng)網(wǎng)絡(luò)訓(xùn)練識(shí)別字符;（6）后處理：進(jìn)行細(xì)化，修正。利用OCR文字識(shí)別技術(shù)將車牌圖像中的文字符號(hào)提取出來(lái)可以進(jìn)行復(fù)制粘貼，方便人們查詢車牌，識(shí)別出來(lái)的字符串將出現(xiàn)在Pycharm里。

相比于4.2的字符識(shí)別，OCR文字識(shí)別技術(shù)識(shí)別出來(lái)的文字可自動(dòng)寫(xiě)入數(shù)據(jù)庫(kù)保存數(shù)據(jù)（如圖7所示）。

總結(jié)

針對(duì)一些交通現(xiàn)象，結(jié)合了“OpenCV圖像處理和OCR文字識(shí)別技術(shù)”完成了一個(gè)車牌識(shí)別系統(tǒng)，這個(gè)系統(tǒng)減輕了人工的壓力。其中主要包括將圖像進(jìn)行預(yù)處理、車牌定位、字符提取識(shí)別、文字輸出，同時(shí)加入了OCR文字識(shí)別技術(shù)，方便識(shí)別后對(duì)數(shù)據(jù)進(jìn)行保存。經(jīng)過(guò)了大量的實(shí)驗(yàn)，證明了此技術(shù)具有較高的正確識(shí)別率，一些交通的秩序和城市的環(huán)境都能夠受益，避免一些不必要的事故發(fā)生。

參考文獻(xiàn)：

[1]袁程，曹愛(ài)青.基于自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)的普通場(chǎng)景車牌識(shí)別[J].信息與電腦（理論版），2021，33（02）：156-158.

[2]楊人豪，任斌.基于顏色特征和邊緣檢測(cè)的車牌識(shí)別算法[J].工業(yè)控制計(jì)算機(jī)，2021，34（04）：100-103.

[3]聶文都，蔡錦凡.基于OpenCV與SVM的車牌識(shí)別方法[J].計(jì)算機(jī)與數(shù)字工程，2021，49（06）：1244-1247，1268.

[4]楊新年，蘇暢，高冠福，等.一種車牌檢測(cè)與識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].物聯(lián)網(wǎng)技術(shù)，2021，11（04）：15-16，19.

[5]張延年，米洪.車牌識(shí)別中人工智能技術(shù)的應(yīng)用[J].福建電腦，2021，37（03）：65-66.

[6]陶星珍，李康順，劉玥.基于深度學(xué)習(xí)模型LeNet-5-L的車牌識(shí)別算法[J].計(jì)算機(jī)測(cè)量與控制，2021，29（06）：181-187.

[7]劉超，宋丹丹，苗瑾超.基于MATLAB的車牌識(shí)別系統(tǒng)設(shè)計(jì)[J].電腦知識(shí)與技術(shù)，2019，15（01）：198-199.

[8]王陽(yáng)，李振東，楊觀賜.基于深度學(xué)習(xí)的OCR文字識(shí)別在銀行業(yè)的應(yīng)用研究[J].計(jì)算機(jī)應(yīng)用研究，2020，37（S2）：375-379.

本文受到深圳技師學(xué)院校級(jí)創(chuàng)客基金項(xiàng)目“基于物聯(lián)網(wǎng)NB-iot的墨水屏項(xiàng)目”支持。

作者簡(jiǎn)介：吳曉華（2003—），女，廣東揭陽(yáng)，學(xué)生，本科在讀生，主要研究方向?yàn)橥ㄐ啪W(wǎng)絡(luò)應(yīng)用;付相祥（1999—），男，四川達(dá)州，學(xué)生，本科在讀生，主要研究方向?yàn)殡娮有畔⒐こ?楊思怡（2003—），女，廣東揭陽(yáng)，學(xué)生，本科在讀生，主要研究方向?yàn)橥ㄐ啪W(wǎng)絡(luò)應(yīng)用;夏清（1978—），女，教師，研究生，高級(jí)工程師。研究方向：物聯(lián)網(wǎng)、人工智能，為本文的通訊作者。