薛圣利,蔡啟仲,楊海林,徐曉宇

(廣西科技大學(xué)電氣與信息工程學(xué)院，廣西柳州545006)

基于OpenCV的火車(chē)票識(shí)別算法

薛圣利,蔡啟仲*,楊海林,徐曉宇

(廣西科技大學(xué)電氣與信息工程學(xué)院，廣西柳州545006)

針對(duì)火車(chē)站的機(jī)器驗(yàn)票不能驗(yàn)證持票人與證、票相一致的不足，設(shè)計(jì)了一種利用攝像頭拍攝車(chē)票圖像、基于OpenCV視覺(jué)庫(kù)的火車(chē)票身份證號(hào)碼和乘車(chē)日期識(shí)別算法.算法利用車(chē)票上的二維碼角點(diǎn)位置定位相關(guān)字符區(qū)域，采用適用于不同亮度情況下的自適應(yīng)閾值分割算法實(shí)現(xiàn)字符分割;身份證號(hào)碼識(shí)別算法利用目標(biāo)外輪廓特征提取字符目標(biāo)，使用模板匹配法識(shí)別目標(biāo);日期識(shí)別算法采用漫水填充法提取字符目標(biāo)，根據(jù)日期字符按模塊排列的特征識(shí)別目標(biāo).試驗(yàn)結(jié)果證實(shí)該算法在保證字符識(shí)別正確率的同時(shí)可以滿足系統(tǒng)實(shí)時(shí)性的要求，解決了人工驗(yàn)證旅客身份效率低的問(wèn)題.

字符識(shí)別;OpenCV;模板匹配;漫水填充

0 引言

目前，全國(guó)火車(chē)站已經(jīng)做到購(gòu)票時(shí)證、票的實(shí)名制驗(yàn)證，上火車(chē)之前能夠機(jī)器驗(yàn)票，但是機(jī)器驗(yàn)票只能夠識(shí)別該票的合法性，持票人是否與證、票相符，則需要依靠人工的方法來(lái)確認(rèn)，這樣不僅需要大量的人力投入，而且會(huì)隨著工作人員的精神疲憊而導(dǎo)致身份辨別率降低.現(xiàn)今人臉識(shí)別和光學(xué)字符識(shí)別技術(shù)(Optical Character Recognition)［1］已趨于成熟，對(duì)社會(huì)生活、國(guó)民經(jīng)濟(jì)和智慧城市建設(shè)產(chǎn)生積極而深遠(yuǎn)的影響，研制一種能夠智能識(shí)別乘客、火車(chē)票和身份證信息，確保人、證、票三者達(dá)到一致目的的裝置已成為可能.該裝置包括人臉識(shí)別、身份證信息讀卡器、火車(chē)票識(shí)別3個(gè)部分，當(dāng)旅客進(jìn)站時(shí)，將火車(chē)票和身份證放在裝置上的指定位置，裝置上的攝像頭將抓拍旅客臉部圖像，與身份證上的照片進(jìn)行比對(duì)，同時(shí)裝置上的另一個(gè)攝像頭抓拍火車(chē)票圖像，利用字符識(shí)別技術(shù)，識(shí)別火車(chē)票上的信息.

火車(chē)票上已有持票人的身份信息，火車(chē)票字符識(shí)別技術(shù)是這種裝置所要解決的關(guān)鍵技術(shù)問(wèn)題之一.本文使用OpenCV的開(kāi)源視覺(jué)庫(kù)軟件提出一種火車(chē)票字符識(shí)別算法，能夠在Liunx，Windows和MacOs等操作系統(tǒng)上運(yùn)行，實(shí)現(xiàn)了火車(chē)票識(shí)別過(guò)程中的車(chē)票定位、字符篩選算法、模板匹配等關(guān)鍵技術(shù)，在CPU為Inter-CORE-i5，主頻2.2 MHz的條件下，每張車(chē)票的平均識(shí)別速度為300 ms，針對(duì)火車(chē)站人流大的客觀事實(shí)，該算法具有很高的實(shí)時(shí)性.

1 實(shí)驗(yàn)流程與圖像來(lái)源

鑒于不同版本的火車(chē)票有不同的字符排列規(guī)則，實(shí)驗(yàn)中使用的火車(chē)票為鐵路局在2015年8月1號(hào)正式發(fā)布的全國(guó)最新版火車(chē)票，圖2給出了火車(chē)票的圖片樣張.假設(shè)攝像頭距離車(chē)票的位置固定不變，且車(chē)票存放在如圖1所示的一個(gè)凹槽中.

圖1 凹槽Fig.1 The groove

圖2 車(chē)票樣張F(tuán)ig.2 The sample of ticket

車(chē)票識(shí)別的的主要步驟包括:圖片預(yù)處理、字符提取、字符篩選、模板匹配等，圖片預(yù)處理是一個(gè)重要過(guò)程，它包括:車(chē)票二維碼定位、角點(diǎn)提取、傾斜校正［2］，只有完成這些工作，才能保證后面字符識(shí)別的進(jìn)行.車(chē)票識(shí)別算法流程如圖3所示.

圖3 算法流程圖Fig.3 The algorithm procedure

2 圖片預(yù)處理

車(chē)票識(shí)別算法的預(yù)處理過(guò)程包括:火車(chē)票定位、火車(chē)票傾斜校正和字符分割.

2.1 火車(chē)票定位

火車(chē)票字符定位是字符識(shí)別的前提條件，根據(jù)車(chē)票的圖像特征，利用二維碼的位置可以精確定位車(chē)票.當(dāng)車(chē)票正面放置時(shí)，在車(chē)票的右下角區(qū)域會(huì)有二維碼圖形，該二維碼經(jīng)過(guò)了鐵路部門(mén)的強(qiáng)加密技術(shù)，無(wú)法解析其內(nèi)容，但可以利用它的圖形特征即3個(gè)方形角點(diǎn)位置進(jìn)行車(chē)票定位和傾斜校正.

2.1.1 二值化

二值化是把數(shù)字灰度圖像轉(zhuǎn)換灰度值為0和255的二值圖像的過(guò)程.二值化的作用是把圖像分成目標(biāo)和背景2個(gè)部分，消除處理過(guò)程中不需要的灰度信息，加快處理速度.

在實(shí)際環(huán)境中，不能保證每張圖片在拍攝時(shí)的亮度都保持一致，不能簡(jiǎn)單設(shè)置一個(gè)全局閾值來(lái)達(dá)到二值化的目的，因此采用局部自適應(yīng)閾值分割方法.其算法原理是根據(jù)每個(gè)像素的鄰域塊的像素值分布來(lái)確定該像素位置上的二值化閾值，這樣做的好處在于每個(gè)像素位置處的二值化閾值不是固定不變的，而是由其周?chē)徲蛳袼氐姆植紱Q定.亮度較高的圖像區(qū)域的二值化閾值通常會(huì)較高，而亮度較低的圖像區(qū)域的二值化閾值則會(huì)相適應(yīng)地變小.不同亮度的局部圖像區(qū)域?qū)?huì)擁有相對(duì)應(yīng)的局部二值化閾值［3］.通過(guò)OpenCV提供的cvAdaptiveThreshold()函數(shù)可以實(shí)現(xiàn)目標(biāo)圖像的局部自適應(yīng)閾值分割，分割后的圖像如圖4所示.

2.1.2 定位角點(diǎn)位置

圖4 二維碼二值化Fig.4The binarization of QR code

在圖片正放的情況下，從左下角開(kāi)始按順時(shí)針順序依次標(biāo)記二維碼的3個(gè)方形角點(diǎn)的中心點(diǎn)坐標(biāo)為{C1(x，y)，C2(x，y)，C3(x，y)}.3個(gè)閉合的正方形角點(diǎn)有很明顯的識(shí)別特征，提取其中最重要的2個(gè)特征來(lái)定位角點(diǎn)位置，特征如下:

1)C1(x，y)和C2(x，y)的距離等于C2(x，y)和C3(x，y)的距離，由式(1)表示:

圖5 二維碼角點(diǎn)Fig.5The corner of QR code

2)3個(gè)正方形角點(diǎn)的邊長(zhǎng)相等，設(shè)置其邊長(zhǎng)為(20+3)pixs.利用OpenCV的尋找輪廓函數(shù)cvFindContours()可以找到圖形中的全部封閉輪廓.根據(jù)上述2個(gè)特征篩選出符合條件的所有輪廓，輪廓處理結(jié)果如圖5所示.

2.1.3 火車(chē)票傾斜校正

在實(shí)際識(shí)別過(guò)程中，由于火車(chē)票擺放的任意性，所獲得的火車(chē)票字符圖像通常存在一定角度的傾斜，火車(chē)票在傾斜狀態(tài)下的識(shí)別率大幅降低.為了得到更高的識(shí)別率，需要對(duì)火車(chē)票進(jìn)行傾斜校正.

在提取的3個(gè)角點(diǎn)中，根據(jù)C2(x，y)和C3(x，y)的X軸距離dx和Y軸距離dy可計(jì)算出圖片的傾斜角度.由式(2)得到傾斜角θ.只需將圖像旋轉(zhuǎn)-θ，就可以得到校正后的圖像.

根據(jù)式(4)計(jì)算每個(gè)點(diǎn)旋轉(zhuǎn)θ后的坐標(biāo)位置，再利用線性插值算法就可得到旋轉(zhuǎn)后的像素值［4］.

3 識(shí)別身份證號(hào)碼

身份證號(hào)碼識(shí)別過(guò)程可描述為號(hào)碼區(qū)域定位、號(hào)碼字符提取、字符篩選、模板匹配等步驟.

3.1 目標(biāo)區(qū)域選擇

為了在字符分割時(shí)可以減少計(jì)算量，提高系統(tǒng)運(yùn)行速度，需要準(zhǔn)確定位身份證號(hào)碼所在的區(qū)域位置.在校正好的圖片中，利用3個(gè)角點(diǎn)可以準(zhǔn)確定位到身份證號(hào)碼的區(qū)域位置.身份證號(hào)碼所在的區(qū)域用矩形RECT((Lx，Ly)，(Rx，Ry))表示.其中(Lx，Ly)和(Rx，Ry)分別表示矩形的左上角和右下角位置坐標(biāo).根據(jù)式(5)計(jì)算矩形頂點(diǎn)坐標(biāo).

在實(shí)驗(yàn)中，相關(guān)參數(shù)具體取值為:

在不同的實(shí)驗(yàn)條件下，參數(shù)值可靈活改變，利用局部自適應(yīng)閾值分割法對(duì)矩形區(qū)域進(jìn)行處理，處理結(jié)果如圖6所示.

3.2 字符提取

圖6 身份證字符分割圖Fig.6Segmentation of ID character

圖7 身份證字符輪廓Fig.7 The contour of ID character

根據(jù)圖6的分割結(jié)果，所有身份證字符輪廓都可以清晰顯示出來(lái)，因此可以采用提取輪廓的方法提取字符，使用OpenCV提供的cvFindContours()尋找所有的封閉外輪廓.由圖6可知，對(duì)數(shù)字輪廓的高、寬和有效像素添加限制條件，可以排除掉一些干擾輪廓，設(shè)置目標(biāo)輪廓的高大于20 pixs，寬大于16 pixs，有效像素介于80 pixs和150 pixs之間.利用這些特征可以從眾多輪廓中篩選出數(shù)字輪廓，結(jié)果如圖7所示.

3.3 字符篩選

由于打印火車(chē)票的機(jī)器存在機(jī)械誤差，導(dǎo)致有些字符之間的間隔很小，甚至是粘連在一起，影響字符分割，無(wú)法使車(chē)票上的14個(gè)身份證數(shù)字全部獨(dú)立地分割出來(lái)，也無(wú)法判斷分割后的第1個(gè)字符是否為身份證號(hào)碼的第1個(gè)數(shù)字.例如圖7就只提取出13個(gè)目標(biāo)，其身份證第1個(gè)數(shù)字和第2個(gè)數(shù)字存在粘連.解決該問(wèn)題的方法如下:

根據(jù)車(chē)票的版面特征，發(fā)現(xiàn)在身份證數(shù)字的中間位置有4個(gè)帶‘*’號(hào)的字符，鐵路部門(mén)這樣設(shè)計(jì)的目的是屏蔽身份證號(hào)碼中的4個(gè)數(shù)字，保護(hù)乘客隱私，利用這個(gè)‘*’字符特征，可以解決字符分割不全以及字符排序的問(wèn)題.步驟如下:

Step1將分割得到的所有目標(biāo)圖像按X軸坐標(biāo)大小排序，從X軸最小的目標(biāo)開(kāi)始依次匹配，該目標(biāo)有可能不是身份證的第1個(gè)數(shù)字;

Step2當(dāng)前一個(gè)目標(biāo)匹配結(jié)束時(shí)，下一個(gè)目標(biāo)根據(jù)與前一個(gè)目標(biāo)的間隔關(guān)系，在向右偏移n個(gè)像素單位的位置開(kāi)始匹配，n的大小取字符模板的寬度;

Step3重復(fù)Step2，直到匹配到的目標(biāo)為‘*’;

Step4計(jì)算‘*’前面識(shí)別到的目標(biāo)數(shù)量，如果沒(méi)有達(dá)到10個(gè)，則以識(shí)別到的第一個(gè)目標(biāo)為基準(zhǔn)，繼續(xù)從往左偏移n個(gè)像素單位的位置開(kāi)始匹配，至識(shí)別目標(biāo)數(shù)量為10個(gè)為止，n的大小取字符模板的寬度;

Step5根據(jù)‘*’位置，偏移到后面4個(gè)字符的首個(gè)位置，依照Step2的方法，依次識(shí)別后面4個(gè)數(shù)字目標(biāo).

通過(guò)試驗(yàn)發(fā)現(xiàn)，在‘*’兩側(cè)的任意2個(gè)相鄰身份證號(hào)碼的間隔可以等同于模板寬度;因此，在Step2和Step4中，n的取值為模板寬度，n過(guò)大或者過(guò)小都會(huì)使目標(biāo)的預(yù)測(cè)位置偏離實(shí)際位置較大，導(dǎo)致模板匹配過(guò)程中尋找鄰近區(qū)域的擴(kuò)大，降低算法的實(shí)時(shí)性.最終識(shí)別出的數(shù)字目標(biāo)如圖8所示.

3.4 模板匹配

模板匹配是數(shù)字圖像處理的重要組成部分.把不同傳感器或同一傳感器在不同時(shí)間、不同成像條件下對(duì)同一景物獲取的兩幅或多幅圖像在空間上對(duì)準(zhǔn)，或根據(jù)已知模式到另一幅圖中尋找相應(yīng)模式的處理方法叫做模板匹配［5-6］.簡(jiǎn)單而言，就是利用一幅已知的圖像作為模板，計(jì)算目標(biāo)圖像與模板圖像的相似度，該目標(biāo)圖像與模板有相同的尺寸和圖像數(shù)據(jù)類(lèi)型.根據(jù)火車(chē)票身份證字符排列緊密的特點(diǎn)，采用一種目標(biāo)鄰近區(qū)域的模板匹配算法來(lái)識(shí)別字符.模板匹配的主要步驟包括:構(gòu)建模板庫(kù)，以及選取一種合適的匹配算法.在本實(shí)驗(yàn)中，模板高為16 pixs，寬為12 pixs，樣本如圖9所示.

圖8 身份證字符識(shí)別結(jié)果Fig.8 The results of ID character recognition

圖9 模板Fig.9 Template

為了提高系統(tǒng)的實(shí)時(shí)性，采用線性匹配方法.原理是遍歷目標(biāo)圖像的每個(gè)像素，根據(jù)式(6)和式(7)計(jì)算匹配相似度.

其中，m為模板標(biāo)號(hào)，S(i，j)為字符圖像在坐標(biāo)(i，j)處的像素值，Tm(i，j)表示第m個(gè)模板圖像在坐標(biāo)(i，j)處的像素值.文中共包括{0，1，2，3，…，9，*，X}等12個(gè)模板.當(dāng)Rm(i，j)等于0時(shí)，將該幅模板的累計(jì)結(jié)果COUNTm的總數(shù)加1，最終的相似度計(jì)算公式為:

W和H分別為模板的寬和高.由于采用小模板進(jìn)行匹配，對(duì)圖像的位置變化較敏感，為了提高算法的魯棒性，利用目標(biāo)圖像的鄰近區(qū)域進(jìn)行模板匹配，選取相似度最高的模板作為識(shí)別結(jié)果.假設(shè)目標(biāo)圖像原點(diǎn)位置為O(i，j)，很明顯，它的鄰近區(qū)域圖像原點(diǎn)坐標(biāo)N(x，y)應(yīng)該為:

u和v的大小根據(jù)實(shí)際情況進(jìn)行調(diào)整，在滿足實(shí)時(shí)性的前提下，可取大一些.默認(rèn)選取u和v都為2 pixs.

4 日期識(shí)別

根據(jù)實(shí)驗(yàn)觀察，日期字符排列具有如下特征:

1)日期字符的版面格式為“..年..月..日..:..開(kāi)”，因此左邊第一個(gè)字符可以固定為數(shù)字‘2’.

2)相鄰的2個(gè)字符之間間隔較遠(yuǎn)，不會(huì)出現(xiàn)粘連現(xiàn)象.

根據(jù)這2個(gè)特征，對(duì)分割后得到的二值圖像采用漫水填充算法提取每一個(gè)字符，識(shí)別算法步驟如下:

Step1用漫水填充算法提取所有目標(biāo);

Step2利用目標(biāo)外接矩形的長(zhǎng)、寬特征關(guān)系，過(guò)濾掉不符合要求的干擾目標(biāo);

Step3將剩余的目標(biāo)按X軸坐標(biāo)從小到大排序;

Step4根據(jù)日期的排序規(guī)則，先識(shí)別年份模塊再依次識(shí)別月、日、時(shí)各個(gè)模塊.

4.1 基于漫水填充算法的字符提取

所謂漫水填充，就是自動(dòng)選取和種子點(diǎn)相連的區(qū)域，將該區(qū)域替換成指定的顏色，用來(lái)標(biāo)記或者分離圖像的一部分進(jìn)行處理［7-8］.具體步驟如下:

Step1遍歷圖像，檢測(cè)每個(gè)像素點(diǎn)的顏色，根據(jù)二值圖像的特征，若檢測(cè)到該點(diǎn)為白色(像素值為255)，則將其標(biāo)記為種子點(diǎn)p(x，y)，否則返回Step1;

Step2用自定義填充色(一般取像素值128)替換種子點(diǎn)像素，并記下該點(diǎn)坐標(biāo);

Step3檢測(cè)該點(diǎn)坐標(biāo)的相鄰位置，可以選擇四連通或八連通鄰域，記錄鄰域內(nèi)存在的所有白色像素點(diǎn)為新的種子點(diǎn)，繼續(xù)Step2;

這個(gè)過(guò)程延續(xù)到已經(jīng)檢測(cè)區(qū)域邊界范圍內(nèi)的所有像素為止［9］.這種算法的優(yōu)點(diǎn)是簡(jiǎn)單，易于實(shí)現(xiàn)，也可以填充帶有內(nèi)孔的平面區(qū)域.

4.2 日期模塊排列特征

根據(jù)漫水填充法找到的字符還包括‘年’、‘月’、‘日’等字符的干擾，解決該問(wèn)題的方法是利用年、月、日模塊間隔大小不變的特點(diǎn)過(guò)濾掉干擾字符.

例如車(chē)票日期是2015年09月26日08:35開(kāi)，年份識(shí)別后的最后一個(gè)字符‘5’與月份的第一個(gè)字符‘0’之間的距離會(huì)在N±d(pixs)范圍，利用這個(gè)特征可以跳過(guò)干擾字符‘年’，對(duì)于后面的月份檢測(cè)同樣可以采取相同的辦法.識(shí)別結(jié)果如圖10所示.

圖10 日期識(shí)別結(jié)果圖Fig.10 The results of boarding date recognition

5 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)對(duì)200張不同車(chē)票進(jìn)行處理，車(chē)票在槽內(nèi)隨機(jī)擺放.整個(gè)識(shí)別算法在Vc++6.0和OpenCV 1.0的環(huán)境下編程實(shí)現(xiàn)，CPU為Intel-CORE-i5，主頻2.2 MHz，采用CMOS攝像頭，圖片分辨率為648×480，在光源充足的環(huán)境下拍攝.實(shí)驗(yàn)結(jié)果如表1所示.根據(jù)實(shí)驗(yàn)結(jié)果，車(chē)票的平均識(shí)別率達(dá)到97.5％，平均識(shí)別時(shí)間為300 ms，證明該算法可以有效識(shí)別火車(chē)票上的身份證和日期字符.

表1 算法效果Tab.1 The effect of algorithm

6 結(jié)論

本文提出了一種基于模板匹配和漫水填充的火車(chē)票字符識(shí)別算法.該算法根據(jù)火車(chē)票特殊的版面關(guān)系，對(duì)身份證和日期字符采取不同的識(shí)別算法，平均每張車(chē)票的識(shí)別率為97.5％，識(shí)別時(shí)間為300 ms，具有計(jì)算簡(jiǎn)單、實(shí)時(shí)性強(qiáng)的優(yōu)點(diǎn)，具備很高的應(yīng)用價(jià)值.

［1］張淑雅，趙一鳴，趙曉宇，等.認(rèn)證碼字符識(shí)別方法的研究［J］.寧波大學(xué)學(xué)報(bào)(理工版)，2007，20(4):429-433.

［2］陳家哲，羅文廣，謝超藝，等.基于DM6437圖像序列中的直線檢測(cè)［J］.廣西科技大學(xué)學(xué)報(bào)，2014，25(3):44-48，54.

［3］唐琎，李青.一種快速的模板匹配算法［J］.計(jì)算機(jī)應(yīng)用，2010，30(6):1559-1561，1564.

［4］閆夏，譚光興，林川.基于免疫聚類(lèi)算法的MRI膝關(guān)節(jié)圖像分割［J］.廣西科技大學(xué)學(xué)報(bào)，2015，26(1):70-74.

［5］何鐵軍，張寧，黃衛(wèi).車(chē)牌識(shí)別算法的研究與實(shí)現(xiàn)［J］.公路交通科技，2006，23(8):147-149，159.

［6］鄒明明，盧迪.基于改進(jìn)模板匹配的車(chē)牌字符識(shí)別算法實(shí)現(xiàn)［J］.國(guó)外電子測(cè)量技術(shù)，2010，29(1):59-61，80.

［7］剛亞州，黃元元，戴群.一種快速名片字符識(shí)別算法［J］.計(jì)算機(jī)應(yīng)用研究，2014，31(9):2859-2863.

［8］OSMA-RUIZ V，GODINO-LLORENTE J I，SAENZ-LECHON N，et al.An Improved Watershed Algorithm based on Efficient Computation of Shortest Paths［J］.Pattern Recognition，2007，40(3):1078-1090.

［9］BHANU B，LEE S，MING J.Adaptive Image Segmentation Using a Genetic Algorithm［J］.IEEE Transactions on Systems Man and Cybernetics，1996，25(12):1543-1567.

The algorithm of train ticket identification based on OpenCV

XUE Sheng-li，CAI Qi-zhong*，YANG Hai-lin，XU Xiao-yu
(School of Electrical and Information Engineering，Guangxi University of Science and Technology，Liuzhou 545006，China)

As railway station ticket checking machines are unable to verify the consistency of the ticket-holder，ID card，and ticket，an OpenCV and camera image-based algorithm is developed for identifying train ticket，ID card number，and boarding date.The preliminary experimental results are given and the method has a certain academic and application values.The algorithm uses QR code’s corner position to locate relating character，adopt adaptive threshold segmentation algorithm which is suitable for different brightness to realize the character segmentation. The recognition algorithm of ID uses the contour of character to extract the characters，and it uses the template matching method to identify the target.The recognition algorithm about boarding date uses the flood-fill method according to the characteristics of which the modules are arranged.Experiment results prove that the algorithm guarantees the character recognition’s accuracy and meets the real-time requirement.It solves the low efficiency of manual validation of passenger identity.

character recognition;OpenCV;template matching;flood-fill

TP391.4

A

2095-7335(2016)02-0046-06

10.16375/j.cnki.cn45-1395/t.2016.02.008

(學(xué)科編輯:黎婭)

2015-12-16

廣西科學(xué)基金項(xiàng)目(桂科自2014GXNSFA118392);廣西高?？茖W(xué)技術(shù)研究項(xiàng)目(2013LX092)資助.

*通信作者:蔡啟仲，教授，研究方向:嵌入式系統(tǒng)及應(yīng)用，E-mail:caiqzh@163.com.