李尚林， 王魯達(dá)， 劉 東

(湘南學(xué)院軟件與通信工程學(xué)院，湖南 郴州 423000)

隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展，移動(dòng)支付已經(jīng)成為人們主流的支付方式。而使用移動(dòng)支付的前提是需要人們綁定銀行卡，用戶逐個(gè)輸入銀行卡上的數(shù)字既費(fèi)時(shí)費(fèi)力，又容易出錯(cuò)?，F(xiàn)代的移動(dòng)設(shè)備普遍具有較高分辨率的攝像頭，通過攝像頭拍攝銀行卡，并使用光學(xué)識(shí)別技術(shù)自動(dòng)識(shí)別銀行卡上的數(shù)字，能夠極大提高移動(dòng)支付的用戶體驗(yàn)。

近年來，光學(xué)字符識(shí)別(optical character recognition，OCR)已經(jīng)比較成熟，在規(guī)范的文本文檔掃描方面識(shí)別率已經(jīng)達(dá)到了99%以上。然而，在自然影像場景中對(duì)銀行卡識(shí)別的應(yīng)用，仍然存在較大挑戰(zhàn)[1]，主要表現(xiàn)為：①銀行卡普遍具有復(fù)雜的背景，給字符區(qū)域的識(shí)別和字符分割帶來較大影響；②銀行卡拍攝的角度導(dǎo)致的透視形變、不均勻的光照產(chǎn)生的數(shù)字顏色畸變和視覺特征退化，會(huì)進(jìn)一步降低識(shí)別的準(zhǔn)確率。

目前的文本檢測主要分為基于區(qū)域、邊緣及紋理的方法。下面分別對(duì)其進(jìn)行討論。

基于區(qū)域的方法是利用文本字符普遍具有相似的顏色特征，且和背景顏色相比，具有較強(qiáng)的對(duì)比度。通過將具有高相似度的特征點(diǎn)聚集成連通區(qū)域，能夠提取出文本所在區(qū)域。較具代表性的工作有基于最大穩(wěn)定極值域(maximally stable extremal regions，MSER)的自適應(yīng)的閾值分割法[2]、基于統(tǒng)計(jì)學(xué)模型的連通區(qū)域分析法[3]，以及基于聚類和級(jí)聯(lián)分類器對(duì)字符對(duì)的空間特征進(jìn)行學(xué)習(xí)而獲取連通區(qū)域分析模型[4]。通過利用字符筆畫寬度的一致性特征，EPSHTEIN等[5]提出的筆畫寬度變換算法(stroke width transform，SWT)，不過該類算法在處理對(duì)比度較低的字符區(qū)域顯得較弱?？傊趨^(qū)域的方法適用于文本區(qū)域的顏色、灰度等視覺特征比較一致，且對(duì)比度較高的情況。

基于邊緣的方法適用于字符前景和后景對(duì)比并不突出的場景。該類方法利用了字符文本具有較強(qiáng)烈而密集的梯度特征?？墒褂眠吘墮z測算子，從梯度變換的特征中獲取字符區(qū)域。除了使用常規(guī)的Canny算子[5]以外，傅里葉-拉普拉斯濾波[6]、測字符的幾何結(jié)構(gòu)的梯度向量流(gradient vector flow，GVF)[7]等方法被提出，這類方法具有檢測速度快且易于實(shí)現(xiàn)等優(yōu)點(diǎn)。

基于紋理的方法將文本視作區(qū)別于背景的特殊紋理。通過滑窗的方式提取局部紋理特征并進(jìn)行分類來預(yù)測局部區(qū)域紋理的所屬標(biāo)簽。基于gabor[8]，HOG[9]，LBP[10]的特征被廣泛的用于各類自然場景的文字識(shí)別研究中。另一類研究聚焦于提取字符特殊的特征，從而與背景區(qū)分開來[11]，不過這類方法局限于處理清晰規(guī)范的英文字母。

近年來，使用人工神經(jīng)網(wǎng)絡(luò)[12]自動(dòng)獲取特征進(jìn)行分類取得了較大進(jìn)展，逐漸成為了模式識(shí)別和目標(biāo)檢測的主要潮流。最具代表性的工作為最新的EAST[13]網(wǎng)絡(luò)，該方法在自然場景文本識(shí)別中能夠獲得較高的識(shí)別準(zhǔn)確率。理論上，將主流的目標(biāo)檢測網(wǎng)絡(luò)如Faster-RCNN[14]，Yolo[15]等，用于自然場景的銀行卡數(shù)字檢測任務(wù)中亦是一種可行的方法，然而在實(shí)際應(yīng)用中卻存如下問題：

(1) 相對(duì)于主流的自然場景文本環(huán)境如街道中的商標(biāo)文字、圖片、視頻中的字幕等，很多銀行卡的數(shù)字和背景區(qū)分度極低，難度較大；

(2) 銀行卡數(shù)字相對(duì)整張卡片而言太小，該類小尺度目標(biāo)檢測問題目前仍是難點(diǎn)[16]；

(3) 容易發(fā)生漏檢，而銀行卡檢測任務(wù)對(duì)漏檢的容忍度較低；

(4) 目標(biāo)檢測網(wǎng)絡(luò)需要大量的完整銀行卡數(shù)據(jù)作為訓(xùn)練集，該類敏感數(shù)據(jù)的獲取、標(biāo)定難度較大。

總之，使用目標(biāo)檢測網(wǎng)絡(luò)，在數(shù)據(jù)獲取和識(shí)別等各個(gè)階段都存在較大的困難和挑戰(zhàn)。

對(duì)于車牌識(shí)別[17]、身份證識(shí)別[18]等任務(wù)而言，由于其背景相對(duì)干凈，字符規(guī)范，且與背景區(qū)分明顯，使用文獻(xiàn)[19]Tesseract類的解決方案能達(dá)到很高的準(zhǔn)確率，其應(yīng)用已經(jīng)相對(duì)成熟，而銀行卡由于品類繁多，字體不規(guī)范，且背景紛亂復(fù)雜，極端情況甚至肉眼識(shí)別都具有較大難度，這些因素給識(shí)別工作帶來了較大的挑戰(zhàn)。商用領(lǐng)域的解決方案會(huì)使用大量的銀行卡先驗(yàn)經(jīng)驗(yàn)，如不同銀行卡商家的模板，數(shù)字序列規(guī)則等，因此需要隨著新的廠商類型和新的卡片類型進(jìn)行更新。本文算法盡可能避免使用這類先驗(yàn)經(jīng)驗(yàn)，使得方法具有易實(shí)現(xiàn)、通用性強(qiáng)、魯棒性高的特點(diǎn)。

1 算法框架

基于卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network，CNN)的銀行卡數(shù)字識(shí)別方法框架如圖1所示，本文將圍繞如下部分展開討論：

(1) 數(shù)字區(qū)域檢測。包括傾斜矯正和數(shù)字區(qū)域獲取。前者用于將自然拍攝的銀行卡圖像恢復(fù)成矯正后的俯瞰視圖，后者通過一系列圖像算法獲取目標(biāo)銀行卡數(shù)字所在的區(qū)域。

(2) CNN訓(xùn)練。包括訓(xùn)練數(shù)據(jù)的增強(qiáng)和所使用CNN的具體模型結(jié)構(gòu)。

(3) 數(shù)字識(shí)別。使用CNN滑窗算法分割單個(gè)數(shù)字，以及如何使用平滑優(yōu)化算法獲得更加準(zhǔn)確的數(shù)字序列。

圖1 銀行卡數(shù)字識(shí)別方法框架

1.1 數(shù)字區(qū)域提取

當(dāng)前市面上絕大多數(shù)銀行卡均符合國際ISO/IEC 7810中的ID-1標(biāo)準(zhǔn)，尺寸為85.60 mm×53.98 mm。移動(dòng)設(shè)備的拍照識(shí)別程序通常都會(huì)利用該長寬比引導(dǎo)用戶拍攝銀行卡，因此，本文假設(shè)獲取到的銀行卡影像是完整的。

1.1.1 傾斜校正

由于拍攝位置的自由性，使用移動(dòng)設(shè)備獲取的銀行卡圖像通常存在一定的角度傾斜，角度較大的圖像會(huì)嚴(yán)重影響后續(xù)的識(shí)別?？紤]到算法的魯棒性，需要分2種情況考慮。

對(duì)于銀行卡邊緣完整的情況，可以考慮先獲取銀行卡邊緣，再對(duì)圖像進(jìn)行投影校正。具體方法如下：

(1) 使用Canny算子來獲取邊緣；

(2) 使用霍夫變換來查找直線，同時(shí)過濾角度不合理的直線；

(3) 通過直線求交點(diǎn)運(yùn)算，得到銀行卡輪廓的4個(gè)角點(diǎn)；(4) 對(duì)圖像使用投影變換，獲得矯正后的圖像。對(duì)于銀行卡邊緣不完整的情況，可以使用車牌識(shí)別領(lǐng)域中常用的Radon變換[20]進(jìn)行處理。

綜上所述，銀行卡拍攝角度的矯正過程如圖 2所示。

1.1.2 數(shù)字區(qū)域獲取

目前主流的銀行卡上的數(shù)字區(qū)域可以分為噴涂式和按壓式2類。噴涂式的數(shù)字通常采用深色的顏色，使之與淺色的背景作區(qū)分，該類型銀行卡的數(shù)字區(qū)域的定位相對(duì)較為簡單；而按壓式銀行卡，其數(shù)字區(qū)域和卡片背景具有一致的顏色，只能通過檢測按壓區(qū)域的光線變化進(jìn)行檢測。

對(duì)于噴涂銀行卡，其核心預(yù)處理是先做二值化，再做閉操作，最后重復(fù)多次膨脹和腐蝕連接相鄰的數(shù)字區(qū)域?？紤]到銀行卡中的數(shù)字是水平排列的，因此形態(tài)學(xué)操作的卷積核大小設(shè)置為(x=20，y=5)，使得數(shù)字區(qū)域能夠在水平方向上進(jìn)行連接。

對(duì)于按壓銀行卡，其核心預(yù)處理是利用旋轉(zhuǎn)不變性的Laplace算子檢測數(shù)字區(qū)域邊緣凹凸不平產(chǎn)生的梯度變化。由于Laplace算子對(duì)噪聲敏感，因此必須先做歸一化處理和高斯模糊。邊緣檢測完成后，使用相同的形態(tài)學(xué)處理連接數(shù)字區(qū)域，最后進(jìn)行最大類間方差(OTSU)算法進(jìn)行二值化。

經(jīng)上述預(yù)處理可獲取到1個(gè)或多個(gè)目標(biāo)數(shù)字區(qū)域，最后可以使用投影法，篩選得到最佳的數(shù)字區(qū)域。圖3為數(shù)字區(qū)域獲取過程示意圖。

圖2 投影校正過程

1.2 CNN訓(xùn)練

獲取到數(shù)字區(qū)域后，需對(duì)獨(dú)立的數(shù)字進(jìn)行分割與識(shí)別。本文使用CNN分類器作為數(shù)字的分隔和識(shí)別任務(wù)的核心。

1.2.1 CNN模型

用于識(shí)別單個(gè)數(shù)字的 CNN網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4所示。網(wǎng)絡(luò)共包括3個(gè)卷積層，3個(gè)Max pooling層，2個(gè)全連接層，1個(gè)Softmax輸出層?？紤]到銀行卡數(shù)字和背景顏色的無關(guān)性，該模型的輸入大小為寬度w=30，高度h=46的單通道灰度圖，最終將輸出圖像分成11類，類別0到9為對(duì)應(yīng)的數(shù)字標(biāo)簽，類別10為非數(shù)字區(qū)域標(biāo)簽。

1.2.2 數(shù)據(jù)增強(qiáng)

考慮到數(shù)字區(qū)域提取部分結(jié)果必然存在一定的誤差(如透視投影畸變、字符區(qū)域有少量像素被截取等)，合理的數(shù)據(jù)增強(qiáng)是提升CNN識(shí)別準(zhǔn)確率的關(guān)鍵因素之一。

(1) 數(shù)字標(biāo)簽數(shù)據(jù)。數(shù)字標(biāo)簽為0到9共10類，每個(gè)訓(xùn)練圖片為一個(gè)完整的單個(gè)數(shù)字字符的圖像。這類圖片的增強(qiáng)方法包括：x方向平移像素k；y方向平移像素k；中心旋轉(zhuǎn)角度k。其中k∈[-2, 2]。

(2) 非數(shù)字區(qū)域標(biāo)簽數(shù)據(jù)。該類標(biāo)簽數(shù)據(jù)來源于：銀行卡背景、其他非數(shù)字字符、以及同時(shí)存在2個(gè)字符的情況。

圖3 數(shù)字區(qū)域獲取測((a)~(d)為噴涂銀行卡樣例；(e)~(h)為按壓銀行卡樣例)

圖4 CNN模型示意圖

圖5 數(shù)據(jù)增強(qiáng)

通過上述數(shù)據(jù)增強(qiáng)(圖5)，每一類標(biāo)簽的訓(xùn)練數(shù)據(jù)大約為2 000，訓(xùn)練圖片數(shù)據(jù)總量約為2萬。使用交叉驗(yàn)證方法在該數(shù)據(jù)集上訓(xùn)練的CNN能夠達(dá)到99.5%左右的準(zhǔn)確率。值得說明的是，如果使用VGG或者ResNet等網(wǎng)絡(luò)模型替換圖4中提出的模型，雖然能夠在訓(xùn)練集和驗(yàn)證集上得到更高的準(zhǔn)確率和更低的損失，然而在實(shí)際檢測過程中卻并不能獲取更高的識(shí)別準(zhǔn)確率。通過大量實(shí)驗(yàn)分析，其原因可能在于：真實(shí)的銀行卡測試數(shù)據(jù)和訓(xùn)練集中的數(shù)據(jù)存在較大的差異，而更復(fù)雜的網(wǎng)絡(luò)對(duì)該訓(xùn)練集容易產(chǎn)生過擬合。因此，綜合考慮到數(shù)據(jù)集、準(zhǔn)確度、泛化能力、訓(xùn)練成本等因素，在大量實(shí)驗(yàn)和驗(yàn)證后得到了圖4所示的網(wǎng)絡(luò)。

1.3 數(shù)字分割與平滑優(yōu)化

1.3.1 滑窗分割

使用訓(xùn)練好的 CNN對(duì)數(shù)字區(qū)域進(jìn)行數(shù)字分割(圖 6)。首先將數(shù)字區(qū)域的大小進(jìn)行標(biāo)準(zhǔn)化，保證其高度與CNN輸入的高度h保持一致。對(duì)于給定寬度W的輸入數(shù)字區(qū)域，通過滑窗算法在橫坐標(biāo)區(qū)間[0,W-w]上逐一將子區(qū)域輸入CNN，輸出為一個(gè)長度為W-w+1的輸出序列。將橫坐標(biāo)值作為x坐標(biāo)，對(duì)應(yīng)的CNN輸出標(biāo)簽值作為y坐標(biāo)，輸出的函數(shù)曲線如圖6(b)所示。

圖6 數(shù)字分割示意圖

理論上，對(duì)于每個(gè)y值相同的連續(xù)區(qū)間[a,b]，如果其值為數(shù)字標(biāo)簽(即0到9)，且區(qū)間長度大于ω，則可將該區(qū)間所代表的區(qū)域視作對(duì)應(yīng)的有效數(shù)字，否則輸出無效。即

其中，ω的取值和數(shù)字區(qū)域長度W與單個(gè)數(shù)字寬度w相關(guān)，建議不超過(W/w)/2。

由滑窗分類結(jié)果的輸出不難看出，對(duì)于圖6(a)按壓數(shù)字的銀行卡，背景與數(shù)字的區(qū)分難度較大，且背景紋理存在較強(qiáng)烈的干擾，即使用肉眼識(shí)別也有一定難度。

即便CNN能夠在訓(xùn)練集上達(dá)到很高的識(shí)別準(zhǔn)確率，在滑窗識(shí)別結(jié)果中(圖 6(b))仍然存在一定的識(shí)別錯(cuò)誤。如果不對(duì)該結(jié)果做平滑處理，輸出的卡號(hào)與真實(shí)值會(huì)存在較大誤差。接下來，討論一種平滑優(yōu)化算法，以去除標(biāo)簽序列中的異常值。

1.3.2 平滑優(yōu)化算法

為了使得卡號(hào)的輸出結(jié)果更加準(zhǔn)確，需要對(duì)滑窗分割的輸出結(jié)果進(jìn)行平滑優(yōu)化。平滑優(yōu)化建立在如下2個(gè)假設(shè)基礎(chǔ)之上：

(1)正常的分割區(qū)域(包括背景區(qū)域)的區(qū)間長度應(yīng)該大于ω，異常的分割區(qū)域長度總是較低的；

(2)背景訓(xùn)練數(shù)據(jù)決定了正常輸出的 2個(gè)數(shù)字之間總是存在背景區(qū)域。

根據(jù)假設(shè) 1，可以設(shè)計(jì)一種濾波平滑算法，將異常的輸出區(qū)間(在數(shù)字分割圖中表現(xiàn)為跳變)抹平。對(duì)于式(1)輸出的標(biāo)簽序列 labels，進(jìn)行平滑優(yōu)化的算法如下：

算法1.平滑優(yōu)化標(biāo)簽序列

1 Count = 0,ω1= 3,ω2 = len(labels)/20/3

2 While(ω1 >ω2 or count > Max_Iter)

3 left, right, digits = Find_Min_Region(labels,ω1)

4 if left < 0 or right < 0:

5ω1 += 1

6 else

7 count += 1

8 if left == 0:

9 Filter_Right(labels, Left_x, left, right)

10 elif right == n-1:

11 Filter_Left(labels, Left_x, left, right)

12 else:

13 if labels[left-1]== 10:

14 Filter_Right(labels, Left_x, left, right)

15 else

16 Filter_Left(labels, Left_x, left, right)

區(qū)間長度閾值ω1被初始化為較小的數(shù)字 3，算法持續(xù)尋找低于該閾值的連續(xù)區(qū)間(第 3行)，如果該異常區(qū)間出現(xiàn)在左邊界處，則該區(qū)間被平滑為右鄰域區(qū)間標(biāo)簽值(8～9行)；反之出現(xiàn)在右邊界處，則被平滑為左鄰域區(qū)間標(biāo)簽值(10～11行)。其他情況則根據(jù)假設(shè)2進(jìn)行考慮，如果該區(qū)間左領(lǐng)域區(qū)間為背景區(qū)域，則平滑為右鄰域區(qū)間標(biāo)簽值(13～14行)；其他情況則平滑為左鄰域區(qū)間標(biāo)簽值(15～16行)。如果找不到待平滑的異常區(qū)間，則增加閾值ω1進(jìn)行下一輪迭代查找，直到達(dá)到閾值ω2或超過迭代次數(shù)限制Max_Iter。

平滑過濾后的數(shù)字分割如圖6(c)所示，在該結(jié)果的基礎(chǔ)上使用式(1)即可輸出相對(duì)準(zhǔn)確的銀行卡數(shù)字序列。

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)平臺(tái)為Windows 7 64 bit操作系統(tǒng)，硬件配置為Intel Core i7-4790 3.60 G CPU，16 G內(nèi)存和NVIDIA GTX 760圖形處理器，深度學(xué)習(xí)框架采用Tensorflow+Keras。部分識(shí)別的結(jié)果如圖 7所示，其中第1行為銀行卡影像，第2行為獲取到的數(shù)字區(qū)域，第3行為數(shù)字分割圖，第4行為輸出的銀行卡號(hào)。

由于銀行卡檢測領(lǐng)域沒有公開的數(shù)據(jù)集，本文的實(shí)驗(yàn)在自己的數(shù)據(jù)集上測試，數(shù)據(jù)包含 40張銀行卡，其中10張噴涂型，30張按壓型。

實(shí)驗(yàn)將數(shù)字區(qū)域檢測的準(zhǔn)確率和數(shù)字識(shí)別的準(zhǔn)確率分開進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果見表1，可以看到EAST方法對(duì)噴涂型銀行卡的數(shù)字區(qū)域檢測效果較好，然而對(duì)于按壓性效果很差。本文方法處理2類銀行卡效果均較好。在數(shù)字識(shí)別部分，3種方法在按壓性銀行卡上效果均不理想，而增加了平滑優(yōu)化的本文方法，在2種類型的卡片上都能獲得較好的效果。

圖7 部分銀行卡檢測結(jié)果

表1 實(shí)驗(yàn)結(jié)果(%)

3 結(jié) 束 語

本文提出了一種基于 CNN的銀行卡號(hào)碼識(shí)別方法，通過一系列預(yù)處理方法獲取數(shù)字所在區(qū)域，然后通過訓(xùn)練一個(gè) CNN分類器，使用滑窗方法將數(shù)字區(qū)域輸出為目標(biāo)數(shù)字序列，最后使用平滑算法去除異常區(qū)域，輸出銀行卡數(shù)字序列。實(shí)驗(yàn)結(jié)果證明了算法具有較好的準(zhǔn)確率和一定的魯棒性。且本文的算法思想并不局限于銀行卡識(shí)別，同樣可以用于身份證、駕照等證件的識(shí)別領(lǐng)域。

值得提出的是，本文的算法依舊存在局限性，在處理含有雜亂復(fù)雜背景的銀行卡時(shí)，數(shù)字區(qū)域的查找、字符的分割的準(zhǔn)確率均會(huì)下降。在工程應(yīng)用中通常會(huì)采取增加銀行卡相關(guān)的先驗(yàn)經(jīng)驗(yàn)(如不同商家銀行卡的數(shù)字區(qū)域分布)、增加訓(xùn)練樣本等方式提升識(shí)別準(zhǔn)確率。