張敬勛，張俊虎，趙宇波，李 輝

(1.青島科技大學 信息科學技術學院，山東 青島 266061；2.山東產(chǎn)業(yè)技術研究院，山東 青島 250102)

0 引言

驗證碼存在的目的是加強網(wǎng)站系統(tǒng)安全，防止惡意攻擊[1]，因此網(wǎng)站系統(tǒng)中的驗證碼形式也種類繁多，不僅有基于文本的、基于音頻的、基于視頻動畫的驗證碼，還有基于謎題的驗證碼等[2]，而對驗證碼識別技術的研究是是非常關鍵的一部分，因為驗證碼的識別技術可以衡量驗證碼生成算法的質(zhì)量，并幫助改善驗證碼生成算法，以達到加強網(wǎng)絡系統(tǒng)安全的目的。

在驗證碼識別領域[3]，字符型驗證碼[4]依舊是網(wǎng)站使用最多形式的驗證碼，因此字符型驗證碼的識別是一個重要的研究方向。通常，研究人員將字符識別算法的過程分為三個步驟，分別為字符定位、字符分割和字符識別[5]。而在識別字符型驗證碼的時，最主要的是字符分割與字符識別部分，因此單個字符的正確分割是影響字符型驗證碼識別準確率的關鍵步驟[6]。有效的分割驗證碼可以極大的提高字符型驗證碼識別的準確率。在分割方法中，傳統(tǒng)的顏色填充分割算法[7]是利用區(qū)域填充的思想對字符進行分割的，該方法對于車牌分割[8]和字符間不粘連的驗證碼有著很好的分割效果，但是對于相互之間粘連的字符無法進行準確分割。垂直投影方法[9]也是一種經(jīng)典的分割方法，當字符沒有扭曲，傾斜等情況時，能夠完成很好的分割。

在識別方法中，早期的OCR識別技術、形狀上下文以及模板匹配等識別技術，僅僅只能局限在識別簡單字符。而隨著時間的推移，支持向量機以及卷積神經(jīng)網(wǎng)絡的出現(xiàn)，雖然提高了驗證碼識別的準確率，但是在準確率上還依然有著很大的提升空間。因此，本文提出了一種先分割后識別的驗證碼處理方法，此方法先將驗證碼圖片進行分割，分割之后再使用LeNet-5神經(jīng)網(wǎng)絡對驗證碼圖片識別。結(jié)果表明，本文方法能夠很好的提升字符驗證碼的分割以及識別準確率。

1 字符圖像預處理

1.1 圖像二值化以及去噪處理

在驗證碼的實際識別過程中為了準確有效的對驗證碼進行分割，我們需要對驗證碼進行預處理[10]，這其中包括灰度化，圖片去噪，矯正以及二值化處理。首先，我們先將圖片灰度化，而彩色圖像轉(zhuǎn)換為灰度圖像時，需要計算圖像中每個像素有效的亮度值[11]，根據(jù)重要性及其它指標，將R，G，B三個分量以不同的權值進行加權平均。其計算公式如式(1)所示：

Y=0.299R+0.578G+0.114B

(1)

在圖片灰度化之后，把圖片進行去噪處理，本文選用中值濾波去噪，把驗證碼圖像中一點的值用該點的一個鄰域中各點值的中值代替，讓周圍的像素值接近真實值，從而消除孤立的噪聲點。部分驗證碼經(jīng)去噪處理后效果如圖1所示。

圖1 部分驗證碼經(jīng)去噪處理后效果

為了有利于進一步處理圖像，使圖像變得簡單，而且讓數(shù)據(jù)量減小，能突出字符有效信息，即突出所求目標字符的輪廓和特征，我們再對圖像進行二值化處理。首先將 RGB 格式的圖像轉(zhuǎn)化為灰度圖像，再把灰度圖像進行二值化。

在圖像預處理過程中，首先獲得圖像灰度繼而使用迭代法閾值分割[12]來得到閾值，進而利用此閾值將灰度圖像進行二值化，從而較為快速而且有效的來完成灰度圖像的二值化。迭代法閾值分割的流程如下。

Step1：選擇一個初始估計閾值T1，預設值ξ。

Step2：用T1把給定圖像分割。這樣做會生成兩組圖像：G1由所有灰度值大于T的像素組成，而G2由所有灰度值小于或等于T的像素組成。

Step3：對區(qū)域G1和G2中的所有像素計算平均灰度值μ1和μ2。

Step4：選擇一個新閾值T1=T2，更新T2，T2=(μ1+μ2)/2。

Step5：重復進行Step2～Step4，直至|T2-T1|>ξ，輸出T2。

部分驗證碼二值化結(jié)果如圖2所示。

圖2 部分驗證碼二值化結(jié)果

1.2 傾斜矯正

為了網(wǎng)站安全，許多網(wǎng)站驗證碼中的字符都有或多或少的傾斜字符，為了方便驗證碼的下一步處理，我們需要對驗證碼字符進行傾斜矯正。

霍夫變換(hough transform)是圖像處理中識別幾何形狀最常用的方法[13]。用Hough變換來檢測圖像的邊緣，確定傾斜圖像邊緣的直線傾斜角，通過傾斜角的旋轉(zhuǎn)后，可以獲得矯正后的圖像。傾斜矯正具體流程為：通過Canny邊緣檢測算法獲得字符邊緣，畫出最小矩陣框，然后利用Hough變換計算傾斜角度，之后進行字符旋轉(zhuǎn)矯正，最后依次找出所有最小矩陣框并矯正。驗證碼矯正結(jié)果如圖3所示。

圖3 驗證碼矯正結(jié)果

2 字符分割

目前大多數(shù)使用的驗證碼依舊為四字符的驗證碼，因此本文研究對象依舊是四字符的驗證碼圖像。本文針對傳統(tǒng)顏色填充算法的缺陷和粘連字符分割存在的難點﹐對傳統(tǒng)的顏色填充分割算法進行改進。該算法首先使用垂直投影算法來判斷驗證碼圖片包含幾個字符塊，以及得出每個字符塊的坐標點以及字符寬度。如果字符塊數(shù)量等于四，則說明字符之間沒有粘連，則直接使用顏色填充算法對驗證碼圖像進行分割，如果字符塊數(shù)量不等于四，則使用顏色填充算法分割之后再根據(jù)字符塊的坐標點以及字符塊寬度進行二次分割。本文算法分割流程如圖4所示。

圖4 字符分割流程圖

2.1 垂直投影算法

垂直投影算法就是對二值化后的驗證碼字符圖像的黑色像素個數(shù)進行豎直垂直方向上的統(tǒng)計。設每個像素位置(x，y)對應的坐標為f(x，y)，當像素點為白色像素點時，f(x，y)=0，為黑色像素點時，f(x，y)=1。則每列像素點個數(shù)為P(x)，公式如(2)所示，其中H為驗證碼圖片高度。

(2)

從x=0開始，依次查找當P(x)=0時x的取值，當?shù)谝淮尾檎业絇(x)=0時，則記錄此時的x坐標，并標記為字符的左邊界；然后繼續(xù)查找，當再次檢測到P(x)=0時，則記錄此時的x坐標，并標記為字符的右邊界，以此類推，直至將字符型驗證碼圖片檢測完畢，之后將字符寬度小于2的標記為噪點并去除。部分預處理后的驗證碼圖片的垂直投影結(jié)果如表1所示。

表1 部分預處理后的驗證碼圖片垂直投影結(jié)果

對表1中的第一張圖片進行可視化，可視化結(jié)果如圖5所示。

圖5 垂直投影可視化圖

2.2 顏色填充算法(CFS)

顏色填充分割算法(CFS，color filling segmentation algorithm)，顏色填充又稱為區(qū)域填充，這里的‘區(qū)域’是由像素點組成點陣形式的填充圖形。一個區(qū)域由兩部分組成，分別為內(nèi)點和邊界點，內(nèi)點是指區(qū)域內(nèi)部的所有像素點，在本文中是指驗證碼字符中的像素點，這些內(nèi)部的像素點為同一個顏色。邊界點是指區(qū)域外部的所有像素點，在本文中是指驗證碼字符之外的所有像素點，這些邊界像素點為與內(nèi)部像素點不同的顏色。具體的表現(xiàn)形式如圖6所示。

圖6 像素點的表現(xiàn)形式

本文所使用的連通方式為八連通方式，具體表現(xiàn)過程為將區(qū)域內(nèi)的一點標記為種子點，給種子點標記一種顏色，然后通過八向連通的方式，用該種子點的顏色遍歷完區(qū)域中所有像素點的過程。因本文處理后都是二值化圖片，因此該種子點也就是一個黑色像素點(像素值為 0)，用其他顏色標記，然后以這個種子點為中心，使用八向連通的方式，繼續(xù)找相鄰的黑色像素點，找到之后就將這個點賦予為和這個種子點相同的顏色，并從找到的黑色像素點開始遞歸尋找其余黑色像素點直至無相鄰的黑色點結(jié)束，然后均標記為與此種子點相同的顏色。通過以上的一個遞歸過程就可以標記出一個顏色均為黑色的區(qū)域，然后再用其它幾個不同的種子點，逐漸遍歷，便可找到許多面積大小不同的區(qū)域，而區(qū)域面積較小則認為是噪點區(qū)域，因此，去除噪點區(qū)域外的其他區(qū)域則是分割出來的字符。本文基于的顏色填充分割算法采用棧結(jié)構(gòu)來實現(xiàn)。基本流程如下：

Step1：種子元素入棧。

Step2：查看棧是否非空，非空則進行Step3～Step6。

Step3：棧頂元素出棧。

Step4：將出棧元素置成要填充色。

Step5：按八向連通的方式檢查與出棧元素相鄰的8個元素。

Step6：在Step5檢查的像素中，如果某個像素點是內(nèi)部點，而且沒有填充顏色，則把該像素入棧。

取出部分預處理后的驗證碼圖片使用顏色填充算法分割，部分分割結(jié)果如表2所示。

表2 顏色填充分割算法結(jié)果

2.3 字符二次分割

根據(jù)使用垂直投影算法計算出的寬度可知，使用顏色填充分割算法分割后粘連的字符要比單一字符的寬度值更大。在討論粘連字符分割時，本文主要討論的驗證碼是四個字符的驗證碼，因此分割后的可能會有以下情況，1)全部字符都相連，即分割后只有一個字符塊，2)字符兩兩相連，分割后有兩個字符塊，3)字符部分連接，分割后有多個字符塊。在以上三種情況中，我們每對字符完成一次分割，則用OCR的識別技術[14]進行一次判斷，看分割出的圖像是否是單個字符。直至對整個粘連字符圖像處理完畢。

針對第一種情況，我們按照公式(3)對字符做出處理，因為全部字符相連，因此我們對字符做處理的結(jié)果會分出四個字符塊。

(3)

其中：Wmax代表最大字符塊的寬度，Wi代表每個字符塊的寬度，其中W1+W2+W3+W4=Wmax，t代表對字符分割時每次移動的像素數(shù)，初始值為1。

針對第二種情況，因為分割后會有兩個字符塊，因此對兩個字符塊分別處理，然后對處理后字符進行判斷，看是否分割出正確字符。分割公式如(4)所示。

(4)

其中：Wm1代表第一個字符塊的寬度，Wm2代表第二個字符塊的寬度，其中W1+W2=Wm1，W3+W4=Wm2。t代表對字符分割時每次移動的像素數(shù)，初始值為1。

針對第三種情況，字符部分相連，即有可能是兩個相連也有可能是三個相連，即最少有一個單個字符，我們令寬度最小的單個字符的寬度為Wmin，然后我們對粘連字符按照公式(5)進行處理，然后檢查分出的是否是單個字符。

(5)

其中：Wmax代表相連字符塊的寬度，Wmin代表寬度最小字符塊的寬度，對于式(5)中的第一個式子，W1+W2=Wmax，對于公式(5)中的第二個式子W1+W2+W3=Wmax，t代表對字符分割時每次移動的像素數(shù)，初始值為1。

對粘連部分驗證碼二次分割處理以后部分驗證碼結(jié)果如表3所示。

表3 部分驗證碼二次分割處理字符以及分割結(jié)果

2.4 字符合并

在粘連字符分割過程中，也有可能導致字符斷裂，因此，我們需要對斷裂字符進行合并。以下為對斷裂字符處理的流程。

Step1：計算每個字符塊的中線坐標為x1，x2， ，xn。

Step2：計算字符塊的最小寬度Wmin和字符塊數(shù)量count以及計算相鄰字符塊中線之間最小距離Lmin。

Step3：將Lmin與Wmin進行對比，如果Lmin小于Wmin，則將該字符塊與其后相鄰字符塊進行合并，即更改該字符的右邊界，使該字符的右邊界等于其后相鄰的字符右邊界，之后將count減1。

Step4：重復進行步驟一到步驟三，直至垂直投影后的count≤4。

3 字符識別

隨著深度學習[16]的發(fā)展，卷積神經(jīng)網(wǎng)絡(CNN)作為一種深層次的神經(jīng)網(wǎng)絡，被應用在許多領域，如目標檢測[17]、圖像分割和識別[18]和CAPTCHA識別[15]。而在CAPTCHA識別領域表現(xiàn)出了優(yōu)異的性能，其性能遠遠優(yōu)于傳統(tǒng)的機器學習方法[19]。與傳統(tǒng)方法相比，卷積神經(jīng)網(wǎng)絡中的卷積層有著很強的提取特征的能力，降低了人工處理的要求和復雜的預處理流程。在1998年，Lecun等[20]人在神經(jīng)網(wǎng)絡領域有了開創(chuàng)性工作，即提出了LeNet-5網(wǎng)絡結(jié)構(gòu)，這也正式開啟了卷積神經(jīng)網(wǎng)絡時代。他首先應用于手寫數(shù)字集的識別，并取得了很好的效果，之后在許多學者的改進下，又應用在車牌識別，壓印字符識別等領域。

LeNet-5網(wǎng)絡結(jié)構(gòu)包括7個層，分別為一個輸入層、三個卷積層、兩個池化層、一個輸出層。LeNet-5網(wǎng)絡的模型結(jié)構(gòu)如圖7所示。

圖7 LeNet-5模型結(jié)構(gòu)

在圖7中，C1是一個具有六個特征圖的卷積層。每個特征圖都由5×5的卷積核采樣步長為1。特征圖的大小為28×28，可以防止輸入從邊界溢出。C1包含156個可訓練參數(shù)和122 304個連接。S2是一個具有六個特征圖的14×14大小的子采樣層。每個特征圖中的每個單元都與C1中相應特征圖的2×2鄰域相連。2×2的感受野是不重疊的，因此S2中的特征圖行數(shù)和列數(shù)比C1中的特征圖減半。S2具有12個可訓練參數(shù)和5 880個連接。C3層為卷積層，輸入為S2中所有6個或幾個的特征圖組合，使用5×5的卷積核采樣，包含6張10×10大小的特征圖和1516個可訓練參數(shù)以及156 000個連接；S4層為池化層，采樣方式為4個輸入相加，乘以一個可訓練參數(shù)，再加上一個可訓練偏置。結(jié)果通過sigmoid函數(shù)輸出。包含16張5×5大小的特征圖和32個可訓練參數(shù)以及2 000個連接；C5為卷積層，輸入為S4層的全部16個單元特征圖，卷積核大小5×5，為包含120張1×1大小的特征圖和48 120個可訓練參數(shù)以及48 120個連接；F6為全連接層，計算輸入向量和權重向量之間的點積，再加上一個偏置，結(jié)果通過sigmoid函數(shù)輸出。包含84個神經(jīng)元和10 164個可訓練參數(shù)；輸出層采用的是徑向基函數(shù)(RBF)的網(wǎng)絡連接方式，輸出為10個神經(jīng)元。

RBF的計算公式如公式(6)所示：

(6)

在公式(6)中，xj為全連接層中第j個神經(jīng)元；yi為輸出層第i個神經(jīng)元；wij為全連接層第j個神經(jīng)元與輸出層第i個神經(jīng)元之間的權值。

因為LeNet-5網(wǎng)絡結(jié)構(gòu)最早是針對手寫數(shù)字識別產(chǎn)生的，其10個輸出神經(jīng)元分別對應著0～9這10類數(shù)字，但驗證碼字符比手寫數(shù)字更為復雜，識別難度更大，因此我們對傳統(tǒng)的LeNet-5網(wǎng)絡進行改進，使其能夠更好的用于識別驗證碼字符。

由于驗證碼圖片中包含多個字符，所以LeNet-5網(wǎng)絡中輸入層的32*32像素的大小便不能對驗證碼字符圖片進行有效的識別，因此，我們將輸入層的輸入大小改為40*30像素大小，能夠更好的符合字符驗證碼圖像的長寬比，也能避免歸一化為32*32大小時，而產(chǎn)生的過多信息丟失。

在LeNet-5網(wǎng)絡中，C5層的訓練參數(shù)數(shù)量為48 120個，占整體訓練數(shù)量的80%。大大增加了訓練量以及拖慢訓練速度，因此將LeNet-5網(wǎng)絡模型中的C5層去掉，改為F5全連接層，并在F5全連接層前進行扁平化處理，這樣能夠?qū)⒛Ｐ涂傮w的訓練參數(shù)數(shù)量減少，提高了算法的運算效率。

本文設計的網(wǎng)絡模型結(jié)構(gòu)參數(shù)信息如表4所示。

表4 卷積神經(jīng)網(wǎng)絡模型結(jié)構(gòu)

本文設計的網(wǎng)絡模型包括兩個卷積層，兩個池化層，和兩個全連接層，其中學習率為0.001，卷積核大小為3*3，填充大小為1，步長為1，輸入圖片大小為40*30，識別過程如圖8所示。

圖8 LeNet-5網(wǎng)絡識別過程

4 實驗結(jié)果與分析

本文使用python語言，運行環(huán)境是在CPU上運行，是基于Intel(R)Core(TM)i5-6200U的處理器，操作系統(tǒng)為Windows10，編譯環(huán)境為python3.7版本。

本文數(shù)據(jù)集均來自生成和網(wǎng)絡采集，其中由Captcha庫生成20 000張字符型驗證碼圖片，網(wǎng)絡采集2 000張字符型驗證碼圖片，其中包括粘連字符型和非粘連字符型驗證碼圖片。驗證碼圖片內(nèi)容包含0～9數(shù)字及A-Z的26個大小寫英文字符混合。

為了驗證算法的優(yōu)越性，根據(jù)驗證碼字符是否粘連將數(shù)據(jù)集分為兩類，分別為粘連字符驗證碼和非粘連字符驗證碼。每類的數(shù)據(jù)集均為11 000張驗證碼圖片，第一類中的驗證碼字符為較為簡單的沒有粘連字符驗證碼；第二類中的驗證碼字符均為復雜的粘連字符驗證碼。每類驗證碼的字符粘連情況如表5所示。

表5 每類驗證碼的字符粘連情況

首先為了更好的驗證本文分割算法的有效性，我們分別從兩類數(shù)據(jù)集中拿出1 000張圖片做分割實驗，與垂直投影分割算法，顏色填充分割算法進行對比，計算字符分割算法的準確率以及分割所用時間。本文字符分割準確率公式如(6)所示：

(6)

其中：Acc代表字符分割準確率，S為字符總個數(shù)，Yi代表分割正確的字符。各種算法分割準確率以及分割時間如表6所示。

之后，我們再用卷積神經(jīng)網(wǎng)絡對字符驗證碼進行識別實驗，將數(shù)據(jù)集按照8：1：1的比例分為訓練集、測試集和驗證集，然后放到卷積神經(jīng)網(wǎng)絡中。最終模型第一類驗證碼訓練和測試的準確率與損失曲線如圖9以及圖10所示。第二類驗證碼訓練和測試的準確率與損失曲線如圖11以及圖12所示。

圖9 第一類驗證碼訓練的準確率

圖10 第一類驗證碼訓練的損失曲線

圖11 第二類驗證碼訓練的準確率

從圖9、圖10、圖11以及圖12可以看出，無論是對于第一類無粘連字符的驗證碼，還是對第二類有粘連字符的驗證碼，本文的方法都具有很好的識別效果。之后，在測試集上對兩類驗證碼進行實驗，得到結(jié)果為第一類非粘連字符驗證碼，識別準確率達到99.9%，對于第二類粘連字符的驗證碼，識別準確率可以達到97.7%。除此之外，為了進一步評估本文方法對字符驗證碼識別的優(yōu)越性，本文與參考文獻中的其它驗證碼識別方法進行了對比，本文實驗結(jié)果和其它模型對比結(jié)果如表7所示。

從表7可以看出，無論是對于第一類簡單的非粘連驗證碼，還是對于第二類復雜的粘連驗證碼，本分對驗證碼的處理方法均有不錯的效果。其中對于第一類簡單非粘連的驗證碼，效果有明顯提升，對于第二類復雜的驗證碼，也比識別率最好的FRN效果要好。

表6 字符分割實驗對比

圖12 第二類驗證碼訓練的損失曲線

表7 各種算法識別正確率對比

5 結(jié)束語

本文針對傳統(tǒng)顏色填充算法的缺陷和粘連字符分割存在的難點﹐對傳統(tǒng)的顏色填充分割算法進行改進，最后再引進LeNet-5神經(jīng)網(wǎng)絡對驗證碼字符進行識別。實驗結(jié)果表明，本文算法不僅適用于大部分非粘連字符驗證碼，而且還能夠解決傳統(tǒng)顏色填充算法無法處理的粘連字符分割問題，但是，對于背景較多干擾線的字符驗證碼，本文算法可能會出現(xiàn)誤分割。

最后，本文在分割算法之后引入改進后的LeNet-5神經(jīng)網(wǎng)絡對驗證碼字符圖片識別，這樣極大的減少了卷積神經(jīng)網(wǎng)絡的參數(shù)，也能起到不錯的字符識別效果。實驗結(jié)果表明，本文提出的方法對驗證碼的分割和識別起到了良好的作用，提高了字符分割的準確率，也減少了卷積神經(jīng)網(wǎng)絡的參數(shù)，提高了運行速率，以及驗證碼識別準確率。