熊海朋，陳洋洋，陳春瑋

(杭州電子科技大學(xué) 計(jì)算機(jī)學(xué)院，浙江杭州310018)

基于卷積神經(jīng)網(wǎng)絡(luò)的場景圖像文本定位研究

熊海朋，陳洋洋，陳春瑋

(杭州電子科技大學(xué) 計(jì)算機(jī)學(xué)院，浙江杭州310018)

針對由于自然場景的復(fù)雜性，從自然場景圖像中提取出文本信息較困難的問題，文中提出了一種基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的文本定位算法。通過對場景圖像進(jìn)行預(yù)處理得到候選文本區(qū)域，在此基礎(chǔ)上結(jié)合深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)來自動(dòng)提取文本特征進(jìn)行進(jìn)一步的定位。通過實(shí)驗(yàn)驗(yàn)證，定位的準(zhǔn)確率可達(dá)86%，綜合性能較好。

文本定位;二值化;自然場景圖像;卷積神經(jīng)網(wǎng)絡(luò)

自然場景圖像中包含著許多高層次的語義信息，例如交通路標(biāo)、門牌號(hào)、街道名稱等，是對場景內(nèi)容的重要反映。提取自然場景中的文本信息需要經(jīng)過3個(gè)步驟：定位出文本區(qū)域、對文本區(qū)域進(jìn)行分割，對分割區(qū)域進(jìn)行識(shí)別。文本定位作為提取文本信息的第一步，定位效果至關(guān)重要。因?yàn)閳鼍皥D像自身背景復(fù)雜，并且由于光照變換，字體等客觀因素的影響，導(dǎo)致文本定位問題至今仍是一個(gè)難題。

目前來說，采用的定位研究方法主要有基于圖像連通區(qū)域[1-3]、基于圖像的紋理特征[4-6]、以及基于圖像中的角點(diǎn)[7-8]這3種方法。以這些基本方法針對具體應(yīng)用取得了較好的效果，但是在復(fù)雜的場景下通常存在虛警率較高的問題，為解決這一問題，把這些基本方法進(jìn)行合理的組合再結(jié)合機(jī)器學(xué)習(xí)進(jìn)行定位是一種有效的思路[9-12]，大幅提高了復(fù)雜場景文本定位的魯棒性和效率。但是這些方法都需要人為提取圖像中文本區(qū)域的特征，導(dǎo)致算法性能的優(yōu)劣與人的主觀因素密切相關(guān)。通過對上述研究現(xiàn)狀的分析，本文提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)的圖像文本定位算法，首先通過預(yù)處理措施得到圖像中的候選文本區(qū)域。然后基于卷積神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)特點(diǎn)，準(zhǔn)備好訓(xùn)練樣本集，通過有監(jiān)督的學(xué)習(xí)自動(dòng)提取文本特征得到分類模型，最后利用該模型對候選文本區(qū)域進(jìn)行進(jìn)一步的定位。在自建圖像數(shù)據(jù)庫上，對本文算法進(jìn)行了綜合測試。

1 文本定位方法

圖1 說明了本文算法的整體流程，主要包括預(yù)處理(灰度化，二值化)、生成候選文本區(qū)域(形態(tài)學(xué)運(yùn)算，連通區(qū)域分析與限制)以及最終使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行進(jìn)一步的分類。

圖1 場景圖像文本定位算法的整體流程

2 預(yù)處理階段

對場景圖像進(jìn)行一系列的預(yù)處理，盡量去除圖像中像素的冗余信息，減少后續(xù)步驟的計(jì)算量。

2.1 灰度化處理

采集自然場景圖像，對其進(jìn)行灰度化處理，本文采用加權(quán)平均法來進(jìn)行處理，該方法計(jì)算方式較合理，灰度化效果較好。

2.2 二值化處理

本文對經(jīng)典的自適應(yīng)二值化算法Niblack進(jìn)行了改進(jìn)，為了減少圖像中噪聲的干擾，把灰度圖像分割成n×n個(gè)不重疊的子圖像，在計(jì)算每個(gè)子圖像的像素閾值時(shí)，加入整幅場景圖像的像素均值信息，閾值計(jì)算方式為

T=k1×Mean+k2×Variance

(1)

其中，k1,k2分別為對應(yīng)的權(quán)值，介于0～1之間；Mean為整幅圖像的像素均值；Variance為子圖像的像素標(biāo)準(zhǔn)差。

根據(jù)式(1)計(jì)算出閾值T后，通過觀察發(fā)現(xiàn)，場景圖像中背景通常標(biāo)準(zhǔn)差較小，而文本區(qū)域標(biāo)準(zhǔn)差較大，因此按照式(2)，將圖像劃分成黑色層，白色層以及灰色層圖像，來加快后續(xù)的處理速度，并且不影響最終的定位結(jié)果。

(2)

經(jīng)過多次實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)K取15而k1,k2分別取0.75和0.8時(shí)，圖像二值化效果最好，并且可以有效的抑制噪聲的影響。

3 生成候選文本區(qū)域

3.1 形態(tài)學(xué)運(yùn)算

由于圖像中文本區(qū)域的標(biāo)準(zhǔn)差較大，所以最終的文本區(qū)域只可能在白色層和黑色層圖像中。接下來分別對得到的白色層和黑色層二值化圖像進(jìn)行水平和垂直方向的膨脹運(yùn)算使得同一字符的各個(gè)結(jié)構(gòu)連接在一起，然后再進(jìn)行閉運(yùn)算，平滑字符的邊界，填充字符內(nèi)的小空洞，有利于接下來的連通區(qū)域標(biāo)示與限制分析。

3.2 連通區(qū)域限制分析

接下來分別對形態(tài)學(xué)運(yùn)算之后的黑色層和白色層圖像進(jìn)行連通區(qū)域標(biāo)示與限制分析，本文利用根據(jù)連通體本身計(jì)算的形態(tài)特征，包括連通體的寬高比，黑像素密度特征，邊界限制以及根據(jù)待判別的連通體與其他連通體之間的空間排列計(jì)算出來的特征來判別文本/非文本連通體，去除明顯不是文本的區(qū)域，得到候選文本區(qū)域。

通過連通區(qū)域標(biāo)示與限制分析，在保留所有文本區(qū)域的前提下，可以去除掉大量的非文本區(qū)域，便于接下來使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行進(jìn)一步的定位。

4 卷積神經(jīng)網(wǎng)絡(luò)細(xì)分類

經(jīng)過上述步驟處理后，在得到的候選文本區(qū)域中可能仍然存在一些非文本區(qū)塊，特別當(dāng)圖像中存在一些圖形的特征與文本字符的邊緣、形狀等特征相似時(shí)，非文本區(qū)塊可能就更多，所以對得到的候選文本區(qū)域還需要進(jìn)行更細(xì)致的分類。通過對現(xiàn)有分類方法的研究，本文選用卷積神經(jīng)網(wǎng)絡(luò)[13]進(jìn)行進(jìn)一步分類。

目前來說，常用的深度學(xué)習(xí)框架有Caffe, CNTK, Theano等，通過對現(xiàn)有的學(xué)習(xí)框架進(jìn)行分析比較，選擇了Caffe框架[14]來進(jìn)行本文所需要的卷積神經(jīng)網(wǎng)絡(luò)的搭建。該框架可以通過配置文件對網(wǎng)絡(luò)的層數(shù)，類型以及卷積核的個(gè)數(shù)等進(jìn)行方便的設(shè)置，對訓(xùn)練過程中的一些必須參數(shù)給出了詳細(xì)的說明，使用時(shí)根據(jù)實(shí)際需要進(jìn)行相應(yīng)的初始化即可，簡單高效。

本文使用卷積神經(jīng)網(wǎng)絡(luò)的過程如下：(1)基于Caffe學(xué)習(xí)框架，結(jié)合本文的二分類問題確定好網(wǎng)絡(luò)結(jié)構(gòu)；(2)對訓(xùn)練樣本集合中的正負(fù)樣本圖像進(jìn)行標(biāo)記，正樣本標(biāo)記為1，負(fù)樣本標(biāo)記為-1，按照需要的數(shù)據(jù)格式準(zhǔn)備好訓(xùn)練與測試數(shù)據(jù),輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練；(3)選用適當(dāng)?shù)臋?quán)重參數(shù)調(diào)節(jié)方法進(jìn)行參數(shù)調(diào)節(jié)，最終得到滿足要求的神經(jīng)網(wǎng)絡(luò)模型。使用該網(wǎng)絡(luò)模型進(jìn)行進(jìn)一步的分類。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 數(shù)據(jù)庫的建立與評價(jià)方法

目前對于自然場景圖像中的文本定位問題來說，沒有統(tǒng)一的標(biāo)準(zhǔn)圖像數(shù)據(jù)庫，所以根據(jù)需要建立了一個(gè)由大約900幅數(shù)碼相機(jī)拍攝的具有代表性的自然場景圖像測試數(shù)據(jù)庫，盡可能多的的包含了自然場景中文本的各種情況，例如字體大小、排列方式等。ICDAR文本定位競賽采用準(zhǔn)確率與召回率[15]作為評價(jià)標(biāo)準(zhǔn)，本文采用同樣的標(biāo)準(zhǔn)。

5.2 卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建

本文基于Caffe深度學(xué)習(xí)框架搭建了一個(gè)8層的深度卷積神經(jīng)網(wǎng)絡(luò)，具體結(jié)構(gòu)如圖2所示。

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

其中第一層Input為數(shù)據(jù)輸入層，輸入的為灰度化圖像；C1為卷積層，卷積核的個(gè)數(shù)為8，卷積核的大小也就是卷積模板為5×5鄰域，通過卷積層C1之后，將會(huì)得到原圖像的8個(gè)特征圖；S2為下采樣層，選用最大池化算法根據(jù)圖像局部相關(guān)性原理對得到的8個(gè)特征圖進(jìn)行下采樣操作，卷積核大小設(shè)置為3×3鄰域，池化步長設(shè)置為2來保證采樣區(qū)域不重疊，將會(huì)得到8個(gè)特征映射圖；C3為卷積層，卷積核個(gè)數(shù)為16個(gè)，卷積核大小為5×5鄰域，通過對得到的8個(gè)特征映射圖分別進(jìn)行組合、卷積之后，將會(huì)得到16個(gè)特征圖，這樣做來破壞網(wǎng)絡(luò)的對稱性，因?yàn)椴煌奶卣鲌D對應(yīng)的輸入不同，使得抽取的特征可以互補(bǔ)；S4為下采樣層，采用和S2同樣的方法進(jìn)行下采樣操作，將會(huì)得到16個(gè)特征圖；C5為卷積層也可以稱為全連接層，卷積核個(gè)數(shù)為200個(gè)，卷積核大小為5×5鄰域，可以得到200個(gè)1×1的特征圖，也就是一個(gè)200維的特征向量。本文特別加入了激活層F6，對得到的特征向量進(jìn)行稀疏變換，使數(shù)據(jù)擁有較好的稀疏性，通過實(shí)驗(yàn)對比，選擇了RELU函數(shù)作為激活函數(shù)；最后一層為Softmax層來對輸入樣本進(jìn)行分類。

5.3 采集訓(xùn)練樣本

本文采用的訓(xùn)練樣本集中的負(fù)樣本是通過對自建圖像庫中的圖像背景通過程序隨機(jī)切割得到的，并且為了更有針對性，把獲取候選文本區(qū)域時(shí)去除掉的非文本區(qū)域也加入其中。正樣本是通過對圖像中的文本區(qū)域進(jìn)行手工分割得到的，盡可能的包含文本的各種情況。采集的正負(fù)樣本如圖3所示，對正負(fù)樣本進(jìn)行灰度化然后來訓(xùn)練網(wǎng)絡(luò)模型。

圖3 正/負(fù)樣本示例

本文分別采集了3 000個(gè)正樣本和5 000個(gè)負(fù)樣本，其中80%作為訓(xùn)練樣本，20%用于訓(xùn)練過程中對網(wǎng)絡(luò)進(jìn)行測試。通過觀察與分析，將樣本圖像大小調(diào)整為32×32像素大小時(shí)，保證字符結(jié)構(gòu)清晰的同時(shí)減少計(jì)算量。按照Caffe框架要求的訓(xùn)練數(shù)據(jù)格式準(zhǔn)備訓(xùn)練數(shù)據(jù)，其中正樣本打標(biāo)簽為1，負(fù)樣本為-1，訓(xùn)練數(shù)據(jù)的格式如圖4所示。測試數(shù)據(jù)按照同樣的格式進(jìn)行準(zhǔn)備。

圖4 訓(xùn)練數(shù)據(jù)格式

5.4 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

準(zhǔn)備好訓(xùn)練數(shù)據(jù)后，需要對網(wǎng)絡(luò)模型中重要的權(quán)值參數(shù)進(jìn)行初始化，Caffe框架對整個(gè)訓(xùn)練過程中需要用到的一些重要參數(shù)給出了詳細(xì)說明，如表1所示。

表1 實(shí)驗(yàn)所需主要參數(shù)

test_ter： 表示訓(xùn)練數(shù)據(jù)分多少批次執(zhí)行。對于準(zhǔn)備的訓(xùn)練數(shù)據(jù)，一次性全部執(zhí)行效率較低，與配置文件中的batch_size結(jié)合起來，test_iter×batch_size=訓(xùn)練數(shù)據(jù)總量，本文設(shè)置batch_size為320，test_iter為20，訓(xùn)練數(shù)據(jù)總量為6 400。

test_iterval：訓(xùn)練迭代N次之后對網(wǎng)絡(luò)模型進(jìn)行一次測試。本文將該參數(shù)設(shè)置為500，即每迭代500次對網(wǎng)絡(luò)模型進(jìn)行一次測試。

base_lr: 網(wǎng)絡(luò)模型的基礎(chǔ)學(xué)習(xí)率，與選擇的參數(shù)調(diào)節(jié)方法相關(guān)。本文選擇目前使用較廣泛的SGD(Stochastic Gradient Descent)隨機(jī)梯度下降法來對網(wǎng)絡(luò)模型的權(quán)值參數(shù)進(jìn)行調(diào)節(jié)。通過實(shí)驗(yàn)觀察發(fā)現(xiàn)，base_lr的初始值要盡可能小，整個(gè)訓(xùn)練過程才能更快的趨于穩(wěn)定、準(zhǔn)確率高，本文設(shè)置初始值為0.005。

momentum: 上一次梯度更新的權(quán)重，通過實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)momentum的初始值在0.5～0.99之間時(shí)，SGD參數(shù)調(diào)節(jié)方法更加的快速穩(wěn)定，因此本文設(shè)置momentum為0.85。

type：選擇的參數(shù)調(diào)節(jié)方法，可選的參數(shù)有AdaDelta , Adam等6種，本文選擇了SGD參數(shù)調(diào)節(jié)方法。

weight_decay：權(quán)重衰減項(xiàng)，用來防止網(wǎng)絡(luò)模型陷入過擬合，本文設(shè)置其初始值為0.0005。

max_iter：網(wǎng)絡(luò)模型的最大迭代次數(shù)，設(shè)置太小，得到的準(zhǔn)確率較低，設(shè)置太大，會(huì)產(chǎn)生振蕩現(xiàn)象，通過實(shí)驗(yàn)，當(dāng)設(shè)置為10 000時(shí)，效果較好。

solver_mode：整個(gè)學(xué)習(xí)框架的運(yùn)行模式，默認(rèn)為GPU，也可以設(shè)置為CPU，本文選擇GPU模式來運(yùn)行。

上述對本文中用到的一些重要參數(shù)進(jìn)行了介紹，并對網(wǎng)絡(luò)模型的權(quán)重參數(shù)通過編程用一些小的不同的隨機(jī)數(shù)進(jìn)行了初始化，初始值小使得網(wǎng)絡(luò)模型不會(huì)過早的進(jìn)入飽和狀態(tài)，導(dǎo)致訓(xùn)練失?。徊煌某跏贾悼梢员ＷC網(wǎng)絡(luò)正常的對訓(xùn)練樣本進(jìn)行學(xué)習(xí)。使用準(zhǔn)備好的訓(xùn)練數(shù)據(jù)對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，最終得到網(wǎng)絡(luò)模型，進(jìn)行進(jìn)一步分類。

5.5 實(shí)驗(yàn)結(jié)果與分析

在自建圖像數(shù)據(jù)庫中選取300幅具有代表性的圖像對本文算法進(jìn)行綜合測試，對于待處理的圖像，先按照預(yù)處理的方法從圖像中得到候選文本區(qū)域，其中文本連通區(qū)域有6 352個(gè)，非文本連通區(qū)域有16 728個(gè)，同時(shí)記錄這些區(qū)域在圖像灰度圖上的位置，接下來的處理針對圖像灰度圖上對應(yīng)的候選文本區(qū)域，以提高卷積神經(jīng)網(wǎng)絡(luò)的處理效率。使用訓(xùn)練得到的網(wǎng)絡(luò)模型對候選文本區(qū)域進(jìn)行進(jìn)一步分類，分類結(jié)果如表2所示。

表2 細(xì)分類結(jié)果

通過表2可以看出，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行進(jìn)一步的分類時(shí)，能正確分類的區(qū)域個(gè)數(shù)為19 848個(gè)，其中正確分類的區(qū)域中文本區(qū)域的個(gè)數(shù)為5 337個(gè)，分類的準(zhǔn)確率為86%，召回率為84%，同時(shí)可以看出本文算法對于文本的字體、排列方式、中英文語種等有一定的通用性，綜合性能較好。

5.6 與相似算法比較

CART[9]中的整體算法與本文算法相似，首先對圖像進(jìn)行預(yù)處理得到候選文本區(qū)域，然后采用分類器方法對圖像區(qū)域分類。所以在測試時(shí)，將本文算法與其方法在自建的圖像測試庫上進(jìn)行對比測試，實(shí)驗(yàn)結(jié)果如表3所示。

表3 與CART[9]比較結(jié)果

從表3中可以看出，與CART[9]相比，本文算法定位效果有明顯提高。主要原因是得到候選文本區(qū)域后，CART[9]中需要人為的選擇特征并進(jìn)行提取，而利用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取特征，避免了人為因素的干擾，因此可以有效的降低定位虛警率，準(zhǔn)確率更高。

6 結(jié)束語

通過對現(xiàn)有文本定位方法進(jìn)行綜合分析后，本文提出了一種結(jié)合深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的文本定位方法，通過在自建圖像庫上進(jìn)行實(shí)驗(yàn)，本文算法的定位準(zhǔn)確率較高，有較強(qiáng)的適用性。同時(shí)本文還有許多可以改進(jìn)的地方，例如，改進(jìn)預(yù)處理算法來得到更精確的候選文本區(qū)域，完備的訓(xùn)練集合使網(wǎng)絡(luò)模型的學(xué)習(xí)更加完善，以及對網(wǎng)絡(luò)模型進(jìn)行進(jìn)一步優(yōu)化等。

[1] Epshtein B, Ofek E, Wexler Y. Detecting text in natural scenes with stroke width transform[C].MA,USA:IEEE Conference on Computer Vision and Pattern Recognition，IEEE,2013.

[2] Yi C,Tian Y.Text string detection from natural scenes by structure-based partition and grouping[J].IEEE Transactions on Image Processing,2011,20(9):2594-605.

[3] Pan Y F,Hou X,Liu C L.A hybrid approach to detect and localize texts in natural scene images[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2011,20(3):800-13.

[4] Lee J J,Lee P H,Lee S W,et al. AdaBoost for text detection in natural Scene[C].Macro:International Conference on Document Analysis & Recognition, 2011.

[5] Mao W,Chung F L,Lam K K M,et al. Hybrid Chinese/English text detection in images and video frames[C].Hangzhou:International Conference on Pattern Recognition,2002.

[6] 丁亞男.基于圖像分解的車牌定位算法[J].電子科技,2014,27(1):42-46.

[7] Zhao X,Lin K H,Fu Y,et al. Text from corners: a novel approach to detect text and caption in videos[J].IEEE Transactions on Image Processing,2011,20(3):790-799.

[8] Uchida S,Shigeyoshi Y,Kunishige Y,et al. A key point-based approach toward scenery character detection[C]. Beijing:International Conference on Document Analysis & Recognition,2011.

[9] 徐瓊,干宗良,劉峰,等.基于提升樹的自然場景中文文本定位算法研究[J].南京郵電大學(xué)學(xué)報(bào):自然科學(xué)版,2013,33(6):76-82.

[10] Ma Wenping,Lin B Q,Wu Xiaoqiang, et al.Scene text secondary location algorithm based on HOG+SVM mode[J].Video Engineering,2015(6):933-945.

[11] Wang C, Zhou Y.A new approach for text location based on SUSAN and SVM[C].Hong Kong:International Conference on Information Science and Cloud Computing Companion,IEEE Computer Society,2013.

[12] 曾泉,譚北海.基于SVM和BP神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別系統(tǒng)[J].電子科技,2016,29(1): 98-103.

[13] Schmidhuber J,Meier U,Ciresan D. Multi-column deep neural networks for image classification[C].Soul:Computer Vision and Pattern Recognition,IEEE,2012.

[14] Jia Y,Shelhamer E,Donahue J,et al. Caffe:convolutional architecture for fast feature embedding[C].CA,USA:ACM International Conference on Multimedia,ACM,2014.

[15] Shahab A,Shafait F,Dengel A. ICDAR reading text in scene images[J].Robust Reading Competition Challenge,2011,2(2-3):1491-1496.

Text Location in Image Based on Convolution Neural Network

XIONG Haipeng,CHEN Yangyang,CHEN Chunwei

(School of Computer Science,Hangzhou Dianzi University,Hangzhou 310018,China)

Due to the complexity of the natural scene image, it is still difficult to extract the text information from the image, Based on the research and analysis of image text localization algorithm, a localization algorithm based on convolution neural network is proposed. Firstly, the image is preprocessed to obtain the candidate text region，On this basis, combined with convolution neural network to extract the text features for further positioning automatically。Through the experimental verification, the positioning accuracy can reach %86 and has better performance.

text localization; binarization; natural scene image; convolution neural network

2017- 03- 07

浙江省科技計(jì)劃項(xiàng)目(GK090910001)

熊海朋(1991-)，男，碩士研究生。研究方向：人工智能與模式識(shí)別。陳洋洋(1990-)，男，碩士研究生。研究方向：人工智能與模式識(shí)別。陳春瑋(1990-)，男，碩士研究生。研究方向：人工智能與模式識(shí)別。

TN957

A

1007-7820(2018)01-050-04