邵慧敏，張?zhí)t

(新疆農(nóng)業(yè)大學 計算機與信息工程學院，新疆 烏魯木齊 830001)

0 引 言

營業(yè)執(zhí)照是工商行政管理部門發(fā)給工商企業(yè)和個體經(jīng)營者能夠從事某些生產(chǎn)經(jīng)營活動的證明，是證明某個企業(yè)具有一定資格的重要依據(jù)[1-2]。文本圖像信息是人們獲取外部信息的主要來源。在現(xiàn)代科學研究、軍事技術(shù)、醫(yī)學、工農(nóng)業(yè)生產(chǎn)等領(lǐng)域，越來越多的人使用圖像信息來識別和判斷事物并解決實際問題。雖然從圖像中獲得文字信息非常重要，但更重要的是對文字圖像進行處理，從圖像中獲取所需要的信息，因此在當今科學技術(shù)高速發(fā)展的時代，對文字圖像的處理技術(shù)就有了更高的要求，能夠更加快速準確地檢測人們所需的圖像文本信息[3-6]。

目前，文字檢測方法主要包括基于文本框回歸的分類、基于分割的回歸以及分割和回歸結(jié)合的方法[7-8]。雖然近些年基于深度學習的文字檢測方法已經(jīng)取得巨大進步，但是文字作為一種具有其獨有特色的目標，其字體、顏色、方向、大小等呈現(xiàn)多樣化形態(tài)，相比一般目標檢測更加困難[9-12]。一個模型在某個開源的數(shù)據(jù)集上得到了很好的效果，用這個方法直接換到另外的數(shù)據(jù)集上也許效果就不是很好，甚至是比較差的。因為很多模型是針對某項數(shù)據(jù)集來調(diào)整參數(shù)進行不斷優(yōu)化的，所以它極大依賴于數(shù)據(jù)，深度學習它有沒有學到本質(zhì)的東西，這個問題還值得深度探討[13-17]。神經(jīng)網(wǎng)絡(luò)模型在文字檢測方面已經(jīng)有了研究，例如區(qū)域文本框網(wǎng)絡(luò)(RPN)，只是RPN進行的文字檢測很難準確地進行水平檢測。RPN是通過直接訓練來定位圖像中的文本行，但是通過文本行來預測圖像中的文本出現(xiàn)錯誤的可能性很大，因為文本是一個沒有明確的封閉邊界的序列。令人欣喜的是，Ren提出了anchor回歸機制允許RPN可以使用單尺度窗口檢測多尺度的對象，這個想法的核心是通過使用一些靈活的anchors在大尺度和縱橫比的范圍內(nèi)對物體進行預測[18-22]。其研究結(jié)果表明，根據(jù)CTPN方法，建立營業(yè)執(zhí)照文字檢測神經(jīng)網(wǎng)絡(luò)模型，能夠準確地對營業(yè)執(zhí)照的文字進行水平檢測。

1 CTPN神經(jīng)網(wǎng)絡(luò)簡介

CTPN神經(jīng)網(wǎng)絡(luò)模型主要包括三個部分：卷積層、雙向LSTM、全連接層。底層使用VGG16來提取特征，由一個W*H*C的conv5的feature map，使用大小為3*3的空間窗口，在最后一層卷積(VGG16的conv5)的feature map上滑動窗口。每行中的順序窗口通過BLSTM(bi-directional long short-term memory)循環(huán)連接，其中每個窗口的卷積特征(3×3×C)作為BLSTM的輸入，再實現(xiàn)雙向BLSTM，增強關(guān)聯(lián)序列的信息學習，再將VGG最后一層卷積層輸出的feature map轉(zhuǎn)化為向量形式，用于接下來的BLSTM訓練。然后將BLSTM的輸出再輸入至FC中，最終模型輸出：2k個anchor的文本/非文本分數(shù)、2k個y坐標、k個side_refinement(側(cè)向細化偏移量)。該模型設(shè)計的CTPN神經(jīng)網(wǎng)絡(luò)模型如圖1所示。

圖1 CTPN神經(jīng)網(wǎng)絡(luò)模型

CTPN神經(jīng)網(wǎng)絡(luò)是一個完整的卷積網(wǎng)絡(luò)，可以允許輸入任意大小的圖像。CTPN通過在CNN的feature map上密集地移動窗口來檢測文本行，輸出的是一系列的適當尺寸(固定寬度16像素，長度是可以根據(jù)情況調(diào)整的)的文本proposal。給每個proposal設(shè)計了k個垂直anchor用來預測每個點的y坐標。這k個anchor具有固定16個像素的水平位置，但垂直位置在k個不同的高度上變化。此次使用10個anchors，高度在11～273個像素變化，垂直坐標是通過一個proposal邊界框的高度和y軸的中心計算得到的。有關(guān)預測anchor邊界框的相對垂直坐標的計算公式如下：

(1)

CTPN的三個輸出都被一起連接到全連接層上。這三個輸出同時預測文本/非文本分數(shù)，垂直坐標和side-refinement的偏移量。采用k個anchor對它們?nèi)齻€分別預測，依次在輸出層產(chǎn)生2k、2k和k個參數(shù)(CTPN固定了水平位置，只預測垂直位置)。利用多任務(wù)學習來聯(lián)合優(yōu)化模型參數(shù)，目標函數(shù)如下：

(2)

偏移量計算公式如下：

(3)

其中，O表示在X方向的歸一化的偏移量，cx表示anchor的中心，xside表示預測的中心，w表示anchor的寬度。針對文本/非文本的分類，二進制的標簽被分給每一個正anchor(文本)和負anchor(非文本)，正負anchor是由IoU與GT邊界重疊計算得到的。正的anchor被定義為:IoU與GTbox的重疊大于0.7的或者最高(集是一個很小的文本pattern也會被分為一個正的anchor)的anchor,負的anchor是IoU小于0.5產(chǎn)生。

2 估測模型訓練過程

2.1 實驗數(shù)據(jù)集

實驗數(shù)據(jù)是筆者用手機拍攝及掃描的，總共收集大約2 000張營業(yè)執(zhí)照數(shù)據(jù)集，采集日期是2018年12月初-至今。由于營業(yè)執(zhí)照含有持有者的個人信息，所以收集起來比較困難。

2.2 數(shù)據(jù)預處理

2.2.1 圖像采集

手機拍照或者掃描得到營業(yè)執(zhí)照的圖片。

2.2.2 圖像預處理

營業(yè)執(zhí)照的圖像背景噪聲大，所以首先利用Opencv對圖像進行灰度化、矯正處理，再用labelimg對2 000張數(shù)據(jù)進行標注，得到xml格式的數(shù)據(jù)集，然后再轉(zhuǎn)成VOCdevkit數(shù)據(jù)集，用于訓練CTPN模型。

2.3 訓練過程

該模型使用隨機梯度下降(SGD)對現(xiàn)有的CTPN進行訓練。因為牽扯到大量數(shù)據(jù)的計算訓練，所以選用的服務(wù)器是適合于大規(guī)模運算的Google Cloud Platform的GPU服務(wù)器,所用數(shù)據(jù)集為VOCdevkit，并進行10 000次迭代訓練。與RPN神經(jīng)網(wǎng)絡(luò)相同的是訓練樣本為anchors，每一個anchor是一個訓練樣本。對每個預測來說，水平位置和k個anchors的位置是固定的，這個是由輸入圖像在conv5的feature map上窗口的位置預先計算得到的，生成的文本proposals是由文本分數(shù)值大于0.7(通過使用NMS)的anchor生成的。通過使用垂直anchor和fine-scale策略，detector可以處理各種比例和縱橫比的文本行，進一步節(jié)省了計算量和時間。在迭代訓練過程中，生成的total_loss、model_loss如圖2、圖3所示。

圖2 total_loss

目前，Mean Average Precision特別適用于預測目標位置及類別的算法，因此它對評估定位模型、目標檢測模型和分割模型非常有用。在計算mAP之前先要了解Precision和Recall也就是精確率和召回率，精確率主要用于衡量模型做出預測的精準度，召回率主要用于衡量模型對Positives的檢測程度。

圖3 model_loss

(4)

(5)

其中，TP=True Positive，TN=True Negative，F(xiàn)P=False Positive，F(xiàn)N=False Negative。隨著Recall從0到1之間的提升，AP(average precision)可以由計算11個不同Recall階層最大Precision的評價值而得到。該文使用如下方式計算AP：

(6)

模型訓練完成后進行測試，得到的AP如圖4所示。

圖4 AP

3 實驗結(jié)果及其對比

本次實驗首先進行數(shù)據(jù)采集，其次對采集數(shù)據(jù)進行預處理，并分析所研究的營業(yè)執(zhí)照文字中所需要檢測的位置，然后運用python語言結(jié)合Tensorflow框架、Opencv等第三方工具包構(gòu)建CTPN神經(jīng)網(wǎng)絡(luò)，再根據(jù)評價指標對模型進行參數(shù)優(yōu)化，最后確定模型并與現(xiàn)有的方式進行對比分析。經(jīng)過多次實驗后，選取了其中的一個樣本進行對比分析，此次是將RPN和未訓練的CTPN及訓練后的CTPN對營業(yè)執(zhí)照圖像的文字檢測結(jié)果進行對比，檢測結(jié)果如圖5所示。

(a)RPN (b)未訓練的CTPN (c)已訓練的CTPN

由于營業(yè)執(zhí)照復雜的背景，噪聲干擾，字體大小不一致，顏色多樣，且需檢測的文字都是水平檢測，所以基于RPN的方法對營業(yè)執(zhí)照圖像中文字的檢測不具有良好的魯棒性，經(jīng)測試有很多的文字都未被檢測到。像營業(yè)執(zhí)照中的經(jīng)營場所和經(jīng)營范圍出現(xiàn)多行文字的情況時，每一行文字沒有被分開檢測，這對后續(xù)的文字識別率有很大的影響，因為OCR識別只能識別單行的文字。沒有用營業(yè)執(zhí)照數(shù)據(jù)集訓練的CTPN的檢測率也不理想，部分文字未被檢測到，同樣在出現(xiàn)多行文字時沒有將每一行進行分開檢測，但檢測效果比RPN要好。而經(jīng)過訓練后的CTPN，檢測的準確率大大提高，也解決了出現(xiàn)多行文字時每一行文字被分開檢測，準確率達到項目使用的要求。

4 結(jié)束語

CTPN利用文字序列的特點降低了檢測難度，使其能夠?qū)Ρ尘皬碗s的營業(yè)執(zhí)照圖像進行高精度檢測。而系統(tǒng)的不足之處是對拍攝角度、曝光度及像素較低的圖像的檢測率較低，將會在后期的研究中對其進行改進。目前數(shù)據(jù)集較少，還需要再不斷收集數(shù)據(jù)，并且在用labelimg標注數(shù)據(jù)時，要避免勾圖的框過大，保證文字被完整框住即可，使用這樣標注的數(shù)據(jù)集進行訓練，會更有利于提高CTPN模型的文字檢測率。