宮法明,劉芳華,李厥瑾,宮文娟

1(中國石油大學(xué)(華東) 計算機科學(xué)與技術(shù)學(xué)院,青島 266580)

2(山東電子職業(yè)技術(shù)學(xué)院 教務(wù)處,濟南 250200)

近年來,在場景圖像中瀏覽文本,因為其廣泛的實際應(yīng)用,如圖像/視頻理解、視覺搜索、自動駕駛、盲輔助等,成為一個活躍的研究領(lǐng)域.場景文本檢測作為場景文本讀取的關(guān)鍵組成部分,對每個文本實例的邊界框或區(qū)域進行定位仍然是一項具有挑戰(zhàn)性的任務(wù),因為場景文本往往具有各種尺度和形狀,包含水平文本、多取向文本和彎曲文本.基于分割的場景文本檢測由于其在像素級上的預(yù)測結(jié)果,可以描述各種形狀的文本,因此近年來受到了廣泛的關(guān)注.然而,大多數(shù)基于分割的方法需要復(fù)雜的后處理,在推理過程中造成了相當(dāng)大的時間開銷.

針對文本識別問題,傳統(tǒng)的文本識別方法[1-3]適應(yīng)性差、需要分離訓(xùn)練目標,導(dǎo)致麻煩的預(yù)分割和后處理階段.在計算機行業(yè)飛速發(fā)展的今天,自動處理算法逐漸成熟,文本檢測和識別算法[4-7]的準確度都大大提升.近年來出現(xiàn)的CTC[8](Connectionist Temporal Classification)和注意力顯著緩解了這種訓(xùn)練問題,但這兩種識別模型算法實現(xiàn)很復(fù)雜,可能會導(dǎo)致訓(xùn)練成本增高并降低了識別準確率.

本文的貢獻在于提出了一種復(fù)雜場景下文本檢測和識別的新方法,記為TDRNet (Text Detection and Recognition Net).在原本檢測和識別網(wǎng)絡(luò)的基礎(chǔ)上加以改進,采用更高效的特征提取網(wǎng)絡(luò),在文本區(qū)域檢測網(wǎng)絡(luò)中加入可微二值化進行優(yōu)化,大大簡化了后處理過程.在文本識別網(wǎng)絡(luò)中,使用聚合交叉熵損失函數(shù)解決序列了識別問題,對CTC和注意力機制具有競爭性能,提高了檢測和識別性能.本文將文本定位網(wǎng)絡(luò)和文本識別網(wǎng)絡(luò)結(jié)合提高識別準確率,取得了較好的性能.該方法能有效地檢測和識別任意文本實例,具有很好的實用性.

1 相關(guān)工作

文本識別通常包含3 個部分:首先進行圖像預(yù)處理,緊接著進行文本檢測,最后進行文本識別.為了使圖像被檢測或掃描,通常需要對輸入圖像進行捕獲、二值化、平滑等處理,對輸入圖像進行校正,并根據(jù)文本大小對圖像進行裁剪.編輯圖像后,我們可以對文本進行檢測了.

近年來,文本檢測技術(shù)的研究取得了長足的進展.傳統(tǒng)的特征提取方法大多采用人工,在深入研究計算機視覺任務(wù)之后,文本檢測逐漸轉(zhuǎn)向基于深度的學(xué)習(xí)方法.目前基于深度學(xué)習(xí)方法包含兩大類:一種是從目標探測發(fā)展而來的,例如基于候選字段的文本檢測,其基本構(gòu)想是基于默認框架集創(chuàng)建一系列候選文本框,再進行一系列調(diào)整、篩選,最終通過非極大抑制NMS(Non-Maximum Suppression)得到最終的文本邊界框,例如為文本檢測而設(shè)計TextBoxes[9]、SegLink[10]等網(wǎng)絡(luò)結(jié)構(gòu)模型;一個是從語義分割發(fā)展而來的,例如基于圖像分割的文本檢測.其想法是分割網(wǎng)絡(luò)結(jié)構(gòu),達到像素的語義分區(qū),然后根據(jù)分割的結(jié)果構(gòu)建一個文本行.例如PixelLink[11]和FTSN[12],會 生成分段映射,然后在接下來的編輯之后,最終得到文本限制字段.這種方法可以準確定位文本位置,提高自然場景圖像中文本檢測的準確性,但是他們的后處理算法導(dǎo)致了思維速度的下降.文本識別又分為兩種識別方法,包括單字符識別和行識別.以往的文本識別是采用K 近鄰的方法識別單字符,在實時度要求高的系統(tǒng)中不適合這種計算量很大的方法.通過廣泛應(yīng)用深層學(xué)習(xí)方法,出現(xiàn)了許多基于深入學(xué)習(xí)的優(yōu)秀識別模型,大大提高了單字符識別的精度.現(xiàn)在主要使用文本行識別.有兩個主要的方法是為了識別文字,在最近的兩年里取得了更好的結(jié)果,分別是:CRNN OCR (Convolutional Recurrent Neural Network Optical Character Recognition)和Attention[13]OCR.這兩種方法在其特征學(xué)習(xí)階段都采用了CNN+RNN的網(wǎng)絡(luò)結(jié)構(gòu),CRNN 在對齊時采用了CTC算法,而Attention OCR 采用了注意力機制.但是,這些方法會導(dǎo)致很多計算和內(nèi)存消耗.因此,解決后處理的繁瑣問題的方法成為了緊急問題.

2 文本檢測識別框架

本章詳細介紹了基于深度學(xué)習(xí)的場景文本識別方法.總體設(shè)計思路是先對整個圖像進行分割,然后通過閾值跟蹤分割結(jié)果,得到處理后文本區(qū)域的位置.利用位置信息對文本區(qū)域進行切割,并將裁剪后的文本區(qū)域發(fā)送到文本識別網(wǎng)絡(luò)中進行識別以得到結(jié)果.整個方法由兩部分組成:文本區(qū)域檢測器TLDNet (Text Location Detection Net)和文本區(qū)域識別網(wǎng)絡(luò)TRNet(Text Recognition Net).

2.1 文本區(qū)域定位網(wǎng)絡(luò)

識別的準確性取決于定位的準確性,所以確保文本區(qū)域定位的準確性尤為重要.為了確保文本區(qū)域定位網(wǎng)絡(luò)的準確性,本文在PSENet[14]的基礎(chǔ)上對其進行改進:(1)采用更高效的特征提取網(wǎng)絡(luò)來保證分類的準確性.(2)插入一個可微二值化[15]操作放到分割網(wǎng)絡(luò)里來一起優(yōu)化,更能區(qū)分前景和背景.通過該兩方面的改進,確保了文本定位的準確性.

TLDNet中的骨干網(wǎng)絡(luò)采用了類似于FPN[16]和UNet的思路,因為ResneXt 相比ResNet 網(wǎng)絡(luò)結(jié)構(gòu)更簡單,可以防止對于特定數(shù)據(jù)集的過擬合,而且更簡 單的網(wǎng)絡(luò)意味著在用于自己的任務(wù)的時候,自定義和修改起來更簡單,需要手動調(diào)節(jié)的參數(shù)少.與ResNet 相比,相同的參數(shù)個數(shù),ResneXt 結(jié)果更好,且計算量少.因此將該網(wǎng)絡(luò)ResNet[17]換成ResneXt-101[18],然后將不同尺度的特征圖進行融合來讓最終進行回歸的特征圖獲得不同尺度的特征信息和感受野以處理不同尺寸大小的文字實例.接下來由骨干網(wǎng)絡(luò)輸出的特征圖得到一個分隔圖和一個閾值圖,二者由可微分的二值化而得到二值化圖,最后經(jīng)過一系列后處理得到文本區(qū)域.網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 字符區(qū)域定位網(wǎng)絡(luò)結(jié)構(gòu)圖

ResneXt-101中每個卷積組由卷積層,池化層,激活層構(gòu)成,該網(wǎng)絡(luò)含有5 個卷積組,卷積組2-5 借鑒了GoogLeNet[19]的卷積范式split-transform-merge 思想,在大卷積核兩層加入1 ×1的卷積,控制核個數(shù)的同時減少參數(shù)個數(shù).相比如Resnet 結(jié)構(gòu)簡明,大大降低了參數(shù),計算量小,提高了速度和精度.

輸入的圖像經(jīng)過不同層的采樣之后獲得不同大小的特征圖,之后由這些特征圖構(gòu)建特征金字塔,從而構(gòu)建出統(tǒng)一尺度的特征圖F.這個特征圖用于預(yù)測分割概率圖P與閾值圖T,之后將P,T結(jié)合得到估計的二值圖.在訓(xùn)練的時候P,B是使用同樣的表現(xiàn)作訓(xùn)練,而T會使用單獨的閾值圖作訓(xùn)練.對于分割特征圖P∈RH×W,使用下面的方式進行二值化處理:

在以往基于分割的文字檢測方法中,大部分都會采用預(yù)設(shè)的閾值進行二值化用來處理網(wǎng)絡(luò)輸出的分割圖,不能隨著訓(xùn)練過程再分割網(wǎng)絡(luò)進行優(yōu)化.所以實驗中引入了可微分的二值化函數(shù),將二值化過程嵌入到網(wǎng)絡(luò)中實現(xiàn)了優(yōu)化.F是生成的近似二值圖,T是生成的閾值特征圖,k是放大倍數(shù).通過這樣的方式可以有效地將文本區(qū)域與背景區(qū)域分離,還可以減少文本之間重疊的情況.

本文中在閾值圖上應(yīng)用了邊界的監(jiān)督并將閾值映射作為二值化的閾值.利用對概率圖映射按固定的閾值進行二值化,得到二值映射,進而由二值映射縮小文本區(qū)域,最后利用偏移裁剪算法對縮小后的區(qū)域進行擴張得到最終的文本位置.

2.2 文本識別網(wǎng)絡(luò)

本文的文本識別網(wǎng)絡(luò)借鑒了文獻[20]的方法,可將網(wǎng)絡(luò)視為編解碼器結(jié)構(gòu),編碼器由特征提取網(wǎng)絡(luò)DenseNet[21]和雙向長短時記憶網(wǎng)絡(luò)(BiLSTM)[22]構(gòu)成;引入聚合交叉熵損失(ACE)[23]的長短時記憶網(wǎng)絡(luò)(LSTM)組成解碼器.網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.ResNet是每個層與前面的某層短路連接在一起,連接方式是通過元素級相加.而在DenseNet中,每個層都會與前面所有層都相連,即每層的輸入,在前面的所有層的輸出都相連.相比ResNet,這是一種密集連接.DenseNet是直接連接來自不同層的特征圖,這可以實現(xiàn)特征重用,提升效率.

圖2 字符識別網(wǎng)絡(luò)結(jié)構(gòu)圖

雙向長短記憶網(wǎng)絡(luò)有兩個LSTM 組成,能夠同時利用過去時刻和未來時刻的信息,本文將兩個LSTM組成的方式由連接改為結(jié)合,提高識別的準確率.解碼器由加入聚合交叉熵損失(ACE)的長短時記憶網(wǎng)絡(luò)構(gòu)成.長短時記憶網(wǎng)絡(luò)(LSTM)的長期存儲功能是有限的.如果序列信息特別長,經(jīng)過多層之后,初始信息就會丟失.可以通過引入注意力機制重新計算得到當(dāng)前時刻的特征,但需要復(fù)雜的注意力來幫助注意力機制實現(xiàn)其功能,進而產(chǎn)生額外的參數(shù)和時間,特別是對于較長的輸入序列,缺失或多余的字符很容易導(dǎo)致錯位問題,混淆和誤導(dǎo)訓(xùn)練過程,從而降低識別準確度.聚合交叉熵損失可以沿時間維度聚合每一個列別的概率,并將累積的結(jié)果和標簽標準化為所有類別的概率分布,最后使用交叉熵來比較這兩個概率的分布,從而降低識別準確度.本文將聚合交叉熵損失代替注意力機制,只需要計算各類別字符出現(xiàn)次數(shù),不用考慮特征的順序,識別速度更快.通過要求網(wǎng)絡(luò)精確預(yù)測標注中每個類的字符數(shù)來最小化一般損失函數(shù),計算公式如下:

其中,|C|表示類別數(shù),P(Nk|k,I;w)表示在圖像I的預(yù)測結(jié)果中,第k個類別的字符出現(xiàn)的次數(shù)等于標簽中給定次數(shù)Nk的條件概率.

本文通過CNN+BiLSTM 得到的特征序列維度為(T×K),其中T為序列長度,K為字符類別數(shù),本文定義輸出的特征序列張量為Y,第t個時刻的特征向量為yt,第t個時刻第k個類別的預(yù)測概率為ytk.整個字符序列中所有位置第k個類別出現(xiàn)的總概率為

本文從回歸問題的角度調(diào)整損失函數(shù),計算公式如下:

式中,T表示預(yù)測文本長度,|S|表示標簽文本長度,本文用 (T-|S|) 表示字符串中空白字符的個數(shù),即N∈=T-|S|.

為了防止梯度消失問題,本文把第k個字符yk的累計概率標準化為=yk/T,把字符數(shù)量Nk標準化為然后,在yˉ和Nˉ 之間的交叉熵可以表示為:

LSTM 在最后輸出的概率矩陣中利用貪心搜索的方法獲得最終的文本字符序列.

3 實驗分析

3.1 實驗準備

本文使用了MSRA_TD500、TotalText和CTW1500三個數(shù)據(jù)集進行實驗.MSRA_TD500是一個包含英語和漢語的多語言數(shù)據(jù)集.CTW1500是一個聚焦于彎曲文本的數(shù)據(jù)集.Total-Text是一個數(shù)據(jù)集,其中包含各種形狀的文本,包括水平的、多取向的和彎曲的.這3 個數(shù)據(jù)集包含了中文和英文的數(shù)據(jù)集共6 萬張,用于文字檢測和識別.將每個數(shù)據(jù)集,按照5:1的比例分成訓(xùn)練集和測試集.

3.2 實驗設(shè)計

訓(xùn)練文本區(qū)域檢測模型:本文首先用隨機選取的3 個數(shù)據(jù)集中的5 萬張圖片進行預(yù)訓(xùn)練,然后,本文在相應(yīng)的其他數(shù)據(jù)集上進行調(diào)整,訓(xùn)練時,批大小設(shè)為16,初始學(xué)習(xí)效率設(shè)為0.007.為了提高訓(xùn)練效率,所有處理后的圖像都被重新調(diào)整為640×640,在推理階段,本文保持測試圖像的高寬比,并通過為每個數(shù)據(jù)集設(shè)置合適的高度來重新調(diào)整輸入圖像的大小,獲得最終模型.

訓(xùn)練文本識別模型:將5 萬張圖片中裁剪下來的包含文本的數(shù)據(jù)集進行微調(diào)后進行了訓(xùn)練,對于不規(guī)則數(shù)據(jù)集上的序列識別,本文的實驗基于DenseNet 網(wǎng)絡(luò),其中conv1 變?yōu)?×4,步長為1,conv4_x 作為輸出,并使用ACE 損失函數(shù)最終得到文本識別模型.

3.3 主干網(wǎng)對比分析

隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增多,則對輸入圖像提取的特征將會更加抽象,這是因為后層神經(jīng)元的輸入是前層神經(jīng)元的累加和,而特征的抽象程度越高,更有利于后期的分類任務(wù)或回歸任務(wù).但要提高模型的準確率,都是加深或加寬網(wǎng)絡(luò),但是隨著超參數(shù)數(shù)量的增加,網(wǎng)絡(luò)設(shè)計的難度和計算開銷也會增加.ResneXt 特征網(wǎng)絡(luò)增加了基數(shù)且用平行堆疊相同拓撲結(jié)構(gòu)的blocks 代替原來 ResNet的三層卷積的block.在不明顯增加參數(shù)量級的情況下提升了模型的準確率,同時由于拓撲結(jié)構(gòu)相同,超參數(shù)也減少了.

因此本文采用了更高效的特征提取網(wǎng)ResneXt-101 作為主干網(wǎng)絡(luò)提高分類效果,為了更好的證明該文本檢測網(wǎng)絡(luò)的性能,并在大規(guī)模TotalText 數(shù)據(jù)集上進行測試.事實證明,以ResneXt 作為主干網(wǎng)絡(luò)的檢測器比ResNet 性能更好,且更深的神經(jīng)網(wǎng)絡(luò)可以提高大規(guī)模圖像分類和目標檢測的性能.如表1所示.在相同的設(shè)置下,將主干網(wǎng)絡(luò)由ResNet-50 改為ResneXt-50 性能從78.2%改善到83.6%,提高了5.2%,本文又將主干深度從50 提高到101,通過對比可以明顯性能從83.6%改善到85.8%,提高了2.3%.綜合發(fā)現(xiàn)本文的選取ResneXt-101 作為文本檢測的主干網(wǎng)絡(luò)在精度和速度上都達到了最先進的性能.

表1 檢測框架中不同主干網(wǎng)絡(luò)結(jié)果

在文本識別網(wǎng)絡(luò)框架中采用了DenseNet 作為骨干網(wǎng)絡(luò).如表2所示,與之前的主干網(wǎng)絡(luò)相比,DenseNet在準確率上略好與之前最好的結(jié)果.

表2 識別框架中不同主干網(wǎng)絡(luò)結(jié)果

3.4 獨立性對比分析

為了驗證實驗中字符順序的獨立性與識別網(wǎng)絡(luò)使用的聚合交叉熵損失的關(guān)系,本文使用聚合交叉熵,CTC和注意力在3 個數(shù)據(jù)集上進行實驗.將標注的字符順序按照不同的比例隨機打亂,如圖3所示.可以發(fā)現(xiàn),ACE的性能隨打亂比例的增加基本保持不變,而注意力和CTC的性能在不斷下降.所引入的ACE 損失函數(shù)對于打亂的字符順序識別結(jié)果基本一致.

圖3 ACE,CTC和注意力性能對比圖

3.5 實驗結(jié)果對比

檢測與識別是判別是否達到要求的重要條件.由于圖片太多,不利于展示,本文選取幾張代表性圖片用于結(jié)果展示.

本文將改進前后的檢測網(wǎng)絡(luò)進行了可視化比較,圖片4 左側(cè)是PSENet的部分檢測結(jié)果,可以看出有漏檢以及錯誤的定位現(xiàn)象.圖4右側(cè)是加入了可微二值化后的部分檢測結(jié)果,比較明顯的看出,本文提出文本區(qū)域定位網(wǎng)絡(luò)TLDNet 可以很好的定位出復(fù)雜的曲線文本位置.

圖4 文本區(qū)域定位結(jié)果對比圖

我們在兩個數(shù)據(jù)集上對本文改進后的方法和之前的方法進行了比較,如表3所示,文本的方法在精度和速度上都達到了最優(yōu).具體來說,本文的提出方法在TotalText和CTW1500 數(shù)據(jù)集上的表現(xiàn)比之前的方法要好.文本的方法比PSENet 方法要快,并且可以通過使用ResneXt 主干進一步提高速度.在表3中文本區(qū)域定位網(wǎng)絡(luò)TLDNet的準確率在兩個數(shù)據(jù)集上比PSENet高2.4%和3.4%,但自然場景采集的圖片由于采集環(huán)境等因素造成圖片的模糊、反光等現(xiàn)象,進而導(dǎo)致漏檢和定位不準確的現(xiàn)象發(fā)生,本文的方法可以有效緩解該現(xiàn)象,但不能完全消除.本文可以保證在干凈明亮采集環(huán)境下獲取清晰的圖片,可以從本質(zhì)上防止上述現(xiàn)象的發(fā)生.

表3 TotalText和CTW1500 數(shù)據(jù)集的檢測結(jié)果(%)

本文將檢測后的圖片輸入到文本識別模型中,得到如圖5的識別結(jié)果.圖5右側(cè)為識別正確的效果圖.圖5左側(cè)為識別錯誤的效果圖,由此結(jié)果可以發(fā)現(xiàn)文本區(qū)域的定位直接影響文本識別的準確性,在確保定位準備的條件下,基本能夠正確識別文本信息.

圖5 文本識別效果圖

對于不規(guī)則的場景文本,本文提供了和以前注意力機制方法進行的比較,如表4所示,所加入的ACE損失函數(shù)在數(shù)據(jù)集TotalText和CTW1500 上表現(xiàn)出優(yōu)異的性能,特別是在CTW1500 上,準確率提高了8.1%.因為數(shù)據(jù)集CTW1500是專門用于彎曲文本識別的,因此,充分展示了ACE 損失功能的優(yōu)勢.同時,兩個數(shù)據(jù)集中有的圖像具有非常低的分辨率,這對語義上下文建模產(chǎn)生了非常高的要求,本文中的識別模型在使用詞匯時獲得了最高的結(jié)果,語義上下文可以訪問.這再次驗證了所提出的ACE 損失函數(shù)的穩(wěn)健性和有效性.

表4 TRNet和之前的方法比較(%)

本文采用的方法減少了訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型所需要的訓(xùn)練數(shù)據(jù)、計算成本等.本文實驗對預(yù)訓(xùn)練模型(TDRNet)和初始模型(PSENet+Aster)的準確率進行比較,如圖6所示.

圖6 準確率對比

由表5可知,將改進前的檢測和識別網(wǎng)絡(luò)結(jié)合的原始模型準備率為90.3%,經(jīng)改進訓(xùn)練后TDRNet 模型最終達到95.6%的識別準確率.根據(jù)上述實驗結(jié)果,本文有以下結(jié)論:(1)本文將使用了更高級的特征網(wǎng)絡(luò)并在后處理過程中加入可微二值化的方法在準確度上優(yōu)于其他方法.(2)聚合交叉熵損失對于文本識別過程中字符序列預(yù)測至關(guān)重要,具有一定的通用性.(3)將檢測和識別網(wǎng)絡(luò)相結(jié)合,提高了文本識別的準確性以及識別速率.

表5 網(wǎng)絡(luò)準確率表

識別的準確性取決于定位算法的準確性.所以在實際應(yīng)用中,為了提高文本區(qū)域定位算法的準確性,盡量保證采集環(huán)境干凈明亮.

4 結(jié)束語

在本文中,我們提出了一個新的框架檢測和識別任意形狀的場景文本,其中包括采用更高效的特征提取網(wǎng)絡(luò)并在檢測框架中加入了可微二值化過程分割網(wǎng)絡(luò),在識別框架中基于聚合交叉熵的損失函數(shù),優(yōu)化了檢測和識別器網(wǎng)絡(luò)結(jié)構(gòu),簡化了后處理方法,較好地滿足了復(fù)雜場景下文本定位和識別的任務(wù)要求,實驗證明,本文的方法在3 個標準場景文本基準測試中,在速度和準確性方面始終優(yōu)于最新的方法.在未來,如何實現(xiàn)端到端的檢測和識別問題將成為下一步主要研究的工作.