牟 森,陳洪剛,卿粼波,何小海,王思怡

(四川大學 電子信息學院,成都 610065)

自然場景下的文本檢測與識別被認為是目標檢測領域中最具有挑戰(zhàn)性的難點之一,它在圖像處理、無人駕駛、文檔分析、自然語言處理等諸多機器視覺領域都存在大量的應用.相較于通用物體的目標檢測,復雜場景下的文本檢測存在諸多難點:(1)場景中的文本行顏色、字體、尺度多樣化并且相關性較小.(2)背景多樣化.在自然場景下,文本行的背景是任意的,還可能會受到結(jié)構(gòu)相近的背景的影響(如柵欄).(3)文本行的形狀和方向多樣化.如水平、垂直、傾斜、彎曲等.(4)存在諸多藝術字、手寫字、多種語言混合以及不同程度的扭曲.(5)惡劣的光照條件和不同程度的遮擋.

近年來,文本檢測領域的深度學習策略主要有:(1)基于字符的文本檢測.Baek 等[1]提出先檢測單個字符(character region score)及字符間的連接關系(affinity score),然后根據(jù)這些連接關系確定最后的文本行,再采用高斯熱度圖來生成區(qū)域分數(shù)和連接分數(shù)兩個特征圖,最后借助文本行的長度進行弱監(jiān)督訓練.(2)基于文本框的坐標回歸的文本檢測.Tian 等[2]使用一連串小尺度文本框來實現(xiàn)文本檢測的任務,并且引入RNN 模型提高文本的檢測效果,用邊界優(yōu)化使文本框的邊界預測更加精準;Liao 等[3]提出的端到端的神經(jīng)網(wǎng)絡模型,修改了錨點(anchors)尺寸和卷積核尺寸,采用多個尺度的預測,來提高對anchors 沒有覆蓋到的長文本的檢測效果.Liao 等后來又針對該模型進行了改進[4],實現(xiàn)了預測旋轉(zhuǎn)的文本框;Shi 等[5]提出文本行檢測的兩個基本組成元素:分割(segment)和連接(link),并且提出了兩種link 類型:層內(nèi)連接(withinlayer link)和跨層連接(cross-layer link);Zhou 等[6]提出一個快速、準確的兩階段文本檢測方法.(3)基于語義分割后進行實例分割的方法.Deng 等[7]提出通過實例分割結(jié)果提取文本的位置,并且將像素點進行連接得到文本框.使用像素分類實現(xiàn)語義分割,使用鏈接實現(xiàn)實例分割.Wang 等[8]提出了一種漸進性的擴展網(wǎng)絡,它可以實現(xiàn)對任意形狀文本實例的檢測.該方法使用了最小內(nèi)核的思想完成實例分割,在此基礎上漸進式地使用不同內(nèi)核來補充實例分割的區(qū)域.(4)文本框回歸和語義分割的組合方法.Zhang 等[9]提出了一個新型端到端文本檢測器,它由3 部分組成:直接回歸模塊(DR)、迭代修正模塊(IRM)、形狀表征模塊(SEM).首先由直接回歸模塊產(chǎn)生粗略的四邊形候選文本框;然后通過迭代修正得到完整的文本行的特征塊;最后根據(jù)文本行的區(qū)域、中心線及邊界偏移得到最終的文本行.

Zhou 等[6]提出的EAST 算法在準確性和總體效率方面明顯優(yōu)于同領域內(nèi)之前提出的其他方法,后有人對其增加了后置處理(AdvancedEAST[10]).本文提出Dilated-Corner Attention EAST (DCA_EAST)改進算法,在AdvancedEAST 網(wǎng)絡結(jié)構(gòu)加入空洞卷積模塊以及角點注意力模塊,改善了漏檢情況.對損失函數(shù)改進,加入類別權重因子和樣本難度權重因子,有效提升了密集文本的檢測效果.

1 AdvancedEAST 算法分析

AdvancedEAST 包括全卷積網(wǎng)絡(Fully Convolutional Networks,FCN)階段和非極大值抑制(Non-Maximum Suppression,NMS)合并階段.FCN 可以直接生成文本區(qū)域,消除冗余過程及復雜的中間步驟.該方法既可以檢測單詞,又可以檢測文本行,檢測的形狀可以為任意形狀的四邊形.針對文本行的特點,使用了位置感知NMS(Locality-Aware NMS)來對生成的文本區(qū)域進行過濾,降低了NMS 的復雜度.AdvancedEAST 網(wǎng)絡結(jié)構(gòu)圖(如圖1),分為特征提取主網(wǎng)絡(4 個級別的特征圖,表示為fi)、特征合并分支(依次將主網(wǎng)絡中1/32,1/16,1/8,1/4 特征圖進行合并)以及輸出層:是否在文本框內(nèi)(score map),是否屬于文本框邊界像素以及是頭還是尾(vertex code),預測的2 個對角線頂點坐標(vertex coord).

圖1 AdvancedEAST 網(wǎng)絡結(jié)構(gòu)圖

對于密集文本的檢測,AdvancedEAST 算法存在感受野受限的問題;并且在預測生成激活像素的過程中,存在頭或尾邊界像素丟失的情況,導致文本框漏檢,如圖2所示.

2 Dilated-Corner Attention EAST 結(jié)構(gòu)

2.1 網(wǎng)絡結(jié)構(gòu)優(yōu)化

針對上述問題,本文在AdvancedEAST 算法的基礎上引入了空洞卷積模塊(dilated conv module)以及角點注意力機制(corner attention module),改進算法的網(wǎng)絡結(jié)構(gòu)如圖3所示.

圖2 AdvancedEAST 算法的圖象激活像素

圖3 本文算法網(wǎng)絡結(jié)構(gòu)圖

在4 個特征圖輸出之前,分別采用擴張率為18、12、6 和3 的3×3 空洞卷積來增加網(wǎng)絡的感受野.

為了減少激活過程中頭或尾邊界像素丟失的情況,本文在對不同尺度的圖片特征提取后,由上至下對每一個層次的特征進行融合,將特征融合階段的上采樣(unpool)改為雙線性上采樣,并利用當前層次融合的特征對目標位置進行預測.這樣相較于標準方法來說,可以生成更均勻的特征金字塔,包含更多的上下文信息.并且本文加入角點注意力模塊,目的是融入后置處理中的邊界像素特征.

假設注意力模塊需要處理的特征序列為s={s1,s2,s3,···,sn},其中n表示特征向量的個數(shù).最基礎的形態(tài)注意力機制的公式如下:

其中,t表示當前時間,ct′表示輸出變量,ht表示隱藏層,αt′t表示一個權重的概率分布,σ是一個單層的感知機.

常用的通道注意力機制和空間注意力機制對于特征圖邊界像素的關鍵信息提取效果并不理想,故本文采用了角點注意力機制,具體地是將特征圖的輸入邊像素界特征與輸出的邊界像素特征通過一個標準的一維全連接層(dense layer)連接起來,公式如下:

其中,i表示當前時步,xi為輸入邊界像素特征,yi?1為輸出的邊界像素特征,attentioni表示i處的注意力權重,ci表示輸出的帶有注意力的上下文信息.

2.2 針對密集文本的損失函數(shù)設計

在一般的數(shù)據(jù)集中,負樣本數(shù)量太大,導致?lián)p失函數(shù)輸入?yún)?shù)的大部分都是負樣本,并且很多是容易分類的,因此會使得對密集文本的檢測效果并不是很好.之前也有一些算法來處理這種類別不均衡的問題,比如OHEM (Online Hard Example Mining),OHEM 算法雖然增加了錯分類樣本的權重,但是OHEM 算法忽略了容易分類的樣本.

故本文在標準交叉熵損失函數(shù)[11]的基礎上引入了類別權重因子 α和樣本難度權重因子(1?)γ,來緩解上述問題,提升模型精確.α可以平衡正負樣本,γ可以調(diào)節(jié)簡單樣本權重降低的速率,γ>0 可以減少易分類樣本的損失,使得模型更關注于困難的、錯分的樣本.在產(chǎn)生區(qū)域文本框的階段,通過得分和NMS 篩選可以過濾大量的負樣本,然后在分類和回歸階段又可以固定正負樣本的比例.對于不同的 γ值,模型的平均精確度(Average Precision,AP)具有不同的表現(xiàn),經(jīng)測試,γ=2時表現(xiàn)最好,結(jié)果如表1所示.

表1 本文不同γ 值對應的AP 表現(xiàn)

Score map 和vertex code 的損失函數(shù)公式如下:

其中,Y?表示正確標注,表示預測值,N表示樣本數(shù)量.α表示所有訓練圖像中為1 的像素點數(shù)量占總像素點數(shù)量的比例,這是個先驗值,在標簽生成中就可得到,具體地定義為:

其中,w為歸屬權重:

其中,∈Y?.

對于vertex coord 的損失函數(shù),本文采用加權的Smooth L1函數(shù).相比于L1損失函數(shù),Smooth L1可以收斂得更快,相較于L2損失函數(shù)來說,Smooth L1對異常值、離群點不敏感,梯度的變化相對更小,訓練更穩(wěn)定.損失函數(shù)的定義如下:

其中,w為式(8)中的權重,Smooth L1函數(shù)定義如下:

綜上,得到總的損失函數(shù)為:

其中,λs、λv和λg分別為score map、vertex code 和vertex coord 權重.

3 實驗與分析

3.1 實驗環(huán)境與設置

本次實驗在Ubuntu 18.04.3 LTS 上進行,開發(fā)語言為Python 3.6.9.GPU 版本為NVIDIA GTX 1080Ti,顯存11 GB.

3.2 模型訓練

采用Adam[12]優(yōu)化器對本文提出的模型進行端到端訓練.損失函數(shù)參數(shù)γ=2,λs=4,λv=1,λg=1.數(shù)據(jù)集采用的是ICDAR2019 挑戰(zhàn)賽所用的ReCTS,該數(shù)據(jù)集主要是中英文招牌,包括20 000 張訓練圖片和5000 張測試圖片.由于圖片尺寸跨度較大,故本次實驗采用多尺度訓練的方式對原始圖像進行訓練,以改善模型對不同尺度的圖片文本檢測的魯棒性.Batch size 設為8,Adam 學習率從1 e?3開始,5 個epoch 后無改善則下降到1 e?5,進行網(wǎng)絡訓練.

3.3 實驗結(jié)果

本文算法與AdvancedEAST 算法在自然場景下的文本檢測結(jié)果對比如圖4、圖5所示.

圖4 圖象激活像素和文本框定位

對比可以發(fā)現(xiàn),圖4(a)中存在頭或尾邊界像素丟失而導致的文本框漏檢情況,圖5(a)中存在對于密集文本檢測不到的情況.通過本文算法處理后,激活像素連通性更好,頭尾像素也更加豐富,密集文本的檢測效果明顯改善,如圖4(c)、圖5(b)所示.同時,本文使用準確率(Precision)、召回率(Recall)和加權調(diào)和平均值F-measure 三個指標來評價本文算法的性能,并與AdvancedEAST 算法進行對比,實驗結(jié)果如表2所示.可以看出,本文算法相比于AdvancedEAST 算法在文本檢測的各項指標上均有提升.其中召回率提升比較明顯,這是因為本文算法增大了困難正樣本的檢測能力.

圖5 密集文本檢測效果圖

表2 本文算法與AdvancedEAST 文本檢測算法實驗結(jié)果對比

4 結(jié)論

本文算法在AdvancedEAST 算法的基礎上,引入了Dilated-Corner Attention EAST,增大網(wǎng)絡特征提取的感受野,可捕獲更多激活過程中邊界的上下文信息,改善了文本定位中出現(xiàn)的文本框漏檢情況;同時,對損失函數(shù)的改進,平衡了樣本的類別權重以及樣本難度權重,最終有效提升了密集文本的檢測效果.與AdvancedEAST相比,準確率、召回率和F-值均有提高.