李云洪，閆君宏，胡 蕾

（江西師范大學(xué)計算機信息工程學(xué)院，南昌 330022）

引言

文本作為人類溝通的主要媒介之一，經(jīng)常出現(xiàn)在自然場景圖像中，例如商場商標(biāo)、街道路標(biāo)、車牌和票據(jù)等，文本信息對理解和解析場景內(nèi)容有極其重要的作用，自然場景文本識別［1］一直深受研究者關(guān)注，而準(zhǔn)確有效的文本檢測是文本識別的前提。相較于文檔類文本檢測，背景多文字少、遮擋、文本類似塊、文體形態(tài)各異、大小排列不一、方向不同、彎曲、藝術(shù)體、鏡面反光等因素導(dǎo)致自然場景文本檢測仍然面臨嚴(yán)峻挑戰(zhàn)。

傳統(tǒng)的文本檢測算法多采用自底向上方式進行文本檢測，大致可分為兩類：基于連通區(qū)域的算法和基于滑動窗口的算法?；谶B通區(qū)域的文本檢測算法多從圖像邊緣檢測開始，根據(jù)文本的低級屬性（大小、顏色和形狀等）形成多個連通區(qū)域，然后對連通區(qū)域進行處理、合并生成最后的文本框，較為經(jīng)典的算法有Matas 等［2］提出的最大穩(wěn)定極值區(qū)域（Maximally stable extremal regions，MSER）算法，Epshtein 等［3］提出的筆畫寬度變換（Stroke width transform，SWT）算法?；诨瑒哟翱诘奈谋緳z測算法最早出現(xiàn)在目標(biāo)檢測中，Zitnick［4］提出的Edge Boxes 算法，在一幅圖像上形成一個特定大小窗口，從左上角開始以特定步長掃描，尋找文本出現(xiàn)的區(qū)域，并對區(qū)域進行評分，根據(jù)分?jǐn)?shù)高低來確定候選框。傳統(tǒng)的文本檢測算法對上下文信息較為依賴，一些類似文本紋理的干擾會導(dǎo)致嚴(yán)重的誤檢與漏檢。

近年來深度學(xué)習(xí)技術(shù)在目標(biāo)檢測中取得了顯著成效［5］，可將文本視為被檢測目標(biāo)。由于文本定位需覆蓋整個字符區(qū)域，而場景文本沒有規(guī)律的邊緣界限，導(dǎo)致很多現(xiàn)有的目標(biāo)檢測算法在文本檢測中不能直接使用，很多研究者針對場景文本檢測進行了技術(shù)的遷移與改進。目前深度學(xué)習(xí)技術(shù)下文本檢測算法大致可分為兩類：（1）基于文本框回歸的算法，使用四邊形表征文本區(qū)域，在文本方向多樣、長短不一等情況下，該方法存在一定局限性；（2）基于文本分割的算法，將文本與非文本進行分割，不需要考慮文本的長短與方向。典型的文本框回歸算法有Tian 等［6］提出的聯(lián)接文本提議網(wǎng)絡(luò)（Connectionist text proposal network，CTPN）算法，該算法對基于區(qū)域的快速卷積神經(jīng)網(wǎng)絡(luò)（Faster region-based convolutional neural network，F(xiàn)aster RCNN）［7］做了改進，考慮了水平文本的長短不確定性，用碎片框進行文本區(qū)域定位，利用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent neural network，RNN）的語義信息，通過長短期記憶網(wǎng)絡(luò)（Long short-term memory，LSTM）合并文本的碎片區(qū)域生成最終的文本框。Shi 等［8］提出的SegLink 算法，可以檢測任意角度的文本，在CTPN 的思想上融入了單次多框檢測器（Single shot multibox detector，SSD）［9］算法思路，在SSD 中引入角度因子，檢測出包含方向的多個候選框，拼接屬于同一個文本的候選框得到最終文本框。典型的文本分割算法有Deng 等［10］提出的Pixellink 算法，在對文本或者非文本像素進行分離預(yù)測的基礎(chǔ)上，預(yù)測文本像素的8 個方向上是否存在連接，通過判斷連通區(qū)域得到最終的文本框。Long 等［11］提出的TextSnake 算法，首先在分割結(jié)果中確定文本中心線，然后圍繞中心線采用不同大小和連接角度的圓盤覆蓋文本區(qū)域，從而提高不規(guī)則文本檢測性能。Wang 等［12］提出的漸進多尺度擴展網(wǎng)絡(luò)（Progressive scale expansion network，PSENet）算法，通過精確查找多個尺度的內(nèi)核，對緊密相連的文本進行準(zhǔn)確定位與檢測，該方法很大程度上解決了緊密相連文本的問題。從實驗結(jié)果分析，這些方法在文本區(qū)域所占比例較小或者具有不規(guī)則藝術(shù)體的場景圖像中會出現(xiàn)嚴(yán)重的漏檢與誤檢。

本文在PSENet（Resnet-50）［12］的基礎(chǔ)上提出一種局部與全局雙重特征融合的網(wǎng)絡(luò)模型（Local and global network，LAGNet），選擇ResNet-50［13］作為骨干網(wǎng)絡(luò)，對恒等殘差塊進行改進，實現(xiàn)局部細粒度特征融合（Fine-grained locally feature fusion，F(xiàn)LFF）；然后在特征金字塔網(wǎng)絡(luò)（Feature pyramid networks，F(xiàn)PN）［14］結(jié)構(gòu)中采用跳躍連接的方式，實現(xiàn)多尺度全局特征融合（Multi-scale global feature fusion，MGFF），從而增強特征提取的性能；最后將多邊形偏移文本域與真實文本邊緣信息結(jié)合，對文本進行準(zhǔn)確定位從而實現(xiàn)文本的檢測。

1 LAGNet 網(wǎng)絡(luò)模型

本文提出的自然場景文本檢測網(wǎng)絡(luò)模型LAGNet 如圖1 所示，采用FPN 結(jié)構(gòu)的ResNet-50 作為核心網(wǎng)絡(luò)，主要包含Layer 1～Layer 4 構(gòu)成的Down-top 分支，P5～P2 構(gòu)成的Top-down 分支，并在每一個Layer 層后引入Transformer，實現(xiàn)圖片尺寸縮放與通道降維以對不同尺度大小的圖片進行卷積，從而利用淺層特征區(qū)分顯著文本、利用深層特征區(qū)分較小文本。在Layer 層的恒等殘差塊中，用多分支卷積替換單分支卷積，實現(xiàn)局部特征融合；將Layer 中的特征信息通過跳躍連接的方式傳遞并采用Add 的形式融入到P5～P2，實現(xiàn)全局特征融合。通過淺層與深層的特征信息全局共享，增強了網(wǎng)絡(luò)模型對各類文本檢測的魯棒性。P5～P2 中的特征映射上采樣（Upsample）到原圖尺寸并輸入到Conv 2，得到一個文本實例區(qū)域、一個多邊形偏移文本域、一個文本邊緣信息，經(jīng)過后處理模塊形成最終的檢測結(jié)果。其中Conv_2 由Concat 與n個Conv-BN-ReLU 層和Conv-Sigmoid 層組成，Concat 指將不同卷積層的特征通道融合，Add 指在保證通道數(shù)相等的情況下將卷積結(jié)果逐元素疊加。

圖1 LAGNet 網(wǎng)絡(luò)模型Fig.1 LAGNet network model

2 功能模塊

2.1 特征提取網(wǎng)絡(luò)

現(xiàn)有經(jīng)典算法在對文本區(qū)域所占比例較小的場景圖像中會出現(xiàn)大量的漏檢誤檢情況，本文的網(wǎng)絡(luò)模型從特征提取模塊入手，對ResNet-50 的恒等殘差塊進行改進，盡可能地保留底層語義信息，以提高對小文本的檢測性能。

在Layer 1 的恒等殘差塊中引入密集殘差塊思想，如圖2 所示，將每一層的卷積結(jié)果保留并傳遞給之后的每一層，并通過Add 形式進行特征融合，從而使局部特征信息通過深度級聯(lián)聚合傳遞到整個網(wǎng)絡(luò)，經(jīng)過Transformer1 對圖像尺寸與通道數(shù)進行處理并傳遞給Layer 2。此處采用Add 的融合形式是因為Add 的計算量比Concat 低很多。

圖2 Layer 1 恒等殘差塊結(jié)構(gòu)圖Fig.2 Identity residual block structure diagram of Layer 1

Layer 2 和Layer 3 的恒等殘差塊（圖3）引入細粒度特征信息融合思想，采用分割-轉(zhuǎn)換-合并的結(jié)構(gòu)實現(xiàn)細粒度特征信息融合。具體為，將初始殘差塊中3×3 卷積分割成n條分支同步進行，即圖3 中a1～a4（n=4），采用Add 形式對各分支卷積結(jié)果進行融合（圖3 中B），將B 傳遞到1×1 卷積。在卷積后采用Add 形式將前兩層保留的特征信息進行融合，實現(xiàn)細粒度的特征信息提取，不僅擴大了感受野，同時提升了卷積的表達能力。

圖3 Layer 2和Layer 3恒等殘差塊結(jié)構(gòu)圖Fig.3 Identity residual block structure diagram of Layer 2 and Layer 3

Layer 4 的恒等殘差塊（圖4）采用傳統(tǒng)的卷積塊模式，在直接映射中加入了一個1×1 卷積，對最小尺度的文本進行特征提取并堆疊。核心網(wǎng)絡(luò)ResNet-50 經(jīng)過殘差塊調(diào)整后構(gòu)成的Down-top 分支參數(shù)如表1 所示，從表1 中可以很直觀地看出輸入圖片的尺寸在每一階段的變化情況以及所進行的操作。

圖4 Layer 4 恒等殘差塊結(jié)構(gòu)圖Fig.4 Identity residual block structure diagram of Layer 4

表1 Down-top 網(wǎng)絡(luò)參數(shù)Table 1 Down-top network parameters

2.2 后處理模塊

現(xiàn)有公共數(shù)據(jù)集中，不僅存在部分緊密銜接的文本圖像，而且存在一些遮擋、覆蓋等文本圖像。最明顯的是文本占有比例嚴(yán)重不均衡問題，有些圖像中文本占有比例較大，有些圖像中文本占有比例較小。如圖5（a）場景中文本占有比例非常少，圖5（b）圖中文本占有比例相對較大。

圖5 樣本示例圖Fig.5 Sample diagram

現(xiàn)有經(jīng)典檢測算法在進行文本定位時，偏向于圖5（a，b）中某一類，為提高模型對場景圖像中文本檢測的泛化能力，本文采用多邊形偏移文本域與文本邊緣信息相結(jié)合的方式對文本進行檢測與分離，從多邊形偏移文本域的邊緣像素向外擴張，以文本邊緣信息為最大邊界，清晰地分離出多個文本組件，采用多邊形非極大值抑制算法［15］丟棄多余檢測框，生成最終的文本檢測標(biāo)簽。其中，多邊形偏移文本域是在文本實例基礎(chǔ)上按照一定縮放概率進行收縮，得到一個完全由本文像素組成的文本區(qū)域；文本邊緣信息是文本實例區(qū)域的邊界信息，圖6 給出了示例圖。

圖6 文本區(qū)域示例圖Fig.6 Example text area diagram

為計算多邊形偏移文本域，本文采用Vatti 裁剪算法［16］將初始文本圖像進行裁剪，裁剪比例di為

式中：Area()為面積函數(shù)，T為多邊形文本實例，ri為第i個文本偏移域的縮放因子，Perimeter()為周長函數(shù)。

縮放因子ri的計算過程為

式中：m為超參數(shù)最小縮放比例；n為獲取多邊形文本偏移域的數(shù)量，本文中n=2。

為了更加直觀地展示多邊形偏移文本域的生成，如圖7 所示，pi為第i個多邊形偏移文本域；di為在文本實例基礎(chǔ)上進行的偏移距離；pt為文本實例的邊緣信息。

圖7 多邊形偏移文本域示意圖Fig.7 Diagram of polygon offset text field

2.3 損失函數(shù)

本文采用實例分割方式進行文本檢測，因此可以當(dāng)作二分類任務(wù)選擇損失函數(shù)。目前比較受歡迎的損失函數(shù)有很多，如交叉熵?fù)p失、焦點損失、Dice 系數(shù)損失等。Dice 系數(shù)損失源于二分類任務(wù)，經(jīng)過改進被稱為Soft dice 損失，改進過程中使用了目標(biāo)掩碼，利用目標(biāo)掩碼的大小歸一化損失的效果，使得Soft dice 損失很容易從圖像中具有較小空間表示的類中學(xué)習(xí)。而本文損失函數(shù)為式（3），損失主要由3部分組成，（1）預(yù)測文本邊界框損失Lt；（2）生成多邊形偏移文本域損失Ld；（3）像素?fù)p失Lp，指偏移文本域基于像素向外擴展過程產(chǎn)生的損失，λ1、λ2、λ3為平衡3 個損失設(shè)定的平衡系數(shù)。

式中：Pt(x，y)為預(yù)測文本框Pt的像素點(x，y)，G(x，y)為真實標(biāo)簽G的像素點(x，y)，M為經(jīng)過OHEM 訓(xùn)練得到的掩碼值。

多邊形偏移文本域損失，本文也采用Soft dice 損失，根據(jù)偏移文本域pi中的像素點進行計算，計算過程為

3 實驗結(jié)果與分析

3.1 基準(zhǔn)數(shù)據(jù)集

為了測試LAGNet 的性能，選取國際文檔分析與識別大會（International conference on document analysis and recognition，ICDAR）提供的比賽數(shù)據(jù)集ICDAR2015，該數(shù)據(jù)集以英文為主，大部分場景是街區(qū)、商場和路標(biāo)等，復(fù)雜的背景加上文本的多樣性非常具有挑戰(zhàn)性。該數(shù)據(jù)集共有1 500 張圖，1 000張訓(xùn)練集，500 張測試集，標(biāo)簽是4 個坐標(biāo)點順時針排布。

為了進一步測試LAGNet 在彎曲文本上的性能，選取由Liu 等［15］構(gòu)建的具有挑戰(zhàn)性的曲線文本檢測數(shù)據(jù)集SCUT-CTW1500，數(shù)據(jù)集中藝術(shù)字體較多，文本連接密集，場景多為廣告牌、商標(biāo)等。該數(shù)據(jù)集由1 000 幅訓(xùn)練圖像和500 幅測試圖像組成，標(biāo)記方式為14 個點的多邊形，可以描述任意曲線文本的形狀。

3.2 訓(xùn)練細節(jié)

訓(xùn)練模型過程中，沒有預(yù)訓(xùn)練步驟，直接在ICDAR2015、CTW1500 等數(shù)據(jù)集上從頭開始訓(xùn)練，使用一塊NVIDIA GTX 1080Ti GPU，反向傳播采用的是Adam［18］和Adadelta 優(yōu)化算法，其計算梯度為0.9，梯度平方的運行平均值為0.999，權(quán)重衰減系數(shù)為1E-8。初始的學(xué)習(xí)率設(shè)定為1E-4，在隨后的訓(xùn)練中每經(jīng)過訓(xùn)練批次的1/3 更新一次（乘以1E-1）。

深度學(xué)習(xí)采用Pytorch 網(wǎng)絡(luò)框架，在訓(xùn)練過程中，忽略數(shù)據(jù)集中的模糊標(biāo)簽，對輸入的圖片大小歸一化處理為640 像素×640 像素。在測試階段，參考基礎(chǔ)網(wǎng)絡(luò)PSENet，對于數(shù)據(jù)集ICDAR2015 中的測試圖片，大小歸一化為2 240 像素×2 240 像素，最小卷積尺度設(shè)為0.4；對于數(shù)據(jù)集CTW1500 中的測試圖片，大小歸一化為1 280 像素×1 280 像素，最小卷積尺度設(shè)為0.6；分類置信度設(shè)為0.9，將大于置信度的像素歸為文本像素。

本文對LAGNet 網(wǎng)絡(luò)模型進行訓(xùn)練的時候，使用TensorboardX 庫對訓(xùn)練集準(zhǔn)確率Accuracy 與損失（Loss）進行可視化，方便觀察網(wǎng)絡(luò)模型的收斂情況。在常文本數(shù)據(jù)集ICDAR2015 上的訓(xùn)練情況如圖8所示，由圖8 可以看出，經(jīng)過300 個批次以后精度基本達到穩(wěn)定，準(zhǔn)確率與損失變化幅度都變小，為了確保準(zhǔn)確性，在經(jīng)過400 批次時對學(xué)習(xí)率衰減，曲線圖并未發(fā)生突變，到達600 批次時終止訓(xùn)練。在彎曲文本數(shù)據(jù)集CTW1500 上的訓(xùn)練情況如圖9 所示，參考前面的訓(xùn)練過程，當(dāng)達到300 批次以后模型基本趨于穩(wěn)定狀態(tài)，終止訓(xùn)練并采用當(dāng)前模型進行測試。

圖8 ICDAR2015 準(zhǔn)確率與損失訓(xùn)練曲線圖Fig.8 ICDAR2015 accuracy and loss training curves

圖9 CTW1500 精確度與損失訓(xùn)練曲線圖Fig.9 CTW1500 accuracy and loss curves

3.3 實驗分析

3.3.1 常文本檢測分析

ICDAR2015 數(shù)據(jù)集是非常典型的常文本數(shù)據(jù)集，數(shù)據(jù)集中的圖片背景極其復(fù)雜，包含大量的無關(guān)信息還包含多種多樣的字體。如表2 所示，本文將LAGNet 檢測模型與目前經(jīng)典的CTPN［6］、SegLink［8］等檢測算法在準(zhǔn)確率P、召回率R和F值3 個指標(biāo)上進行評估分析，同時為了驗證本文特征提取模塊改進的有效性，開展了消融對比實驗，其中LAGNet-FLFF 是指在LAGNet 中只對恒等殘差塊進行設(shè)計，實現(xiàn)局部細粒度特征融合；LAGNet-MGFF 是指在LAGNet 中僅實現(xiàn)多尺度全局特征融合。為了直觀顯示本文方法的有效性，圖10 展示了基礎(chǔ)網(wǎng)絡(luò)PSENet（Resnet-50）與LAGNet 模型的部分測試對比圖。

通過表2 中的指標(biāo)分析，本文方法在僅實現(xiàn)LAGNet-FLFF 的情況下，與基礎(chǔ)網(wǎng)絡(luò)PSENet（Resnet-50）相比，召回率有所提高，因為該方式加強了對高層語義信息的提取，提高了對小文本的檢測性能，減少了漏檢誤檢的情況，但是在準(zhǔn)確率上卻沒有基礎(chǔ)網(wǎng)絡(luò)模型好。 在僅實現(xiàn)LAGNet-MGFF 的情況下，本文方法的準(zhǔn)確率有所提升，因為該方式將特征實現(xiàn)了全局共享，低層語義信息中包含了大量的文本特征，對大文本的檢測性能提升很多，而數(shù)據(jù)集中大文本所占比例相對較大，對應(yīng)的一些草木、護欄和鐵軌等類似文本模塊的檢測也提升了，導(dǎo)致召回率降低很多。將兩個模塊進行合并以后，本文方法在ICDAR2015 數(shù)據(jù)集上的準(zhǔn)確率達到了84.2%。與CTPN、PSENet 的經(jīng)典算法的評價指標(biāo)值［12］相比，本文方法準(zhǔn)確率低于TextSnake 0.7%，召回率低于PiexlLink 0.2%，但綜合指標(biāo)F值高于TextSnake 和PexelLink，同時，相比基礎(chǔ)網(wǎng)絡(luò)PSENet（Resnet-50）F值提高了2.2%。因此本文方法在ICDAR2015 數(shù)據(jù)集上的綜合檢測性能有所提升。

表2 ICDAR2015 數(shù)據(jù)集檢測結(jié)果Table 2 ICDAR2015 data set detection results

圖10 中，第1、2 行為基礎(chǔ)網(wǎng)絡(luò)模型PSENet（Resnet-50）的部分檢測效果圖。當(dāng)場景中文本大小不一排列時，所檢測的文本不夠完整，邊緣判斷存在缺陷，例如第1 行第1 張張圖所示。當(dāng)場景中文本比例不均衡時，會出現(xiàn)漏檢的情況，可能是淺層中提取的特征丟失引起的，如第1 行第2 張與第2 行的第1、2 圖所示。當(dāng)遇到場景中鏡面反光的情況，如第1 行第3 張與第2 行第3 張圖所示，對文本邊緣的定位不準(zhǔn)，也出現(xiàn)了漏檢的情況。當(dāng)場景圖中文本所占比例非常小或出現(xiàn)遮擋的時候，文本檢測出現(xiàn)漏檢的現(xiàn)象，如第1 行第4 張與第2 行第4 張圖所示。第3、4 行為本文所提出的LAGNet 網(wǎng)絡(luò)模型對常文本的定位效果圖，可以很直觀地看出，經(jīng)過改進后的網(wǎng)絡(luò)模型在干擾較強的文本檢測中有所提升。

3.3.2 彎曲文本檢測分析

CTW1500 是一個典型的彎曲文本數(shù)據(jù)集，該數(shù)據(jù)集中存在大量的藝術(shù)體、模糊小文本和類似文本干擾等因素。為了驗證本文所提方法在自然場景中彎曲文本檢測效率，基于CTW1500，本文將LAGNet 檢測模型與目前經(jīng)典的文本檢測算法在準(zhǔn)確率P、召回率和F值3 個指標(biāo)上進行評估分析，并對本文改進模塊進行了消融對比實驗，分析結(jié)果如表3 所示，部分檢測效果圖如圖11 所示。

通過表3 中的指標(biāo)分析，在彎曲文本中檢測中，本文方法僅實現(xiàn)LAGNet-MGFF 的情況下，準(zhǔn)確率提升幅度相對較大，達到了84.5%，比以上經(jīng)典檢測算法均高，但是與僅實現(xiàn)LAGNet-FLFF 的情況相比，召回率降低了3.4%，當(dāng)對兩個模型合并以后本文方法的召回率達到了79.2%，在所測檢測算法中最高。

表3 CTW1500 數(shù)據(jù)集檢測結(jié)果Table 3 CTW1500 data set detection results

圖11 文本中，第1、2 行為基礎(chǔ)網(wǎng)絡(luò)模型PSENet（Resnet-50）的部分檢測效果圖，從圖11 中可知，PSENet 對一些模糊的藝術(shù)體文本檢測會出現(xiàn)遺漏或者檢測不完全的情況，如第1 行第1 張與第2 行第1、3、4 圖所示；對鐵軌、圍欄等一類的干擾因素?zé)o法排除，會發(fā)生誤檢，如第1 行第2 張與第2 行第2 張圖所示；對遮擋的小文本區(qū)域定位不準(zhǔn)，會出現(xiàn)漏檢的情況，如第1 行第3 張圖所示；對出現(xiàn)部分遮擋的文本檢測不夠完整，如第1 行第4 張圖所示。第3、4 行為本文所提出的LAGNet 網(wǎng)絡(luò)模型對彎曲文本的定位效果圖，從圖11 可以看出在邊緣模糊文本、強干擾以及部分遮擋小文本等自然場景文本檢測中，本文模型的檢測效果有一定的提升。

4 結(jié)束語

基于PSENet 方法，本文提出自然場景文本檢測網(wǎng)絡(luò)LAGNet-MGFF，結(jié)合FPN 結(jié)構(gòu)思想，實現(xiàn)了多尺度特征全局共享，增強了網(wǎng)絡(luò)的魯棒性，同時在后處理模塊中將多尺度偏移文本域與文本邊緣信息相結(jié)合，提高對復(fù)雜場景下文本的定位準(zhǔn)確性。在數(shù)據(jù)集ICADAR2015 和CTW1500 上開展的訓(xùn)練與測試表明，在召回率、F值等指標(biāo)上，本文的檢測模型優(yōu)于基礎(chǔ)網(wǎng)絡(luò)PSENet（Resnet-50）等方法。