張子旭，游鈺瑋，仝明磊*，薛 亮

(1.上海電力大學(xué) 電子與信息工程學(xué)院，上海 201306；2.上海電力大學(xué) 數(shù)理學(xué)院，上海 201306)

0 引言

當(dāng)人類社會(huì)進(jìn)入移動(dòng)互聯(lián)時(shí)代,移動(dòng)設(shè)備全面普及,大量數(shù)據(jù)亟待從圖像和視頻中挖掘。不同于傳統(tǒng)光學(xué)字符識(shí)別的背景簡(jiǎn)單、字體單一和光照均勻等特點(diǎn),自然場(chǎng)景下的文字識(shí)別往往面臨更大的挑戰(zhàn)。這些文字隨著人類的活動(dòng)出現(xiàn)在建筑外墻、產(chǎn)品包裝和廣告標(biāo)語(yǔ)上,隨之帶來(lái)的是尺度形狀多樣、背景圖案復(fù)雜和光照強(qiáng)度多變的挑戰(zhàn)。自然場(chǎng)景下的文字檢測(cè)在圖像理解、產(chǎn)品搜索和實(shí)時(shí)翻譯等場(chǎng)景有著廣泛應(yīng)用。隨著應(yīng)用場(chǎng)景變得越來(lái)越復(fù)雜以及計(jì)算機(jī)算力的提升,文字檢測(cè)的重點(diǎn)逐漸由原來(lái)的規(guī)則形狀轉(zhuǎn)向任意形狀,從傳統(tǒng)方法轉(zhuǎn)向基于機(jī)器學(xué)習(xí)的方法。

1 相關(guān)工作

國(guó)內(nèi)外學(xué)者對(duì)于自然場(chǎng)景下的文本檢測(cè)已經(jīng)取得了不錯(cuò)的成果[1-7],可大致區(qū)分為基于分割的方法、基于歸回的方法以及基于Detection Transformer (DETR)的方法?；诜指畹姆椒▽⑽淖謾z測(cè)視為一種語(yǔ)義分割問(wèn)題,通過(guò)估計(jì)文本區(qū)域的邊界檢測(cè)文本,通過(guò)像素級(jí)預(yù)測(cè)查找文本區(qū)域,使檢測(cè)結(jié)果更為魯棒。但是,這種方法很難區(qū)分相鄰的文本實(shí)例,即缺乏抗噪能力。一些方法[2,8-10]通過(guò)縮小文本區(qū)域或使用閾值映射的方法來(lái)分隔相鄰文本。Zhao等[11]提出了一種基于注意力的特征分解-重建網(wǎng)絡(luò)來(lái)處理文本粘連問(wèn)題?；诜指畹姆椒ǖ娜秉c(diǎn)是通常需要冗雜的后處理,極大地增加了推理時(shí)間。基于回歸的方法將文字檢測(cè)問(wèn)題看作是一種回歸問(wèn)題,直接回歸文本區(qū)域的邊界坐標(biāo)。EAST[12]可以預(yù)測(cè)矩形文本區(qū)域的邊界坐標(biāo),但無(wú)法處理彎曲的文本實(shí)例。文獻(xiàn)[13]將文本角度的預(yù)測(cè)視為分類問(wèn)題,以更好地限制預(yù)測(cè)結(jié)果。通過(guò)直接回歸文本輪廓,基于回歸的方法可以輕松實(shí)現(xiàn)常規(guī)形狀文本的檢測(cè)。然而,當(dāng)面對(duì)形狀不規(guī)則的文本時(shí),上述方法準(zhǔn)確率較低。一些方法嘗試使用不同的表示方式對(duì)文本區(qū)域進(jìn)行建模,如貝塞爾曲線[3,14]、傅里葉描述子[2]及小波描述子[5]。這些方法預(yù)測(cè)隱式參數(shù)以重建文本邊界,使得文字區(qū)域的輪廓更精致、平滑。受到自然語(yǔ)言處理領(lǐng)域中基于Transformer[15]的方法的啟發(fā),文獻(xiàn)[16]提出了針對(duì)目標(biāo)檢測(cè)的DETR方法,得益于Transformer強(qiáng)大的推理能力,DETR在進(jìn)行集合預(yù)測(cè)時(shí)無(wú)需手動(dòng)設(shè)計(jì)錨點(diǎn)和區(qū)域建議等組件,簡(jiǎn)化了模型設(shè)計(jì)。相比于Fast CNN網(wǎng)絡(luò),DETR仍存在訓(xùn)練周期長(zhǎng)、模型收斂慢以及對(duì)小目標(biāo)不友好的問(wèn)題。為解決上述問(wèn)題,文獻(xiàn)[17]提出了Deformable DETR模型,使用注意力后的特征圖進(jìn)行訓(xùn)練、通過(guò)修改關(guān)鍵點(diǎn)的提取方式以及貢獻(xiàn)圖的生成方式,比DETR快了多倍。作為一種經(jīng)典的目標(biāo)檢測(cè)算法,Deformable DETR只能檢測(cè)目標(biāo)的矩形外框,無(wú)法對(duì)不規(guī)則形狀的文本進(jìn)行建模。針對(duì)以上問(wèn)題,本文提出了一種基于Deformable DETR的任意形狀文本檢測(cè)模型。該模型使用B-樣條對(duì)文本輪廓進(jìn)行建模,通過(guò)預(yù)測(cè)文本邊界的B-樣條控制點(diǎn)重建文本實(shí)例。主要貢獻(xiàn)如下:

① 提出了一種基于Deformable DETR的可以檢測(cè)任意形狀文字的模型。無(wú)需手動(dòng)設(shè)計(jì)特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network, FPN)、錨點(diǎn)和區(qū)域建議等組件,大幅簡(jiǎn)化了模型的設(shè)計(jì)。

② 通過(guò)使用B-樣條對(duì)文本輪廓進(jìn)行建模不僅減少了所需回歸的參數(shù),而且增強(qiáng)了文本區(qū)域的描述能力,使得預(yù)測(cè)的文本輪廓更為平滑且精確。

③ 探究了不同次數(shù)B-樣條、不同個(gè)數(shù)控制點(diǎn)以及不同損失函數(shù)對(duì)于最終檢測(cè)結(jié)果的影響,并在彎曲場(chǎng)景數(shù)據(jù)集CTW1500和Total-Text上驗(yàn)證了提出模型的有效性。

2 模型設(shè)計(jì)

本文提出的任意形狀文字檢測(cè)模型結(jié)構(gòu)如圖1所示。左側(cè)部分為一個(gè)傳統(tǒng)的CNN主干網(wǎng)絡(luò)——ResNet50[18]用于對(duì)輸入的圖像進(jìn)行初步視覺特征提取,獲得不同尺度下的特征圖。接著,將特征圖輸入Transformer編碼器提取文字區(qū)域的特征。Transformer解碼器在文字區(qū)域特征圖的基礎(chǔ)上對(duì)文字輪廓的B-樣條控制點(diǎn)坐標(biāo)進(jìn)行回歸。最后B-樣條解碼器使用B-樣條控制點(diǎn)重建文本區(qū)域邊界坐標(biāo),通過(guò)非極大值抑制 (Non-Max Suppression, NMS) 算法去重后即可得到最后檢測(cè)結(jié)果。

圖1 模型結(jié)構(gòu)Fig.1 Architecture of the proposed model

2.1 B-樣條輪廓建模

B-樣條曲線是可以逼近任意函數(shù)的分段多項(xiàng)式函數(shù),具有良好的支撐性、靈活性、光滑性和準(zhǔn)確性。文字區(qū)域大多有著左右對(duì)陣的特性,非常適合使用上下2條B-樣條曲線來(lái)共同描述。B-樣條的定義如下:

(1)

式中:

(2)

(3)

bi(t)表示第i個(gè)控制點(diǎn),當(dāng)只有2個(gè)端點(diǎn)時(shí),B-樣條曲線退化為一條直線。當(dāng)[xi,xi+1]等間距時(shí)為均勻B-樣條曲線,反之為非均勻B-樣條曲線?；贐-樣條曲線,將任意形狀文本檢測(cè)問(wèn)題轉(zhuǎn)化為預(yù)測(cè)B-樣條控制點(diǎn)坐標(biāo)問(wèn)題。給定來(lái)自曲線邊界點(diǎn)pi(t)利用線性最小二乘法來(lái)求得式(1)中的最佳參數(shù)值:

(4)

式中:m表示曲線邊界點(diǎn)的數(shù)量。由式(1)和式(4)得到參數(shù)化的B-樣條曲線。

2.2 視覺特征提取

經(jīng)縮放后輸入圖像的視覺特征由ResNet50進(jìn)行提取,用以縮小圖像的尺度及獲取不同尺度的特征圖。不同尺度的特征圖分別輸入Transformer編碼器,編碼器的層數(shù)設(shè)置為6。各個(gè)尺度的通道數(shù)經(jīng)由一個(gè)1×1的卷積核降維為256后,展為一維序列。Transformer編碼器計(jì)算各尺度特征圖的可變注意力(Deformable Attention)來(lái)映射新的特征向量。與傳統(tǒng)的注意力模塊需要關(guān)注全局的點(diǎn)不同,可變注意力模塊不論特征圖的大小如何變化,都只關(guān)注參考點(diǎn)周圍的一小部分關(guān)鍵采樣點(diǎn),極大地提高了模型的訓(xùn)練速度。可變注意力模塊結(jié)構(gòu)如圖2所示,其特征計(jì)算過(guò)程為:

(5)

圖2 可變注意力模塊結(jié)構(gòu)Fig.2 Deformable attention module

式中:輸入的特征圖x∈RC×H×W,zq、pq分別是擁有q個(gè)索引的特征圖的原始特征和參考點(diǎn),M為該注意力模塊是M頭注意力模塊,K為所有采樣關(guān)鍵點(diǎn)的數(shù)量,Amqk表示queries與keys的點(diǎn)乘,W′mx為特征的權(quán)重,Δpmqk表示偏移量。Δpmqk與Amqk均為zq通過(guò)全連接層計(jì)算得到。使用多尺度的特征圖進(jìn)行文字檢測(cè)通?？梢詷O大地提高檢測(cè)精度,本文提出的算法使用了基于可變注意力的多尺度可變注意力模塊:

2.3 B-樣條控制點(diǎn)預(yù)測(cè)及文字輪廓重建

將編碼器重映射后的特征向量輸入Transformer解碼器,與編碼器同樣的是,解碼器的層數(shù)設(shè)置為6,每層擁有8個(gè)注意力頭。Transformer解碼器先初始化300個(gè)向量計(jì)算自注意力,再與Transformer編碼器重新映射后的特征向量計(jì)算可變注意力,最后分別通過(guò)2組前饋神經(jīng)網(wǎng)絡(luò)(Feed Forward Network, FFN)即可輸出B-樣條控制點(diǎn)坐標(biāo)以及置信度。接下來(lái)通過(guò)B-樣條控制點(diǎn)重建文本輪廓。求解出的文本輪廓坐標(biāo)點(diǎn)與置信度一起使用NMS去重即可得到最終的預(yù)測(cè)區(qū)域的坐標(biāo)。

2.4 損失函數(shù)

由于Deformable DETR會(huì)以集合的形式輸出預(yù)測(cè)結(jié)果,所以在計(jì)算損失函數(shù)前需要將預(yù)測(cè)結(jié)果與真實(shí)值相互匹配,未匹配的預(yù)測(cè)值將被視為背景而不參加損失函數(shù)的計(jì)算。本文使用刪去邊框項(xiàng)的匈牙利算法[19]來(lái)解決上述的匹配問(wèn)題:

(7)

(8)

匈牙利算法為了將預(yù)測(cè)的區(qū)域與真實(shí)的區(qū)域找到最佳的一對(duì)一匹配,將預(yù)測(cè)的N個(gè)區(qū)域與M個(gè)真實(shí)區(qū)域組成一個(gè)N×M的代價(jià)矩陣,計(jì)算M個(gè)標(biāo)注與N個(gè)預(yù)測(cè)兩兩之間的廣義距離,距離越近代表二者關(guān)系越密切。

本文提出的模型的損失函數(shù)包括分類損失函數(shù)Lcls回歸損失函數(shù)Lreg和分段矩形GIoU損失函數(shù)LGIoU,整個(gè)模型通過(guò)如下函數(shù)優(yōu)化:

L=Lcls+Lreg+LGloU。

(9)

分類損失函數(shù)Lcls為一個(gè)典型的交叉熵?fù)p失函數(shù):

(10)

(11)

LGIoU損失函數(shù)如下:

(12)

圖3 分段矩形GIoU計(jì)算示例Fig.3 Example of segmented rectangular GIoU

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

本文提出的模型以ResNet50作為主干網(wǎng)絡(luò),在ImageNet上進(jìn)行了預(yù)訓(xùn)練。在訓(xùn)練階段,所有訓(xùn)練圖像的大小都被縮放為800 pixel×800 pixel,并且加入顏色抖動(dòng)、隨機(jī)縮放、隨機(jī)翻轉(zhuǎn)、隨機(jī)裁剪和隨機(jī)旋轉(zhuǎn)的數(shù)據(jù)增強(qiáng)策略用以提高輸入圖像的多樣性。模型使用PyTorch 1.13.0框架搭建,在Ubuntu 18.04上使用NVIDIA Tesla V100 SXM2 32 GB 顯卡進(jìn)行訓(xùn)練,批次大小設(shè)置為12。在優(yōu)化器上選擇AdamW更新模型參數(shù),初始學(xué)習(xí)率設(shè)置為2×10-4,并且使用多項(xiàng)式策略來(lái)調(diào)整學(xué)習(xí)率,其中指數(shù)設(shè)置為0.9。采取上述策略且僅使用Lreg損失函數(shù)約束訓(xùn)練1 000個(gè)輪次。得到初步的模型權(quán)重后加入分段矩形GIoU損失函數(shù)LGIoU再訓(xùn)練600個(gè)輪次來(lái)完成訓(xùn)練。

在測(cè)試階段,CTW1500和Total-Text的測(cè)試圖像尺寸均調(diào)整為800 pixel×800 pixel。完成訓(xùn)練后的模型在上述2個(gè)公開數(shù)據(jù)集上統(tǒng)計(jì)文本檢測(cè)的召回率準(zhǔn)確率以及F值。

3.2 數(shù)據(jù)集

SUCT-CTW1500[20]是一個(gè)中英文曲線數(shù)據(jù)集,廣泛用于任意形狀文本檢測(cè)。CTW1500有1 000張訓(xùn)練圖像和500張測(cè)試圖像。每個(gè)文本區(qū)域都使用14個(gè)點(diǎn)標(biāo)記。

Total-Text[21]是一個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集,用于任意形狀的文本檢測(cè),包含曲線、水平和多方向文本。Total-Text有1 255張訓(xùn)練圖像和300張測(cè)試圖像。每個(gè)文本實(shí)例都被標(biāo)記為多邊形。

3.3 消融實(shí)驗(yàn)

為了探究不同次數(shù)的B-樣條、不同數(shù)量的控制點(diǎn)以及不同損失函數(shù)對(duì)于檢測(cè)結(jié)果的影響,本文在多語(yǔ)言彎曲文本數(shù)據(jù)集CTW1500上進(jìn)行了消融實(shí)驗(yàn)。在研究不同次數(shù)的B-樣條、不同數(shù)量的制點(diǎn)對(duì)于檢測(cè)結(jié)果的影響時(shí),僅使用Lreg損失函數(shù)訓(xùn)練模型。在探究不同損失函數(shù)對(duì)于檢測(cè)結(jié)果的影響時(shí)使用4次6點(diǎn)B-樣條。在表1中得到的預(yù)訓(xùn)練模型上繼續(xù)增加GIoU損失函數(shù)再訓(xùn)練600個(gè)輪次后統(tǒng)計(jì)結(jié)果。這一部分消融實(shí)驗(yàn)選擇的優(yōu)化器為Adam,將初始學(xué)習(xí)率設(shè)置為1×10-4,并在100、500個(gè)輪次時(shí)分別降為1×10-5、1×10-6。

表1 B-樣條次數(shù)及控制點(diǎn)數(shù)量對(duì)于檢測(cè)結(jié)果的影響

根據(jù)表1的結(jié)果,可以觀察到在B-樣條次數(shù)一定的情況下,一味地提升控制點(diǎn)的數(shù)量并不會(huì)提升模型的檢測(cè)性能,反而增加了回歸的參數(shù)。出現(xiàn)這種情況是因?yàn)楫?dāng)B-樣條的控制點(diǎn)數(shù)量滿足了B-樣條次數(shù)以及文本輪廓所需后,若繼續(xù)提高控制點(diǎn)的數(shù)量只會(huì)給模型引入更多的誤差,從而降低了模型的檢測(cè)性能。以3次B-樣條為例,當(dāng)控制點(diǎn)的數(shù)量為5時(shí),模型的平均精度F值達(dá)到最大值84.6%,這說(shuō)明適當(dāng)增加控制點(diǎn)的數(shù)量能夠改善模型的性能。然而,當(dāng)控制點(diǎn)數(shù)量增加到6時(shí),F值反而降低了0.2%。

如表2所示,當(dāng)僅使用Lreg訓(xùn)練模型時(shí),本文提出的模型的平均精度F值為84.7%。當(dāng)單獨(dú)使用LGIoU訓(xùn)練模型時(shí),F值為84.8%。當(dāng)同時(shí)使用Lreg和LGIoU訓(xùn)練時(shí),模型的檢測(cè)性能得到了進(jìn)一步提升,F值達(dá)到了85.4%,驗(yàn)證了損失函數(shù)的有效性。其中分段矩形GIoU損失函數(shù)LGIoU在回歸網(wǎng)絡(luò)參數(shù)時(shí)可以幫助回歸損失函數(shù)Lreg進(jìn)一步約束文本區(qū)域的大致形狀以提升模型的檢測(cè)性能。

表2 損失函數(shù)對(duì)于檢測(cè)結(jié)果的影響

3.4 實(shí)驗(yàn)結(jié)果

通過(guò)上述訓(xùn)練方法,本文提出的模型在無(wú)需額外數(shù)據(jù)集的訓(xùn)練的情況下分別在CTW1500和Total-Text上進(jìn)行訓(xùn)練并收集實(shí)驗(yàn)數(shù)據(jù)。使用召回率、準(zhǔn)確率和F值作為評(píng)價(jià)指標(biāo)并與其他檢測(cè)算法進(jìn)行比較,如表3所示,其中Ext表示額外的數(shù)據(jù)集。在數(shù)據(jù)集CTW1500上本文提出的模型的檢測(cè)性能均優(yōu)于主流算法,F值達(dá)到了85.4%。比主流文本檢測(cè)算法DRRG[22]和ContourNet[23]分別高出了0.9%和1.5%。此外,與表中效果最好的DBNet++[10]和WDNet[5]相比高出了0.1%。本文提出的模型在數(shù)據(jù)集Total-Text上也達(dá)到了與主流算法相近的性能。

表3 與其他模型的結(jié)果對(duì)比

3.5 實(shí)驗(yàn)效果展示

圖4為本文提出的模型與ABCNet、FCENet和WDNet在CTW1500上的對(duì)比。ABCNet通過(guò)預(yù)測(cè)2條單獨(dú)的貝塞爾曲線來(lái)預(yù)測(cè)文本區(qū)域,在面對(duì)常規(guī)的多方向文本時(shí),ABCNet比其他方法更為有效,但是對(duì)于密集文本、彎曲文本及過(guò)小的本文,ABCNet更容易混淆相鄰的文字區(qū)域。FCENet通過(guò)傅里葉描述子嵌入來(lái)預(yù)測(cè)文本實(shí)例,可以發(fā)現(xiàn)FCENet在大多數(shù)情況下表現(xiàn)良好,但是對(duì)于大長(zhǎng)寬比的文本表現(xiàn)不佳。WDNet采用小波描述子對(duì)文本實(shí)例進(jìn)行描述。與FCENet相似,WDNet在描繪文本輪廓方面存在一定的不準(zhǔn)確性,尤其是在處理矩形文本區(qū)域的4個(gè)角時(shí),使用弧線描述可能導(dǎo)致角缺失的情況。然而,比較實(shí)驗(yàn)表明,本文所提出的模型在無(wú)需額外數(shù)據(jù)訓(xùn)練的情況下仍能有效地檢測(cè)多方向和彎曲文本,對(duì)于透視效果和背景干擾的存在也具有較強(qiáng)的魯棒性,并且能夠很好地處理具有較大長(zhǎng)寬比的文本區(qū)域。

圖4 本文提出的模型與ABCNet、FCENet和WDNet的對(duì)比Fig.4 Performance comparison of the proposed model with ABCNet, FCENet and WDNet

4 結(jié)束語(yǔ)

自然場(chǎng)景下的文字區(qū)域形狀復(fù)雜多變,使用神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)文本輪廓點(diǎn)坐標(biāo)無(wú)法精確、光滑地描述文字區(qū)域。因此本文提出了一種基于Deformable DETR的任意形狀文本檢測(cè)模型,輸出2組B-樣條控制點(diǎn)坐標(biāo)并重建文字輪廓,進(jìn)而可以用于描述自然場(chǎng)景中存在的彎曲以及多方向的任意多邊形文本。使用B-樣條對(duì)文本區(qū)域進(jìn)行建模使得文本輪廓更加平滑精確的同時(shí)減少需要預(yù)測(cè)的參數(shù)。通過(guò)合理設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)及損失函數(shù)使得模型更好地適應(yīng)形狀復(fù)雜多變的文本。實(shí)驗(yàn)結(jié)果表明,本文提出的模型的F值在無(wú)需大量數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練時(shí),在公開數(shù)據(jù)集CTW1500和Total-Text上分別達(dá)到85.4%和85.0%,證明了本文提出模型的有效性。然而本文提出的模型存在參數(shù)量和計(jì)算量偏大的問(wèn)題,下一步將在輕量化上進(jìn)行研究,以增加其實(shí)用性。