付明輝

（北方工業(yè)大學(xué)城市道路交通智能控制技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京，100144）

1 文本檢測(cè)模型

圖1 為本文提出方法的總體框架.本文將主干網(wǎng)絡(luò)MobileNetV3 進(jìn)行適當(dāng)?shù)匦薷?提高了網(wǎng)絡(luò)提取特征的能力。其次,采用更加高效的分割頭。分割頭主要包括殘差增強(qiáng)型的FPN 模塊和自適應(yīng)特征融合模塊。如圖1 所示,對(duì)于FPN 結(jié)構(gòu)來(lái)說(shuō),越深層的特征意味著更多的通道數(shù),但是各層特征進(jìn)行融合時(shí)都是自頂向下傳播,所以頂層特征為了勢(shì)必會(huì)減少更多的通道數(shù),最高層的特征往往會(huì)丟失更多的信息,所以為了保留更多的上下文信息,在FPN 中加入殘差增強(qiáng)模塊,保留更多的深層特征.最后利用自適應(yīng)特征融合模塊對(duì)各層特征進(jìn)行自適應(yīng)融合,得到最終的分割特征.利用特征F 對(duì)概率圖(P)和閾值圖(T)進(jìn)行預(yù)測(cè),根據(jù)可微二值化模塊(DB[3])將概率圖和閾值圖結(jié)合得到二值圖(B′),自適應(yīng)預(yù)測(cè)每個(gè)位置的閾值。最后通過邊界框形成從近似二值圖中獲得文本的檢測(cè)框。

圖1 總體網(wǎng)絡(luò)結(jié)構(gòu)圖

■1.1 MobileNetV3 網(wǎng)絡(luò)的輕量化

MobileNetV3 的主要組成模塊包括深度可分離卷積和SE 模塊，本文將MobileNetV3 里SE 模塊[4]替換為更加輕量級(jí)的SA 模塊。SE 模塊是一個(gè)通過壓縮和激發(fā)的方式尋找圖像通道之間的相互依賴關(guān)系，并自適應(yīng)的重新校準(zhǔn)通道特性響應(yīng)，從而提高任務(wù)的準(zhǔn)確率。但是對(duì)于自然場(chǎng)景文本檢測(cè)任務(wù)來(lái)說(shuō)，輸入圖像的大小為640×640，很難用SE模塊估計(jì)通道特征響應(yīng),精度提高有限。同時(shí)帶來(lái)了巨大的參數(shù)量。

■1.2 殘差特征增強(qiáng)

在FPN 結(jié)構(gòu)中，M5 層屬于深層特征具有很多的通道信息，但是在自頂向下的融合過程中，由于減少了特征通道必然會(huì)導(dǎo)致上下文信息的丟失。圖像的上下文語(yǔ)義信息對(duì)于分割網(wǎng)絡(luò)有著至關(guān)重要的作用，殘差增強(qiáng)模塊(Residual Feature Augmentation),通過向原始分支注入不同的空間上下文信息，利用空間上下文信息減少M(fèi)5 在向下傳播過程中通道的信息損失,提高金字塔的特征的性能。

本次實(shí)驗(yàn)中，首先在尺度為S 的C5 上使用比率不變自適應(yīng)池化，分別產(chǎn)生0.1×S、0.2×S、0.3×S 大小的上下文特征，然后通過1×1 卷積將三個(gè)尺度大小的特征圖的通道數(shù)變?yōu)?56。最后通過雙線性插值上采樣成尺度S，如圖2(a)通過自適應(yīng)空間融合ASFF 模塊自適應(yīng)組合這些上下文信息。由ASFF 生成M6以后，M6 就具有多尺度的上下文信息，通過與M5 求和為特征金字塔注入多尺度上下文信息，自頂向下與底層特征相融合。

圖2

■1.3 自適應(yīng)特征融合（ASFF）

其網(wǎng)絡(luò)結(jié)構(gòu)圖2 所示，ASFF 僅由兩個(gè)卷積層組成，參數(shù)量相對(duì)也比較少。采用數(shù)據(jù)驅(qū)動(dòng)的方式對(duì)不同層次的特征進(jìn)行融合,通過網(wǎng)絡(luò)學(xué)習(xí)空間過濾沖突信息的方法來(lái)抑制不一致性，可以提高特征尺度的不變性。在FPN 的殘差特征增強(qiáng)模塊中也用到了ASFF，其如下所示：

其中yi,j表示通道中輸出特征映射的第(i,j)個(gè)向量,是由網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)的四個(gè)不同層次的特征映射到總的特征圖F 的空間重要性權(quán)重矩陣，并且有對(duì)不同層次的特征圖生成不同的空間權(quán)重圖，最后通過加權(quán)融合生成分割網(wǎng)絡(luò)用來(lái)預(yù)測(cè)閾值圖和概率圖的特征圖F。

■1.4 可微二值化模塊(DB)

根據(jù)分割網(wǎng)絡(luò)生成的概率圖P∈RH×W,其中H 和W 分別表示輸入圖像的高度和寬度，要將概率圖轉(zhuǎn)化為二值圖P∈RH×W，二值化函數(shù)是至關(guān)重要的，標(biāo)準(zhǔn)二值化函數(shù)如公式（2）所示，值為1 的像素被認(rèn)為是有效的文本區(qū)域。

其中，t 為設(shè)定的閾值，（i,j）表示圖中的坐標(biāo)點(diǎn)。

式(2)為標(biāo)準(zhǔn)二值化函數(shù),是不可微的，所以不能隨著分割網(wǎng)絡(luò)而優(yōu)化。為了解決二值化函數(shù)不可微的問題，本文使用公式(6)進(jìn)行二值化：

其中B′是近似二值圖，T 是從網(wǎng)絡(luò)中學(xué)習(xí)的自適應(yīng)閾值圖，K 是放大系數(shù)，在訓(xùn)練過程中,K 的作用就是在反向傳播中放大傳播的梯度,這對(duì)于大多數(shù)的錯(cuò)誤預(yù)測(cè)區(qū)域的改善是比較友好的,有利于產(chǎn)生更顯著的預(yù)測(cè)。本文設(shè)置K=50，該近似二值化函數(shù)與標(biāo)準(zhǔn)二值化函數(shù)相似，且具有可微性，可以在訓(xùn)練期間隨分割網(wǎng)絡(luò)進(jìn)行優(yōu)化。可微二值化可以自適應(yīng)設(shè)定閾值T,這樣的方法不僅能夠很好地區(qū)分前景和背景,而且可以分離出連接緊密的文本實(shí)例。

■1.5 標(biāo)簽生成

可微分的后處理方式,必須生成概率圖與閾值圖對(duì)應(yīng)的標(biāo)簽,輸入圖像內(nèi)的文本區(qū)域可以看做一個(gè)多邊形,并用一組線段描述為:

其中，n為頂點(diǎn)個(gè)數(shù),k為放大倍數(shù),對(duì)于不同類型的文本圖像頂點(diǎn)個(gè)數(shù)會(huì)不一樣,彎曲文本的一般設(shè)置為16 個(gè)定點(diǎn),其余為4 個(gè)定點(diǎn)。然后使用Vatti 裁剪算法,將G收縮偏移量D后變成Gs,偏移量D的計(jì)算方式如下:

其中,r為收縮系數(shù).閾值圖標(biāo)簽的生成過程與概率圖相似,將G擴(kuò)展偏移量D后變成Gd,Gs與Gd之間的區(qū)域?yàn)槲谋緟^(qū)域的邊界,通過計(jì)算到G中最接近的線段的距離來(lái)生成閾值圖的標(biāo)簽。

■1.6 損失函數(shù)

損失函數(shù)由概率圖的損失Ls、閾值圖的損失Lt以及二值圖的損失Lb三部分組成，具體如下所示：

根據(jù)對(duì)應(yīng)損失的數(shù)量級(jí),α和β分別設(shè)定為1 和10。

本文對(duì)概率圖損失函數(shù)和二值圖損失函數(shù)應(yīng)用二元交叉熵?fù)p失(BCE)。并且為了克服正負(fù)樣本不平衡的問題,在BCE 中采用了hard negative mining 采樣方法。

其中Sl為采樣集,正負(fù)樣本的比例為1:3。

Lt為擴(kuò)展多邊形Gd內(nèi)側(cè)預(yù)測(cè)值與標(biāo)簽值之間的L1距離之和,具體如下:

其中Rd為拓展多邊形Gd內(nèi)像素的一組索引,y*是閾值圖的標(biāo)簽。

2 實(shí)驗(yàn)結(jié)果

■2.1 訓(xùn)練細(xì)節(jié)

本文采用Adam 優(yōu)化器訓(xùn)練模型，并采用余弦學(xué)習(xí)率衰減作為學(xué)習(xí)率調(diào)度，初始學(xué)習(xí)率為0.001，訓(xùn)練批次大小為8。本文的文本檢測(cè)模型在Synth Text 數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練,然后在ICDAR2015 和Total-Text 數(shù)據(jù)集上進(jìn)行微調(diào)。對(duì)訓(xùn)練數(shù)據(jù)采用在(-10°，10°)范圍內(nèi)隨機(jī)旋轉(zhuǎn)角度、隨機(jī)裁剪和翻轉(zhuǎn)的方式進(jìn)行數(shù)據(jù)增強(qiáng)，所有的圖片都重新調(diào)整為640×640。實(shí)驗(yàn)的設(shè)備使用兩臺(tái)GTX2080 在linux 系統(tǒng)下進(jìn)行實(shí)驗(yàn)。

■2.2 檢測(cè)結(jié)果評(píng)估

本文在多方向文本數(shù)據(jù)集ICDAR2015 和曲線文本數(shù)據(jù)集Total-Text 上進(jìn)行了測(cè)試,主要考慮3 個(gè)性能參數(shù)：準(zhǔn)確率（P）、召回率（R）以及綜合評(píng)價(jià)指標(biāo)（F）,評(píng)估該模型的檢測(cè)性能。

ICDAR2015 數(shù)據(jù)集是一個(gè)包含多方向的文本數(shù)據(jù)集。從表1 可以看出，與速度最快的EAST 算發(fā)相比，本文提出的基于輕量級(jí)骨干網(wǎng)絡(luò)的檢測(cè)模型，在速度上比之快上大約4.5 倍,并且在性能上也比之高7.6%。雖然本文提出的方法不能達(dá)到最優(yōu)的效果，但是在速度上有著其他算法難以企及的優(yōu)勢(shì)。其原因在于引入了DB 模塊，將復(fù)雜的后處理加入到網(wǎng)絡(luò)的訓(xùn)練過程中,降低了模型的開銷。

表1 ICDAR2015上的檢測(cè)結(jié)果

本文的檢測(cè)模型在Total-Text 模型上的表現(xiàn)也具有競(jìng)爭(zhēng)力。在模型的檢測(cè)精度（P）上相比于PSENet 要高1.2%,最明顯的優(yōu)勢(shì)還是速度比其它算法更快,比之快了15倍左右。

表2 Total-Text上的檢測(cè)結(jié)果

3 結(jié)論

本文提出的基于輕量級(jí)網(wǎng)絡(luò)MobileNetV3 的文本檢測(cè)模型,模型中為了提高對(duì)模型對(duì)特征使用效率，在FPN 結(jié)構(gòu)中加入殘差增強(qiáng)模塊和特征自適應(yīng)模塊,并且引入能夠參與網(wǎng)絡(luò)訓(xùn)練的可微二值化模塊。整個(gè)模型既保證了特征提取的質(zhì)量,同時(shí)因?yàn)楸旧韺儆谳p量級(jí)網(wǎng)絡(luò),在速度和精度方面達(dá)到了很好的平衡,殘差增強(qiáng)模塊中使用了特征增強(qiáng)模塊,且本身給模型的帶來(lái)的開銷幾乎為零,可微二值化模塊顯著的提高了文本檢測(cè)的性能。整個(gè)模型在數(shù)據(jù)集上的表現(xiàn)可以與其余的一些先進(jìn)方法相媲美，但是自然文本檢測(cè)領(lǐng)域還有很多的挑戰(zhàn),未來(lái)對(duì)于彎曲文本的檢測(cè)還需要想辦法提高。