亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于分割的實(shí)時(shí)自然場(chǎng)景文本檢測(cè)

        2021-07-18 07:12:44付明輝
        電子制作 2021年12期
        關(guān)鍵詞:殘差閾值函數(shù)

        付明輝

        (北方工業(yè)大學(xué)城市道路交通智能控制技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室,北京,100144)

        1 文本檢測(cè)模型

        圖1 為本文提出方法的總體框架.本文將主干網(wǎng)絡(luò)MobileNetV3 進(jìn)行適當(dāng)?shù)匦薷?提高了網(wǎng)絡(luò)提取特征的能力。其次,采用更加高效的分割頭。分割頭主要包括殘差增強(qiáng)型的FPN 模塊和自適應(yīng)特征融合模塊。如圖1 所示,對(duì)于FPN 結(jié)構(gòu)來(lái)說(shuō),越深層的特征意味著更多的通道數(shù),但是各層特征進(jìn)行融合時(shí)都是自頂向下傳播,所以頂層特征為了勢(shì)必會(huì)減少更多的通道數(shù),最高層的特征往往會(huì)丟失更多的信息,所以為了保留更多的上下文信息,在FPN 中加入殘差增強(qiáng)模塊,保留更多的深層特征.最后利用自適應(yīng)特征融合模塊對(duì)各層特征進(jìn)行自適應(yīng)融合,得到最終的分割特征.利用特征F 對(duì)概率圖(P)和閾值圖(T)進(jìn)行預(yù)測(cè),根據(jù)可微二值化模塊(DB[3])將概率圖和閾值圖結(jié)合得到二值圖(B′),自適應(yīng)預(yù)測(cè)每個(gè)位置的閾值。最后通過邊界框形成從近似二值圖中獲得文本的檢測(cè)框。

        圖1 總體網(wǎng)絡(luò)結(jié)構(gòu)圖

        ■1.1 MobileNetV3 網(wǎng)絡(luò)的輕量化

        MobileNetV3 的主要組成模塊包括深度可分離卷積和SE 模塊,本文將MobileNetV3 里SE 模塊[4]替換為更加輕量級(jí)的SA 模塊。SE 模塊是一個(gè)通過壓縮和激發(fā)的方式尋找圖像通道之間的相互依賴關(guān)系,并自適應(yīng)的重新校準(zhǔn)通道特性響應(yīng),從而提高任務(wù)的準(zhǔn)確率。但是對(duì)于自然場(chǎng)景文本檢測(cè)任務(wù)來(lái)說(shuō),輸入圖像的大小為640×640,很難用SE模塊估計(jì)通道特征響應(yīng),精度提高有限。同時(shí)帶來(lái)了巨大的參數(shù)量。

        ■1.2 殘差特征增強(qiáng)

        在FPN 結(jié)構(gòu)中,M5 層屬于深層特征具有很多的通道信息,但是在自頂向下的融合過程中,由于減少了特征通道必然會(huì)導(dǎo)致上下文信息的丟失。圖像的上下文語(yǔ)義信息對(duì)于分割網(wǎng)絡(luò)有著至關(guān)重要的作用,殘差增強(qiáng)模塊(Residual Feature Augmentation),通過向原始分支注入不同的空間上下文信息,利用空間上下文信息減少M(fèi)5 在向下傳播過程中通道的信息損失,提高金字塔的特征的性能。

        本次實(shí)驗(yàn)中,首先在尺度為S 的C5 上使用比率不變自適應(yīng)池化,分別產(chǎn)生0.1×S、0.2×S、0.3×S 大小的上下文特征,然后通過1×1 卷積將三個(gè)尺度大小的特征圖的通道數(shù)變?yōu)?56。最后通過雙線性插值上采樣成尺度S,如圖2(a)通過自適應(yīng)空間融合ASFF 模塊自適應(yīng)組合這些上下文信息。由ASFF 生成M6以后,M6 就具有多尺度的上下文信息,通過與M5 求和為特征金字塔注入多尺度上下文信息,自頂向下與底層特征相融合。

        圖2

        ■1.3 自適應(yīng)特征融合(ASFF)

        其網(wǎng)絡(luò)結(jié)構(gòu)圖2 所示,ASFF 僅由兩個(gè)卷積層組成,參數(shù)量相對(duì)也比較少。采用數(shù)據(jù)驅(qū)動(dòng)的方式對(duì)不同層次的特征進(jìn)行融合,通過網(wǎng)絡(luò)學(xué)習(xí)空間過濾沖突信息的方法來(lái)抑制不一致性,可以提高特征尺度的不變性。在FPN 的殘差特征增強(qiáng)模塊中也用到了ASFF,其如下所示:

        其中yi,j表示通道中輸出特征映射的第(i,j)個(gè)向量,是由網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)的四個(gè)不同層次的特征映射到總的特征圖F 的空間重要性權(quán)重矩陣,并且有對(duì)不同層次的特征圖生成不同的空間權(quán)重圖,最后通過加權(quán)融合生成分割網(wǎng)絡(luò)用來(lái)預(yù)測(cè)閾值圖和概率圖的特征圖F。

        ■1.4 可微二值化模塊(DB)

        根據(jù)分割網(wǎng)絡(luò)生成的概率圖P∈RH×W,其中H 和W 分別表示輸入圖像的高度和寬度,要將概率圖轉(zhuǎn)化為二值圖P∈RH×W,二值化函數(shù)是至關(guān)重要的,標(biāo)準(zhǔn)二值化函數(shù)如公式(2)所示,值為1 的像素被認(rèn)為是有效的文本區(qū)域。

        其中,t 為設(shè)定的閾值,(i,j)表示圖中的坐標(biāo)點(diǎn)。

        式(2)為標(biāo)準(zhǔn)二值化函數(shù),是不可微的,所以不能隨著分割網(wǎng)絡(luò)而優(yōu)化。為了解決二值化函數(shù)不可微的問題,本文使用公式(6)進(jìn)行二值化:

        其中B′是近似二值圖,T 是從網(wǎng)絡(luò)中學(xué)習(xí)的自適應(yīng)閾值圖,K 是放大系數(shù),在訓(xùn)練過程中,K 的作用就是在反向傳播中放大傳播的梯度,這對(duì)于大多數(shù)的錯(cuò)誤預(yù)測(cè)區(qū)域的改善是比較友好的,有利于產(chǎn)生更顯著的預(yù)測(cè)。本文設(shè)置K=50,該近似二值化函數(shù)與標(biāo)準(zhǔn)二值化函數(shù)相似,且具有可微性,可以在訓(xùn)練期間隨分割網(wǎng)絡(luò)進(jìn)行優(yōu)化。可微二值化可以自適應(yīng)設(shè)定閾值T,這樣的方法不僅能夠很好地區(qū)分前景和背景,而且可以分離出連接緊密的文本實(shí)例。

        ■1.5 標(biāo)簽生成

        可微分的后處理方式,必須生成概率圖與閾值圖對(duì)應(yīng)的標(biāo)簽,輸入圖像內(nèi)的文本區(qū)域可以看做一個(gè)多邊形,并用一組線段描述為:

        其中,n為頂點(diǎn)個(gè)數(shù),k為放大倍數(shù),對(duì)于不同類型的文本圖像頂點(diǎn)個(gè)數(shù)會(huì)不一樣,彎曲文本的一般設(shè)置為16 個(gè)定點(diǎn),其余為4 個(gè)定點(diǎn)。然后使用Vatti 裁剪算法,將G收縮偏移量D后變成Gs,偏移量D的計(jì)算方式如下:

        其中,r為收縮系數(shù).閾值圖標(biāo)簽的生成過程與概率圖相似,將G擴(kuò)展偏移量D后變成Gd,Gs與Gd之間的區(qū)域?yàn)槲谋緟^(qū)域的邊界,通過計(jì)算到G中最接近的線段的距離來(lái)生成閾值圖的標(biāo)簽。

        ■1.6 損失函數(shù)

        損失函數(shù)由概率圖的損失Ls、閾值圖的損失Lt以及二值圖的損失Lb三部分組成,具體如下所示:

        根據(jù)對(duì)應(yīng)損失的數(shù)量級(jí),α和β分別設(shè)定為1 和10。

        本文對(duì)概率圖損失函數(shù)和二值圖損失函數(shù)應(yīng)用二元交叉熵?fù)p失(BCE)。并且為了克服正負(fù)樣本不平衡的問題,在BCE 中采用了hard negative mining 采樣方法。

        其中Sl為采樣集,正負(fù)樣本的比例為1:3。

        Lt為擴(kuò)展多邊形Gd內(nèi)側(cè)預(yù)測(cè)值與標(biāo)簽值之間的L1距離之和,具體如下:

        其中Rd為拓展多邊形Gd內(nèi)像素的一組索引,y*是閾值圖的標(biāo)簽。

        2 實(shí)驗(yàn)結(jié)果

        ■2.1 訓(xùn)練細(xì)節(jié)

        本文采用Adam 優(yōu)化器訓(xùn)練模型,并采用余弦學(xué)習(xí)率衰減作為學(xué)習(xí)率調(diào)度,初始學(xué)習(xí)率為0.001,訓(xùn)練批次大小為8。本文的文本檢測(cè)模型在Synth Text 數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練,然后在ICDAR2015 和Total-Text 數(shù)據(jù)集上進(jìn)行微調(diào)。對(duì)訓(xùn)練數(shù)據(jù)采用在(-10°,10°)范圍內(nèi)隨機(jī)旋轉(zhuǎn)角度、隨機(jī)裁剪和翻轉(zhuǎn)的方式進(jìn)行數(shù)據(jù)增強(qiáng),所有的圖片都重新調(diào)整為640×640。實(shí)驗(yàn)的設(shè)備使用兩臺(tái)GTX2080 在linux 系統(tǒng)下進(jìn)行實(shí)驗(yàn)。

        ■2.2 檢測(cè)結(jié)果評(píng)估

        本文在多方向文本數(shù)據(jù)集ICDAR2015 和曲線文本數(shù)據(jù)集Total-Text 上進(jìn)行了測(cè)試,主要考慮3 個(gè)性能參數(shù):準(zhǔn)確率(P)、召回率(R)以及綜合評(píng)價(jià)指標(biāo)(F),評(píng)估該模型的檢測(cè)性能。

        ICDAR2015 數(shù)據(jù)集是一個(gè)包含多方向的文本數(shù)據(jù)集。從表1 可以看出,與速度最快的EAST 算發(fā)相比,本文提出的基于輕量級(jí)骨干網(wǎng)絡(luò)的檢測(cè)模型,在速度上比之快上大約4.5 倍,并且在性能上也比之高7.6%。雖然本文提出的方法不能達(dá)到最優(yōu)的效果,但是在速度上有著其他算法難以企及的優(yōu)勢(shì)。其原因在于引入了DB 模塊,將復(fù)雜的后處理加入到網(wǎng)絡(luò)的訓(xùn)練過程中,降低了模型的開銷。

        表1 ICDAR2015上的檢測(cè)結(jié)果

        本文的檢測(cè)模型在Total-Text 模型上的表現(xiàn)也具有競(jìng)爭(zhēng)力。在模型的檢測(cè)精度(P)上相比于PSENet 要高1.2%,最明顯的優(yōu)勢(shì)還是速度比其它算法更快,比之快了15倍左右。

        表2 Total-Text上的檢測(cè)結(jié)果

        3 結(jié)論

        本文提出的基于輕量級(jí)網(wǎng)絡(luò)MobileNetV3 的文本檢測(cè)模型,模型中為了提高對(duì)模型對(duì)特征使用效率,在FPN 結(jié)構(gòu)中加入殘差增強(qiáng)模塊和特征自適應(yīng)模塊,并且引入能夠參與網(wǎng)絡(luò)訓(xùn)練的可微二值化模塊。整個(gè)模型既保證了特征提取的質(zhì)量,同時(shí)因?yàn)楸旧韺儆谳p量級(jí)網(wǎng)絡(luò),在速度和精度方面達(dá)到了很好的平衡,殘差增強(qiáng)模塊中使用了特征增強(qiáng)模塊,且本身給模型的帶來(lái)的開銷幾乎為零,可微二值化模塊顯著的提高了文本檢測(cè)的性能。整個(gè)模型在數(shù)據(jù)集上的表現(xiàn)可以與其余的一些先進(jìn)方法相媲美,但是自然文本檢測(cè)領(lǐng)域還有很多的挑戰(zhàn),未來(lái)對(duì)于彎曲文本的檢測(cè)還需要想辦法提高。

        猜你喜歡
        殘差閾值函數(shù)
        基于雙向GRU與殘差擬合的車輛跟馳建模
        二次函數(shù)
        第3講 “函數(shù)”復(fù)習(xí)精講
        二次函數(shù)
        基于殘差學(xué)習(xí)的自適應(yīng)無(wú)人機(jī)目標(biāo)跟蹤算法
        函數(shù)備考精講
        小波閾值去噪在深小孔鉆削聲發(fā)射信號(hào)處理中的應(yīng)用
        基于遞歸殘差網(wǎng)絡(luò)的圖像超分辨率重建
        基于自適應(yīng)閾值和連通域的隧道裂縫提取
        比值遙感蝕變信息提取及閾值確定(插圖)
        河北遙感(2017年2期)2017-08-07 14:49:00
        国产小视频在线看不卡| 欧美精品高清在线xxxx| 久久久精品国产亚洲av网| 少妇爽到高潮免费视频| 精品亚洲国产成人| 天天做天天爱天天综合网| 国产91AV免费播放| 羞羞色院99精品全部免| 久久久亚洲精品一区二区三区| 青青草原综合久久大伊人| 91精品国产色综合久久不卡蜜| 国产精品一区二区久久精品蜜臀| 亚洲精品在线视频一区二区| 国产午夜毛片v一区二区三区| 欧美大香线蕉线伊人久久| 玖玖资源站无码专区| 亚洲av成人一区二区| 不卡av电影在线| 暖暖免费 高清 日本社区在线观看| 无码精品人妻一区二区三区98| 精品熟女视频一区二区三区国产| 婷婷综合另类小说色区| 国产乱妇乱子视频在播放| 无码一区二区三区人| 中文字幕综合一区二区三区| 婷婷五月婷婷五月| 2021久久最新国产精品| 国产大全一区二区三区| 久久久久av综合网成人| 国产精品午夜无码av天美传媒| 青青国产成人久久91| 日本久久视频在线观看 | 日韩欧美在线综合网另类| 女女女女bbbbbb毛片在线| 无码a级毛片免费视频内谢| 亚洲av在线观看播放| 鲁一鲁一鲁一鲁一曰综合网| 久久频道毛片免费不卡片| 91亚洲夫妻视频网站| 日日噜噜夜夜狠狠va视频v| 国产亚洲精品久久久久秋霞|