陳孝如

摘要：計(jì)算機(jī)視覺中圖像處理及圖像理解是重要技術(shù)，圖像語(yǔ)義分割對(duì)于圖像理解具有直接影響。為能夠進(jìn)一步提高圖像語(yǔ)義分割準(zhǔn)確性以及效率，提出一種基于全卷積網(wǎng)絡(luò)的圖形語(yǔ)義分割可將任意尺寸圖片輸入其中，端對(duì)端實(shí)施像素級(jí)分割，能夠顯著提高分割準(zhǔn)確度。但是在實(shí)際應(yīng)用中，容易出現(xiàn)分辨率低問題，為提升圖像語(yǔ)義分割精度，該文從FCN基礎(chǔ)實(shí)施改進(jìn)，減少池化步長(zhǎng)、實(shí)現(xiàn)多尺度池化和疊加高層語(yǔ)義因此以及改進(jìn)代價(jià)函數(shù)。針對(duì)研究算法在PASCAL VOC 2012數(shù)據(jù)集上對(duì)其實(shí)施驗(yàn)證以及評(píng)測(cè)，研究結(jié)果發(fā)現(xiàn)這一算法和原有算法相比平均交并比得到相助提升，達(dá)到0.6%。

關(guān)鍵詞：全卷積網(wǎng)絡(luò);圖像語(yǔ)義;分割算法

中圖分類號(hào)：TP393? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）33-0012-02

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

在深度學(xué)習(xí)以及全卷積網(wǎng)絡(luò)發(fā)展中，有效促進(jìn)了圖像語(yǔ)義分割發(fā)展，在無(wú)人駕駛、機(jī)器導(dǎo)航以及醫(yī)療診斷等中有廣泛應(yīng)用。圖像語(yǔ)義分割算法能夠?qū)崿F(xiàn)圖像的像素級(jí)分類，以此得到圖像整體信息。全卷積網(wǎng)絡(luò)是當(dāng)前一個(gè)重要圖像語(yǔ)義分割算法，效果好，具有創(chuàng)新性，能夠?qū)⒕矸e神經(jīng)網(wǎng)絡(luò)全連接層采用卷積層進(jìn)行替換，且在像素級(jí)分類任務(wù)中具有應(yīng)用價(jià)值。但是全卷積神經(jīng)網(wǎng)絡(luò)圖像語(yǔ)義分割算法在實(shí)際應(yīng)用中，也存在一定問題，例如分辨率低、前景和背景分布不平衡、上下文推斷能力不足等等，為進(jìn)一步提高圖像語(yǔ)義分割算法準(zhǔn)確度，需要實(shí)現(xiàn)對(duì)其算法實(shí)施改進(jìn)，本次基于FCN基礎(chǔ)實(shí)施改進(jìn)，對(duì)其算法和應(yīng)用效果實(shí)施驗(yàn)證及評(píng)測(cè)。

1 全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

應(yīng)用最廣泛的語(yǔ)義分割算法為全卷積神經(jīng)網(wǎng)絡(luò)FCN，將全連接層采用卷積層進(jìn)行替換，將最后輸出特征灰度到圖像輸入尺寸，以能夠預(yù)測(cè)分析各像素。全卷積神經(jīng)網(wǎng)絡(luò)對(duì)于圖像位移、形變和縮放存在有高度不變性，在圖像分割中具有應(yīng)用價(jià)值。另外本身的學(xué)習(xí)能力以及特征表達(dá)能力較強(qiáng)，能夠?qū)崿F(xiàn)端對(duì)端處理，減少了中間的復(fù)雜處理步驟，有助于顯著提高圖像分割精度。其中全卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)化設(shè)計(jì)見圖1。卷積包括有卷積1和卷積2兩部分。在卷積2中采用卷積實(shí)現(xiàn)對(duì)神經(jīng)網(wǎng)絡(luò)全連接的替代，且轉(zhuǎn)置卷積最后卷積層的輸出特征圖，以能夠?qū)崿F(xiàn)上采樣目的，確保輸出特征圖和輸入圖像尺寸的一致性，以此實(shí)施像素級(jí)語(yǔ)義分割。在上采樣操作中，針對(duì)輸入的任何尺寸圖像均可以實(shí)施分割，傳統(tǒng)圖像分割也就轉(zhuǎn)變?yōu)榱讼袼丶?jí)分割，也能夠得到具有語(yǔ)義信息的分割圖像，進(jìn)而顯著提升分割精度。但是實(shí)際應(yīng)用中，也存在問題即為網(wǎng)絡(luò)連續(xù)池化導(dǎo)致特征圖分辨率不高，輸出稀疏，上下文推斷能力弱以及復(fù)雜樣本關(guān)注度低等等。本次針對(duì)這一問題實(shí)施改進(jìn)分析。

2 空洞卷積及感受野

全卷積神經(jīng)網(wǎng)絡(luò)實(shí)施圖形語(yǔ)義分割中，需要通過5次池化層，每次均為一次下采樣，實(shí)現(xiàn)對(duì)特征圖尺寸降低基礎(chǔ)上也可以加大節(jié)點(diǎn)感受野。FCN中各個(gè)池化層池化步長(zhǎng)都是2，通過一次池化層輸入特征分辨率會(huì)降低到當(dāng)前層輸入特征分辨率的1/2。進(jìn)過5次池化層后，所得最終輸出特征和輸入圖像相比為1/32。在轉(zhuǎn)置卷積上采樣應(yīng)用下，能夠?qū)⑵漭敵鎏卣鲌D像恢復(fù)到輸入尺寸，進(jìn)而實(shí)施像素級(jí)預(yù)測(cè)。在這一過程中會(huì)導(dǎo)致輸出特征非常稀疏，特征提取及分類中難度較大，對(duì)分割結(jié)果具有不良影響。想要得到更稠密特征，想要對(duì)其進(jìn)行改進(jìn)，確保前3層池化層池化步長(zhǎng)沒有改變，將第4池化層池化步長(zhǎng)從2降到1，改進(jìn)后可以將輸出特征圖提高到輸入圖像的1/8，提高輸出特征稠密性，也能夠有效確保圖像的更多信息。但是將第4層池化層池化步長(zhǎng)進(jìn)行降低后，會(huì)降低神經(jīng)元節(jié)點(diǎn)感受野，掌握全局信息難度較大，因此需要采用能夠?qū)⑻卣鲌D變稠密，同時(shí)感受野沒有編校方式，最佳方式即為空洞卷積。

空洞卷積能夠從輸入特征圖和卷積核兩個(gè)視域理解。基于輸入特征圖，空洞卷積在實(shí)施采樣，采樣頻率即為空洞卷積dilation rate，之后針對(duì)采樣后特征圖和標(biāo)準(zhǔn)卷積核實(shí)施卷積操作;基于卷積核分析，空洞卷積即為實(shí)現(xiàn)卷積核擴(kuò)大的一個(gè)尺寸，將其和特征圖實(shí)施卷積操作?？斩淳矸e感受野大小表示方式為：

rn=rn-1+（kn-1）×dn×[i=1n-1Si]，n≥2

在以上公式中，rn為第n個(gè)卷積層各階段感受野，kn為第n個(gè)卷積層卷積核大小，Si為第i個(gè)卷積層卷積核步長(zhǎng)，dn即為第n個(gè)卷積層空洞卷積的dilation rate，計(jì)算公式如下所示：

dn=dn×Sn-1

通過以上公式能夠發(fā)現(xiàn)，空洞卷積dilation rate隨著指數(shù)的增長(zhǎng)而增長(zhǎng)，在其為1，2，4的第3個(gè)空洞卷積后神經(jīng)元節(jié)點(diǎn)感受野大小具體為15×15。通過上分析能夠發(fā)現(xiàn)，隨著層數(shù)增加標(biāo)準(zhǔn)卷積感受野呈現(xiàn)出線性增長(zhǎng)趨勢(shì)，空洞卷積感受野隨之增長(zhǎng)。如果是在網(wǎng)絡(luò)深度一致情況下，空洞卷積感受野和標(biāo)準(zhǔn)卷積相比明顯偏大。所以，可以實(shí)現(xiàn)對(duì)以上問題的有效解決。

3 多尺度池化及多層特征融合策略

在研究過程中，想要在疊加過程中融合特征圖，需要實(shí)現(xiàn)對(duì)各個(gè)特征圖尺寸一致性的分析，特別是確保通道數(shù)的一致性。本次研究針對(duì)特征圖第三維數(shù)據(jù)分析，比如7×7×512特征圖的通道數(shù)即為512。想要實(shí)現(xiàn)對(duì)通道數(shù)一致性提供保障，也就需要采用1×1×128卷積核實(shí)現(xiàn)對(duì)4種不同尺寸特征圖實(shí)施卷積，所得卷積結(jié)果為：1×1×128、2×2×128、4×4×128以及7×7×128，之后在雙線性插值方法的應(yīng)用下，對(duì)其實(shí)施上采樣，實(shí)現(xiàn)對(duì)特征圖尺寸的統(tǒng)一，也就能夠獲取4個(gè)28×28×128特征圖，最后將其和多尺度池化前特征實(shí)施疊加，以能夠?qū)崿F(xiàn)相互融合，即可以得到上下文信息。其中多尺度池化和上采樣見圖2。

多尺度池化和特征圖融合中，能夠得到更多信息，如果各層軍采用多尺度池化，也容易導(dǎo)致出現(xiàn)問題，即為特征維度小以及深度提取不佳等等。所以，本次研究?jī)H在最后一層池化層實(shí)施多尺度池化，以實(shí)現(xiàn)對(duì)以上問題的防范，也能夠?qū)崿F(xiàn)對(duì)不同區(qū)域上下文信息的聚合，進(jìn)而提升網(wǎng)絡(luò)結(jié)構(gòu)得到全局信息的能力。

4 改進(jìn)代價(jià)函數(shù)

卷積神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練中，默認(rèn)各像素權(quán)重為均勻分布，模型對(duì)于圖像中樣本數(shù)量較大類別更有偏向性，對(duì)于樣本數(shù)量較少類別有所忽視。如果圖像中負(fù)樣本數(shù)量較多，且黑色背景部分分類容易，容易導(dǎo)致模型優(yōu)化發(fā)橫偏差，分類無(wú)法實(shí)現(xiàn)對(duì)前景目標(biāo)的準(zhǔn)確語(yǔ)義分割，影響分割準(zhǔn)確性。針對(duì)這一問題，本次研究中最大化減少易分類樣本權(quán)重，提高模型對(duì)難分類樣本的關(guān)注，以免出現(xiàn)偏向。卷積神經(jīng)網(wǎng)絡(luò)中多分類問題研究中，通常為代價(jià)函數(shù)，如下所示：

L（y，[y]）=-[1mi=1my]ln（softmax（x（i）））

以上公式中L{}為指數(shù)函數(shù)，m為訓(xùn)練樣本，[y]為真實(shí)概率分布。本次對(duì)其改進(jìn)，如下所示，一般情況下會(huì)給常用代價(jià)函數(shù)增加一個(gè)調(diào)制系數(shù)，實(shí)現(xiàn)對(duì)簡(jiǎn)單樣本權(quán)重分布的調(diào)節(jié)，以能夠?qū)崿F(xiàn)對(duì)分類器偏向問題的解決。

L（y，[y]）=-[1mi=1my]×[（1-softmax（x（i）））γ]×ln（softmax（x（i）））

以上公式中[γ]為超參數(shù)，即為權(quán)值系數(shù)對(duì)代價(jià)函數(shù)的一個(gè)影響作用，取值不同音響作用也具有差異;[（1-softmax（x（i）））]為調(diào)制系數(shù)，主要實(shí)現(xiàn)對(duì)易分類樣本權(quán)重的減低。

5 實(shí)驗(yàn)驗(yàn)證

本次研究采用數(shù)據(jù)集PASCAL VOC 2012對(duì)其算法應(yīng)用實(shí)施驗(yàn)證。在算法優(yōu)劣分析中具有多種評(píng)價(jià)方法，本次采用的是網(wǎng)絡(luò)訓(xùn)練時(shí)間以及平均并交比兩個(gè)指標(biāo)，后者即為真實(shí)值和預(yù)測(cè)值交集和并集的比值所得平均值。將本次研究算法和DeepLab v3算法訓(xùn)練時(shí)間和平均并交比對(duì)比，所得結(jié)果見表1。

6 結(jié)語(yǔ)

通過以上分析能夠看出，本次算法顯著降低了總訓(xùn)練時(shí)間和平均并交比，中平均并交比降低0.6，相較而言這一算法分割精度高，訓(xùn)練時(shí)間短，應(yīng)用范圍更加廣泛。

參考文獻(xiàn)：

[1] 李瀚超，蔡毅，王嶺雪.全局特征提取的全卷積網(wǎng)絡(luò)圖像語(yǔ)義分割算法[J].紅外技術(shù)，2019，41（7）：595-599，615.

[2] 鄧寒冰，周云成，許童羽，等.基于RGB-D的肉牛圖像全卷積網(wǎng)絡(luò)語(yǔ)義分割優(yōu)化[J].農(nóng)業(yè)工程學(xué)報(bào)，2019，35（18）：151-160.

[3] 吳止鍰，高永明，李磊，等.類別非均衡遙感圖像語(yǔ)義分割的全卷積網(wǎng)絡(luò)方法[J].光學(xué)學(xué)報(bào)，2019，39（4）：393-404.

[4] 郭亞男.基于全卷積神經(jīng)網(wǎng)絡(luò)的圖像語(yǔ)義分割技術(shù)的發(fā)展及應(yīng)用綜述[J].數(shù)碼世界，2019（7）：10.

[5] 王朵.基于全卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像語(yǔ)義分割及變化檢測(cè)方法研究[D].西安：西安電子科技大學(xué)，2018.

[6] 孫海川.基于全卷積網(wǎng)絡(luò)的圖像語(yǔ)義分割算法研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2018.

[7] 于倩倩，黃文龍，付世榮.基于全卷積神經(jīng)網(wǎng)絡(luò)的圖像語(yǔ)義分割[J].電腦與信息技術(shù)，2019，27（5）：16-18，21.

【通聯(lián)編輯：代影】