蔡吉輪

（廣東工業(yè)大學(xué) 自動(dòng)化學(xué)院，廣東 廣州510006）

圖像分割在圖像表層上分割，將圖像劃分成互不相交的、有意義的子區(qū)域，在同一個(gè)區(qū)域的像素點(diǎn)具有一定的相關(guān)性，不同區(qū)域的像素點(diǎn)存在一定的差異性，即是對(duì)圖片中有相同性質(zhì)的像素點(diǎn)賦予相同標(biāo)簽的過程[1]。在全卷積網(wǎng)絡(luò)之前，要作圖像分割研究，一般根據(jù)傳統(tǒng)圖像分割方法，比如基于閾值的圖像分割[2]，通過設(shè)定閾值方法來對(duì)圖像分割。

隨著深度學(xué)習(xí)發(fā)展和數(shù)據(jù)日益增強(qiáng)，深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺上應(yīng)用越來越廣泛，例如圖像分類、目標(biāo)檢測(cè)和圖像語義分割等。學(xué)者研究發(fā)現(xiàn)，采用傳統(tǒng)圖像分割方法的分割精度不夠好，且分割圖的語義不夠全局性，而經(jīng)過人工標(biāo)注圖像中不同的像素點(diǎn)有相對(duì)應(yīng)的類別標(biāo)簽，通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)[3]，對(duì)圖像數(shù)據(jù)每一個(gè)像素點(diǎn)進(jìn)行分類，比傳統(tǒng)圖像分割方法的分割精度更好。

1 相關(guān)工作

1998 年由Lecun 提出第一個(gè)圖像分類網(wǎng)絡(luò)，稱為LeNet 網(wǎng)絡(luò)[4]，也是第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，接著出現(xiàn)了AlexNet[3]，它的卷積核較大。AlexNet 在圖像分類方面比LeNet 的分類效果更好，但是AlexNet 的卷積核也較大。AlexNet 含有尺寸為11、5、3 三種卷積核，參數(shù)量過大，而VGGNet[5]使用尺寸為3 的卷積核替換尺寸為5、尺寸為7 的卷積核，特征圖像素點(diǎn)感受野一樣，但是網(wǎng)絡(luò)層數(shù)能夠加深，有利于提取更抽象特征，所以VGGNet 作為圖像語義分割的主干網(wǎng)絡(luò)來源優(yōu)越于AlexNet 和LeNet。

Long 等于2015 年提出全卷積網(wǎng)絡(luò)[6（]FCN），是一個(gè)首次實(shí)現(xiàn)端到端訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)，如圖1 所示。在全卷積網(wǎng)絡(luò)中，使用上采樣結(jié)構(gòu)恢復(fù)主干網(wǎng)絡(luò)特征圖分辨率，同時(shí)使用跨層結(jié)構(gòu)融合主干網(wǎng)絡(luò)中兩層特征。但是盡管全卷積網(wǎng)絡(luò)有上采樣結(jié)構(gòu)和跨層結(jié)構(gòu)，也不能全面恢復(fù)特征圖在池化層所丟失的位置信息。

在全卷積網(wǎng)絡(luò)之后，Olaf Ronneberger 等2015 年提出一種編碼解碼結(jié)構(gòu)網(wǎng)絡(luò)，稱為U-Net[7]，如圖2 所示。在U-Net 的解碼結(jié)構(gòu)中，將上采樣后特征圖和對(duì)應(yīng)的編碼池化特征圖合并，這是一種同級(jí)層合并方式，給特征圖恢復(fù)一些細(xì)節(jié)，但是跟全卷積網(wǎng)絡(luò)一樣沒法全面恢復(fù)特征圖在編碼池化層所丟失的位置信息。

圖2 U-Net 的網(wǎng)絡(luò)結(jié)構(gòu)

在深度卷積神經(jīng)網(wǎng)絡(luò)中，每經(jīng)過一個(gè)卷積神經(jīng)模塊，都需要一層池化層，降低特征圖分辨率獲取抽象特征，同時(shí)壓縮網(wǎng)絡(luò)參數(shù)來加深網(wǎng)絡(luò)層數(shù)獲取更全局的語義，但是特征圖位置信息也會(huì)同時(shí)損失，以此影響到細(xì)小類別的分割精度。為了減少像素點(diǎn)錯(cuò)分，基于U-Net 網(wǎng)絡(luò)改進(jìn)，本文提出基于U-Net 的編碼特征融合網(wǎng)絡(luò)，分割精度比U-Net 有所提高。

2 本文網(wǎng)絡(luò)結(jié)構(gòu)

本文網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，將本文網(wǎng)絡(luò)稱為基于U-Net 的編碼特征融合網(wǎng)絡(luò)，它的主干網(wǎng)絡(luò)來源于VGGNet。在本文網(wǎng)絡(luò)的主干網(wǎng)絡(luò)中，分別把第13 個(gè)卷積層和第3 個(gè)池化層產(chǎn)生的特征圖記為I1、I4，其中I4 的分辨率是I1 的分辨率兩倍。I1 經(jīng)過上采樣增加特征圖分辨率一倍，再經(jīng)過一次空洞卷積[8]產(chǎn)生特征圖I3。I4 經(jīng)過1x1 卷積核的空洞卷積過濾下產(chǎn)生特征圖I5，此時(shí)特征圖分辨率和通道數(shù)量跟I3 的一致，就此實(shí)現(xiàn)第一次特征融合。在第一次融合后，主干網(wǎng)絡(luò)繼續(xù)進(jìn)行特征提取，經(jīng)過一層空洞卷積、兩層卷積特征提取后進(jìn)行池化，池化層所產(chǎn)生的特征圖分辨率和通道數(shù)量跟I1 的一致，就此實(shí)現(xiàn)第二次融合。

圖3 本文網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)結(jié)果

3.1 基于Pascal VOC2012 公開數(shù)據(jù)上的圖像語義分割實(shí)驗(yàn)

本文網(wǎng)絡(luò)和U-net 同時(shí)在Pascal VOC2012 數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)設(shè)備是Nvidia GTX 1080H，內(nèi)存是16G DDR3，顯存是11G?；贙eras 深度學(xué)習(xí)框架進(jìn)行實(shí)驗(yàn)，設(shè)置訓(xùn)練次數(shù)epoch= 500 和每次訓(xùn)練圖像張數(shù)batch_size=12，選擇SGD 優(yōu)化器，設(shè)置學(xué)習(xí)率的初始值為1e-2，每間隔5 個(gè)epoch,驗(yàn)證集損失函數(shù)不再減少，學(xué)習(xí)率按0.9 倍數(shù)減少，最低學(xué)習(xí)率為1e-5。本文網(wǎng)絡(luò)和U-net 在同樣的參數(shù)訓(xùn)練下，損失函數(shù)變化如圖4 所示。

圖4 損失函數(shù)變化曲線

通過實(shí)驗(yàn)得到U-Net 和本文網(wǎng)絡(luò)的像素精度分別是0.8343、0.8444，得到U-Net 和本文網(wǎng)絡(luò)的平均交并比分別是0.6312、0.6487，從U-Net 和本文網(wǎng)絡(luò)的實(shí)驗(yàn)數(shù)據(jù)看，本文網(wǎng)絡(luò)的分割精度比U-net 的有所提高。測(cè)試模型得到實(shí)際效果分割如圖5 所示，其中圖5(a)是原始圖片，圖5(b)是人工標(biāo)簽圖，圖5(c)是U-Net 分割圖，圖5(d)是本文網(wǎng)絡(luò)分割圖，從分割圖看，本文網(wǎng)絡(luò)比U-Net 的分割效果好。

圖5 實(shí)際效果分割圖

3.2 結(jié)果分析

由于U-Net 模型以初始學(xué)習(xí)率訓(xùn)練完23 個(gè)epoch 后開始下降，而本文網(wǎng)絡(luò)模型以初始學(xué)習(xí)率訓(xùn)練完39 個(gè)epoch 后開始下降，于是本文網(wǎng)絡(luò)模型在23 個(gè)epoch 之后比U-Net 更新參數(shù)更快，損失函數(shù)下降更快。當(dāng)模型收斂時(shí)，本文網(wǎng)絡(luò)模型損失值比U-Net 更小，于是本文網(wǎng)絡(luò)模型在23 個(gè)epoch 之后的平均交并比、精度都比U-Net 模型高。

在實(shí)際效果中，由于U-Net 網(wǎng)絡(luò)在編碼結(jié)構(gòu)中，池化層在池化操作過程中引起特征圖位置信息損失，所以U-Net 分割圖所圈部分相關(guān)像素點(diǎn)錯(cuò)分過多。本文網(wǎng)絡(luò)實(shí)現(xiàn)了主干網(wǎng)絡(luò)的不同層特征圖融合，在主干網(wǎng)絡(luò)中最后的特征圖融合了第3 個(gè)卷積塊的特征圖和第13 層卷積層的特征圖的細(xì)節(jié)信息并且整合它們的語義，實(shí)現(xiàn)低層特征圖所具有的信息整合到深層特征圖，在一定程度上填充了細(xì)節(jié)信息，并且本文網(wǎng)絡(luò)在特征融合結(jié)構(gòu)中加入空洞卷積擴(kuò)大特征圖像素點(diǎn)的感受野來更好獲取全局的語義，以此提高像素分類的精度，于是得到了本文網(wǎng)絡(luò)的平均交并比、精度比U-Net 有所提高，分割出的實(shí)際效果圖較少出現(xiàn)U-Net 分割圖所圈部分的相對(duì)應(yīng)像素點(diǎn)錯(cuò)分。

結(jié)束語

本文設(shè)置特征融合結(jié)構(gòu)將主干網(wǎng)絡(luò)特征進(jìn)行融合，并在特征融合結(jié)構(gòu)中加入空洞卷積層增大特征圖像素點(diǎn)的感受野，以此減少像素點(diǎn)錯(cuò)分來提高分割精度。在公開的Pascal VOC2012數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)，并且通過實(shí)驗(yàn)表明本文網(wǎng)絡(luò)比U-Net 的分割精度更高，但是本文網(wǎng)絡(luò)還存在不足之處，它很難分割出類別中較細(xì)的部分，比如人的腿腳在上述實(shí)際效果分割圖中沒有被分割出來。接下來，借鑒注意力結(jié)構(gòu)結(jié)合空洞卷積來改善網(wǎng)絡(luò)以此提高分割精度。