楊志堯，彭召意，文志強(qiáng)

(1.湖南工業(yè)大學(xué)計算機(jī)學(xué)院,湖南 株洲 412007；2.智能信息感知及處理技術(shù)湖南省重點實驗室,湖南 株洲 412007)

0 引 言

圖像分割作為計算機(jī)視覺領(lǐng)域的核心內(nèi)容之一，相關(guān)的研究工作早在20世紀(jì)60年代就已經(jīng)開始。傳統(tǒng)的圖像分割算法主要包括閾值法[1]、邊界檢測法[2]、區(qū)域法[3]等。近年來，隨著深度學(xué)習(xí)在圖像分類、檢測與識別等方面有了重大的進(jìn)展并逐漸擴(kuò)展到圖像分割領(lǐng)域，圖像分割技術(shù)在此影響下也有了不少突破性進(jìn)展。其中，圖像語義分割領(lǐng)域因其所具有的重大應(yīng)用價值越來越受人們的關(guān)注。目前，圖像語義分割技術(shù)在自動駕駛、醫(yī)學(xué)影像分析和地質(zhì)勘探等多個領(lǐng)域都有著廣泛的應(yīng)用。

傳統(tǒng)的圖像分割算法往往是基于圖像的底層信息，主要針對具有相同顏色、紋理或者形狀的圖像區(qū)域進(jìn)行分割[4]。因此，當(dāng)圖像所含信息較為復(fù)雜時，使用這類分割算法通常達(dá)不到預(yù)期的分割效果。更為常用的方法則是利用圖像中特征相似的相鄰像素組成的圖像塊并結(jié)合其他學(xué)科或領(lǐng)域的理論和方法來輔助圖像分割[5]。例如在圖像分割問題中引入圖論的理論方法，將對圖像的分割轉(zhuǎn)換成對帶有權(quán)值的無向圖的頂點標(biāo)注問題，從而獲得被稱為超像素的圖像塊[6]。

圖像語義分割通常需要結(jié)合圖像所包含的具有某種特定語義的對象的分類信息來輔助圖像分割。Ohta等人[7]將語義分割的概念歸納為：為圖像中的每個像素賦予一個具有特定語義信息的分類標(biāo)簽。結(jié)合區(qū)域提取算法的圖像語義分割是目前較為流行的方法[8]。

2012年，Krizhevsky等人[9]在Image Net大規(guī)模視覺識別挑戰(zhàn)競賽中使用卷積神經(jīng)網(wǎng)絡(luò)算法以接近10%的優(yōu)勢擊敗了其他傳統(tǒng)方法，基于深度網(wǎng)絡(luò)的圖像分割方法便層出不窮。2014年，Sermanet等人[10]提出結(jié)合滑動窗口算法和卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像語義分割的網(wǎng)絡(luò)框架。同年，Girshick等人[11]提出了基于區(qū)域提取的卷積神經(jīng)網(wǎng)絡(luò)分割算法，隨后He等人[12]通過在網(wǎng)絡(luò)中加入空間金字塔池化層對算法進(jìn)行改進(jìn)。Ren等人[13]通過改進(jìn)區(qū)域提取算法，得到了一個用于提取候選區(qū)域的網(wǎng)絡(luò)結(jié)構(gòu)，即區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network,RPN)，該網(wǎng)絡(luò)有效加快了候選區(qū)域的生成效率。但是卷積神經(jīng)網(wǎng)絡(luò)存在只能接收和處理固定尺寸圖像的局限性，同時卷積神經(jīng)網(wǎng)絡(luò)末端的全連接層也耗費(fèi)了較大的計算資源。因此，Long等人[14]摒棄了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中的全連接層并用卷積層取代從而得到了全卷積網(wǎng)絡(luò)(Fully Convolutional Network，F(xiàn)CN)，成為圖像語義分割網(wǎng)絡(luò)的常用框架。

1 圖像語義分割網(wǎng)絡(luò)結(jié)構(gòu)

圖像語義分割網(wǎng)絡(luò)通過區(qū)域建議網(wǎng)絡(luò)提取候選區(qū)域，然后使用全卷積分割網(wǎng)絡(luò)對圖像進(jìn)行語義分割。一般來說，使用單一的全卷積分割網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行圖像語義分割得到的結(jié)果過于粗糙，并不是很理想。通過區(qū)域建議網(wǎng)絡(luò)提取出的候選區(qū)域可以對全卷積網(wǎng)絡(luò)的分割結(jié)果進(jìn)行精細(xì)化處理，得到更為精確的分割圖像。

1.1 全卷積神經(jīng)網(wǎng)絡(luò)

語義分割網(wǎng)絡(luò)中的區(qū)域建議網(wǎng)絡(luò)和分割網(wǎng)絡(luò)均使用的是全卷積網(wǎng)絡(luò)。全卷積神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)都是包含多個隱藏層的深度神經(jīng)網(wǎng)絡(luò)模型，兩者的區(qū)別在于全卷積神經(jīng)網(wǎng)絡(luò)舍棄了全連接層，整個網(wǎng)絡(luò)均由卷積層構(gòu)成。因此，全卷積神經(jīng)網(wǎng)絡(luò)對輸入圖像的尺寸沒有特殊的要求，無需對輸入圖像進(jìn)行裁剪、拉伸等預(yù)處理。

全卷積神經(jīng)網(wǎng)絡(luò)同樣是基于訓(xùn)練數(shù)據(jù)自主地學(xué)習(xí)圖像特征，其網(wǎng)絡(luò)結(jié)構(gòu)主要包含了4種基本操作：卷積、池化、非線性變換和逆卷積，由于卷積和池化的過程會丟棄大量的信息，因此逆卷積得到的分割效果較為粗糙。為了獲得更加精確的分割效果，將區(qū)域建議網(wǎng)絡(luò)與全卷積網(wǎng)絡(luò)相結(jié)合，從而得到一個聯(lián)合網(wǎng)絡(luò)來進(jìn)行圖像語義分割。

1.2 區(qū)域建議網(wǎng)絡(luò)

1.2.1 區(qū)域建議網(wǎng)絡(luò)的構(gòu)建

采用全卷積網(wǎng)絡(luò)模型來構(gòu)建區(qū)域建議網(wǎng)絡(luò)，主要目的是為了便于和全卷積分割網(wǎng)絡(luò)共享計算資源。實驗在Zeiler和Fergus[15]所提出的網(wǎng)絡(luò)模型上做出修改，得到所需要的全卷積神經(jīng)網(wǎng)絡(luò)，即ZF_FCN網(wǎng)絡(luò)。

區(qū)域建議框的產(chǎn)生同樣是一個卷積的過程。使用一個n×n的滑動窗口在共享卷積層末端的輸出特征圖上進(jìn)行卷積操作，每一個滑動窗口都將作為一個輸入被送入一個小型的網(wǎng)絡(luò)中。該小型網(wǎng)絡(luò)將傳入的特征映射到一個256-d的向量上并將這個向量傳輸給2個同級的1×1卷積層。這2個卷積層分別為分類層(cls)和回歸層(reg)。

滑動窗口的中心位置定義為錨點，通常每個滑動位置對應(yīng)著3種尺度和3種長寬比，這樣每個滑動位置都會有k=9個錨點，每個滑動窗口產(chǎn)生k個區(qū)域建議框。因此，回歸層會有4k個輸出(每個區(qū)域建議框的坐標(biāo)包含4個參數(shù))，分類層會有2k個輸出(每個區(qū)域建議框是否為目標(biāo)的概率估計)。具體的區(qū)域建議網(wǎng)絡(luò)如圖1所示。

圖1 區(qū)域建議網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2.2 定義區(qū)域建議網(wǎng)絡(luò)的損失函數(shù)

區(qū)域建議網(wǎng)絡(luò)是一個典型的全卷積網(wǎng)絡(luò)，因此在網(wǎng)絡(luò)的訓(xùn)練過程中，反向傳播算法[16]和梯度下降算法[17]同樣適用于區(qū)域建議網(wǎng)絡(luò)。為了訓(xùn)練區(qū)域建議網(wǎng)絡(luò)，使用一個二進(jìn)制標(biāo)簽來標(biāo)記一個錨點是否為目標(biāo)。

對于一張輸入圖像，其損失函數(shù)可定義為：

(1)

(2)

(3)

對于回歸部分，參照Girshick等人[18]的論文采用4個坐標(biāo)，分別為：

(4)

其中，x，y，w，h分別用來標(biāo)識包圍盒的中心位置坐標(biāo),寬和高。變量x，xa，x*分別表示預(yù)測包圍盒、錨點的包圍盒、真實的包圍盒的x的坐標(biāo),對y，w，h也是如此。

1.3 聯(lián)合的圖像語義分割網(wǎng)絡(luò)

通常，全卷積網(wǎng)絡(luò)接收整張圖像作為輸入進(jìn)行網(wǎng)絡(luò)的訓(xùn)練和圖像的分割，而需要分割的目標(biāo)對象在圖像中的位置和大小并不固定。當(dāng)目標(biāo)對象在圖像中的尺寸較小時，圖像的背景內(nèi)容在訓(xùn)練的過程中會產(chǎn)生較嚴(yán)重的干擾。同樣，在圖像的分割階段也會受到圖像背景部分的影響。而區(qū)域建議網(wǎng)絡(luò)的引入，可以較好地解決上述問題。

1.3.1 基本的網(wǎng)絡(luò)結(jié)構(gòu)

區(qū)域建議網(wǎng)絡(luò)和全卷積分割網(wǎng)絡(luò)具有共享的卷積層。輸入的圖像經(jīng)過這個共享卷積層后生成的特征圖不僅會繼續(xù)沿著全卷積分割網(wǎng)絡(luò)傳播，同時也會傳入?yún)^(qū)域建議網(wǎng)絡(luò)通過計算處理得到候選區(qū)域以及區(qū)域得分。然后，采用極大值抑制算法獲取排名前n(n通常取100)的得分區(qū)域并傳入到池化層。在池化層中，區(qū)域建議網(wǎng)絡(luò)輸出的區(qū)域建議和全卷積分割網(wǎng)絡(luò)輸出的高維特征圖相結(jié)合，通過上采樣方法得到對應(yīng)的語義分割圖像。由區(qū)域建議網(wǎng)絡(luò)和全卷積分割網(wǎng)絡(luò)組成的聯(lián)合網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 聯(lián)合網(wǎng)絡(luò)的結(jié)構(gòu)圖

1.3.2 2種網(wǎng)絡(luò)模型的聯(lián)合方法

作為一個聯(lián)合的網(wǎng)絡(luò)結(jié)構(gòu)，區(qū)域建議網(wǎng)絡(luò)在網(wǎng)絡(luò)訓(xùn)練階段和圖像分割階段都起到了較為重要的輔助作用。

在網(wǎng)絡(luò)的訓(xùn)練階段，區(qū)域建議網(wǎng)絡(luò)的主要作用在于接收一張完整的圖像作為輸入并產(chǎn)生一組具有區(qū)域得分的區(qū)域建議框。區(qū)域得分較高的建議框內(nèi)通常包含更高比例的待分割目標(biāo)物體，因此使用這類區(qū)域建議框所框選的圖像區(qū)域來訓(xùn)練分割網(wǎng)絡(luò)，可以使得網(wǎng)絡(luò)對目標(biāo)對象的分割更具有針對性。為了獲取這類高質(zhì)量的訓(xùn)練數(shù)據(jù)，首先要根據(jù)區(qū)域得分對區(qū)域建議框進(jìn)行排序，利用排名靠前的區(qū)域建議框(通常取前10%的區(qū)域建議框)在原圖像上裁剪獲得一組候選區(qū)域圖像。然后將這組候選區(qū)域圖像作為輸入傳入全卷積分割網(wǎng)絡(luò)，用于分割網(wǎng)絡(luò)的訓(xùn)練和優(yōu)化。在這一過程中，共享卷積層產(chǎn)生的特征圖像只在分割網(wǎng)絡(luò)內(nèi)傳輸，不再傳入到區(qū)域建議網(wǎng)絡(luò)中。

在圖像的分割階段，區(qū)域建議網(wǎng)絡(luò)產(chǎn)生的區(qū)域建議框及對應(yīng)的區(qū)域得分會輔助語義分割網(wǎng)絡(luò)對圖像進(jìn)行分割。這一階段同樣是利用區(qū)域建議框所具有的分割目標(biāo)所占圖像比例大，背景圖像干擾小的特點。

首先，采用極大值抑制算法獲取區(qū)域得分排名前n個區(qū)域建議框。

然后，分別為這些區(qū)域建議框分配相應(yīng)的權(quán)重。在權(quán)值的分配過程中，通常會給圖像中心位置的像素分配較大的權(quán)值，并且像素的權(quán)值由中心向四周逐漸降低。本文采用正態(tài)分布為區(qū)域建議框分配權(quán)值，具體函數(shù)如公式(5)所示，其中x，y表示區(qū)域建議框上對應(yīng)像素點的位置。

G(x,y)=1/2πσ2e-(x2+y2)/2σ2

(5)

最后，使用這些帶權(quán)區(qū)域建議框與分割網(wǎng)絡(luò)的輸出圖像相結(jié)合，利用帶權(quán)區(qū)域建議框的區(qū)域得分和權(quán)值來調(diào)整輸出圖像中對應(yīng)位置像素所屬類別的概率值，從而得到最終的分割結(jié)果。

2 語義分割網(wǎng)絡(luò)的訓(xùn)練

由于區(qū)域建議網(wǎng)絡(luò)和全卷積分割網(wǎng)絡(luò)是獨立訓(xùn)練的，因此語義分割網(wǎng)絡(luò)訓(xùn)練的關(guān)鍵在于卷積層的共享。實現(xiàn)卷積層共享的方法有多種，如交替訓(xùn)練法、近似聯(lián)合訓(xùn)練法、非近似聯(lián)合訓(xùn)練法等。交替訓(xùn)練算法將整個訓(xùn)練過程劃分為3個階段，逐步學(xué)習(xí)共享的特征，實現(xiàn)卷積層的共享。

區(qū)域建議網(wǎng)絡(luò)的訓(xùn)練階段，區(qū)域建議網(wǎng)絡(luò)的訓(xùn)練可以使用原始圖像數(shù)據(jù)進(jìn)行訓(xùn)練，但是該方法的訓(xùn)練周期較長，需要的數(shù)據(jù)量也很大。通常采用遷移學(xué)習(xí)方法，用在ImageNet圖像庫上訓(xùn)練好的模型參數(shù)對區(qū)域建議網(wǎng)絡(luò)進(jìn)行初始化。

全卷積分割網(wǎng)絡(luò)的訓(xùn)練階段，使用第一步中區(qū)域建議網(wǎng)絡(luò)生成的候選框來訓(xùn)練一個全卷積分割網(wǎng)絡(luò)。為了得到更好的訓(xùn)練效果，全卷積分割網(wǎng)絡(luò)同樣可以使用ImageNet圖像庫的預(yù)訓(xùn)練模型參數(shù)來初始化。

聯(lián)合網(wǎng)絡(luò)相互微調(diào)階段，使用全卷積分割網(wǎng)絡(luò)的參數(shù)再次初始化區(qū)域建議網(wǎng)絡(luò)，不同的是，此次初始化的過程中需要保持共享卷積層的參數(shù)不變，只微調(diào)區(qū)域建議網(wǎng)絡(luò)的其他層。相同地，保持共享卷積層參數(shù)不變，使用區(qū)域建議網(wǎng)絡(luò)的參數(shù)再次初始化全卷積分割網(wǎng)絡(luò)，交替進(jìn)行上述步驟，即可實現(xiàn)卷積層的共享，從而構(gòu)建成為一個統(tǒng)一的網(wǎng)絡(luò)。

3 實驗結(jié)果與分析

實驗中采用的ZF-FCN網(wǎng)絡(luò)有5個共享卷積層，并在PASCAL VOC 2012圖像數(shù)據(jù)集分別驗證ZF_FCN網(wǎng)絡(luò)和改進(jìn)后的ZF_RPN_FCN網(wǎng)絡(luò)對圖像的分割效果。主要的評估參數(shù)包括像素分類的正確率(Pixel Accuracy)以及分割圖像與標(biāo)準(zhǔn)圖像的平均交集并集比(Mean IU)。

表1展示了在相同配置環(huán)境下，不同的分割方法得到的分割結(jié)果。R-CNN網(wǎng)絡(luò)在進(jìn)行圖像分割時，只是利用簡單的線性回歸來獲取待分割目標(biāo)的最小邊界框，因此它的分割效果遠(yuǎn)不如基于全卷積網(wǎng)絡(luò)的語義分割方法。對比ZF_RPN_FCN網(wǎng)絡(luò)和FCN_8s網(wǎng)絡(luò)可以看出，在像素分類準(zhǔn)確度和分割效果上，ZF_RPN_FCN網(wǎng)絡(luò)都要好于FCN_8s網(wǎng)絡(luò)。

表1 不同網(wǎng)絡(luò)的圖像分割效果對比(%)

PixelAccuracyMeanIUR?CNN77．947．9FCN＿32s87．359．6FCN＿16s89．661．7FCN?8s90．162．2ZF?FCN87．960．9ZF＿RPN＿FCN91．163．5

在對圖像特征的抽象和提取方面，ZF_RPN_FCN網(wǎng)絡(luò)和FCN_8s網(wǎng)絡(luò)采用了不同的策略和方法。FCN_8s網(wǎng)絡(luò)是在FCN_32s網(wǎng)絡(luò)和FCN_16s網(wǎng)絡(luò)的基礎(chǔ)上，逐步實現(xiàn)對圖像特征的抽象和提取。同時，F(xiàn)CN_8s還利用全卷積網(wǎng)絡(luò)中不同層之間的特征融合來實現(xiàn)對圖像更精確的分割。因此從表1可以看出，F(xiàn)CN_32s網(wǎng)絡(luò)到FCN_16s網(wǎng)絡(luò)再到FCN_8網(wǎng)絡(luò)，像素分類準(zhǔn)確率和平均交集并集之比都在逐漸提高。

與FCN_8s網(wǎng)絡(luò)不同的是，ZF_RPN_FCN網(wǎng)絡(luò)是在ZF_FCN網(wǎng)絡(luò)的基礎(chǔ)上，通過引入?yún)^(qū)域建議網(wǎng)絡(luò)來更好地實現(xiàn)對圖像特征的抽象和提取。改進(jìn)后的ZF_RPN_FCN網(wǎng)絡(luò)的像素分類正確率提高了3.2%，而且平均交集并集之比也提高了2.6%。通過與FCN_8s網(wǎng)絡(luò)的分割結(jié)果對比可以看出，ZF_RPN_FCN網(wǎng)絡(luò)對圖像的分割效果要稍優(yōu)于FCN_8s網(wǎng)絡(luò)。這說明，ZF_RPN_FCN網(wǎng)絡(luò)有著不弱于FCN_8s網(wǎng)絡(luò)的圖像特征提取能力，而且其實現(xiàn)過程要比FCN_8s網(wǎng)絡(luò)更為簡易。同時，由于區(qū)域建議網(wǎng)絡(luò)產(chǎn)生的建議框?qū)D像語義分割有較好的輔助作用，這使得ZF_RPN_FCN網(wǎng)絡(luò)對像素的分類和圖像的分割都更加的精確。

為了更加直觀地展示改進(jìn)后網(wǎng)絡(luò)的分割效果，將圖像分別使用ZF_FCN網(wǎng)絡(luò)和ZF_RPN_FCN網(wǎng)絡(luò)進(jìn)行分割，得到分割圖像的結(jié)果如圖3所示。對比標(biāo)準(zhǔn)分割圖可以看出，ZF_FCN網(wǎng)絡(luò)的分割結(jié)果較為粗糙，雖然分割得到了飛機(jī)的整體輪廓，但細(xì)節(jié)上缺失明顯。而改進(jìn)后網(wǎng)絡(luò)的分割結(jié)果相對來說更加精細(xì)，ZF_FCN網(wǎng)絡(luò)分割時所忽略的飛機(jī)尾翼在ZF_RPN_FCN網(wǎng)絡(luò)分割得到的圖像中有一定的體現(xiàn)，因此最終的分割效果也更好。

圖3 算法分割示意圖

4 結(jié)束語

如今，深度學(xué)習(xí)網(wǎng)絡(luò)在圖像語義分割領(lǐng)域上的應(yīng)用已經(jīng)成為主流。卷積神經(jīng)網(wǎng)絡(luò)在圖像的特征提取和抽象等方面有著得天獨厚的優(yōu)勢，但是在圖像的細(xì)節(jié)處理方面也有一定的不足。如何將傳統(tǒng)圖像分割算法與深度學(xué)習(xí)網(wǎng)絡(luò)更好地融合在一起，從而獲得高質(zhì)量的分割結(jié)果成為圖像分割領(lǐng)域一個重要的研究方向。

[1] Ostu N. A threshold selection method from gray-level histograms [J]. IEEE Transactions on Systems Man & Cybernetics, 1979,9(1):62-66.

[2] Muthukrishnan R, Radha M. Edge detection techniques for image segmentation[J]. International Journal of Computer Science & Information Technology, 2011,3(6):259-267.

[3] Adams R, Bischof L. Seeded region growing[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994,16(6):641-647.

[4] 魏云超,趙耀. 基于DCNN的圖像語義分割綜述[J]. 北京交通大學(xué)學(xué)報, 2016,40(4):82-91.

[5] 姜楓,顧慶,郝慧珍,等. 基于內(nèi)容的圖像分割方法綜述[J]. 軟件學(xué)報, 2017,28(1):160-183.

[6] Ren Xiaofeng, Malik J. Learning a classification model for segmentation[C]// Proceedings of the 9th IEEE International Conference on Computer Vision. 2003:10.

[7] Otha Y, Kanade T, Sakai T. An analysis system for scenes containing objects with substructures[C]// Proceedings of the 4th International Joint Conference on Pattern Recognitions. 1978:752-754.

[8] 張繼昊. 基于SOFM自組織特征映射網(wǎng)絡(luò)的圖像語義分割與標(biāo)識[D]. 上海:上海交通大學(xué), 2010.

[9] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. 2012:1097-1105.

[10] Sermanet P, Eigen D, Zhang Xiang, et al. Overfeat: Integrated recognition, localization and detection using convolutional networks[J]. Computer Science, 2013:arXiv:1312.6229.

[11] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014:580-587.

[12] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015,37(9):1904-1916.

[13] Ren Shaoqing, He Kaiming, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017,39(6):1137-1149.

[14] Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014,39(4):640-651.

[15] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]// European Conference on Computer Vision. 2014:818-833.

[16] Baydin A G, Pearlmutter B A, Radul A A, et al. Automatic differentiation in machine learning: A survey[J]. Computer Science, 2015.

[17] Bottou L. Large-scale machine learning with stochastic gradient descent[C]// Proceedings of COMPSTAT’2010. 2010:177-186.

[18] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014:580-587.