章雪瑞，孫鳳銘，袁 夏

南京理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，南京 210094

視頻目標(biāo)分割是計(jì)算機(jī)視覺(jué)中的一項(xiàng)重要任務(wù)，在智能監(jiān)控、視頻編輯、機(jī)器人環(huán)境理解等方面有重要應(yīng)用?；诎氡O(jiān)督學(xué)習(xí)的視頻目標(biāo)分割是指給定第一幀目標(biāo)掩模的情況下，陸續(xù)分割后續(xù)幀中的目標(biāo)。半監(jiān)督視頻目標(biāo)分割主要使用空間線索和時(shí)間線索進(jìn)行目標(biāo)分割。

半監(jiān)督視頻目標(biāo)分割方法目前一般使用掩?；蛘吖饬鞯男问絺鞑ド弦粠男畔?，有的加入在線訓(xùn)練以提高分割精度。掩模只能體現(xiàn)出前一幀中目標(biāo)的形狀和位置，而光流計(jì)算需要增添光流檢測(cè)網(wǎng)絡(luò)，計(jì)算復(fù)雜度較高且難以做到端到端訓(xùn)練。在線訓(xùn)練雖然能提升分割的效果，但是不能滿足機(jī)器人視覺(jué)認(rèn)知這種對(duì)計(jì)算效率要求較高的在線檢測(cè)任務(wù)。

（1）提出新的長(zhǎng)時(shí)匹配和短時(shí)匹配卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)像素級(jí)相關(guān)計(jì)算將第一幀和前一幀中的目標(biāo)特征傳遞到當(dāng)前幀。

（2）實(shí)驗(yàn)驗(yàn)證了長(zhǎng)時(shí)匹配模塊和短時(shí)匹配模塊的互補(bǔ)性，將二者結(jié)合在一起使用能夠有效提升分割精度。

（3）設(shè)計(jì)了一個(gè)高效的端到端視頻分割模型，在計(jì)算效率和分割精度上取得了較好的平衡。

1 相關(guān)工作

根據(jù)使用的線索不同，半監(jiān)督視頻目標(biāo)分割的方法可以分為三類，基于檢測(cè)的方法、基于傳播的方法以及兩者都有的混合方法。

基于檢測(cè)的方法中具有代表性的是OSVOS模型[1]，將視頻分割轉(zhuǎn)換為圖像分割，通過(guò)每個(gè)視頻帶有標(biāo)注信息的第一幀訓(xùn)練出只針對(duì)當(dāng)前視頻的過(guò)擬合的模型?；谄ヅ涞腣ideoMatch方法[2]對(duì)匹配特征的平均相似度得分圖進(jìn)行軟分割，生成平滑的預(yù)測(cè)結(jié)果。這些方法都不依賴時(shí)序信息，所以對(duì)遮擋和漂移可以有很好的處理，但是它們較為依賴第一幀的標(biāo)注，對(duì)于外觀變化較大和具有相似目標(biāo)的幀不能很好的處理。

基于傳播的方法中具有代表性的MaskTrack模型[3]，將視頻分割問(wèn)題轉(zhuǎn)化為受引導(dǎo)的實(shí)例分割問(wèn)題，使用前一幀的預(yù)測(cè)掩模作為當(dāng)前幀的指導(dǎo)信息來(lái)分割目標(biāo)。文獻(xiàn)[4]進(jìn)一步提出重新傳播概念，從視頻序列中挑選高質(zhì)量的幀然后向前后傳播。因?yàn)橐曨l幀之間一般變化不大，所以簡(jiǎn)單利用前一幀的預(yù)測(cè)掩?；蛘吖饬骶湍苋〉煤芎玫慕Y(jié)果，對(duì)于目標(biāo)形變、相似目標(biāo)區(qū)分有很好的處理能力。但是這類方法在面對(duì)遮擋、消失等情況時(shí)有可能把錯(cuò)誤的信息傳播到后一幀，從而影響這些情況下的分割結(jié)果。

目前主流的半監(jiān)督視頻分割方法都會(huì)將上訴兩種方法結(jié)合起來(lái)，同時(shí)利用第一幀和前一幀的信息。RGMP[5]使用Siamese網(wǎng)絡(luò)編碼當(dāng)前幀和第一幀特征，輸入時(shí)分兩路，一路是當(dāng)前幀加前一幀掩模，另一路是第一幀加對(duì)應(yīng)掩模。對(duì)于兩路特征，RGMP將其疊加起來(lái)，沒(méi)有做更復(fù)雜的操作。FAVOS模型[6]在第一幀將目標(biāo)分成多個(gè)部件，比如一個(gè)人可以分為頭、身體和四肢，然后在后續(xù)幀中跟蹤這些部件并通過(guò)基于感興趣區(qū)域的分割網(wǎng)絡(luò)生成部件的分割掩模，最后將分割出來(lái)的部件和第一幀相應(yīng)部件計(jì)算特征距離來(lái)聚合部件。OSMN網(wǎng)絡(luò)[7]設(shè)計(jì)了一種調(diào)制器，將第一幀目標(biāo)和前一幀目標(biāo)位置分別送入網(wǎng)絡(luò)獲取視覺(jué)調(diào)制參數(shù)和空間調(diào)制參數(shù)，將視覺(jué)調(diào)制參數(shù)作為權(quán)重，空間調(diào)制參數(shù)作為偏移量對(duì)當(dāng)前一幀特征進(jìn)行引導(dǎo)使它專注于固定目標(biāo)。

(5) 隨剪力連接度的降低，試驗(yàn)梁的動(dòng)力響應(yīng)變大；在剪力連接度相同情況下，不同栓釘損傷對(duì)結(jié)合梁動(dòng)力性能影響不大。

在線訓(xùn)練是提高半監(jiān)督視頻目標(biāo)分割性能的一個(gè)重要方法，是在Lucid Data Dreaming合成視頻幀方法[8]基礎(chǔ)上發(fā)展起來(lái)的。它是指模型訓(xùn)練好后，對(duì)于單獨(dú)的每個(gè)視頻使用第一幀的標(biāo)注再訓(xùn)練幾十秒乃至幾分鐘，訓(xùn)練時(shí)間越長(zhǎng)效果越好。這種方法不適合用于在線計(jì)算任務(wù)。

2 視頻目標(biāo)分割網(wǎng)絡(luò)

在給定視頻第一幀目標(biāo)分割掩模的情況下，本文設(shè)計(jì)了一個(gè)基于長(zhǎng)-短時(shí)相似性匹配的視頻目標(biāo)分割神經(jīng)網(wǎng)絡(luò)模型。其中長(zhǎng)時(shí)匹配指當(dāng)前幀與第一幀標(biāo)注的掩模匹配，短時(shí)匹配指當(dāng)前幀與前一幀的預(yù)測(cè)結(jié)果匹配。

2.1 整體網(wǎng)絡(luò)結(jié)構(gòu)

整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，本文方法包含四個(gè)部分，分別是用于提取特征的編碼模塊、長(zhǎng)時(shí)匹配模塊、短時(shí)匹配模塊以及解碼模塊。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network architecture

為了突破常規(guī)卷積固定感受野的局限，解決目標(biāo)運(yùn)動(dòng)過(guò)程中非剛性形變問(wèn)題，本文在模型中引入了文獻(xiàn)[9]提出的各向異性卷積模塊（AIC），并將其由原本的三維結(jié)構(gòu)改寫為適用于處理單幀視頻圖像的二維結(jié)構(gòu)（2D-AIC）。在經(jīng)過(guò)編碼器提取特征后，將特征經(jīng)過(guò)兩個(gè)2D-AIC分支得到用于長(zhǎng)時(shí)匹配的全局特征和用于短時(shí)匹配的局部特征。然后將當(dāng)前幀的全局特征中每個(gè)像素特征和第一幀全局特征的所有像素特征做相關(guān)操作，得到全局相似性圖。接著將當(dāng)前幀的局部特征中每個(gè)像素特征和前一幀的局部特征中對(duì)應(yīng)范圍內(nèi)的像素特征做相關(guān)操作，得到局部相似性圖。最后將全局相似性圖、局部相似性圖、前一幀掩模以及編碼器輸出的特征合并送入解碼模塊，再經(jīng)過(guò)兩個(gè)優(yōu)化網(wǎng)絡(luò)后分割得到最終結(jié)果。后面章節(jié)將更詳細(xì)地介紹每個(gè)模塊。

2.2 編碼模塊

編碼模塊采用Res2Net[10]作為主干網(wǎng)絡(luò)，去掉最后的全連接層，同時(shí)為了更好地利用多尺度特征，以及為后續(xù)優(yōu)化網(wǎng)絡(luò)提供低級(jí)特征，本文采用類似FPN[11]的結(jié)構(gòu)，每層都會(huì)將上一層特征執(zhí)行兩倍上采樣操作后與經(jīng)過(guò)1×1卷積降維的本層特征相加，然后送入一個(gè)2D-AIC結(jié)構(gòu)輸出。本文的編碼器總共有三個(gè)輸出，res2層對(duì)應(yīng)的輸出用于提取全局特征和局部特征，其他兩個(gè)輸出用于為最后的優(yōu)化網(wǎng)絡(luò)提供低級(jí)特征。編碼模塊如圖2所示，2D-AIC結(jié)構(gòu)如圖3所示。

圖2 編碼模塊Fig.2 Encoding module

圖3 各向異性卷積（2D-AIC）Fig.3 Anisotropic convolution（2D-AIC）

2.3 長(zhǎng)時(shí)匹配模塊

相關(guān)操作被廣泛地應(yīng)用到了目標(biāo)跟蹤當(dāng)中，如SiamRPN[12]通過(guò)將目標(biāo)區(qū)域與搜索區(qū)域做相關(guān)操作定位目標(biāo)。近年來(lái)，也有一些算法將相關(guān)操作引入到視頻分割當(dāng)中，如RANet[13]采用像素級(jí)相關(guān)的做法形成相似圖，然后使用一個(gè)小型網(wǎng)絡(luò)對(duì)相似圖進(jìn)行打分，選擇分?jǐn)?shù)最高的256層用來(lái)分割。本文采用類似的操作，設(shè)計(jì)了圖4所示的長(zhǎng)時(shí)匹配模塊，將當(dāng)前幀與第一幀進(jìn)行像素級(jí)關(guān)聯(lián)，以利用第一幀掩模的信息。防止因?yàn)檎趽酢⑿巫兊仍驅(qū)е虑耙粠心繕?biāo)特征丟失而難以利用前一幀很好地檢測(cè)當(dāng)前幀中的目標(biāo)。

圖4 長(zhǎng)時(shí)匹配模塊Fig.4 Long-term matching module

對(duì)于提取得到的當(dāng)前幀全局特征I∈RC×H×W（H和W相當(dāng)于原圖尺寸的1/8）中的每個(gè)像素級(jí)特征Iij，將其和第一幀全局特征K∈RC×H×W做逐像素相關(guān)操作得到相似圖然后對(duì)于相似圖，將其維度變換為(H×W)×1×1后和經(jīng)過(guò)相同變換的第一幀的前景（或者背景）M∈R(H×W)×1×1相乘，最后取其中最大的N（本文設(shè)為256）個(gè)值得到全局相似性圖G∈RN×H×W中對(duì)應(yīng)像素Gij，如式（1）所示：

式（1）中Gij代表前景（或者背景）全局相似圖中的像素點(diǎn)特征，K代表第一幀特征，Iij代表當(dāng)前幀的像素點(diǎn)特征，M代表第一幀前景（或者背景）真值，×代表向量相乘操作，·代表逐元素相乘操作，SelectorN代表選擇最大的N個(gè)值。其中全局相似圖的可視化如圖5所示，可以看出前景中目標(biāo)物體的響應(yīng)最大，而背景中目標(biāo)物體響應(yīng)最低。

圖5 全局相似圖Fig.5 Global similarity map

2.4 短時(shí)匹配模塊

時(shí)序傳播起始于MaskTrack模型，之后在其他方法中取得了不錯(cuò)的效果，這些方法一般將前一幀的掩?；蛘吖饬魉腿刖W(wǎng)絡(luò)進(jìn)行分割。掩模僅僅提供了目標(biāo)在前一幀的位置以及形狀，忽略了前一幀的目標(biāo)特征，而光流計(jì)算需要增添光流檢測(cè)網(wǎng)絡(luò)，計(jì)算復(fù)雜度較高且難以做到端到端訓(xùn)練。實(shí)際上可以根據(jù)前一幀的預(yù)測(cè)來(lái)判斷當(dāng)前幀哪些像素是前景，哪些像素是背景。因?yàn)橐曨l幀之間變化不大，所以可以限定每個(gè)像素的運(yùn)動(dòng)范圍。受Flownet2.0[14]中互相關(guān)層啟發(fā)，設(shè)計(jì)了短時(shí)匹配模塊。

圖6 短時(shí)匹配模塊Fig.6 Short-term matching module

即將當(dāng)前幀特征(i,j)位置的像素點(diǎn)It ij與前一幀前景特征（或者背景特征）中以(i,j)為中心，x軸和y軸距離不超過(guò)k的像素集逐像素做相關(guān)運(yùn)算得到(2×k+1)2的相似值，再?gòu)闹羞x擇排在前N的值最后組成前景相似圖（或者背景相似圖）L∈RN×H×W。局部相似圖的可視化如圖7所示，可以看出和全局相似圖相比，局部相似圖去除了許多干擾元素，結(jié)果更清晰。

圖7 局部相似圖Fig.7 Local similarity map

2.5 解碼模塊

解碼模塊包括兩個(gè)優(yōu)化網(wǎng)絡(luò)用于上采樣以及一個(gè)conv 3×3的分割網(wǎng)絡(luò)用于提取最終結(jié)果的概率圖。優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示，F(xiàn)eaturei代表編碼器輸出的同一層特征，將編碼器輸出的特征經(jīng)過(guò)一個(gè)2D-AIC后與經(jīng)過(guò)兩倍上采樣的上一層特征相加再送入一個(gè)2D-AIC輸出。最后經(jīng)過(guò)兩個(gè)優(yōu)化網(wǎng)絡(luò)在圖像的1/2尺寸下進(jìn)行分割。

圖8 優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.8 Refined module

3 實(shí)驗(yàn)評(píng)估

3.1 數(shù)據(jù)集

本文使用DAVIS[15-16]和YouTube-VOS[17]公開(kāi)數(shù)據(jù)集進(jìn)行模型訓(xùn)練，在DAVIS2016和DAVIS2017數(shù)據(jù)集上進(jìn)行模型評(píng)估。DAVIS2016數(shù)據(jù)集為單目標(biāo)分割數(shù)據(jù)集，包含50個(gè)視頻，其中訓(xùn)練集30個(gè)視頻，測(cè)試視頻20個(gè)視頻。DAVIS2017為多目標(biāo)分割數(shù)據(jù)集，包含150個(gè)視頻。YouTube-VOS數(shù)據(jù)集包含4 453個(gè)YouTube視頻，在本文實(shí)驗(yàn)中用于增加訓(xùn)練數(shù)據(jù)，只在模型訓(xùn)練階段使用。為了便于和已有算法的結(jié)果進(jìn)行公平對(duì)比，視頻目標(biāo)分割模型在DAVIS數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)采用區(qū)域相似度和輪廓精度J&F指標(biāo)。

3.2 模型訓(xùn)練參數(shù)

主干網(wǎng)絡(luò)使用在ImageNet[18]數(shù)據(jù)集上預(yù)訓(xùn)練過(guò)的Res2Net50模型參數(shù)初始化。訓(xùn)練采用Adam優(yōu)化器，學(xué)習(xí)率為0.000 01，損失函數(shù)為Focal loss[19]。在4塊NVIDIA GeForce TITAN XP上訓(xùn)練20萬(wàn)次，批量大小設(shè)為12，數(shù)據(jù)增強(qiáng)采用隨機(jī)裁剪、隨機(jī)尺寸變換和隨機(jī)翻轉(zhuǎn)。

3.3 單目標(biāo)視頻分割實(shí)驗(yàn)

在DAVIS2016驗(yàn)證集上與表1中近幾年的方法進(jìn)行比較，可以看到本文模型在無(wú)需在線微調(diào)的情況下達(dá)到了較好的實(shí)驗(yàn)結(jié)果，區(qū)域相似度和輪廓精度J&F的平均值達(dá)到了86.5%。模型在單塊GeForce TITAN XP計(jì)算卡上的在線推理速度可以達(dá)到21 frame/s，在時(shí)間和精度方面取得了較好的平衡。其中，PReMVOS模型[20]在輪廓精度方面比本文實(shí)驗(yàn)結(jié)果高1.5%，這是因?yàn)镻ReMVOS利用每個(gè)視頻的第一幀人工合成了2 500張圖片進(jìn)行在線訓(xùn)練，通過(guò)付出一定時(shí)間代價(jià)得到了比本文更高的輪廓精度，這種做法不適用于在線處理。從表1中計(jì)算效率對(duì)比結(jié)果看，RANet模型的計(jì)算效率高于本文方法，該模型訓(xùn)練階段使用靜態(tài)圖片合成視頻幀進(jìn)行預(yù)訓(xùn)練，訓(xùn)練過(guò)程復(fù)雜，模型中使用了注意力機(jī)制，在推理階段效率高于本文模型。由于該模型側(cè)重和第一幀匹配，因此對(duì)目標(biāo)形狀、大小變化的適應(yīng)性以及對(duì)相似目標(biāo)的區(qū)分能力不強(qiáng)，在單目標(biāo)實(shí)驗(yàn)中的大部分精度指標(biāo)以及多目標(biāo)實(shí)驗(yàn)中的精度指標(biāo)方面低于本文所提出模型。

表1 不同方法在DAVIS2016驗(yàn)證集上的結(jié)果Table 1 Results of different methods on DAVIS2016 validation set

表2顯示了本文模型切削實(shí)驗(yàn)的結(jié)果。為了探索網(wǎng)絡(luò)結(jié)構(gòu)中各個(gè)模塊的作用，在只保留短時(shí)模塊和長(zhǎng)時(shí)模塊下分別做了訓(xùn)練和測(cè)試，結(jié)果如表2第一行和第二行所示，兩者都取得了不錯(cuò)的結(jié)果，但是和結(jié)合兩個(gè)模塊訓(xùn)練后的結(jié)果有一定差距，J&F指標(biāo)分別降低了3.7%和2.9%。只保留短時(shí)匹配模塊會(huì)降低精確度是因?yàn)槿鄙俚谝粠募m正導(dǎo)致誤差會(huì)從前一幀傳遞到當(dāng)前幀，正如圖9所示，沒(méi)有第一幀真值的矯正，誤差隨著幀數(shù)的增加而增加。只保留長(zhǎng)時(shí)匹配模塊也會(huì)降低精確度，這是因?yàn)槟繕?biāo)越往后和第一幀的差別越大，只靠和第一幀像素做匹配不足以捕捉目標(biāo)，尤其是目標(biāo)尺寸變化過(guò)大時(shí)，如圖10所示，因?yàn)楹偷谝粠哪繕?biāo)相差過(guò)大，網(wǎng)絡(luò)已經(jīng)檢測(cè)不出目標(biāo)了。為了確定掩模和短時(shí)匹配模塊對(duì)時(shí)序傳播的貢獻(xiàn)，本文分別去掉短時(shí)匹配模塊和掩模進(jìn)行實(shí)驗(yàn)，結(jié)果如表2中第三行和第四行所示，去掉掩模比去掉短時(shí)匹配模塊的J&F指標(biāo)高了2.2%，這證明了本文所提出的短時(shí)匹配模塊的有效性。雖然短時(shí)匹配模塊的效果很好，但是它對(duì)物體的形狀和位置的特征表示不夠，還是需要掩模和它互補(bǔ)，在加上掩模后本文方法在J&F指標(biāo)上提高了1.6%。

表2 切削實(shí)驗(yàn)結(jié)果Table 2 Ablation study results

圖9 誤差傳播Fig.9 Error propagation

圖10 誤差匹配Fig.10 Error match

3.4 多目標(biāo)視頻分割實(shí)驗(yàn)

多目標(biāo)視頻分割由于目標(biāo)多，相似目標(biāo)容易互相遮擋、交錯(cuò)而過(guò)而極具挑戰(zhàn)性。對(duì)于多目標(biāo)視頻分割，本文在每幀分割出所有目標(biāo)后對(duì)于每個(gè)像素選擇概率最大的類。

本位設(shè)計(jì)的網(wǎng)絡(luò)模型中比較耗時(shí)的是編碼模塊、長(zhǎng)時(shí)匹配模塊和短時(shí)匹配模塊，每幀中對(duì)于不同目標(biāo)而言這些模塊參數(shù)是可以共享的，因此這部分的計(jì)算時(shí)間對(duì)于單目標(biāo)和多目標(biāo)而言大致相同，不會(huì)隨目標(biāo)個(gè)數(shù)增加而增加。模型中解碼模塊的計(jì)算時(shí)間和目標(biāo)數(shù)量相關(guān)，每個(gè)目標(biāo)平均約需11 ms。因?yàn)榇蟛糠帜K的計(jì)算時(shí)間不受目標(biāo)個(gè)數(shù)影響，所以本文算法在多目標(biāo)視頻分割上依然能有較高的效率。

在多目標(biāo)數(shù)據(jù)集DAVIS2017的驗(yàn)證集和測(cè)試集上實(shí)驗(yàn)結(jié)果如表3和表4所示，可以看出本文方法在多目標(biāo)上依然取得了良好的結(jié)果。PReMVOS模型的J&F指標(biāo)比本文方法分別高了0.5%和4.2%，這是因?yàn)樗褂昧嗽诰€訓(xùn)練，每個(gè)視頻需要在第一幀上訓(xùn)練幾十秒甚至幾分鐘，無(wú)法滿足在線應(yīng)用需求。而本文方法無(wú)需在線訓(xùn)練，提高了在移動(dòng)機(jī)器人環(huán)境感知應(yīng)用中的可用性。

表3 不同方法在DAVIS2017驗(yàn)證集上的結(jié)果Table 3 Results of different methods on DAVIS2017 validation set

表4 不同方法在DAVIS2017測(cè)試集上的結(jié)果Table 4 Results of different methods on DAVIS2017 test set

3.5 目標(biāo)分割實(shí)驗(yàn)結(jié)果

圖11顯示了四段視頻每隔10幀的分割結(jié)果。第一個(gè)和第二個(gè)視頻分別是騎馬跳躍和賽車漂移，這兩段視頻說(shuō)明了本文算法對(duì)于形變和快速運(yùn)動(dòng)的處理能力。第三個(gè)和第四個(gè)視頻分別是游動(dòng)的五條金魚和人群中的三個(gè)同伴，可以看出在相似目標(biāo)互相遮擋和背景繁雜的情況下，本文依然能取得良好的結(jié)果。請(qǐng)?jiān)谌缦戮W(wǎng)址查看更多視頻分割結(jié)果。

圖11 視頻目標(biāo)分割結(jié)果Fig.11 Video object segmentation results

4 結(jié)論

面向視頻目標(biāo)分割，為了能更好地利用視頻時(shí)序信息提高分割結(jié)果和計(jì)算效率，本文提出一種新穎的短時(shí)特征匹配模塊。通過(guò)結(jié)合長(zhǎng)時(shí)匹配模塊和短時(shí)匹配模塊，本文設(shè)計(jì)了一個(gè)有效、快速的端到端視頻目標(biāo)分割神經(jīng)網(wǎng)絡(luò)模型，能較好地處理目標(biāo)遮擋、形變、快速運(yùn)動(dòng)以及相似目標(biāo)互相遮擋的情況。實(shí)驗(yàn)表明本文提出的模型在DAVIS數(shù)據(jù)集上取得了良好的實(shí)驗(yàn)結(jié)果，并且無(wú)需在線訓(xùn)練，能滿足對(duì)計(jì)算效率要求較高的應(yīng)用需求。

在本文工作的基礎(chǔ)上，后續(xù)將融合當(dāng)前幀之前多幀的預(yù)測(cè)結(jié)果分割當(dāng)前幀中的目標(biāo)，以進(jìn)一步提高分割精度。