魏宗琪，梁 棟

(南京航空航天大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 南京 211100)

0 引 言

視頻前景分割旨在發(fā)現(xiàn)視頻中視覺上顯著的移動(dòng)前景對(duì)象，并從背景中識(shí)別覆蓋這些對(duì)象的所有像素。視頻前景分割結(jié)果可以作為許多其他任務(wù)的重要預(yù)處理組件，例如圖像和視頻壓縮[1]、視覺跟蹤[2]和行人重新識(shí)別[3]。然而，在實(shí)際的應(yīng)用時(shí)，僅訓(xùn)練一個(gè)用于大規(guī)模跨場景視頻前景分割的深度模型仍然是一個(gè)具有挑戰(zhàn)性的問題，因?yàn)楝F(xiàn)成的基于深度學(xué)習(xí)的分割模型依賴于場景特定的結(jié)構(gòu)信息。模型訓(xùn)練去適應(yīng)新場景需要額外費(fèi)力的場景標(biāo)注和從頭開始訓(xùn)練或微調(diào)模型，否則前景尤其是微小的前景的分割結(jié)果會(huì)受到影響。

傳統(tǒng)的無監(jiān)督前景減法方法[4-6]側(cè)重于建立統(tǒng)計(jì)模型來抑制動(dòng)態(tài)背景的干擾，但它們在實(shí)現(xiàn)準(zhǔn)確的背景更新方面存在瓶頸，同時(shí)還有使用卷積神經(jīng)網(wǎng)絡(luò)[7-11]代替背景減法的方法，但這些方法都是特定于場景的，需要針對(duì)其他場景從頭開始訓(xùn)練。深度背景減法模型(Deep Background Subtraction， DeepBS)[12]和時(shí)空注意力模型(Spatial Temporal Attention Model，STAM)[13]利用經(jīng)過訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)跨視頻場景的前景分割。跨場景分割往往比較粗糙，無法很好地保留物體和小物體的邊界。由于卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，語義分割方法取得了顯著進(jìn)展。SOTA方法包括PSPNet[14]、DeepLabV3+[15]、BFP[16]和CCL[17]。盡管語義分割方法可以為每一幀提供高級(jí)語義注釋，但它們忽略了對(duì)視頻前景分割非常重要的時(shí)間相關(guān)性和運(yùn)動(dòng)線索。

從本質(zhì)上講，前景分割是一項(xiàng)與場景外觀、運(yùn)動(dòng)和場景屬性相關(guān)的分割任務(wù)。端到端模型訓(xùn)練為場景外觀和運(yùn)動(dòng)特征的有效混合和融合提供了一條路徑，可以獲取運(yùn)動(dòng)前景區(qū)域和過濾場景中的復(fù)雜背景信息。光流是一種瞬時(shí)運(yùn)動(dòng)提示，但是魯棒性較差且不足以描述像素級(jí)別的運(yùn)動(dòng)(運(yùn)動(dòng)目標(biāo)整體)。針對(duì)現(xiàn)有的前景分割任務(wù)，該文試圖解決以下問題：(1)如何更全面地描述場景中的前景；(2)即使是在新場景中使用，能否實(shí)現(xiàn)無需額外訓(xùn)練的即插即用的前景分割模型。通過集成來自不同模態(tài)(前景的運(yùn)動(dòng)和外觀)的更多特征來解決這些問題，然后通過注意力模塊引導(dǎo)的選擇性連接結(jié)構(gòu)消除沒有前景代表性的特征。提出間隔光流注意力模型(Interval Optical Flow Attention Model，IOFAM)，如圖1所示。

圖1 間隔光流注意力模型

1 研究現(xiàn)狀

早期的研究集中在統(tǒng)計(jì)分布上來構(gòu)建背景模型[5-6,18]。對(duì)視頻數(shù)據(jù)中時(shí)空局部的描述[19-21]揭示了背景模型能夠在保持時(shí)空依賴性上有顯著的效果。上述統(tǒng)計(jì)建模方法通常計(jì)算成本低，有利于資源受限的視頻監(jiān)控系統(tǒng)。然而，為了消除光照變化和動(dòng)態(tài)背景帶來的影響，通常使用不精確的漸進(jìn)背景更新解決方案[5]：(1)選擇性更新，只有在將新樣本歸類為背景樣本時(shí)才將新樣本添加到模型中；(2)盲選更新，每個(gè)新樣本都添加到模型中。選擇性更新必須決定每個(gè)預(yù)測像素值是否是背景的一部分，利用分割結(jié)果作為更新標(biāo)準(zhǔn)可以看作是實(shí)現(xiàn)這一任務(wù)的一種簡單方法，而無效的分割決策可能會(huì)導(dǎo)致之后的錯(cuò)誤分割。盲選更新機(jī)制允許將不屬于背景的強(qiáng)度值添加到模型中，但這會(huì)導(dǎo)致更多的假陰性，因?yàn)榍熬跋袼乜赡軙?huì)錯(cuò)誤地成為模型的一部分。必須對(duì)更新率進(jìn)行權(quán)衡，該更新率調(diào)節(jié)更新背景模型的傳播。由于對(duì)較小或臨時(shí)變化的敏感性，高更新率會(huì)導(dǎo)致嘈雜的分割，而低更新率會(huì)產(chǎn)生過時(shí)的背景模型并導(dǎo)致錯(cuò)誤分割。利用超像素[22-24]對(duì)背景更新，采用自適應(yīng)閾值、顏色特征和圖像紋理等對(duì)前景目標(biāo)進(jìn)行分割，將圖像劃分超像素塊處理是分割中一種有效的方式。

基于深度神經(jīng)網(wǎng)絡(luò)的前景分割：

Brahamand[7]提出了第一種使用CNN進(jìn)行背景減法的方法，該方法在給定的N個(gè)視頻幀上執(zhí)行時(shí)間特征維度的中值操作，然后通過圖像幀、背景和地面實(shí)況像素的相應(yīng)圖像塊來訓(xùn)練特定于場景的網(wǎng)絡(luò)。 MFC3-D[9]使用多尺度3D卷積來檢測紅外視頻的前景對(duì)象。MSNet[10]使用生成對(duì)抗網(wǎng)絡(luò)來生成背景。概率模型[11]將每個(gè)視頻幀分成塊，輸入到用于去噪的自動(dòng)編碼器組中提取重要特征。分割模型[25]結(jié)合了邊緣檢測算法，在人體前景檢測中對(duì)錯(cuò)誤的分割背景進(jìn)行過濾，使用邊緣校正通道在深度分割網(wǎng)絡(luò)中處理人體假陽性的問題。上面提到的所有方法都是特定于場景的，即如果將模型應(yīng)用到其他新的場景，則需要從頭開始訓(xùn)練。DeepBS[12]是第一種利用經(jīng)過訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行跨視頻場景的前景分割任務(wù)的方法，但沒有考慮運(yùn)動(dòng)信息。對(duì)于訓(xùn)練數(shù)據(jù)，它從CDNet2014數(shù)據(jù)集中隨機(jī)選擇5%的樣本以及每個(gè)子集的相應(yīng)地面實(shí)況。 SAFF[26]融合了語義信息，在語義和表觀特征的基礎(chǔ)上進(jìn)行前景分割，在目標(biāo)的顯著性和輪廓實(shí)現(xiàn)更精確的分割。為了解決前景背景顏色相近、物體遮擋等問題，基于雙邊網(wǎng)絡(luò)[27]實(shí)現(xiàn)了視頻像素級(jí)前景分割任務(wù)，將高維的特征空間通過降維至當(dāng)前視頻幀特征中，實(shí)現(xiàn)特征融合。為了應(yīng)對(duì)光線因素對(duì)前景分割的影響，基于ViBe[6]融合多幀差分法[28]的RGB圖像及深度圖像進(jìn)行建模，然后利用選取基準(zhǔn)(SC)融合策略和前景區(qū)域直方圖信息優(yōu)化目標(biāo)結(jié)果。

2 間隔光流注意力模型

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

間隔光流注意力模型如圖1所示。所提出的模型使用編碼-解碼結(jié)構(gòu)，對(duì)靜態(tài)視頻幀外觀特征和場景運(yùn)動(dòng)信息進(jìn)行編碼，并在解碼過程中集成了注意力模塊(Attention)以融合視頻幀和光流兩個(gè)編碼器(Encoder)和解碼器(Decoder)的特征。

2.2 間隔光流

該文提出的間隔光流用于增強(qiáng)對(duì)場景中目標(biāo)運(yùn)動(dòng)準(zhǔn)確性的描述。光流作為瞬時(shí)運(yùn)動(dòng)描述特征，在表現(xiàn)運(yùn)動(dòng)方面缺乏穩(wěn)定性和充分性。來自長間隔視頻幀的光流具有物體的長期運(yùn)動(dòng)線索，但物體的輪廓不精確；短間隔視頻幀計(jì)算的光流具有當(dāng)前幀的準(zhǔn)確運(yùn)動(dòng)線索，但有時(shí)不足以描述整個(gè)運(yùn)動(dòng)物體，例如圖1中右側(cè)框的第一個(gè)光流。間隔光流(IOF)，如圖1右，使用當(dāng)前視頻幀和不同長度的間隔幀計(jì)算3個(gè)光流，不同幀間隔計(jì)算得到不同特性的光流可以相互補(bǔ)充，實(shí)現(xiàn)充分運(yùn)動(dòng)特征和準(zhǔn)備運(yùn)動(dòng)目標(biāo)輪廓描述的特征綜合。具體步驟：通過設(shè)置間隔當(dāng)前幀的長度參數(shù)τ1、τ2和τ3，得到當(dāng)前時(shí)刻τ的幀位置，以及T-τ1、T-τ2和T-τ3時(shí)刻的幀，最后計(jì)算T時(shí)刻的光流信息，記為Op(τ1)、Op(τ2)和Op(τ3)。將具有不同間隔的三個(gè)光流合并到三個(gè)通道中作為間隔光流Iop(T)，直接使用已有光流模型直接計(jì)算光流。

2.3 注意力模塊

該文提出一種新的注意力模塊，旨在解碼器階段通過密集的注意力過程合并解碼器和編碼器特征，為解碼過程提供更充分的時(shí)空特征。具體來說，首先提取高級(jí)特征用來提供全局信息，然后指導(dǎo)注意力模塊加權(quán)適當(dāng)?shù)牡图?jí)特征，即預(yù)測輸入圖像中的兩種編碼器特征融合為具有外觀和運(yùn)動(dòng)信息的特征，通過解碼器層對(duì)像素級(jí)特征重新加權(quán)并與后者連接。

圖2 注意力模塊

在圖2中，解碼過程是從前一個(gè)解碼層Di-1到下一層Di。輸入特征包括對(duì)應(yīng)編碼層視頻幀特征Ei和光流特征Opi以及解碼器中的前一層解碼特征Di-1，輸出部分是解碼器層特征Di。為了更清楚地解釋Attention模塊的運(yùn)行機(jī)制，使用Bw和Be_op作為這一過程階段的結(jié)果。具體過程如下：假設(shè)得到了兩個(gè)特征圖張量Ei∈RH×W×C和Opi∈RH×W×C(H和W是單個(gè)特征圖的高度和寬度，C表示特征圖通道數(shù))。為了得到Di，首先在兩個(gè)編碼器中連接了兩種對(duì)應(yīng)的特征圖Ei和Opi，進(jìn)行拼接后，通道C變成原來通道的兩倍2C，然后通過卷積得到Be_op∈RH×W×C：

Be_op=conv(Relu(Ei‖Opi))

(1)

其中，conv表示卷積核3×3，公式1用于提取外觀特征和減少通道，‖用于通道連接，Relu是激活函數(shù)。在解碼層Di-1∈RH/2×W/2×2C，做上采樣卷積得到Bup_sampling∈RH×W×C。然后通過卷積和激活操作得到加權(quán)系數(shù)特征Bw∈RH×W×C(系數(shù)值在0和1之間)。

Bw=BN(σ(conv(Relu(Bup_sampling))))

(2)

其中，σ是Sigmoid激活函數(shù)，conv表示卷積核3×3，BN是批量歸一化(Batch Normalization)。然后Bw與特征圖Be_op通過矩陣對(duì)位相乘得到加權(quán)特征圖(Atten結(jié)果)，這一步是Attention模塊中解碼器的加權(quán)操作。批量歸一化后，從Bup_sampling中得到原始解碼器特征，在原來的Decoder特征中加入了Dropout(dpt)操作，每個(gè)節(jié)點(diǎn)在訓(xùn)練過程中都有50%的概率被抑制，在推理過程中去掉這個(gè)操作，將加權(quán)編碼器特征圖和原始解碼器特征連接起來，得到當(dāng)前解碼層i中的Di∈RH×W×2C。

Di=(Bw·Be_op)‖BN(dpt(Bup_sampling))

(3)

其中，·是矩陣的對(duì)位點(diǎn)乘。

2.4 損失函數(shù)

Focal Loss[29]的提出是為了解決模型訓(xùn)練中的正負(fù)不平衡以及難易樣本的問題，用于基于二元交叉熵函數(shù)的對(duì)象檢測。結(jié)合前景分割任務(wù)，為了解決小目標(biāo)分割結(jié)果不好的問題，定義了一幀S(fg)中前景和背景的面積比，然后在前景類內(nèi)定義一個(gè)平衡系數(shù)β，如下所示：

β=t3min(1/S(fg),50)

(4)

其中，t3是一個(gè)超參數(shù)。設(shè)置β取S(fg)和50最小值的原因是為了防止?jié)撛趫鼍皼]有目標(biāo)的情況，防止無窮大，其中50是訓(xùn)練場景中小物體采樣后設(shè)置的值。為了改善小目標(biāo)結(jié)果，基于調(diào)整面積的參數(shù)提出用于平衡前景類別內(nèi)部的類內(nèi)尺度焦點(diǎn)損失(Class in Scale Focal loss，cisfocal)：

(5)

其中，p表示模型預(yù)測的概率，前景標(biāo)簽y=1，背景標(biāo)簽y=0。α是前景和背景像素樣本的平衡參數(shù)，γ是調(diào)節(jié)難易樣本的參數(shù)，對(duì)于困難樣本，它將獲得較低的權(quán)重。β是用于平衡前景中不同尺寸的目標(biāo)參數(shù)，對(duì)于小目標(biāo)，為了讓模型更關(guān)注它，損失將適當(dāng)調(diào)大。為了穩(wěn)定地訓(xùn)練模型，在訓(xùn)練過程中加入曼哈頓距離l1 loss作為正則化。它是在預(yù)測的p和真實(shí)值y之間測量的，Ll1=‖p-y‖1。最終的損失函數(shù)可以表示如下：

L=t1Lcisfocal+t2Ll1

(6)

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集及預(yù)處理

在兩個(gè)數(shù)據(jù)集(CDNet 2014[30]和LIMU[31])上評(píng)估所提出的前景分割模型的分割效果。按照DeepBS[12]中的訓(xùn)練設(shè)置，對(duì)于訓(xùn)練數(shù)據(jù)，從CDNet 2014中的5萬張數(shù)據(jù)集隨機(jī)選擇5%的樣本及不同場景特點(diǎn)的子集的標(biāo)注來訓(xùn)練模型。CDNet 2014中剩下的95%的樣本用于測試模型，沒有任何訓(xùn)練集重疊。模型基于CDNet 2014數(shù)據(jù)集訓(xùn)練，為了驗(yàn)證模型的跨場景能力，在沒有經(jīng)過訓(xùn)練的LIMU數(shù)據(jù)集進(jìn)行直接的推理，分為CameraParameter (CP)、Intersection (ITS)和LightSwitch (LS)三個(gè)具有不同特點(diǎn)的場景，分割前景無需任何后處理即可獲得。

3.2 實(shí)驗(yàn)環(huán)境與設(shè)置

在實(shí)驗(yàn)過程中提前做了很多超參數(shù)調(diào)優(yōu)的實(shí)驗(yàn)，對(duì)比了很多不同的設(shè)置。最后對(duì)于實(shí)驗(yàn)中的間隔光流，設(shè)置τ1=1,τ2=5和τ3=10。在損失函數(shù)中，最后設(shè)置t1=0.8，t2=0.2，t3=0.25，α=0.75，γ=0。訓(xùn)練批次數(shù)據(jù)個(gè)數(shù)大小為16，總共訓(xùn)練了160個(gè)epoch。用Adam作為優(yōu)化器，其beta1=0.95，beta2=0.999，學(xué)習(xí)率設(shè)置為5×10-5的小值。實(shí)驗(yàn)基于兩張1080Ti卡的環(huán)境下進(jìn)行。

3.3 評(píng)價(jià)指標(biāo)

使用Recall=TP/(TP+FN)、Precision=TP/(TP+FP)和F-measure(F1)=2×Recall×Precision/(Recall+Precision)作為實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)，對(duì)像素級(jí)的分割結(jié)果的評(píng)價(jià)，TP、FP和FN表示前景結(jié)果的正檢、錯(cuò)檢和漏檢，Recall表示完整性，Precision表示邊緣準(zhǔn)確性，F(xiàn)-measure(F1)則是綜合指標(biāo)。

3.4 消融實(shí)驗(yàn)

在消融實(shí)驗(yàn)中，驗(yàn)證了間隔光流、注意力結(jié)構(gòu)和類內(nèi)尺度焦點(diǎn)損失，綜合上述的模塊得到的結(jié)果最優(yōu)，在綜合指標(biāo)F-measure(F1)達(dá)到0.977 6。如表1所示，對(duì)比第1、2、3和8行的結(jié)果，結(jié)合間隔光流的模型具有顯著的提升。對(duì)比第1和9行，驗(yàn)證注意力結(jié)構(gòu)，在綜合指標(biāo)F1中提升9.85個(gè)百分點(diǎn)。對(duì)比第1、4、5、6和7行的結(jié)果，最好的損失函數(shù)的組合為cisfocal loss和l1 loss的組合。

表1 在CDNet 2014數(shù)據(jù)集上的消融實(shí)驗(yàn)

3.5 對(duì)比實(shí)驗(yàn)

在對(duì)比實(shí)驗(yàn)中，對(duì)比的模型分為兩類：(1)跨場景的深度神經(jīng)網(wǎng)絡(luò)模型；(2)基于具體場景的背景減法模型。DeepBS[12]和STAM[13]和提出的IOFAM采用相同的訓(xùn)練策略。對(duì)具體場景訓(xùn)練的模型，對(duì)比了基于深度神經(jīng)網(wǎng)絡(luò)的FgSegNet[32]和基于背景減法的GMM[33]、CPB[18]和SubSENSE[34]。通過不同模型的實(shí)驗(yàn)結(jié)果說明方法的魯棒性和有效性。在跨場景實(shí)驗(yàn)中，模型還對(duì)比了兩個(gè)語義分割模型PSPNet[14]和DeepLabV3+[15]。

文中提到的模型都是在CDNet 2014數(shù)據(jù)集中訓(xùn)練的，表2中的實(shí)驗(yàn)結(jié)果對(duì)比突出說明所提模型的跨場景能力，以及使用單個(gè)模型的簡潔性與有效性。表2顯示IOFAM在Recall、Precision和F-measure(F1)綜合指標(biāo)都達(dá)到了SOTA的結(jié)果。對(duì)需要在具體場景單獨(dú)訓(xùn)練的模型FgSegNet、GMM、CPB和SubSENSE，只有一個(gè)模型的IOFAM在綜合指標(biāo)F1的對(duì)比中仍然是最優(yōu)的。IOFAM對(duì)比單個(gè)模型訓(xùn)練的STAM[13]，在F1指標(biāo)中提高了1.25個(gè)百分點(diǎn)。對(duì)比去掉注意力結(jié)構(gòu)的IOFAMnoAtt和去掉光流特征的IOFAMnoOp，并結(jié)合表1中的消融實(shí)驗(yàn)說明注意力和光流在模型訓(xùn)練的重要性。

表2 在CDNet 2014數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果 %

為了驗(yàn)證模型的跨場景能力，在LIMU數(shù)據(jù)集的三個(gè)典型場景中進(jìn)行了測試，結(jié)果如表3所示。為了更好地說明模型的跨場景能力，在對(duì)比實(shí)驗(yàn)中加入了兩個(gè)語義分割模型PSPNet[14]和DeepLabV3+[15]。通過綜合指標(biāo)F-measure(F1)，在CP的子場景中，PSPNet作為語義分割的結(jié)果更好，F(xiàn)1為0.865 6，但在另外兩個(gè)子場景中的結(jié)果較差，實(shí)驗(yàn)也說明視頻前景分割任務(wù)和語義分割任務(wù)的不同。在LIMU數(shù)據(jù)集的跨場景實(shí)驗(yàn)中，IOFAM在整體的F1綜合指標(biāo)達(dá)到SOTA為0.798 1。

表3 在LIMU數(shù)據(jù)集上的F1指標(biāo)實(shí)驗(yàn)結(jié)果 %

4 結(jié)束語

針對(duì)前景分割中的跨場景問題提出了一種間隔光流注意模型(IOFAM)，以實(shí)現(xiàn)具有實(shí)際應(yīng)用價(jià)值的跨場景前景分割任務(wù)。與最先進(jìn)的跨場景深度模型、特定場景深度模型、背景減法模型在未訓(xùn)練數(shù)據(jù)集LIMU的實(shí)驗(yàn)結(jié)果對(duì)比，表明在無需任何額外訓(xùn)練的情況下具有良好的場景泛化能力。雖然采用雙輸入，但該框架實(shí)現(xiàn)了單一模型和端到端的訓(xùn)練，不需要場景適應(yīng)等額外的微調(diào)操作。未來的工作將是使用自監(jiān)督學(xué)習(xí)來探索特定訓(xùn)練場景的注意力模型。