班 穎，田 韻，邵澤軍

（燕京理工學(xué)院建筑學(xué)院，廊坊 065201）

0 引言

近年來(lái)，擴(kuò)展的魯棒主成分分析模型（robust principal component analysis, RPCA）［1］在 運(yùn)動(dòng)目標(biāo)檢測(cè)領(lǐng)域得到了較好的發(fā)展，其模型簡(jiǎn)單，求解高效。該模型將視頻序列組成的矩陣分解為低秩靜態(tài)背景、稀疏平滑前景和稀疏動(dòng)態(tài)背景，并分別利用核范數(shù)和L1范數(shù)進(jìn)行低秩和稀疏約束。

上述擴(kuò)展的RPCA 存在如下不足：①核范數(shù)被定義為背景矩陣所有奇異值之和，沒(méi)有考慮不同奇異值對(duì)秩函數(shù)的影響；②RPCA 模型將前景看作背景中存在的異常像素點(diǎn)，在復(fù)雜背景中前景檢測(cè)精確度下降，而L1范數(shù)不能有效應(yīng)對(duì)復(fù)雜背景對(duì)前景提取造成的干擾。

為解決問(wèn)題①，Gu等［2］提出了加權(quán)核范數(shù)，考慮了不同奇異值對(duì)秩函數(shù)的影響，加強(qiáng)了背景的低秩性。為提高背景建模在復(fù)雜場(chǎng)景中的穩(wěn)定性，加權(quán)Schatten-p 范數(shù)最小化模型被提出［3］。文獻(xiàn)［4］基于t-product 提出了一種新的張量核范數(shù)，為準(zhǔn)確恢復(fù)低秩和稀疏成分提供了保證。為解決問(wèn)題②，并提高目標(biāo)檢測(cè)的準(zhǔn)確率，高階魯棒主成分分析模型（Higher-order RPCA，HoRPCA）被提出［5］。在文獻(xiàn)［6］中，3D全變分（3D Total Variation，3D-TV）被提出用來(lái)約束稀疏前景，有效抑制了由動(dòng)態(tài)背景造成的噪聲干擾。文獻(xiàn)［7］利用超像素生成步驟和樹(shù)結(jié)構(gòu)稀疏性動(dòng)態(tài)估計(jì)前景，有效去除了背景。

基于以上認(rèn)識(shí)，為加強(qiáng)對(duì)實(shí)際背景的近似和應(yīng)對(duì)復(fù)雜背景的變化，提出了一種結(jié)合加權(quán)核范數(shù)與3D 全變分的目標(biāo)檢測(cè)模型。該模型將視頻序列組成的矩陣分解為低秩靜態(tài)背景、稀疏平滑前景和稀疏動(dòng)態(tài)背景，利用加權(quán)核范數(shù)對(duì)背景進(jìn)行低秩約束，考慮了不同奇異值對(duì)秩函數(shù)的影響；為加強(qiáng)前景的時(shí)空連續(xù)性，利用3D-TV 對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行稀疏約束，有效抑制了動(dòng)態(tài)背景的噪聲干擾。

1 擴(kuò)展的RPCA模型

假設(shè)給定的視頻序列I∈Rm×n×t，m和n分別表示視頻的寬和高，t表示視頻的幀數(shù)，將每幀圖像向量化形成矩陣O。矩陣O可分解為

其中：B∈Rmn×t是靜態(tài)背景，M∈Rmn×t為殘差。

為應(yīng)對(duì)現(xiàn)實(shí)生活場(chǎng)景的復(fù)雜多變，將殘差M分解為稀疏前景F和動(dòng)態(tài)背景E：

其中：F∈Rmn×t和E∈Rmn×t均具有較強(qiáng)的稀疏性。

由于靜態(tài)背景具有較強(qiáng)的相關(guān)性，因此對(duì)背景B采用低秩約束。對(duì)前景F和動(dòng)態(tài)背景E分別采用稀疏約束，具體模型如下［1］：

2 結(jié)合加權(quán)核范數(shù)與3D全變分的目標(biāo)檢測(cè)

2.1 背景模型

在RPCA模型中，核范數(shù)定義為背景矩陣的所有奇異值之和，沒(méi)有考慮不同奇異值對(duì)秩函數(shù)的影響，因此對(duì)秩函數(shù)的近似程度不夠，Gu等［2］提出了加權(quán)核范數(shù)，定義如下：

由于較大的奇異值對(duì)秩函數(shù)的影響大，因此施加較大的權(quán)重系數(shù)，對(duì)較小的奇異值施加小的權(quán)重系數(shù)。上述加權(quán)核范數(shù)考慮了不同奇異值對(duì)秩函數(shù)的影響，使其更加接近實(shí)際背景的秩?；谝陨峡紤]，本文采用上述的加權(quán)核范數(shù)對(duì)背景進(jìn)行低秩約束，進(jìn)一步加強(qiáng)了背景的低秩性。

2.2 前景模型

運(yùn)動(dòng)目標(biāo)，一般是視頻中的顯著性運(yùn)動(dòng)對(duì)象，且在整個(gè)圖像上的分布占比較小，因此前景目標(biāo)具有稀疏性。另外，運(yùn)動(dòng)目標(biāo)往往是占據(jù)一定比例的連續(xù)區(qū)域，因此具有時(shí)空連續(xù)性和光滑性，而視頻背景中的雪花和搖晃的樹(shù)葉等呈現(xiàn)不連續(xù)的噪聲特征［2］。在數(shù)學(xué)上，3D 全變分［6］具有平滑信號(hào)的功能，可以有效抑制視頻中不連續(xù)的噪聲干擾。對(duì)于前景張量F(i,j,k) ∈Rm×n×t(i= 1,2,…,m;j= 1,2,…,n;k=1,2,…,t)，利用3D 全變分來(lái)約束前景的稀疏性和時(shí)空連續(xù)性，如下［6］：

3D全變分通過(guò)將上述TVi,j,k相加得到：

為方便計(jì)算，引入沿水平方向、垂直方向以及時(shí)間方向的向量差分算子：

令Df=[(Dh f)T,(Dv f)T,(Dt f)T]表示三個(gè)向量差分算子的聯(lián)級(jí)，則上述3D 全變分模型可改寫(xiě)為

從3D 全變分的定義看出，沿水平和垂直方向的差分算子說(shuō)明3D 全變分考慮了運(yùn)動(dòng)目標(biāo)在二維空間上的連續(xù)性；沿時(shí)間方向的差分算子說(shuō)明其考慮了運(yùn)動(dòng)目標(biāo)在時(shí)間上的連續(xù)性。另外，3D全變分能有效抑制動(dòng)態(tài)背景造成的不連續(xù)噪聲干擾，且考慮了運(yùn)動(dòng)目標(biāo)在時(shí)空上的連續(xù)性，加強(qiáng)了模型在復(fù)雜背景中的穩(wěn)定性，提高了目標(biāo)檢測(cè)的準(zhǔn)確性?；谝陨峡紤]，本文采用3D 全變分約束運(yùn)動(dòng)目標(biāo)的稀疏性和時(shí)空連續(xù)性。

2.3 新模型的建立

綜上所述，本文提出了一種新的結(jié)合加權(quán)核范數(shù)和3D-TV 的目標(biāo)檢測(cè)模型，具體模型如下：

利用3D-TV 的變形公式（7），上述模型可轉(zhuǎn)換成如下：

其中：γ1,γ2,γ3為權(quán)重系數(shù)。

3 模型的求解

引入輔助變量g求解上述模型，式（9）變形為

利用交替方向乘子法（alternating direction multiplier method，ADMM）［8］求解式（10），其增廣拉格朗日函數(shù)為

其中：Y1,Y2,Y3是拉格朗日乘子，μ為參數(shù)。

進(jìn)行變量分離，上述增廣拉格朗日函數(shù)轉(zhuǎn)化成幾個(gè)子問(wèn)題。

（1）固定變量Mk,Ek,Fk,gk,Y1k,Y2k,Y3k和μk，更新Bk+1：

問(wèn)題的解為［2］

（2）固定變量Bk+1,Ek,Fk,gk,Yk1,Yk2,Yk3和μk，更新Mk+1：

該子問(wèn)題可以通過(guò)軟閾值算子求得［9］：

其 中：P=(O+Ek-Fk-Bk+1)/2 +(Y1k-Y2k)/2μk，Sa(b) = sgn(b)max( |b|-a,0)是軟閾值算子。

（3）固定變量Bk+1,Mk+1,Fk,gk,Yk1,Yk2,Yk3和μk，更新Ek+1：

通過(guò)軟閾值算子求得［9］：

其中：N=Mk+1-Fk+Yk2μk。

（4）固定變量Bk+1,Mk+1,Ek+1,gk,Y1k,Y2k,Y3k和μk，更新Fk+1：

其 中:G=vec[Y2k+μkMk+1-μkEk+1+DT(Y3k+μkgk)]。

通過(guò)3D 快速傅里葉變換（3D Fast Fourier Transform，3D FFT）［6］求解有：

其中：fftn和ifftn分別為快速3D傅里葉變換和逆變換。

（5）固定變量Bk+1,Mk+1,Ek+1,Fk+1,Y1k,Y2k,Y3k和μk，更新gk+1：

通過(guò)軟閾值算子求得［9］：

（6）更新拉格朗日乘子Y1k,Y2k,Y3k和參數(shù)μ。

4 數(shù)值實(shí)驗(yàn)結(jié)果和分析

4.1 實(shí)驗(yàn)環(huán)境與參數(shù)選取

為了驗(yàn)證所提算法的效果，將本文算法與RPCA［10］，IALM-RPCA［11］，HoRPCA［5］，KBRRPCA［12］，TRPCA-TNN［4］，以及KBR-L112［13］分別從主觀和客觀兩個(gè)方面進(jìn)行比較。所有實(shí)驗(yàn)的運(yùn)行環(huán)境為Matlab 2014a，Inter Core i5-6500 處理器，8 GB 的內(nèi)存，Win10 64 位操作系統(tǒng)。實(shí)驗(yàn)的測(cè)試數(shù)據(jù)均來(lái)自于CD.net數(shù)據(jù)庫(kù)［14］。

為了在客觀上準(zhǔn)確評(píng)估本文算法的性能，采用Recall（查全率）、Precision（查準(zhǔn)率）和綜合評(píng)價(jià)指標(biāo)F值（F-measure）作為提取運(yùn)動(dòng)前景的評(píng)價(jià)指標(biāo)［15］。

4.2 主觀分析

在仿真實(shí)驗(yàn)中，本文主要選取了5類(lèi)監(jiān)控視頻進(jìn)行結(jié)果展示和分析，分別為：Bad Weather（a-b）、Camera Jitter（c-d）、Dynamic background（e-f）、Shadow（g-h）和Thermal（i-j），如圖1 所示。

圖1 前景目標(biāo)時(shí)空連續(xù)性圖

圖2 前6 行分別給出了復(fù)雜天氣、相機(jī)抖動(dòng)和動(dòng)態(tài)背景的視覺(jué)對(duì)比圖。從圖中看出，對(duì)于復(fù) 雜 天 氣Blizzard 和Snowfall，IALM-RPCA 和HoRPCA 提取的目標(biāo)受動(dòng)態(tài)背景的干擾較大，提取的運(yùn)動(dòng)目標(biāo)出現(xiàn)了較多的背景部分，RPCA和KBR-RPCA 提取的前景較為模糊空洞，TRPCA-TNN 和KBR-L112對(duì)目標(biāo)的提取效果較好，但有部分的前景誤判，本文算法提取的運(yùn)動(dòng)目標(biāo)較為完整清晰，且對(duì)前景的誤判較小，有效抑制了復(fù)雜天氣對(duì)前景提取的干擾。對(duì)于相機(jī)抖動(dòng)Boulevard 和Traffic，IALM-RPCA、HoRPCA和KBR-L112，雖然提取的前景目標(biāo)較為完整，但同時(shí)由于相機(jī)抖動(dòng)前景視覺(jué)圖中提取了較多的背景線條，RPCA、KBR-RPCA和TRPCA-TNN 提取前景的精確度較低，前景目標(biāo)中的空洞現(xiàn)象較大，且把部分背景誤判為前景目標(biāo)，本文算法提取的運(yùn)動(dòng)目標(biāo)較為完整，對(duì)背景的干擾作用去除較好，且對(duì)前景的誤判較小。對(duì)于動(dòng)態(tài)背景Overpass 和Fall，RPCA、KBR-RPCA 和TRPCATNN 提取的前景目標(biāo)只出現(xiàn)部分輪廓，運(yùn)動(dòng)目標(biāo)不完整，IALM-RPCA 和HoRPCA 的視覺(jué)效果圖中出現(xiàn)了大量的背景物體，KBR-L112和本文算法提取的前景較為完整，但由于湖水蕩漾和樹(shù)葉擺動(dòng)，KBR-L112的前景視覺(jué)圖中出現(xiàn)較多的噪點(diǎn)，而本文算法對(duì)前景的誤判較小，有效抑制了動(dòng)態(tài)背景的干擾作用。

圖2 不同視頻的視覺(jué)對(duì)比

圖2 后4 行分別給出了陰影和熱成像的視覺(jué)對(duì)比圖。對(duì)于陰影圖像Bungalows 和Copymach，IALM-RPCA 和HoRPCA 的視覺(jué)效果圖中出現(xiàn)了較多的背景部分，前景背景的區(qū)分度較低，RPCA、KBR-RPCA、TRPCA-TNN 和KBR-L112提取的前景較為空洞，前景目標(biāo)的提取精確度較低。本文算法提取目標(biāo)的精確度較高，去除背景的效果較好。對(duì)于熱成像圖像Corridor 和Library，RPCA、KBR-RPCA 和TRPCA-TNN 提取前景的效果較差，HoRPCA 和KBR-L112的視覺(jué)效果圖中出現(xiàn)較大的空洞現(xiàn)象，IALM-RPCA 和本文算法提取前景的精確度較好，但兩者相比本文算法去除背景的效果更好。

圖3 給出了視頻Badminton 在4 個(gè)不同幀下的視覺(jué)對(duì)比圖。從中看出，IALM-RPCA 和Ho-RPCA 提取的前景較為完整，但同時(shí)把背景誤判為前景的錯(cuò)誤率較高，RPCA、KBR-RPCA、TRPCA-TNN 和KBR-L112提取的運(yùn)動(dòng)目標(biāo)空洞較多，同時(shí)含有較多的背景線條，本文算法提取的前景目標(biāo)較為完整，且去除背景的準(zhǔn)確率較高。

圖3 不同算法下不同幀的視覺(jué)對(duì)比（Badminton）

綜上所述，與其余6種算法對(duì)比，本文算法提取的前景較為完整，且有效去除背景，對(duì)前景的誤判較低，整體獲得最佳的檢測(cè)效果。

4.3 客觀分析

將本文算法的Recall和Precision值分別在5類(lèi)不同的監(jiān)控視頻上與其他6 種算法進(jìn)行對(duì)比，其對(duì)比如圖4所示。從圖4可知，除IALM-RPCA外，本文算法的Recall和Precision值基本上高于其他算法，雖然本文算法的Recall和Precision低于IALM-RPCA，但綜合評(píng)價(jià)指標(biāo)F值遠(yuǎn)高于IALM-RPCA，說(shuō)明本文算法有較好的前景查全率和查準(zhǔn)率。

圖4 Recall和Precision數(shù)值對(duì)比

由于Recall只能反映丟失運(yùn)動(dòng)目標(biāo)內(nèi)部信息的相關(guān)性，Precision只能反映丟失目標(biāo)外部信息的相關(guān)性，且兩者指標(biāo)值有時(shí)會(huì)出現(xiàn)矛盾的情況，因此采用它們的調(diào)和平均值F值來(lái)綜合判斷提取效果更為準(zhǔn)確。本文算法與其他6種算法的F值對(duì)比見(jiàn)表1，其中加粗為最優(yōu)值，下劃線為次優(yōu)值。從表1 可以看出，本文算法的F值均處于最優(yōu)或次優(yōu)的情況，說(shuō)明本文算法有較好的前景提取效果，對(duì)前景的誤判較小。

表1 不同算法下的F值

表2 給 出 了 視 頻Badminton 在955、965、975 和985 幀不同算法的F值。從表2 看出，所提算法在相同視頻不同幀下的F值基本上處于最優(yōu)的情況，說(shuō)明所提算法能穩(wěn)定地分離視頻的前景與背景，且分離準(zhǔn)確率較高。

表2 不同算法下不同視頻幀的F值

5 結(jié)語(yǔ)

本文提出了一種結(jié)合加權(quán)核范數(shù)與3D 全變分的目標(biāo)檢測(cè)模型。該模型以改進(jìn)的RPCA為基礎(chǔ)，將視頻分解為低秩靜態(tài)背景、稀疏平滑前景和稀疏動(dòng)態(tài)背景。為加強(qiáng)背景的低秩性，利用加權(quán)核范數(shù)對(duì)背景進(jìn)行低秩約束，考慮了不同奇異值對(duì)秩函數(shù)的影響，提高了背景的去除率；并利用3D-TV 對(duì)前景進(jìn)行稀疏約束，加強(qiáng)了前景的時(shí)空連續(xù)性，提高了目標(biāo)檢測(cè)的準(zhǔn)確率。從實(shí)驗(yàn)視覺(jué)對(duì)比圖看出，所提算法提取的運(yùn)動(dòng)目標(biāo)較為清晰完整，去除背景的準(zhǔn)確率較高，能有效抑制復(fù)雜背景對(duì)目標(biāo)檢測(cè)的干擾作用。所提算法的綜合評(píng)價(jià)指標(biāo)F值均處于最優(yōu)或次優(yōu)，說(shuō)明本文算法的目標(biāo)檢測(cè)準(zhǔn)確率較高。