張國(guó)庭，陳利霞，2，周澤鋒

（1.桂林電子科技大學(xué)數(shù)學(xué)與計(jì)算科學(xué)學(xué)院，廣西桂林 541004；2.桂林電子科技大學(xué)廣西高校數(shù)據(jù)分析與計(jì)算重點(diǎn)實(shí)驗(yàn)室，廣西桂林 541004）

0 概述

近年來(lái)，視頻運(yùn)動(dòng)目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺(jué)和數(shù)字圖像處理領(lǐng)域的熱點(diǎn)研究方向［1-3］，廣泛應(yīng)用于智能監(jiān)控、交通管制、機(jī)器智能、醫(yī)療診斷等任務(wù)。背景減除［4］是將視頻中感興趣的目標(biāo)提取出來(lái)并去除不感興趣的背景。常用的背景減除模型主要包括基于概率建模的高斯混合模型（Gaussian Mixture Model，GMM）和魯棒主成分分析（Robust Principal Component Analysis，RPCA）模型［5］。GMM 模型由STAUFFER 等［6］于1999 年提出，通過(guò)期望最大化（Expectation Maximization，EM）算法來(lái)確定像素顏色分布的時(shí)間以及每個(gè)分布的參數(shù)。雖然GMM 可以處理背景光線的細(xì)微變化，但如果用于參數(shù)學(xué)習(xí)的初始視頻幀有噪聲，訓(xùn)練后的模型將會(huì)受噪聲影響。為了提高GMM 的性能，學(xué)者們?cè)噲D通過(guò)提出不同的學(xué)習(xí)方法或修改算法的適應(yīng)性使該模型對(duì)噪聲更具魯棒性［7-9］。RPCA［5］模型利用矩陣的核范數(shù)約束低秩部分，通過(guò)l1范數(shù)約束稀疏部分。由于該模型簡(jiǎn)單且求解高效，因此被廣泛應(yīng)用于運(yùn)動(dòng)目標(biāo)檢測(cè)任務(wù)，但是RPCA 模型的前提假設(shè)是背景靜止或幾乎靜止，而現(xiàn)實(shí)世界中的背景往往是變化的。針對(duì)此問(wèn)題，CAO 等［10］提出全變分正則化的RPCA模型，利用運(yùn)動(dòng)目標(biāo)的空間連續(xù)性和時(shí)間連續(xù)性，抑制了動(dòng)態(tài)背景的干擾，但對(duì)緩慢運(yùn)動(dòng)的目標(biāo)檢測(cè)效果較差。針對(duì)動(dòng)態(tài)背景或噪聲干擾問(wèn)題，EBADI等［11］提出利用動(dòng)態(tài)樹結(jié)構(gòu)的稀疏矩陣建模前景，從而加強(qiáng)前景的稀疏性。CHEN 等［12］在前景建模中引入l1/1/2范數(shù)，充分描述了視頻的時(shí)空相關(guān)性，增強(qiáng)了前景的稀疏性。雖然這些模型取得了一定的效果，但處理復(fù)雜場(chǎng)景視頻的效果仍有待提升，而且當(dāng)目標(biāo)移動(dòng)緩慢時(shí)，檢測(cè)出來(lái)的前景出現(xiàn)較多空洞現(xiàn)象。本文提出一種結(jié)合l1/2范數(shù)和顯著性約束的前景檢測(cè)模型。利用l1/2范數(shù)產(chǎn)生更稀疏的解，減少動(dòng)態(tài)背景對(duì)前景的干擾。通過(guò)顯著性約束對(duì)視頻序列的每一幀進(jìn)行低秩稀疏分解，有效識(shí)別移動(dòng)緩慢的物體，緩解前景的空洞現(xiàn)象。

1 RPCA 模型

假定給出的視頻圖像序列包含T幀，將所有幀向量化為列向量得到矩陣。檢測(cè)運(yùn)動(dòng)目標(biāo)可以通過(guò)求解如式（1）所示的RPCA 模型來(lái)獲取低秩背景矩陣X1∈Rm×n×T（m、n分別表示圖像的高度和寬度）以及稀疏前景X2∈Rm×n×T：

其中：||X1||*表示矩陣X1的核范數(shù)；||X2||1表示矩陣X2的l1范數(shù)；λ是一個(gè)正的權(quán)衡參數(shù)。在強(qiáng)動(dòng)態(tài)背景下，RPCA 檢測(cè)結(jié)果中前景出現(xiàn)大量誤判像素，檢測(cè)性能較差。由于現(xiàn)實(shí)世界中視頻的背景復(fù)雜多變，因此可將式（1）擴(kuò)展如下：

其中：ψ（E）為干擾信號(hào)，通?？捎谩珽‖F(xiàn)/2 來(lái)表示，E為噪聲矩陣，用于表示動(dòng)態(tài)背景產(chǎn)生的隨機(jī)變化。

2 模型建立

一方面，傳統(tǒng)的背景減除模型在檢測(cè)移動(dòng)緩慢的物體時(shí)，容易出現(xiàn)空洞現(xiàn)象，導(dǎo)致檢測(cè)精度下降。由于前景具有顯著性，而顯著性約束［13-14］能將靜止圖像的前景檢測(cè)出來(lái)，因此引入顯著性有助于檢測(cè)移動(dòng)緩慢的目標(biāo)。另一方面，傳統(tǒng)模型多數(shù)利用l1范數(shù)約束稀疏部分的矩陣，而lq(q∈(0，1))正則化比l1正則化能生成更稀疏的解。通過(guò)對(duì)所有l(wèi)q正則化的研究表明，對(duì)于q∈[1/2，1)，q越小，解越稀疏，但是對(duì)于q∈（0，1/2]，解的性能沒(méi)有明顯下降，但求解的復(fù)雜程度遠(yuǎn)高于l1/2范數(shù)的求解［15］?；谝陨蟽煞矫?，本文引入l1/2范數(shù)和顯著性約束，提出一種新的背景減除模型，具體如下：

3 模型求解

基于交替方向乘子法，式（3）的增廣拉格朗日函數(shù)表示如下：

其中：[·]：i是矩陣的第i列；mat(·)表示把向量轉(zhuǎn)化成矩陣，使得mat(vec(Li))≡L i；μ是懲罰參數(shù)；是拉格朗日乘子。為求解式（4），利用交替方向乘子法對(duì)其進(jìn)行變量分離并轉(zhuǎn)換為6 個(gè)問(wèn)題進(jìn)行求解。在迭代初始化時(shí)，令，迭代次數(shù)k=0。

該問(wèn)題有閉型解，可通過(guò)奇異值閾值化（Singular Value Thresholding，SVT）［16］求解：

其中：Y=USV*；Sτ=sign(S)×max(|S|-τ，0)，τ=。

該問(wèn)題可通過(guò)半閾值化算子［15］求解：

該問(wèn)題可由SVT 求解，方法與子問(wèn)題1 類似。

該問(wèn)題可通過(guò)半閾值化算子來(lái)求解，方法與子問(wèn)題2 類似。

5）固定其他變量，利用式（11）更新Ek+1：

6）更新拉格朗日乘子和懲罰參數(shù)：

重復(fù)求解以上問(wèn)題直至滿足以下迭代收斂條件：

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文模型的性能，實(shí)驗(yàn)從CD.net-2014［17］測(cè)試數(shù)據(jù)集中選取Boulevard 和Traffic（相機(jī)抖動(dòng)）、CopyMachine 和Backdoor（移動(dòng)緩慢）、Fountain021和Boats（動(dòng)態(tài)背景）、Sating 和SnowFall（惡劣天氣）8 組128×128×128 的視頻集進(jìn)行測(cè)試，并在相同條件下 與l1/1/2-RPCA［12］、KBR-RPCA［18］、HoRPCA［19］、FRMC［20］、TRPCA［21］、IALM-RPCA［22］模型從主觀和客觀兩方面進(jìn)行比較。所有實(shí)驗(yàn)的運(yùn)行環(huán)境為Matlab 2019a，Intel Core i5-6500 處理器，8 GB 內(nèi)存，Win10 64 位操作系統(tǒng)。實(shí)驗(yàn)設(shè)置參數(shù)λ=0.8、α==0.01、ρ=1.1。實(shí)驗(yàn)視頻集如圖1 所示。

圖1 實(shí)驗(yàn)視頻集Fig.1 Experimental video sets

為準(zhǔn)確地評(píng)估本文模型的性能，采用查全率（recall）、查準(zhǔn)率（precision）和調(diào)和平均值（Fmeasure）來(lái)評(píng)估前景檢測(cè)的效果。recall 和precision的定義分別如下：

其中：ttp表示檢測(cè)出的正確的前景像素點(diǎn)；ffn表示錯(cuò)檢為背景的前景像素點(diǎn)；ffp表示錯(cuò)檢為前景的背景像素點(diǎn)。

采用F-measure 來(lái)綜合判斷提取效果。F-measure的定義如下：

4.1 主觀分析

圖2 給出了相機(jī)抖動(dòng)視頻集、移動(dòng)緩慢視頻集、動(dòng)態(tài)背景視頻集和惡劣天氣視頻集的視覺(jué)效果。

圖2 不同模型下視頻集的視覺(jué)效果對(duì)比Fig.2 Comparison of visual effects of video sets under different algorithms

對(duì)于相機(jī)抖動(dòng)視頻集：FRMC、KBR-RPCA、l1/1/2-RPCA、TRPCA 提取的前景精度較差，運(yùn)動(dòng)目標(biāo)中存在較嚴(yán)重的空洞現(xiàn)象；HoRPCA、IALM-RPCA 提取的運(yùn)動(dòng)目標(biāo)的精度較高，但這兩種模型把部分背景也檢測(cè)為運(yùn)動(dòng)目標(biāo)；本文模型在去除背景干擾的同時(shí)，提取的運(yùn)動(dòng)目標(biāo)精度也較高，整體取得最佳的檢測(cè)效果。

對(duì)于移動(dòng)緩慢視頻集：FRMC、KBR-RPCA、TRPCA 提取的運(yùn)動(dòng)目標(biāo)缺乏完整性；HoRPCA 和l1/1/2-RPCA 把部分背景誤判為前景目標(biāo)；IALMRPCA 和本文模型提取的前景對(duì)象都較為完整，檢測(cè)精度明顯高于其他4 種模型，但本文模型具有最高的F-measure 值。

對(duì)于動(dòng)態(tài)背景視頻集，F(xiàn)RMC、KBR-RPCA、TRPCA檢測(cè)前景的精度較差，運(yùn)動(dòng)目標(biāo)較為模糊；HoRPCA、l1/1/2-RPCA、IALM-RPCA 提取的前景目標(biāo)均比較清晰和完整，但與本文模型相比，這3 種模型受動(dòng)態(tài)背景影響的干擾較大，把過(guò)多的背景誤判為運(yùn)動(dòng)目標(biāo)；本文模型在去除動(dòng)態(tài)背景干擾的同時(shí)，提取的運(yùn)動(dòng)目標(biāo)精度也較高，整體上取得最佳的檢測(cè)效果。

對(duì)于惡劣天氣視頻集：FRMC、KBR-RPCA、TRPCA、HoRPCA、l1/1/2-RPCA 提取的前景對(duì)象中空洞過(guò)大，丟失大量的前景信息；IALM-RPCA 比其他5 種模型提取的運(yùn)動(dòng)目標(biāo)完整，不存在嚴(yán)重的空洞問(wèn)題，但也把部分背景誤判為前景；本文模型與其他模型相比，提取前景的精度較高，同時(shí)對(duì)背景的誤判較少，整體取得最佳的檢測(cè)效果。

4.2 客觀分析

將本文模型和其他6 種模型進(jìn)行比較，評(píng)價(jià)指標(biāo)值如表1 所示，其中，加粗?jǐn)?shù)據(jù)代表最優(yōu)值，加下劃線數(shù)據(jù)代表次優(yōu)值。從表1 可以看出，雖然其他模型的recall 值和precision 值有比本文模型高的情況，但本文的recall 值和precision 值在此情況下基本也處于次優(yōu)狀態(tài)，而且本文模型的F-measure 值均高于其他模型。以上說(shuō)明了本文模型在抑制動(dòng)態(tài)背景產(chǎn)生的噪聲以及目標(biāo)提取的完整度和精確度方面的綜合效果較好。

表1 不同模型下的客觀評(píng)價(jià)指標(biāo)數(shù)據(jù)對(duì)比Table 1 Data comparison of objective evaluation index under different models

將本文模型與其他6 種模型進(jìn)行實(shí)驗(yàn)對(duì)比，選取視頻集Skating 中12 個(gè)代表幀，每個(gè)相隔8 幀，計(jì)算各個(gè)代表幀的F-measure、precision 和recall 值，得出的相關(guān)指標(biāo)曲線如圖3 所示。由圖3 可以看出，本文模型的F-measure、precision 和recall 值基本每幀都高于其他6 種模型，相比于l1/1/2-RPCA 背景減除模型的平均查全率、查準(zhǔn)率和調(diào)和平均值分別提升了9、14 和10 個(gè)百分點(diǎn)。從圖3（a）、圖3（c）可以看出，本文模型的F-measure 和recall 值均高于其他模型，因此本文模型的綜合檢測(cè)效果最好。從圖3（b）可以看出，本文模型只有個(gè)別幀的precision 值低于其他模型，而多數(shù)幀的查準(zhǔn)率都是處于最優(yōu)的。

圖3 不同模型下的客觀評(píng)價(jià)指標(biāo)曲線對(duì)比Fig.3 Curve comparison of objective evaluation index under different models

表2 給出了本文模型和其他6 種模型的視頻集平均每幀的運(yùn)行時(shí)間對(duì)比結(jié)果。從表2 可以看出，本文模型在運(yùn)行時(shí)間方面優(yōu)于KBR-RPCA、IALMRPCA、FRMC、TPRCA 模型，但低于HoRPCA 和l1/1/2-RPCA 模型，說(shuō)明本文模型在計(jì)算方面較為耗時(shí)，但與運(yùn)行速度較快的對(duì)比模型差距不大，能滿足視頻監(jiān)控的實(shí)時(shí)性要求。

表2 不同模型下的運(yùn)行時(shí)間對(duì)比Table 2 Comparison of running time under different models s

采用視頻集Skating 作為實(shí)驗(yàn)視頻集，研究參數(shù)變化對(duì)實(shí)驗(yàn)結(jié)果的影響，如圖4 所示。從圖4（a）中可看出，參數(shù)λ在0.08 處F-measure 取得最大值，因此選取λ=0.08 作為最優(yōu)參數(shù)值。從圖4（b）中可看出，參數(shù)β在0.02 處F-measure 值取得最大值，結(jié)合參數(shù)變化對(duì)其他視頻集的影響，因此選取β=0.01 作為最優(yōu)參數(shù)值。從圖4（c）可以看出，當(dāng)參數(shù)α在［0.01，0.1］時(shí)對(duì)實(shí)驗(yàn)結(jié)果幾乎沒(méi)有影響，因此選取α=≈0.09 作為最優(yōu)參數(shù)值。

圖4 F-measure 隨參數(shù)取值的變化Fig.4 F-measure changing with parameters value

5 結(jié)束語(yǔ)

本文提出一種結(jié)合l1/2范數(shù)和顯著性約束的背景減除模型。以RPCA 理論為基礎(chǔ)，使用l1/2范數(shù)替代l1范數(shù)對(duì)視頻前景作稀疏約束，減少由動(dòng)態(tài)背景造成的干擾，提高前景檢測(cè)的精確度。利用顯著性約束對(duì)每一幀圖像進(jìn)行低秩稀疏分解，識(shí)別移動(dòng)緩慢的物體，緩解了前景的空洞現(xiàn)象。實(shí)驗(yàn)結(jié)果表明，與主流模型相比，本文模型能有效去除動(dòng)態(tài)背景對(duì)前景的干擾，且檢測(cè)移動(dòng)緩慢目標(biāo)的效果較好，顯著提高了移動(dòng)目標(biāo)檢測(cè)精度。但當(dāng)背景顏色和前景顏色相近時(shí)，本文模型容易出現(xiàn)誤判的情況，因此后續(xù)將結(jié)合視頻序列的顏色信息，進(jìn)一步提升背景減除模型的檢測(cè)精度和適用性。