黃 霞, 許海霞, 莫 言

(湘潭大學 信息工程學院, 湘潭 411105)

基于低秩矩陣分解的運動目標檢測①

黃 霞, 許海霞, 莫 言

(湘潭大學 信息工程學院, 湘潭 411105)

運動目標檢測是視頻監(jiān)控任務的基礎問題之一, 針對灰度信息, 目標檢測存在的陰影識別能力差、檢測精度低等問題, 提出在HSV顏色空間下基于低秩矩陣分解的運動目標檢測算法. 首先將獲取的RGB圖像轉為HSV顏色空間分量, 分別對H、S、V通道構建低秩觀測量, 進行低秩矩陣優(yōu)化分解, 分離出不同顏色通道的前景和背景分量; 組合 H、S、V通道分量的前景圖像, 得到粗略的運動目標區(qū)域; 再采用HSV顏色陰影去除去除前景圖像中的陰影; 最后經噪聲去除和空洞的填充, 檢測得到準確的前景運動目標. 實驗驗證表明, 與其它方法相比, 能夠有效地提高運動目標檢測的準確度.

智能視頻監(jiān)控; 運動目標檢測; 低秩矩陣分解; HSV顏色空間

近幾年, 智能視頻監(jiān)控逐漸成為備受學者們關注的研究熱點, 運動目標檢測作為視頻監(jiān)控中的關鍵部分, 同時受到學者們的熱捧, 越來越多的方法用于對運動目標的檢測. 運動目標檢測是從圖像序列中獲得目標的運動信息, 并將其從圖像提取出來, 其是智能監(jiān)控系統(tǒng)中目標分類、跟蹤及行為理解等后續(xù)處理的基礎. 目前常用的運動目標檢測方法有光流法、幀差法和背景減除法等, 其中背景減除法得到了廣泛的應用. 背景減除法[1-3]的核心思想是將當前獲得的圖片與得到的背景圖像相減, 得到差分圖像, 然后通過設置閥值來判定差分圖像的像素狀態(tài), 如果像素點的值小于閥值則該像素被認為是背景區(qū)域, 否則認為是感興趣的運動目標區(qū), 如混合高斯模型法[4-8]通過建立多個高斯模型來判定像素點屬于前景還是背景, 其方法在一定程度上能夠準確的獲得運動目標信息, 然而, 此類方法需要訓練相關的圖像序列預先構造背景模型,從而限制了其在視頻分析自動化中的應用.

近年, Wright[9]等人提出魯棒主成分析(Robust Principal Component Analysis, RPCA, 又稱低秩矩陣分解)并將此理論應用到運動目標檢測領域. 由于監(jiān)控視頻具有攝像頭的位置是固定不變的特點, 因此采集到的視頻中背景信息是相對穩(wěn)定的, 而移動的車輛在視頻的每一幀中存在很大的變動, 可將監(jiān)控視頻的每一幀圖像像素值組成一個列向量并排列成一個矩陣, 利用低秩矩陣恢復算法對其進行分解, 將會對穩(wěn)定的背景(對應低秩部分)和運動的物體(對應稀疏部分)進行分離. 文獻[10]基于低秩矩陣分解原理提出一種新穎的顯著運動目標檢測方法, 其數(shù)據(jù)M矩陣由視頻的每一幀圖像的相同位置的行(列)組成, 通過低秩矩陣分解目標函數(shù)求解, 獲得每幀圖像行(列)低秩部分和行(列)稀疏部分, 再對每幀圖像的行稀疏部分和列稀疏部分進行組合, 得到初步的顯著目標, 利用自適應閥值法和噪聲去除方法, 獲得最終的目標. 此方法在不同的視頻場景取得了較好的效果, 對低分辨率環(huán)境和噪聲具有較好的魯棒性. 然而當基于灰度值建立背景時, RPCA算法對運動目標的陰影識別能力很差, 運動目標檢測的精確度低, 為后續(xù)的視頻分析帶來了困難.

本文針對在灰度信息情況下, RPCA算法對陰影識別能力差問題, 利用顏色信息對運動目標進行檢測.考慮到RGB顏色空間與人眼感知的差異很大, 且由于陰暗區(qū)域比亮區(qū)域的像素差別具有更高的不穩(wěn)定性,使其在陰暗區(qū)域的顏色比較效果不好, 而HSV顏色空間符合人視覺神經觀察模型, 為此本文將圖像從RGB空間轉換到HSV空間, 在HSV顏色空間下通過低秩矩陣恢復對背景進行建模, 提取運動目標, 提出在HSV顏色空間下基于低秩矩陣恢復的運動目標檢測算法.

實驗表明改進后的方法能夠取得更加準確的前景分割特性, 對噪聲干擾表現(xiàn)出良好的魯棒性. 同時RGB顏色空間對運動目標的陰影識別能力很差, 在HSV顏色空間卻能很好的識別, 可以有效地檢測出陰影區(qū)域.

1 HSV顏色空間

彩色數(shù)字圖像可由多種色彩空間模型來表示[11],常用的表現(xiàn)彩色圖像的顏色空間有RGB、HSV、YCbCr顏色空間等. 目前, 通過視頻采集設備獲取的視頻大多數(shù)是RGB顏色模式, 因此在對視頻序列幀進行運動目標檢測算法的研究大多數(shù)直接采用各個像素點的RGB值或者灰度值, 但RGB模型是通過紅(R)、綠(G)、藍(B)3種色光作適當混合引起電磁光譜上所有任意顏色的感知, 故在RGB模型中R、G、B三個分量都包含了亮度信息, 它們之間存在著很大的相關性, 從而不利于運動目標的檢測和分割, 且其顏色表示方式不適于人的視覺感知習慣, 在這方面HSV顏色模式則更有優(yōu)勢. 在HSV顏色空間中, 其色度(H)表示不同的顏色, 飽和度(S)表示顏色的深淺; 亮度(V)表示顏色的明暗程度, 3個分量獨立不相關. HSV顏色空間相對于RGB顏色空間能夠較好地解決強光照射、陰影和遮蔽或紋理帶來的物體表面顏色不勻等問題.

在傳統(tǒng)的RGB模型轉換到HSV模型中, 由于各自的自身特性, 使得在轉換過程中H分量出現(xiàn)奇異值和不穩(wěn)定點, 本文采用文獻[12] 中RGB到HSV空間修正后的色彩轉換公式:

圖1為采用傳統(tǒng)方法轉換的結果與修正公式后轉換的結果. 圖1(b)為利用傳統(tǒng)方法轉換后的HSV圖,圖1(c)為利用式(1)轉換后的HSV圖, 比較圖1(b)和圖1(c)兩幀圖像, 可以看出利用修正公式轉換后的HSV圖像沒有存在不穩(wěn)定點.

圖1 傳統(tǒng)方法與修正公式后轉換的HSV圖

2 RPCA理論

經典的PCA(Principal Component Analysis)是一種特征提取和分析中數(shù)據(jù)降維的方法, 將高維的數(shù)據(jù)投影到低維線性子空間中并對其進行估計. 假設數(shù)據(jù)矩陣M可表示為M=L+E, 其中矩陣L表示矩陣M的低秩成分, 矩陣E表示噪聲干擾, 矩陣L和E未知,且矩陣E中的所有元素都服從獨立同分布的高斯分布, 經典的PCA通過求解下式尋求最優(yōu)的秩k來估計L:

其中,k是目標子空間的維度,表示矩陣的2范數(shù), 即M中奇異值的最大值. 經典PCA只有當E較小時才能求得最優(yōu)解, 而實際數(shù)據(jù)M矩陣往往被大量的干擾數(shù)據(jù)覆蓋, 此時, 經典PCA方法無法達到令人滿意的效果.

為了解決經典PCA的缺點, candes[13]等人提出RPCA模型, 該模型通過矩陣的低秩與稀疏性約束,能夠從稀疏的顯著誤差中恢復出低秩的矩陣, 此時,求解低秩矩陣L的問題可優(yōu)化成如下模型問題:

其中,rank(L)表示矩陣L的秩,||E||0是矩陣的l0范數(shù), 即矩陣E中非零元素的個數(shù), 目標函數(shù)中的兩項都是非線性非凸的, 上述問題是一個NP-hard問題. Candes將上述模型松弛到如下凸優(yōu)化問題:

其中,||L||*代表矩陣L的核范數(shù), 即為其矩陣奇異值之和.||E||1是矩陣E的l1范數(shù), 即E中所有元素絕對值之和.λ為控制稀疏矩陣E權值參數(shù). 此優(yōu)化問題可通過迭代閥值算法(iterative thresholding, IT)[13,15]、加速近端梯度算法(accelerated proximal gradient, APG)[14]、對偶方法[14,15]和不精確拉格朗日乘子法(inexact augmented Lagrange multipliers, IALM)[15,16]求解. 即使觀測矩陣M中的數(shù)據(jù)被大量干擾信息的破壞,通過求解(4)式仍能得到比較理想的結果(L,E).

3 基于矩陣分解的運動目標檢測

由于利用灰度信息, 對運動目標的陰影識別能力很差, 運動目標檢測的精確度低, 本文利用顏色信息運用低秩矩陣分解檢測運動目標, 提出在HSV顏色空間下基于RPCA的運動目標檢測算法, 具體目標檢測原理如圖2所示,過程描述如下:

1) 視頻的獲取以及顏色空間的轉換

由監(jiān)控系統(tǒng)獲取RGB圖像序列, 首先根據(jù)公式(1)將RGB圖像序列轉化為HSV圖像序列, 整個視頻數(shù)據(jù)可以看成是4維的, 通過按照3個顏色通道表示可以得到3個3維數(shù)據(jù), 把整個視頻流看作是H、S、V三個顏色通道的視頻流, 此時可以看作是對多個二維矩陣進行計算, 大大地降低了存儲空間同時提高了計算效率.

2) 背景圖像與前景圖像的分離

根據(jù)低秩矩陣恢復理論, 觀測到的數(shù)據(jù)可以分解為兩個成分, 一個具有低秩性, 一個具有稀疏性. 由于背景比較穩(wěn)定, 故其背景像素值組成的矩陣具有低秩性, 而運動目標在視頻中是運動的且分布范圍比較小, 故運動目標像素值組成的矩陣具有稀疏特性. 前景目標檢測步驟如下:

Step1: 低秩觀測量矩陣的構成. 分別對視頻流中的H、S、V顏色通道的圖像序列進行處理. 首先提取H顏色通道圖像序列幀H1,H2,L,Hf, 并將各幀圖像向量化, 組成低秩觀測矩陣

MH∈RMN×f, 其中f是圖像幀數(shù), 圖像的大小為M×N. 同理, 對S顏色通道圖像序列S1,S2,L,Sf和V顏色通道圖像序列V1,V2,L,Vf中的各幀圖像向量化, 得到S顏色通道的低秩觀測矩陣和V顏色通道的低秩觀測矩陣

Step2: 根據(jù)RPCA優(yōu)化模型, 得到的低秩觀測量滿足下式:

其中,x∈{H,S,V}, 采用IALM[15]對觀測矩陣低秩優(yōu)化分解,得到H顏色通道的低秩矩陣LH和稀疏矩陣EH, S顏色通道的低秩矩陣LS和稀疏矩陣ES, V顏色通道的低秩矩陣LV和稀疏矩陣EV.

Step3: 對低秩矩陣LH中的第n列去向量化,n={1,2Lf}, 得到圖像序列中第n幀的背景圖像, 對稀疏矩陣EH中的第n列去向量化, 得到圖像序列中第n幀的前景圖像, 對所有的列去向量化最終得到H顏色通道的背景圖像序列和前景圖像序列. 同理, 對S顏色通道的低秩矩陣LS、稀疏矩陣ES和V顏色通道的低秩矩陣LV、稀疏矩陣EV去向量化, 得到S顏色通道的背景圖像序列, 前景圖像序得到V顏色通道的背景圖像序列, 前景圖像序

圖2 基于低秩矩陣分解的運動目標檢測算法原理

Step4: 組合H、S、V 三分量的背景部分得到HSV空間下第n幀圖像的背景圖像其中n=1,2,Lf; 組合H、S、V 三分量的前景部分得到HSV空間下第n幀圖像的前景圖像然后對值求和處理, 得到初步的前景圖像Maskn:

3) HSV陰影檢測

光具有直線傳播特性, 當光源在入射方向上受到車的遮擋時, 在汽車的另一側將產生陰影, 因此在絕大多數(shù)交通視頻場景下都存在著陰影.

陰影與物體具有運動一致性, 這使得背景差減法和去噪處理均不能將運動物體和陰影分離開, 陰影區(qū)域往往被誤檢為前景, 從而造成車體外觀以及形狀的扭曲, 車體之間粘貼, 不利于分割和識別.

根據(jù)前面得到的H、S、V顏色通道的背景圖像, 本文利用HSV顏色空間分別對初步的前景圖像Maskn進行陰影檢測及去除. 在檢測圖像陰影區(qū)域時, 陰影比對應背景點的亮度變暗, 而色度和飽和度基本保持不變, 即陰影覆蓋區(qū)域與背景區(qū)域相比較, 區(qū)域像素的V(亮度)值降低, H(色度)值和S(飽和度)值變化小.本文采用 Cucchiara R[17,18]等人提出基于HSV空間的陰影檢測算法, 其判別函數(shù)如(7)所示.

其中, 下標I表示當前幀, 下標B表示背景模型, H、S、V表示在HSV顏色空間下的各個組成分量,α和β是亮度的閾值;Ts和Th分別是飽和度和色相的閾值.其檢測結果由SW表示, 1表示該像素點是陰影點, 0表示該像素點是目標點.

4) 噪聲去除和空洞的填充

在室外監(jiān)控視頻中, 由于樹枝的搖晃以及攝像頭的抖動等情況的存在, 故背景往往是動態(tài)的, 使檢測的前景圖像中存在細小的干擾噪聲, 針對前景圖像的噪聲, 本文首先對得到前景圖像進行二值化, 閥值的選取采用最大類間方法(Otsu), 使用類間方差最大的分割意味著錯分概率最小, 且該方法計算簡單、受圖像變化影響較小[19]. 在前景目標檢測圖像中還存在一些面積較小的檢測物, 可通過設置前景目標面積閥值去除掉. 由于目標中間區(qū)域常常與背景相似, 在低秩矩陣分解過程中, 目標區(qū)域在一定程度上存在內部空洞, 為此, 本文進一步對前景中的目標進行數(shù)學形態(tài)學處理, 可基本完成空洞的填充, 從而達到最終運動目標提取效果.

4 實驗與結果分析

采用實際交通視頻數(shù)據(jù), 對本文方法進行實驗驗證, 實驗運行平臺為matlab R2010b, CPU為Inter? Pentium? CPU G3220, 3.00GH, 4GB內存, Windows7系統(tǒng)的臺式機, 取三段交通視頻序列進行實驗, 視頻序列的具體描述如下:

視頻1: 為高速公路上的交通視頻序列, 序列幀大小為240×320, 其背景相對比較平穩(wěn), 運動的車輛有較明顯的陰影. 實驗中選取400幀作為測試序列.

視頻2: 為郊區(qū)的交通視頻序列, 序列幀大小為120×160, 道路的右側有樹木和青草, 有輕微的晃動,實驗中選取400幀作為測試序列.

視頻3: 為高速公路上的交通視頻序列, 序列幀大小為240×200, 道路的右側有樹木, 由于光照導致樹木的陰影倒映在道路上. 實驗中選取400幀作為測試序列.

把視頻流中的RGB圖像轉換成HSV圖像, 分別對H、S、V三個顏色通道的圖像序列的低秩觀測矩陣進行優(yōu)化分解, 可得每幀圖像HSV空間下的前景圖像Imgn和背景圖像Backn, 再對HSV空間下的前景圖像中的H、S、V三個分量進行絕對值求和處理的到初步的前景圖像Maskn. 為了提高運動目標的精確度,本文對初步背景圖像Maskn進行陰影去除, 根據(jù)文獻[17],式(7)中的參數(shù)取值為:α=0.4,β=0.6,Ts=0.1,Th=0.5,然后對前景圖像進行閥值分割, 噪聲去除和形態(tài)學處理可得最終結果. 將本文方法的結果與GMM[6]、文獻[10]的結果進行比較, 各算法在上述3種場景下的實驗結果如圖3～5所示.

圖3 視頻1中圖像運動目標檢測的對比實驗結果

圖3 采用GMM方法、基于灰度信息的RPCA方法以及本文的方法對交通視頻1場景進行運動車輛目標檢測, 在高速公路上, 由于受到光照的影響, 行駛的車輛存在面積較大的陰影, 檢測到的目標容易出現(xiàn)粘連的現(xiàn)象, 造成檢測不準確, 精確度低, GMM方法和基于灰色信息的RPCA方法未能對陰影進行去除,針對存在陰影的情況, 本文提出在HSV顏色空間下的前景和背景的同時分離, 利用基于HSV顏色空間陰影檢測方法去除陰影, 得精確度高的檢測結果.

圖4 視頻2中圖像運動目標檢測的對比實驗結果

圖4采用GMM方法、基于灰度信息的RPCA方法以及本文的方法對交通視頻2場景進行運動車輛目標檢測, 道路一側的樹葉和綠化帶的植物有輕微的晃動, 受到光照的不均勻, 背景像素值波動大, 不穩(wěn)定, GMM方法和基于灰度信息的PRCA方法的結果中存在干擾的小目標區(qū)域, 本文提出的方法能夠去除小目標區(qū)域, 具有較好的魯棒性.

圖5 視頻3中圖像運動目標檢測的對比實驗結果

圖5 采用GMM方法、基于灰度信息的RPCA方法以及本文的方法對交通視頻3場景進行運動車輛目標檢測, 道路的右側為樹木, 其陰影投在道路上, 左側為綠化帶, GMM方法未能排除樹木和綠化帶的干擾,基于灰度信息的PRCA方法未能完整檢測車距離較遠的運動目標, 出現(xiàn)目標區(qū)域漏檢和空洞的現(xiàn)象, 本文提出在顏色空間下的運動目標檢測, 圖像包含的信息豐富, 可以完整的檢測到遠距離的車輛, 且能夠去除干擾信息.

從圖3～5中可以看出, 本文基于HSV顏色空間,應用低秩矩陣分解原理, 可精確的檢測出運動目標,同時通過HSV顏色空間陰影檢測和去除, 有效地去除了陰影的干擾. 實驗表明, 本文方法能夠更好的適應復雜的環(huán)境, 具有較好的魯棒性, 檢測到的目標精確度更高, 能夠有效地去除陰影, 去除動態(tài)背景所產生的干擾, 以及光照帶來的小目標區(qū)域干擾等, 具有較高的精確度和較好的魯棒性.

5 結語

針對灰度信息, 對陰影識別差、檢測精度低的問題, 本文提出在HSV顏色空間下, 基于低秩矩陣分解的運動目標提取方法, 分別對H、S、V顏色通道的視頻流組成的觀測矩陣進行低秩矩陣分解, 得到背景部分, 及前景部分; 再進一步對前景圖像利用HSV顏色信息有效去除陰影, 以及空洞填充, 噪聲去除. 本方法優(yōu)于文獻[10]提出的混合高斯模型方法, 且在不需要事先學習和人工干預的情況下, 能夠精確地提出運動目標區(qū)域, 具有較好的魯棒性和自適應性.

1 Bouwmans T, El Baf F, Vachon B. Statistical background modeling for foreground detection: A survey. Handbook of Pattern Recognition and Computer Vision, 2010, 4(2): 181–189.

2 Cristani M, Farenzena M, Bloisi D, et al. Background subtraction for automated multisensor surveillance: A comprehensive review. EURASIP Journal on Advances in Signal Processing, 2010, 2010: 43.

3 Elhabian SY, El-Sayed KM, Ahmed SH. Moving object detection in spatial domain using background removal techniques-state-of-art. Recent Patents on Computer Science, 2008, 1(1): 32–54.

4 Stauffer C, Grimson WEL. Adaptive background mixture models for real-time tracking. 1999. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE. 1999, 2.

5 Lee DS. Effective Gaussian mixture learning for video background subtraction. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2005, 27(5): 827–832.

6 Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction Proc. of the 17th International Conference on Pattern Recognition, 2004. ICPR 2004. IEEE. 2004, 2. 28–31.

7 Sheikh Y, Shah M. Bayesian modeling of dynamic scenes for object detection. IEEE Trans. on Pattern Analysis andMachine Intelligence, 2005, 27(11): 1778–1792.

8 Zivkovic Z, van der Heijden F. Efficient adaptive density estimation per image pixel for the task of background subtraction. Pattern Recognition Letters, 2006, 27(7): 773–780.

9 Wright J, Ganesh A, Rao S, et al. Robust principal component analysis: Exact recovery of corrupted low-rank matrices via convex optimization. Advances in Neural Information Processing Systems. 2009. 2080–2088.

10 Xue Y, Guo X, Cao X. Motion saliency detection using low-rank and sparse decomposition. 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE. 2012. 1485–1488.

11 阮秋琦.數(shù)字圖像處理學.北京:電子工業(yè)出版社,2007.

12 石美紅,申亮,龍世忠,等.從RGB到HSV色彩空間轉換公式的修正.紡織高?；A科學學報,2008,21(3):351–356.

13 Candès EJ, Li X, Ma Y, et al. Robust principal component analysis. Journal of the ACM (JACM),2011,58(3): 11 .

14 Lin Z, Ganesh A, Wright J, et al. Fast convex optimization algorithms for exact recovery of a corrupted low-rank matrix. Computational Advances in Multi-Sensor Adaptive Processing (CAMSA- P), 2009, 61.

15 史加榮,鄭秀云,魏宗田,等.低秩矩陣恢復算法綜述.計算機應用研究,2013,30(6):1601–1605.

16 Yuan X, Yang J. Sparse and low rank matrix decomposition via alternating direction method. Pacific Journal of Optimization, 2009, 9(1).

17 Cucchiara R, Grana C, Piccardi M, et al. Detecting moving objects, ghosts, and shadows in video streams. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2003, 25(10): 1337–1342.

18 Cucchiara R, Grana C, Piccardi M, et al. Improving shadow suppression in moving object detection with HSV color information. 2001 IEEE Proc. of Intelligent Transportation Systems. IEEE. 2001. 334–339.

19 王紅茹,季鳴.一種新型的實效運動目標檢測方法.計算機系統(tǒng)應用,2015,24(12):208–214.

Moving Objects Detection Based on Low-Rank Matrix Decomposition

HUANG Xia, XU Hai-Xia, MO Yan
(College of Information Engineering, Xiangtan University, Xiangtan 411105, China)

Moving objects detection is one of fundamental tasks of video surveillance. Specific to the poor identification capability and low accuracy to shadow in gray information, this paper proposes a novel moving objects detection method based on the combination of Low-Rank Matrix decomposition and HSV color information. Firstly, we convert the images from RGB space to HSV space, construct observation matrix for H, S, V channels, respectively, and optimize the observation matrix through Low-Rank Matrix decomposition to obtain H, S, V channel’s foreground component and background component; combing H, S, V channels foreground component in order to get roughly moving object district. Secondly, the moving shadow should be detected and eliminated from the foreground image, after combining H, S, V channels component to get the row processing foreground objects and the column processing foreground objects, the row processing foreground image and the column processing foreground image are combined to obtain the moving objects image. Finally, by morphological processing and connectivity detection to eliminate the noise, the accurate foreground moving objects can be obtained. The experimental results demonstrate that the proposed method is much better than others in increasing accuracy of moving objects detection.

intelligent video surveillance; moving objects detection; low-rank matrix decomposition; HSV color space

湖南省自然科學基金(14JJ6014)

2016-03-23;收到修改稿時間:2016-05-16

10.15888/j.cnki.csa.005585