伍彩紅

摘 要 由于受光照、天氣、噪聲等因素影響，使得對(duì)視頻序列中運(yùn)動(dòng)目標(biāo)的檢測(cè)成為一項(xiàng)比較困難的工作。本文首先對(duì)視頻做分幀、灰度化等預(yù)處理，采用一種基于改進(jìn)了的背景差分法對(duì)圖像序列進(jìn)行檢測(cè)，提取人體二值圖像，并利用數(shù)學(xué)形態(tài)學(xué)對(duì)二值圖像中存在的孔洞和噪聲點(diǎn)進(jìn)行相應(yīng)的處理，以人體最小外接矩形的高為邊長(zhǎng)，提取感興趣的運(yùn)動(dòng)區(qū)域（ROI）。

關(guān)鍵詞 運(yùn)動(dòng)區(qū)域提取 數(shù)學(xué)形態(tài)學(xué) 最小外接矩形

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A

ROI Extraction Method in a Video Sequence

WU Caihong

（Wuhan Yangtze Business University， Wuhan， Hubei 430065）

Abstract Due to the effect of factors such as light， weather， noise， so about the detection of moving object in video sequences is a relatively difficult work. At first， this article making corresponding pretreatment for the videos such as separating frame and making gray， extracting human binary image based on an improved background difference method and using mathematical morphology processing the holes and noise point existed in binary images. With the high of minimum circumscribed rectangular as side length， extracting the Region of Interest （ROI）.

Key words moving region extraction； mathematical morphology； the minimum circumscribed rectangle

0 引言

運(yùn)動(dòng)目標(biāo)檢測(cè)涉及視頻圖像處理、人工智能以及模式識(shí)別等領(lǐng)域，是運(yùn)動(dòng)圖像分析、人機(jī)交互、視頻監(jiān)控等領(lǐng)域的重要處理環(huán)節(jié)，具有較強(qiáng)的研究?jī)r(jià)值和意義。運(yùn)動(dòng)檢測(cè)在很多領(lǐng)域有著非常重要的作用，例如在商場(chǎng)、停車場(chǎng)、銀行等公共場(chǎng)所應(yīng)用運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)，能夠幫助監(jiān)控人員及時(shí)發(fā)現(xiàn)公共場(chǎng)所的異常行為，防止偷盜、破壞等行為的發(fā)生，保證社會(huì)的安定。人體運(yùn)動(dòng)目標(biāo)檢測(cè)的主要任務(wù)是從圖像序列中檢測(cè)感興趣的運(yùn)動(dòng)目標(biāo)，將其與背景分開，并且獲取物體及運(yùn)動(dòng)的相關(guān)參數(shù)用于后續(xù)的處理。通常情況下一個(gè)理想的目標(biāo)檢測(cè)方法能夠應(yīng)用到各種環(huán)境中，能夠?qū)ν饨缫蛩氐母蓴_具有魯棒性。但是在實(shí)際情況中由于受光照、天氣、噪聲等因素的影響，使得運(yùn)動(dòng)目標(biāo)檢測(cè)成為比較困難的工作。目前還沒有統(tǒng)一的目標(biāo)檢測(cè)算法專門對(duì)人體行為進(jìn)行檢測(cè)，大都是針對(duì)具體的運(yùn)動(dòng)環(huán)境進(jìn)行分析解決的，因此根據(jù)不同的背景環(huán)境可采取不同的人體行為檢測(cè)方法。本文提出了一種有效的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，利用該方法能夠正確地提取感興趣的運(yùn)動(dòng)區(qū)域（ROI）。

1 預(yù)處理

1.1 分幀處理

本文數(shù)據(jù)集選取的是Weizmann數(shù)據(jù)庫(kù)①中的人體行為運(yùn)動(dòng)的視頻，每段視頻表示一種行為，共5種行為，分別為：“走”（walk）、“跑”（run）、“側(cè)向跑”（side）、“雙腳跳”（jump）、“單腳跳”（skip），由9個(gè)不同的人完成。視頻是在時(shí)域上圖像序列的擴(kuò)展，幀是組成視頻的最小單位，代表單幅的圖像。首先，將每段視頻分幀，轉(zhuǎn)化為人體行為圖像序列。分幀后的圖像序列是呈離散、靜態(tài)規(guī)律的。假設(shè)一個(gè)包含有幀，大小為€椎耐枷裥蛄校硎鏡謚⊥枷瘢渲？= 1，2，…，，將按列堆疊成一個(gè)維的向量，其中 = €祝蛘靄⊥枷竦男蛄鋅梢員硎疚卣蟮男問劍？= 。將每段視頻轉(zhuǎn)化為圖像序列后，對(duì)圖像序列加矩形窗，每10幀為一個(gè)窗（作為一個(gè)樣本），窗與窗之間重疊的幀數(shù)為5，則每個(gè)圖像序列可分為（）個(gè)樣本，為每段視頻的幀數(shù)。

1.2 圖像序列的灰度化處理

將原始視頻進(jìn)行分幀處理后，接下來的工作就是對(duì)圖像序列進(jìn)行簡(jiǎn)單的預(yù)處理。由于攝像頭采集的AVI格式的視頻是彩色的，將其進(jìn)行分幀后得到的是24位彩色的JPG格式的圖像序列，每幀圖像大小為180€？44€？，這樣圖像的數(shù)據(jù)量較大，對(duì)后面識(shí)別速度的影響非常大。為減小計(jì)算復(fù)雜度，需要對(duì)彩色圖像進(jìn)行灰度化處理，將其轉(zhuǎn)變成大小為180€？44的256級(jí)灰度圖像?；叶葓D像是一個(gè)數(shù)據(jù)矩陣，只包含圖像的亮度信息，不包含圖像的色彩信息?；叶染仃嚳梢允莡nit8類型也可以是double類型，其取值范圍分別為[0，255]和[0，1]。矩陣中的每一個(gè)元素代表一個(gè)像素點(diǎn)，也就是代表不同的亮度或者灰度級(jí)。其中亮度為0表示黑色，亮度為255（或者double類型的1）表示白色。

2 運(yùn)動(dòng)目標(biāo)提取

由于本文研究的是在靜態(tài)背景下提取感興趣的運(yùn)動(dòng)目標(biāo)（ROI）的方法，在攝像機(jī)不動(dòng)的情況下，視頻序列相鄰兩幅圖像之間的差別主要由運(yùn)動(dòng)目標(biāo)的位置變化以及噪聲、光照和天氣等外界因素的影響。②本文采用一種基于改進(jìn)了的背景差分方法檢測(cè)運(yùn)動(dòng)目標(biāo)。

圖像序列在攝取和傳輸?shù)倪^程中易受到噪聲的干擾，并且本文所用數(shù)據(jù)集是在戶外拍攝的，也會(huì)受天氣、光照等因素的影響，所以在進(jìn)行目標(biāo)檢測(cè)時(shí)要對(duì)背景進(jìn)行實(shí)時(shí)更新，選用中值濾波的方法建立背景模型，③提取與圖像序列對(duì)應(yīng)的圖像背景并保存。endprint

本文進(jìn)行目標(biāo)檢測(cè)的原理流程如圖1所示，（，）表示視頻中當(dāng)前第幀圖像，（，）表示對(duì)應(yīng)的背景圖像，（，）表示當(dāng)前第幀圖像與對(duì)應(yīng)的背景幀圖像相減的結(jié)果圖像，（，）表示對(duì)結(jié)果圖像（，）進(jìn)行二值化的圖像，后處理主要是對(duì)二值圖像（，）進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理和連通性分析，若某一連通區(qū)域面積大于給定的閾值，則認(rèn)為檢測(cè)到運(yùn)動(dòng)目標(biāo)，并認(rèn)為該區(qū)域?yàn)檫\(yùn)動(dòng)目標(biāo)所處范圍，從而也可以確定運(yùn)動(dòng)目標(biāo)的最小外接矩形。其中：

（，） = ∣（，）（，）∣ （1）

（2）

公式（2）中的T為門限閾值。

圖1 人體運(yùn)動(dòng)目標(biāo)檢測(cè)原理流程

3 數(shù)學(xué)形態(tài)學(xué)后處理

經(jīng)過目標(biāo)檢測(cè)后所提取的人體行為樣本是二值圖像，由于所選視頻中部分運(yùn)動(dòng)人體的衣服顏色與背景圖像顏色接近以及噪聲的干擾，檢測(cè)后得到的人體運(yùn)動(dòng)區(qū)域不一定是完整清晰的，一般會(huì)包含孤立的噪聲點(diǎn)和孔洞，需要對(duì)這些樣本圖像進(jìn)行一定的后處理，主要目的是去除小區(qū)域的孤立噪聲點(diǎn)和填充小孔洞。為進(jìn)一步得到完整清晰的二值輪廓圖像，本文采用數(shù)學(xué)形態(tài)學(xué)處理的方法解決以上問題。

數(shù)學(xué)形態(tài)學(xué)（Mathematical Morphology）是建立在集合理論基礎(chǔ)上的學(xué)科。④在數(shù)學(xué)形態(tài)學(xué)運(yùn)算中腐蝕和膨脹是最基本的運(yùn)算，腐蝕能夠消除運(yùn)動(dòng)區(qū)域周圍的邊界點(diǎn)，但圖像最終的腐蝕效果與圖像自身和所選擇的結(jié)構(gòu)元素的形狀大小有關(guān)，采用不同形狀和大小結(jié)構(gòu)元素對(duì)原圖像腐蝕效果也不同。與腐蝕運(yùn)算的作用正好相反，膨脹運(yùn)算能夠擴(kuò)大圖像的邊界。但是它與腐蝕一樣，最終的膨脹效果也受圖像自身和所選擇的結(jié)構(gòu)元素的形狀大小的影響。效果如圖2所示。

圖2 數(shù)學(xué)形態(tài)學(xué)處理

4 感興趣區(qū)域（ROI）提取和圖像歸一化

前面的工作已經(jīng)對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行了檢測(cè)，并做了相應(yīng)的后處理，得到了人體二值圖像序列。為了去除人體二值圖像中的冗余信息，本文以最小外接矩形的高為邊長(zhǎng)，提取正方形的區(qū)域，即提取感興趣的運(yùn)動(dòng)區(qū)域（ROI），外接矩形框的提取如圖3所示。由于每個(gè)運(yùn)動(dòng)人體的體重和身高不同，并且每個(gè)人在運(yùn)動(dòng)過程中最小外接矩形的高與寬也是時(shí)刻變化的，因此在提取ROI后還要將其歸一化為相同大小的圖像，本文統(tǒng)一將ROI歸一化為60€？0大小的圖像，如圖4所示。

圖3 人體最小外接矩形框的提取

圖4 將大小為180€？44的ROI歸一化為60€？0大小的圖像

5 結(jié)論

本文采用一種基于改進(jìn)的背景差分法對(duì)人體行為進(jìn)行檢測(cè)，提取人體運(yùn)動(dòng)的二值圖像。利用數(shù)學(xué)形態(tài)學(xué)中腐蝕與膨脹基本算子對(duì)樣本圖像進(jìn)行后處理，消除樣本圖像中的噪聲點(diǎn)和孔洞。并以最小外接矩形的高為邊長(zhǎng)，從二值圖像中提取正方形區(qū)域，即感興趣的運(yùn)動(dòng)區(qū)域（ROI），去除圖像的冗余信息。通過實(shí)驗(yàn)證明該方法能夠有效提取感興趣的運(yùn)動(dòng)區(qū)域（ROI）。

注釋

① http：//www.wisdom.weizmann.ac.il/～vision/SpaceTimeActions.html#Classification%20Database.

② Y.H. Yang， M.D. Levine. The background primal sketch： an approach for tracking moving objects. Machine Vision and applications.5（1992）：17-34.

③ LO B P L， VELASTIN S A. Automatic congestion detection system for underground platforms[C]. Proceedings of 2001 International Symposium on Intelligent Multimedia Video and Speech Processing. New York： IEEE.2001：158-161.

④ 孫即祥.圖像分析[M].北京：科學(xué)出版社，2005.endprint

本文進(jìn)行目標(biāo)檢測(cè)的原理流程如圖1所示，（，）表示視頻中當(dāng)前第幀圖像，（，）表示對(duì)應(yīng)的背景圖像，（，）表示當(dāng)前第幀圖像與對(duì)應(yīng)的背景幀圖像相減的結(jié)果圖像，（，）表示對(duì)結(jié)果圖像（，）進(jìn)行二值化的圖像，后處理主要是對(duì)二值圖像（，）進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理和連通性分析，若某一連通區(qū)域面積大于給定的閾值，則認(rèn)為檢測(cè)到運(yùn)動(dòng)目標(biāo)，并認(rèn)為該區(qū)域?yàn)檫\(yùn)動(dòng)目標(biāo)所處范圍，從而也可以確定運(yùn)動(dòng)目標(biāo)的最小外接矩形。其中：

（，） = ∣（，）（，）∣ （1）

（2）

公式（2）中的T為門限閾值。

圖1 人體運(yùn)動(dòng)目標(biāo)檢測(cè)原理流程

3 數(shù)學(xué)形態(tài)學(xué)后處理

經(jīng)過目標(biāo)檢測(cè)后所提取的人體行為樣本是二值圖像，由于所選視頻中部分運(yùn)動(dòng)人體的衣服顏色與背景圖像顏色接近以及噪聲的干擾，檢測(cè)后得到的人體運(yùn)動(dòng)區(qū)域不一定是完整清晰的，一般會(huì)包含孤立的噪聲點(diǎn)和孔洞，需要對(duì)這些樣本圖像進(jìn)行一定的后處理，主要目的是去除小區(qū)域的孤立噪聲點(diǎn)和填充小孔洞。為進(jìn)一步得到完整清晰的二值輪廓圖像，本文采用數(shù)學(xué)形態(tài)學(xué)處理的方法解決以上問題。

數(shù)學(xué)形態(tài)學(xué)（Mathematical Morphology）是建立在集合理論基礎(chǔ)上的學(xué)科。④在數(shù)學(xué)形態(tài)學(xué)運(yùn)算中腐蝕和膨脹是最基本的運(yùn)算，腐蝕能夠消除運(yùn)動(dòng)區(qū)域周圍的邊界點(diǎn)，但圖像最終的腐蝕效果與圖像自身和所選擇的結(jié)構(gòu)元素的形狀大小有關(guān)，采用不同形狀和大小結(jié)構(gòu)元素對(duì)原圖像腐蝕效果也不同。與腐蝕運(yùn)算的作用正好相反，膨脹運(yùn)算能夠擴(kuò)大圖像的邊界。但是它與腐蝕一樣，最終的膨脹效果也受圖像自身和所選擇的結(jié)構(gòu)元素的形狀大小的影響。效果如圖2所示。

圖2 數(shù)學(xué)形態(tài)學(xué)處理

4 感興趣區(qū)域（ROI）提取和圖像歸一化

前面的工作已經(jīng)對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行了檢測(cè)，并做了相應(yīng)的后處理，得到了人體二值圖像序列。為了去除人體二值圖像中的冗余信息，本文以最小外接矩形的高為邊長(zhǎng)，提取正方形的區(qū)域，即提取感興趣的運(yùn)動(dòng)區(qū)域（ROI），外接矩形框的提取如圖3所示。由于每個(gè)運(yùn)動(dòng)人體的體重和身高不同，并且每個(gè)人在運(yùn)動(dòng)過程中最小外接矩形的高與寬也是時(shí)刻變化的，因此在提取ROI后還要將其歸一化為相同大小的圖像，本文統(tǒng)一將ROI歸一化為60€？0大小的圖像，如圖4所示。

圖3 人體最小外接矩形框的提取

圖4 將大小為180€？44的ROI歸一化為60€？0大小的圖像

5 結(jié)論

本文采用一種基于改進(jìn)的背景差分法對(duì)人體行為進(jìn)行檢測(cè)，提取人體運(yùn)動(dòng)的二值圖像。利用數(shù)學(xué)形態(tài)學(xué)中腐蝕與膨脹基本算子對(duì)樣本圖像進(jìn)行后處理，消除樣本圖像中的噪聲點(diǎn)和孔洞。并以最小外接矩形的高為邊長(zhǎng)，從二值圖像中提取正方形區(qū)域，即感興趣的運(yùn)動(dòng)區(qū)域（ROI），去除圖像的冗余信息。通過實(shí)驗(yàn)證明該方法能夠有效提取感興趣的運(yùn)動(dòng)區(qū)域（ROI）。

注釋

① http：//www.wisdom.weizmann.ac.il/～vision/SpaceTimeActions.html#Classification%20Database.

② Y.H. Yang， M.D. Levine. The background primal sketch： an approach for tracking moving objects. Machine Vision and applications.5（1992）：17-34.

③ LO B P L， VELASTIN S A. Automatic congestion detection system for underground platforms[C]. Proceedings of 2001 International Symposium on Intelligent Multimedia Video and Speech Processing. New York： IEEE.2001：158-161.

④ 孫即祥.圖像分析[M].北京：科學(xué)出版社，2005.endprint

本文進(jìn)行目標(biāo)檢測(cè)的原理流程如圖1所示，（，）表示視頻中當(dāng)前第幀圖像，（，）表示對(duì)應(yīng)的背景圖像，（，）表示當(dāng)前第幀圖像與對(duì)應(yīng)的背景幀圖像相減的結(jié)果圖像，（，）表示對(duì)結(jié)果圖像（，）進(jìn)行二值化的圖像，后處理主要是對(duì)二值圖像（，）進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理和連通性分析，若某一連通區(qū)域面積大于給定的閾值，則認(rèn)為檢測(cè)到運(yùn)動(dòng)目標(biāo)，并認(rèn)為該區(qū)域?yàn)檫\(yùn)動(dòng)目標(biāo)所處范圍，從而也可以確定運(yùn)動(dòng)目標(biāo)的最小外接矩形。其中：

（，） = ∣（，）（，）∣ （1）

（2）

公式（2）中的T為門限閾值。

圖1 人體運(yùn)動(dòng)目標(biāo)檢測(cè)原理流程

3 數(shù)學(xué)形態(tài)學(xué)后處理

經(jīng)過目標(biāo)檢測(cè)后所提取的人體行為樣本是二值圖像，由于所選視頻中部分運(yùn)動(dòng)人體的衣服顏色與背景圖像顏色接近以及噪聲的干擾，檢測(cè)后得到的人體運(yùn)動(dòng)區(qū)域不一定是完整清晰的，一般會(huì)包含孤立的噪聲點(diǎn)和孔洞，需要對(duì)這些樣本圖像進(jìn)行一定的后處理，主要目的是去除小區(qū)域的孤立噪聲點(diǎn)和填充小孔洞。為進(jìn)一步得到完整清晰的二值輪廓圖像，本文采用數(shù)學(xué)形態(tài)學(xué)處理的方法解決以上問題。

數(shù)學(xué)形態(tài)學(xué)（Mathematical Morphology）是建立在集合理論基礎(chǔ)上的學(xué)科。④在數(shù)學(xué)形態(tài)學(xué)運(yùn)算中腐蝕和膨脹是最基本的運(yùn)算，腐蝕能夠消除運(yùn)動(dòng)區(qū)域周圍的邊界點(diǎn)，但圖像最終的腐蝕效果與圖像自身和所選擇的結(jié)構(gòu)元素的形狀大小有關(guān)，采用不同形狀和大小結(jié)構(gòu)元素對(duì)原圖像腐蝕效果也不同。與腐蝕運(yùn)算的作用正好相反，膨脹運(yùn)算能夠擴(kuò)大圖像的邊界。但是它與腐蝕一樣，最終的膨脹效果也受圖像自身和所選擇的結(jié)構(gòu)元素的形狀大小的影響。效果如圖2所示。

圖2 數(shù)學(xué)形態(tài)學(xué)處理

4 感興趣區(qū)域（ROI）提取和圖像歸一化

前面的工作已經(jīng)對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行了檢測(cè)，并做了相應(yīng)的后處理，得到了人體二值圖像序列。為了去除人體二值圖像中的冗余信息，本文以最小外接矩形的高為邊長(zhǎng)，提取正方形的區(qū)域，即提取感興趣的運(yùn)動(dòng)區(qū)域（ROI），外接矩形框的提取如圖3所示。由于每個(gè)運(yùn)動(dòng)人體的體重和身高不同，并且每個(gè)人在運(yùn)動(dòng)過程中最小外接矩形的高與寬也是時(shí)刻變化的，因此在提取ROI后還要將其歸一化為相同大小的圖像，本文統(tǒng)一將ROI歸一化為60€？0大小的圖像，如圖4所示。

圖3 人體最小外接矩形框的提取

圖4 將大小為180€？44的ROI歸一化為60€？0大小的圖像

5 結(jié)論

本文采用一種基于改進(jìn)的背景差分法對(duì)人體行為進(jìn)行檢測(cè)，提取人體運(yùn)動(dòng)的二值圖像。利用數(shù)學(xué)形態(tài)學(xué)中腐蝕與膨脹基本算子對(duì)樣本圖像進(jìn)行后處理，消除樣本圖像中的噪聲點(diǎn)和孔洞。并以最小外接矩形的高為邊長(zhǎng)，從二值圖像中提取正方形區(qū)域，即感興趣的運(yùn)動(dòng)區(qū)域（ROI），去除圖像的冗余信息。通過實(shí)驗(yàn)證明該方法能夠有效提取感興趣的運(yùn)動(dòng)區(qū)域（ROI）。

注釋

① http：//www.wisdom.weizmann.ac.il/～vision/SpaceTimeActions.html#Classification%20Database.

② Y.H. Yang， M.D. Levine. The background primal sketch： an approach for tracking moving objects. Machine Vision and applications.5（1992）：17-34.

③ LO B P L， VELASTIN S A. Automatic congestion detection system for underground platforms[C]. Proceedings of 2001 International Symposium on Intelligent Multimedia Video and Speech Processing. New York： IEEE.2001：158-161.

④ 孫即祥.圖像分析[M].北京：科學(xué)出版社，2005.endprint