翁菲,劉允才
隨著制造成本的不斷降低以及日益增長(zhǎng)的應(yīng)用需求,視頻檢測(cè)器被廣泛應(yīng)用于復(fù)雜場(chǎng)景的實(shí)時(shí)監(jiān)控,關(guān)于智能視頻監(jiān)控的研究也越來(lái)越深入。由于單攝像機(jī)有限的視域無(wú)法滿足廣域視頻監(jiān)控的要求,多攝像機(jī)網(wǎng)絡(luò)成為有效解決廣域視頻監(jiān)控問題的一種途徑。在已提出的多攝像機(jī)監(jiān)控系統(tǒng)中,都有不同程度的限制。如文獻(xiàn)[1]中要求攝像機(jī)之間具有重疊的視域,而重疊的視域?qū)⑾拗朴行У谋O(jiān)控范圍;文獻(xiàn)[2]中采用非重疊攝像機(jī),但是不適合實(shí)時(shí)應(yīng)用。于是,本文提出一種基于非重疊視域多攝像機(jī)的實(shí)時(shí)監(jiān)控系統(tǒng)。
圖1描述了該系統(tǒng)的流程框圖。該系統(tǒng)分別對(duì)每個(gè)攝像機(jī)視頻進(jìn)行背景建模、前景檢測(cè)以及運(yùn)動(dòng)目標(biāo)的特征提取,當(dāng)目標(biāo)離開攝像機(jī)視域的時(shí)候,根據(jù)已知的拓?fù)潢P(guān)系,向相關(guān)攝像機(jī)發(fā)布監(jiān)控任務(wù),當(dāng)有目標(biāo)進(jìn)入處于有效監(jiān)控狀態(tài)的攝像機(jī)視域時(shí),進(jìn)行目標(biāo)匹配,從而實(shí)現(xiàn)在多攝像機(jī)系統(tǒng)中對(duì)行人目標(biāo)的持續(xù)跟蹤。本文將分別介紹該系統(tǒng)的各主要功能模塊。
圖1 多攝像機(jī)監(jiān)控系統(tǒng)框圖
系統(tǒng)采用一種雙層的背景維持算法,進(jìn)行背景建模與更新[3]。相較于經(jīng)典的高斯建模法,該方法計(jì)算效率高并且對(duì)場(chǎng)景的變化適應(yīng)性更強(qiáng)。首先,在像素層進(jìn)行背景更新。由于運(yùn)動(dòng)目標(biāo)所在位置的像素值變化比背景處的像素值快,于是通過對(duì)相鄰的圖像幀進(jìn)行差分,即可根據(jù)像素值的變化快慢,區(qū)分前景像素與背景像素。但是這種像素層的背景更新,沒有考慮到包含在幀間的運(yùn)動(dòng)信息。當(dāng)由于攝像機(jī)的移動(dòng)、光線變化、或者運(yùn)動(dòng)目標(biāo)離開了場(chǎng)景等因素,引起背景的突變,對(duì)圖像層進(jìn)行背景更新,可以對(duì)這些變化進(jìn)行快速響應(yīng)。通過融合像素層以及圖像層的檢測(cè)結(jié)果,可以在不同情形下獲得比較合適的背景模型。
系統(tǒng)采用背景差分的方法進(jìn)行前景的檢測(cè)。將每一幀輸入圖像(圖2(a))與背景模型進(jìn)行差分,與背景像素具有顯著差異的像素點(diǎn)將被判別為前景像素。然后,對(duì)前景圖像(圖2(b))進(jìn)行形態(tài)學(xué)處理以去除前景圖像中小的間隙與空洞,最后得到的前景圖像如圖2(c)所示。
圖2 前景檢測(cè)
(1)直方圖特征:直方圖是一種被廣泛用于目標(biāo)匹配的外觀特征,它在一定程度上對(duì)行人的姿勢(shì)變化具有良好的魯棒性。但是直方圖丟失了顏色分布的空間信息,一種解決方法是將目標(biāo)按照空間關(guān)系分為3個(gè)部分,分別為頭部、上半身以及下半身,為每個(gè)部分建立直方圖[4]。由于頭部的直方圖對(duì)目標(biāo)匹配的意義不大,在本系統(tǒng)中取下兩部分的直方圖,使用混合高斯模型,對(duì)這兩部分的直方圖進(jìn)行建模,并利用混合高斯模型參數(shù),根據(jù)公式(1)別針對(duì)待匹配目標(biāo)的上本身與下半身計(jì)算相似度。
其中,wai和wbi表示待匹配目標(biāo)a和b的混合高斯模型中第i個(gè)分量的權(quán)值,xaik和xbik表示混合高斯模型中第i個(gè)分量的協(xié)方差矩陣,d(mai,mbi)表示目標(biāo)a和b的混合高斯模型中第i個(gè)分量均值之間的歐式距離。
公式(1)所描述的相似度數(shù)值越小,相似度越大。實(shí)驗(yàn)表明,這種距離度量方法效果要優(yōu)于傳統(tǒng)的K-L距離和Bhattacharyya距離。
(2)UV色度特征:YUV顏色空間描述了圖像的亮度信息以及色度信息。亮度信息已經(jīng)體現(xiàn)在直方圖中,因此,從YUV顏色空間中,提取UV色度信息,可以作為目標(biāo)的另一個(gè)特征表示。文獻(xiàn)[5]提供了一種提取UV色度空間模型的方法,該方法根據(jù)YUV顏色空間的UV通道,建立二維色度平面,將圖像的色度信息分別投射到色度平面上,并對(duì)平面上的UV色度分布建立二維混合高斯模型,圖3為一個(gè)行人目標(biāo)及其對(duì)應(yīng)的UV色度模型。相似度的計(jì)算方法同直方圖特征。
圖3 UV色度模型
(3)主要顏色普特征:對(duì)于一幅8位彩色圖像在RGB顏色空間中存在的顏色可達(dá)百萬(wàn)種,很難在如此龐大的顏色種類的基礎(chǔ)上,進(jìn)行兩個(gè)目標(biāo)之間的匹配。文獻(xiàn)[6]提供了一種提取主要顏色譜的方法,使用最近鄰分類法將所有像素聚類為有限的幾種主要顏色,對(duì)所有顏色的頻率進(jìn)行降序排列之后,前90%的顏色即可作為該目標(biāo)的特征描述。圖4為一個(gè)行人目標(biāo)及其對(duì)應(yīng)的主要顏色譜直方圖。
圖4 主要顏色譜直方圖
在這種特征描述方式下,兩個(gè)待匹配目標(biāo)之間的相似度由公式(2)計(jì)算得到:
其中,pai和pbi表示待匹配目標(biāo)a和b的主要顏色譜直方圖中第i個(gè)顏色柱的權(quán)值;d(Cai,Cbi)表示顏色柱Cai和Cbi之間的距離。該公式描述的相似度數(shù)值越小,表示目標(biāo)a和b越相似.。
對(duì)于多特征之間的數(shù)據(jù)融合,常用的解決方法是采用貝葉斯模型。但是對(duì)于置信度相差較大的特征,基于貝葉斯模型的融合算法的準(zhǔn)確度往往不夠高。為了使在融合特征數(shù)目較多,置信度相差比較大的情況下,獲得比較高的匹配準(zhǔn)確度,本系統(tǒng)采用一種疊代加寬的融合方法進(jìn)行特征融合。
首先,將獲得的相似度構(gòu)成特征相似度矩陣S,表示為:
其中,Si,j表示特征i中跟蹤目標(biāo)與第j個(gè)待匹配目標(biāo)間的相似度;i=1,2,……,N,j=1,2,……,M。
然后,根據(jù)相似度矩陣計(jì)算兩個(gè)待匹配目標(biāo)之間的置信度指數(shù),并將置信度指數(shù)構(gòu)成置信度矩陣。
根據(jù)以上信息,按照以下步驟進(jìn)行特征融合,最終實(shí)現(xiàn)目標(biāo)匹配:
(1)設(shè)置w為疊代寬度閾值,設(shè)置疊代寬度初值a=1;
(2)在相似度矩陣中搜索每個(gè)特征行中前a個(gè)相似度最大的目標(biāo),如果某一列且只有一列中的所有N個(gè)特征行的元素都被搜索到,則該列所對(duì)應(yīng)的待匹配目標(biāo)即表示目的目標(biāo),疊代終止;
(3)如果有大于1的m列中所有N個(gè)特征行的元素都被搜索到,則分別計(jì)算置信度指數(shù)矩陣中與此m列所對(duì)應(yīng)的每一列的期望值,期望值最高的一列所對(duì)應(yīng)的待匹配目標(biāo)即表示目的目標(biāo),疊代終止;
(4)如果沒有一列中的所有特征行的元素都被搜索到,即在當(dāng)前寬度下未找到任何目的目標(biāo),則更新疊代寬度a=a+1;a≤w,轉(zhuǎn)步驟(2),進(jìn)行下一次疊代;
(5)若a>w,則在當(dāng)前寬度下搜索第二相似的目的目標(biāo),即取被搜索到的元素最多的那一列所對(duì)應(yīng)的待匹配目標(biāo)作為目的目標(biāo),疊代終止。
對(duì)于已經(jīng)安置好的多攝像機(jī)監(jiān)控系統(tǒng),它的拓?fù)浣Y(jié)構(gòu)是固定的,目標(biāo)在場(chǎng)景中所有可能的運(yùn)動(dòng)路線也是可以確定的。例如,當(dāng)目標(biāo)從某攝像機(jī)的某出口走出之后,可以根據(jù)已知的拓?fù)浣Y(jié)構(gòu),估計(jì)出該目標(biāo)可能進(jìn)入哪些攝像機(jī)視域范圍內(nèi),分別需要經(jīng)過多長(zhǎng)時(shí)間。因此,建立整個(gè)場(chǎng)景的拓?fù)淠P停瑢?duì)目標(biāo)的跟蹤起到極大的輔助作用。
拓?fù)淠P椭邪硕鄶z像機(jī)之間的所有連接信息,包括每個(gè)攝像機(jī)視域范圍內(nèi)的進(jìn)出口區(qū)域,各個(gè)攝像機(jī)的進(jìn)出口之間是否存在通路,以及每條通路的長(zhǎng)度。由于不同的行人步行速度不一致,經(jīng)過同一路徑的時(shí)間也會(huì)有所起伏,于是采用平均時(shí)間t結(jié)合時(shí)間窗w的方式描述每條通路的長(zhǎng)度,選取合適的時(shí)間窗w,使得大多數(shù)行人經(jīng)過的時(shí)間落在(t-w,t+w)范圍內(nèi)。時(shí)間窗需要根據(jù)實(shí)際情況進(jìn)行選取,數(shù)值太大會(huì)影響系統(tǒng)的運(yùn)行效率,數(shù)值太小會(huì)影響跟蹤結(jié)果的準(zhǔn)確率。
如前所述,當(dāng)目標(biāo)從某攝像機(jī)的某出口走出之后,可以根據(jù)已知的拓?fù)浣Y(jié)構(gòu),估計(jì)出該目標(biāo)可能進(jìn)入哪些攝像機(jī)視域范圍內(nèi),分別需要經(jīng)過多長(zhǎng)時(shí)間。于是,當(dāng)檢測(cè)到目標(biāo)走出某攝像機(jī)時(shí),即可根據(jù)已知的拓?fù)潢P(guān)系向相關(guān)攝像機(jī)發(fā)布監(jiān)控任務(wù),在目標(biāo)有可能進(jìn)入視域范圍內(nèi)的一段時(shí)間內(nèi),該攝像機(jī)將處于有效監(jiān)控狀態(tài)。而當(dāng)有目標(biāo)進(jìn)入處于有效監(jiān)控狀態(tài)的攝像機(jī)視域時(shí),進(jìn)行目標(biāo)匹配,從而實(shí)現(xiàn)在多攝像機(jī)系統(tǒng)中對(duì)行人目標(biāo)的持續(xù)跟蹤。這種機(jī)制可以在不影響監(jiān)控效果的前提下,很好的提高系統(tǒng)的運(yùn)行效率,從而達(dá)到實(shí)時(shí)監(jiān)控。
為驗(yàn)證該系統(tǒng)的有效性,用4個(gè)攝像頭在室內(nèi)環(huán)境進(jìn)行了實(shí)驗(yàn)。多攝像頭的拓?fù)浣Y(jié)構(gòu)如圖5所示。在實(shí)驗(yàn)過程中,10個(gè)行人(如圖6所示)被分為兩組,其中一組行人先后穿過攝像機(jī)1、攝像機(jī)2以及攝像機(jī)4,另一組行人先后穿過攝像機(jī)1、攝像機(jī)3以及攝像機(jī)4。實(shí)驗(yàn)以15幀每秒的速率采樣得到248*156大小的AVI視頻序列,然后利用本系統(tǒng)分別對(duì)每個(gè)行人進(jìn)行跟蹤。對(duì)行人B的跟蹤過程如圖4所示。在第172幀的時(shí)候行人B出現(xiàn)在攝像機(jī)1視域中,選取他為跟蹤目標(biāo)(圖7(a));第590幀的時(shí)候,行人B進(jìn)入處于監(jiān)控狀態(tài)的攝像機(jī)3視域中,系統(tǒng)立刻將他識(shí)別為被跟蹤對(duì)象(圖4(c));在第1021幀行人B進(jìn)入處于監(jiān)控狀態(tài)的攝像機(jī)4視域中,并立刻被識(shí)別為被跟蹤對(duì)象(圖4(e))。實(shí)驗(yàn)結(jié)果顯示,該系統(tǒng)的跟蹤準(zhǔn)確率為85.2%。表1為使用不同特征進(jìn)行目標(biāo)匹配的跟蹤結(jié)果比較。
圖5 拓?fù)淠P褪疽鈭D
圖6 行人目標(biāo)
圖7 對(duì)行人B的跟蹤過程
表1 不同特征跟蹤準(zhǔn)確率比較
本文描述了一種基于非重疊攝像機(jī)的視頻監(jiān)控系統(tǒng)。該系統(tǒng)分別對(duì)每個(gè)攝像機(jī)視頻進(jìn)行背景建模、前景檢測(cè)以及運(yùn)動(dòng)目標(biāo)的特征提取,并在單攝像機(jī)中實(shí)現(xiàn)目標(biāo)跟蹤,當(dāng)目標(biāo)離開攝像機(jī)視域的時(shí)候,根據(jù)已知的拓?fù)潢P(guān)系向相關(guān)攝像機(jī)發(fā)布監(jiān)控任務(wù),當(dāng)有目標(biāo)進(jìn)入處于有效監(jiān)控狀態(tài)的攝像機(jī)視域時(shí),進(jìn)行目標(biāo)匹配,從而實(shí)現(xiàn)在多攝像機(jī)系統(tǒng)中對(duì)行人目標(biāo)的持續(xù)跟蹤。實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)可以在不需對(duì)攝像機(jī)進(jìn)行標(biāo)定的情況下,對(duì)穿過多個(gè)攝像機(jī)的運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)準(zhǔn)確的跟蹤。
[1]Khan S,Shah M.Consistent Labeling of Tracked Objects in Multiple Cameras with Overlapping Fields of View[J].IEEE Trans.on Pattern Analysis and Machine Intelligence,2003,25.
[2]Rahimi A,Darrell T.Simultaneous Calibration and Tracking with a Network of Non-overlapping Sensors[C].IEEE Conf.in Computer Vision and Pattern Recognition,2004.
[3]Yang T,Stan Z Li.Real-time Multiple Objects Tracking with Occlusion Handling in Dynamic Scenes[C].IEEE Conf.in Computer Vision and Pattern Recognition,2005.
[4]Yinghao Cai,Wei Chen.Continuously Tracking Objects Across Multiple Widely Separated Cameras[C].ACCV,2007.
[5]Jeong K,Jaynes C.Object Matching in Disjoint Cameras Using a Color Transfer Approach[J].Machine Vision and Applications,2008.
[6]Eric Dahai Cheng,Massimo Piccardi.Disjoint Track Matching Based on a Major Color Spectrum Histogram Representation[J].Optical Engineering,2007.