杜啟亮，黎浩正，田聯(lián)房

(華南理工大學(xué) 自動(dòng)化科學(xué)與工程學(xué)院，廣州 510640)(*通信作者電子郵箱466739850@qq.com)

基于Adaboost和碼本模型的手扶電梯出入口視頻監(jiān)控方法

杜啟亮，黎浩正*，田聯(lián)房

(華南理工大學(xué) 自動(dòng)化科學(xué)與工程學(xué)院，廣州 510640)(*通信作者電子郵箱466739850@qq.com)

針對(duì)傳統(tǒng)視頻監(jiān)控方法無(wú)法對(duì)密集前景目標(biāo)進(jìn)行準(zhǔn)確分割的問(wèn)題，提出一種基于Adaboost和碼本模型的多目標(biāo)視頻監(jiān)控方法。首先，通過(guò)訓(xùn)練得到Adaboost人頭分類器，利用碼本算法為垂直拍攝的手扶電梯出入口圖像建立背景模型，提取前景圖像對(duì)其進(jìn)行人頭檢測(cè)和跟蹤；之后，剔除行人目標(biāo)得到物件目標(biāo)，對(duì)物件目標(biāo)進(jìn)行跟蹤；最后，根據(jù)行人和物件的運(yùn)動(dòng)特征進(jìn)行監(jiān)控。對(duì)12段出入口視頻序列的實(shí)驗(yàn)結(jié)果表明，監(jiān)控方法能夠準(zhǔn)確穩(wěn)定地跟蹤行人和物件，完成逆行檢測(cè)、客流統(tǒng)計(jì)、行人擁堵和物件滯留等監(jiān)控任務(wù)，處理速度達(dá)到36幀/秒，目標(biāo)跟蹤準(zhǔn)確率達(dá)到94%以上，行為監(jiān)控準(zhǔn)確率達(dá)到95.8%，滿足智能視頻監(jiān)控系統(tǒng)魯棒性、實(shí)時(shí)性和準(zhǔn)確性的要求。

Adaboost；背景建模；視頻監(jiān)控；人頭檢測(cè)；多目標(biāo)跟蹤

0 引言

智能視頻監(jiān)控技術(shù)由于其準(zhǔn)確直觀和成本低廉的特點(diǎn)，被廣泛應(yīng)用于公共管理與決策領(lǐng)域，如商場(chǎng)出入口客流統(tǒng)計(jì)、公交車乘客人數(shù)統(tǒng)計(jì)和電梯口擁堵檢測(cè)等。光照變化和目標(biāo)遮擋是視頻監(jiān)控中造成誤差的主要原因，為減小這兩種因素的不良影響，一般采取攝像頭垂直向下拍攝的方法。視頻監(jiān)控的核心任務(wù)是運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤，主要有兩類方法：基于模板匹配的方法和基于統(tǒng)計(jì)分類的方法。

基于模板匹配的方法為目標(biāo)建立特征模板，如人頭的類圓模板和人體外輪廓的矩形模板等，通過(guò)擬合圖像中與模板相匹配的前景目標(biāo)進(jìn)行檢測(cè)與跟蹤。該類方法計(jì)算量小，在檢測(cè)單個(gè)或多個(gè)分離目標(biāo)時(shí)效果較好，在工程上應(yīng)用較廣。潘浩等[1]用Sobel算子提取垂直拍攝的人體輪廓后進(jìn)行曲線生長(zhǎng)，能夠適應(yīng)公交車門處不同角度人體的檢測(cè)需要，但是計(jì)算量大，處理速度只能達(dá)到6幀/秒。顧德軍等[2]首先采用高斯模型進(jìn)行前景提取，之后根據(jù)輪廓特性和顏色特性為俯視的人頭建立模板，最后對(duì)前景圖像進(jìn)行人頭模板匹配，但是高斯模型無(wú)法提取靜止的前景目標(biāo)，因此無(wú)法進(jìn)行滯留檢測(cè)。張姍姍等[3]提出了一種基于深度圖像的人頭檢測(cè)算法，利用立體匹配的方法有效解決了目標(biāo)擁擠的問(wèn)題，但是無(wú)法檢測(cè)被遮擋的目標(biāo)。上述算法的性能在很大程度上取決于前景提取算法的效果，因此存在對(duì)光線變化敏感和易受陰影干擾的問(wèn)題。

基于統(tǒng)計(jì)分類的方法首先獲取大量正負(fù)樣本，之后提取樣本的目標(biāo)特征并訓(xùn)練分類器或建立神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)，準(zhǔn)確率高且魯棒性強(qiáng)。文嘉俊等[4]和Li等[5]分別采用Haar特征和局部二值模式(Local Binary Pattern, LBP)特征訓(xùn)練得到Adaboost人頭分類器，在垂直拍攝圖像中檢測(cè)人頭并進(jìn)行客流監(jiān)控，實(shí)現(xiàn)了多人過(guò)線時(shí)傳統(tǒng)方法難以準(zhǔn)確完成的行人分割和計(jì)數(shù)，但是存在如背景中的椅子等誤檢。樸春赫等[6]結(jié)合傳統(tǒng)ViBe(Visual Background extractor)前景檢測(cè)算法，利用方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征訓(xùn)練得到SVM分類器進(jìn)行行人檢測(cè)，有效消除目標(biāo)殘影但是無(wú)法檢測(cè)水平拍攝圖像中被遮擋的目標(biāo)。Zhao等[7]利用立體視覺(jué)和人工神經(jīng)網(wǎng)絡(luò)建立了準(zhǔn)確率很高的行人檢測(cè)系統(tǒng)但是處理速度只能達(dá)到10幀/秒。

本文在碼本模型前景提取算法的基礎(chǔ)上，提出基于Adaboost和碼本模型的多目標(biāo)跟蹤算法。碼本模型是高效的背景建模方法，但是無(wú)法對(duì)多目標(biāo)前景進(jìn)行分割，為此本文引入Adaboost人頭分類器，利用檢測(cè)目標(biāo)之間的獨(dú)立性完成目標(biāo)分割，由此提高多目標(biāo)跟蹤的準(zhǔn)確性。本文的視頻監(jiān)控方法主要應(yīng)用于商場(chǎng)、地鐵出入口和手扶電梯出入口等人流密集的場(chǎng)合，完成目標(biāo)檢測(cè)與跟蹤、客流統(tǒng)計(jì)、行人擁堵和物件滯留等視頻監(jiān)控任務(wù)。

1 基于Adaboost和碼本模型的前景提取

本文采取圖1所示的攝像頭垂直向下拍攝的方法以減少光照變化和目標(biāo)遮擋的不良影響，首先利用碼本算法提取包含行人目標(biāo)和物件目標(biāo)的前景圖像，訓(xùn)練人頭分類器對(duì)行人目標(biāo)進(jìn)行檢測(cè)與跟蹤，之后剔除行人目標(biāo)對(duì)物件目標(biāo)進(jìn)行跟蹤，最后根據(jù)行人和物件的運(yùn)動(dòng)特征進(jìn)行目標(biāo)行為監(jiān)控，圖2為算法流程。

圖1 攝像頭安裝位置示意圖

圖2 視頻監(jiān)控算法流程

1.1 基于碼本模型的前景提取

視頻監(jiān)控的核心是背景建模和前景提取，在手扶電梯出入口等客流密集、背景復(fù)雜和光照變化頻繁的應(yīng)用場(chǎng)合，需要同時(shí)考慮算法對(duì)復(fù)雜背景的自適應(yīng)能力以及算法復(fù)雜度對(duì)效率的影響。碼本模型(Codebook Model)是一種高效的背景建模方法，基本思想是為圖像所有像素建立一個(gè)時(shí)間序列，根據(jù)序列觀察值對(duì)像素點(diǎn)進(jìn)行分類。碼本模型不需要背景像素的先驗(yàn)知識(shí)，只根據(jù)像素點(diǎn)時(shí)間特征提取前景圖像，因此計(jì)算量少且適用于復(fù)雜背景，步驟[8-9]如下：

1)為圖像每個(gè)像素建立一個(gè)碼本(CodeBook, CB)，每個(gè)碼本由多個(gè)碼字(CodeWord, CW)組成。CW為六元組，包含背景更新的學(xué)習(xí)上下界IH和IL，當(dāng)前像素的上下界Imax和Imin，上一次的更新時(shí)間tlast和記錄像素多久未被訪問(wèn)的陳舊時(shí)間tst，根據(jù)圖像更新每個(gè)CB的狀態(tài)；

2)選擇一幀或者多幀建立背景的CB模型，背景建立幀數(shù)一般為視頻采集幀率的1～2倍；

3)設(shè)前景圖像的判定閾值上下界為IMmax和IMmin，對(duì)圖像中某一像素I(x,y)，歷遍背景CB模型中的每個(gè)CW，如果存在一個(gè)CW的當(dāng)前像素上下界Imax和Imin使得Imin-IMmin

4)隔一定幀數(shù)更新背景CB模型且進(jìn)行時(shí)間濾波，設(shè)更新閾值Tst為更新次數(shù)的一半，歷遍像素CB中的每個(gè)CW，若陳舊時(shí)間tst大于更新閾值，則移除該CW。

采用帶連通域分析的邊緣生長(zhǎng)算法對(duì)前景圖像進(jìn)行輪廓提取，加入輪廓周長(zhǎng)等先驗(yàn)知識(shí)對(duì)輪廓圖像進(jìn)行二次校正，得到包含行人和物件兩種目標(biāo)的前景圖像，圖3為前景提取結(jié)果。

圖3 前景提取結(jié)果

1.2 基于Adaboost的人頭檢測(cè)

基于輪廓特征的傳統(tǒng)目標(biāo)檢測(cè)方法無(wú)法對(duì)密集前景目標(biāo)進(jìn)行準(zhǔn)確分割，在垂直拍攝的圖像中，人頭有顯著的橢圓形狀特征，且不隨前景目標(biāo)密集程度發(fā)生變化，因此使用HOG特征的Adaboost分類器進(jìn)行人頭檢測(cè)。HOG通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征[10]，對(duì)目標(biāo)圖像進(jìn)行Gamma壓縮后計(jì)算梯度向量并建立方向直方圖，本文的HOG描述子胞元(Cell)為8×8的矩形像素塊，梯度方向數(shù)為9，塊(Block)為2×2的Cell串聯(lián)塊，也即16×16的矩形像素塊。

Adaboost是一種結(jié)構(gòu)簡(jiǎn)單的級(jí)聯(lián)分類器，首先對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的弱分類器，之后把弱分類器級(jí)聯(lián)為強(qiáng)分類器，步驟[11]如下：

1)設(shè)N為樣本總數(shù)，將訓(xùn)練集所有樣本的權(quán)重初始化為1/N；

2)以誤差最小原則訓(xùn)練弱分類器，如果某一個(gè)訓(xùn)練樣本已被正確分類，則在下一輪訓(xùn)練過(guò)程中降低該樣本的權(quán)重，否則提高權(quán)重；

3)弱分類器級(jí)聯(lián)為強(qiáng)分類器，后者為前者的線性組合，誤差率越小的弱分類器在強(qiáng)分類器中的權(quán)重越大。

本文選取正樣本為3 850張垂直拍攝的人頭圖片，大小為24×24，負(fù)樣本為8 000張不同場(chǎng)景下的其他圖片，包括背景圖片和非人頭部位圖片，大小范圍為45×45到105×105，圖4為部分訓(xùn)練集圖片。

設(shè)置分類器訓(xùn)練的迭代層數(shù)為20，每層的最小命中率為0.999，最大誤檢率為0.5，最大迭代次數(shù)為100，表1為本文Adaboost分類器的訓(xùn)練結(jié)果，圖5為人頭目標(biāo)檢測(cè)結(jié)果。

表1 Adaboost分類器訓(xùn)練結(jié)果

圖4 部分訓(xùn)練集圖片

圖5 目標(biāo)檢測(cè)結(jié)果

2 多目標(biāo)跟蹤

多目標(biāo)跟蹤的本質(zhì)是目標(biāo)特征的跟蹤，視頻監(jiān)控任務(wù)中造成跟蹤誤差的主要原因有：1)檢測(cè)環(huán)境光照強(qiáng)度不足、不均或變化頻繁，環(huán)境噪聲造成分類器誤檢；2)訓(xùn)練的分類器性能有限，出現(xiàn)漏檢(False Rejection)或誤檢(False Acceptance)；3)訓(xùn)練集規(guī)模過(guò)小，不足以訓(xùn)練出高精度的分類器。本文針對(duì)前兩點(diǎn)建立了一種運(yùn)動(dòng)目標(biāo)的跟蹤強(qiáng)度特征模型，能夠自適應(yīng)地增添新出現(xiàn)的目標(biāo)，丟棄應(yīng)該停止跟蹤的過(guò)期目標(biāo)，采用最小距離的目標(biāo)匹配方法對(duì)多目標(biāo)進(jìn)行卡爾曼跟蹤，圖6為多目標(biāo)跟蹤算法流程。

2.1 目標(biāo)的跟蹤強(qiáng)度特征模型

根據(jù)分類器的檢測(cè)結(jié)果，觀測(cè)序列的運(yùn)動(dòng)目標(biāo)數(shù)量和跟蹤序列的運(yùn)動(dòng)目標(biāo)數(shù)量存在三種情況：1)觀測(cè)數(shù)M小于跟蹤數(shù)N，此時(shí)可能是運(yùn)動(dòng)目標(biāo)離開(kāi)檢測(cè)區(qū)域或分類器漏檢，為保證跟蹤序列的連續(xù)性，應(yīng)當(dāng)增補(bǔ)N-M組觀測(cè)值并降低未觀測(cè)到的運(yùn)動(dòng)目標(biāo)的跟蹤強(qiáng)度；2)觀測(cè)數(shù)M大于跟蹤數(shù)N，此時(shí)可能是出現(xiàn)新的運(yùn)動(dòng)目標(biāo)或分類器誤檢，應(yīng)當(dāng)增補(bǔ)M-N組跟蹤值并提高已檢測(cè)到的運(yùn)動(dòng)目標(biāo)的跟蹤強(qiáng)度；3)觀測(cè)數(shù)M等于跟蹤數(shù)N，此時(shí)可能是分類器無(wú)差檢測(cè)或漏檢誤檢恰好使二者匹配，應(yīng)當(dāng)對(duì)觀測(cè)序列與跟蹤序列作最小距離目標(biāo)匹配。本文將1)和3)合并為一種情況，設(shè)cf(k)和cf(k-1)分別為某運(yùn)動(dòng)目標(biāo)在k時(shí)刻和k-1時(shí)刻的跟蹤強(qiáng)度，cfi(k)和cfd(k)分別為目標(biāo)被連續(xù)觀測(cè)到和連續(xù)未被觀測(cè)到的幀數(shù)，cfi(k)·cfd(k)=0，則該目標(biāo)的跟蹤強(qiáng)度特征按下式更新：

(1)

圖6 多目標(biāo)跟蹤算法流程

2.2 最小距離目標(biāo)匹配

觀測(cè)序列與跟蹤序列利用歐氏距離(Euclidean Metric)進(jìn)行最小距離匹配，當(dāng)觀測(cè)數(shù)M小于或等于跟蹤數(shù)N時(shí)，算法對(duì)M組已觀測(cè)目標(biāo)作最小距離匹配，并在原地增補(bǔ)N-M組觀測(cè)值即假設(shè)未觀測(cè)到的運(yùn)動(dòng)目標(biāo)靜止不動(dòng)；當(dāng)觀測(cè)數(shù)M大于跟蹤數(shù)N時(shí)，算法對(duì)N組已觀測(cè)目標(biāo)作最小距離匹配，并以未匹配的觀測(cè)值為初始值新建M-N組跟蹤序列。設(shè)觀測(cè)序列為m，跟蹤序列為n，圖7為最小距離目標(biāo)匹配的示意圖。

圖7 最小距離目標(biāo)匹配示意圖

2.3 卡爾曼濾波器

卡爾曼濾波器(Kalman Filter)是一種擁有狀態(tài)估計(jì)功能的濾波器，通過(guò)迭代核心方程，狀態(tài)變量最終將收斂至一個(gè)最優(yōu)自回歸解，即狀態(tài)變量的最優(yōu)估計(jì)，利用卡爾曼濾波器預(yù)測(cè)下一時(shí)刻的系統(tǒng)狀態(tài)，從而完成多目標(biāo)跟蹤任務(wù)，其時(shí)間與狀態(tài)共五個(gè)核心更新方程[12]如下：

(2)

對(duì)中心坐標(biāo)Pp=(xp,yp) ，x(k)=[xpypΔxpΔyp]T為狀態(tài)變量，y(k)=[xpyp]T為觀測(cè)變量，A為狀態(tài)估計(jì)矩陣，H為觀測(cè)矩陣，q和r分別為估計(jì)噪聲和觀測(cè)噪聲，符合高斯分布，Q和R分別為其協(xié)方差矩陣，P為誤差協(xié)方差矩陣。本文建立行人和物件目標(biāo)在手扶電梯出入口等環(huán)境下的線性運(yùn)動(dòng)模型并取值如下：

(3)

(4)

(5)

(6)

(7)

以觀測(cè)數(shù)M小于跟蹤數(shù)N為例，采用最小歐氏距離的目標(biāo)匹配方法對(duì)兩個(gè)行人目標(biāo)進(jìn)行卡爾曼跟蹤，算法對(duì)M組已觀測(cè)目標(biāo)作最小距離匹配，并在原地增補(bǔ)N-M組觀測(cè)值即假設(shè)未觀測(cè)到的運(yùn)動(dòng)目標(biāo)靜止不動(dòng)，同時(shí)降低未觀測(cè)到的運(yùn)動(dòng)目標(biāo)的跟蹤強(qiáng)度，圖8為卡爾曼跟蹤結(jié)果及其軌跡，矩形框?yàn)橛^測(cè)結(jié)果，圓形框?yàn)楦櫧Y(jié)果，表2為跟蹤過(guò)程中觀測(cè)序列、跟蹤序列、歐氏距離和跟蹤強(qiáng)度的變化。

圖8 卡爾曼跟蹤結(jié)果

表2 跟蹤過(guò)程中卡爾曼濾波器的參數(shù)變化

3 基于運(yùn)動(dòng)特征的視頻監(jiān)控

根據(jù)行人和物件的運(yùn)動(dòng)特征進(jìn)行監(jiān)控，主要是由二者的中心坐標(biāo)計(jì)算運(yùn)動(dòng)速度和運(yùn)動(dòng)方向，判斷運(yùn)動(dòng)目標(biāo)行為從而達(dá)到視頻監(jiān)控的目的。本文對(duì)手扶電梯出入口上的運(yùn)動(dòng)目標(biāo)進(jìn)行下列4種行為監(jiān)控：逆行檢測(cè)、客流統(tǒng)計(jì)、行人擁堵和物件滯留。設(shè)采樣幀數(shù)為n，運(yùn)動(dòng)目標(biāo)在k時(shí)刻的跟蹤強(qiáng)度為cf(k)，中心坐標(biāo)Pp(k)=(xp(k),yp(k))，則運(yùn)動(dòng)速度和運(yùn)動(dòng)方向如下式所示：

(8)

(9)

3.1 逆行檢測(cè)

在手扶電梯出入口等存在正常前進(jìn)方向的場(chǎng)所中逆行可能發(fā)生安全事故，因此需要對(duì)該行為進(jìn)行監(jiān)控。以手扶電梯前進(jìn)方向?yàn)闃O軸，取逆時(shí)針?lè)较驗(yàn)檎较蚪O坐標(biāo)系，則目標(biāo)逆行的運(yùn)動(dòng)特征為：

-π/2<θ(k)<π/2

(10)

3.2 客流統(tǒng)計(jì)

在手扶電梯出入口監(jiān)控區(qū)域設(shè)置客流計(jì)數(shù)線，按手扶電梯前進(jìn)方向?qū)⒊鋈肟诜指顬閮?nèi)部區(qū)域Areain與外部區(qū)域Areaout，從k-n時(shí)刻某目標(biāo)出現(xiàn)在監(jiān)控區(qū)域并被跟蹤開(kāi)始進(jìn)行統(tǒng)計(jì)，經(jīng)過(guò)n幀后在k時(shí)刻目標(biāo)通過(guò)客流計(jì)數(shù)線，此時(shí)算法判定目標(biāo)進(jìn)入監(jiān)控區(qū)域(客流數(shù)加1)或離開(kāi)監(jiān)控區(qū)域(客流數(shù)減1)，當(dāng)前客流統(tǒng)計(jì)過(guò)程結(jié)束，如圖9所示。

設(shè)k時(shí)刻該目標(biāo)在內(nèi)部區(qū)域存在的累計(jì)幀數(shù)為in(k)，在外部區(qū)域存在的累計(jì)幀數(shù)為out(k)，客流方向的起點(diǎn)閾值為Tbegin，終點(diǎn)閾值為Tend，且Tbegin>Tend，定義符號(hào)“∈”表示坐標(biāo)包含于某區(qū)域內(nèi)，則目標(biāo)進(jìn)入監(jiān)控區(qū)域的運(yùn)動(dòng)特征為：

(11)

目標(biāo)離開(kāi)監(jiān)控區(qū)域的運(yùn)動(dòng)特征為：

(12)

本文客流統(tǒng)計(jì)的起點(diǎn)閾值Tbegin=5，終點(diǎn)閾值Tend=2，運(yùn)動(dòng)目標(biāo)通過(guò)客流計(jì)數(shù)線后，其累計(jì)幀數(shù)in(k)和out(k)均要清零，這樣能夠有效防止目標(biāo)中心位置在計(jì)數(shù)線附近抖動(dòng)所造成的客流誤檢。表3為某運(yùn)動(dòng)目標(biāo)通過(guò)客流計(jì)數(shù)線進(jìn)入或離開(kāi)監(jiān)控區(qū)域前后的運(yùn)動(dòng)特征變化，其中符號(hào)“#”表示目標(biāo)進(jìn)入監(jiān)控區(qū)域的時(shí)刻，符號(hào)“*”表示目標(biāo)離開(kāi)監(jiān)控區(qū)域的時(shí)刻。

圖9 客流統(tǒng)計(jì)過(guò)程示意圖

表3 目標(biāo)進(jìn)入或離開(kāi)監(jiān)控區(qū)域時(shí)的運(yùn)動(dòng)特征變化

3.3 行人擁堵與物件滯留

若手扶電梯出入口區(qū)域存在行人擁堵或大物件滯留，容易發(fā)生安全事故，因此需要對(duì)兩類行為進(jìn)行監(jiān)控，由于出入口區(qū)域面積較小，因此某目標(biāo)在該區(qū)域內(nèi)靜止或反復(fù)作小幅移動(dòng)均認(rèn)為是擁堵或滯留，設(shè)Tcf為擁堵滯留的跟蹤強(qiáng)度閾值，實(shí)驗(yàn)中Tcf=2 000，則行人擁堵或物件滯留的運(yùn)動(dòng)特征如下：

cf(k)>Tcf

(13)

4 實(shí)驗(yàn)結(jié)果與分析

為分析基于Adaboost和碼本模型的視頻監(jiān)控方法的效果，對(duì)12段手扶電梯出入口視頻序列進(jìn)行實(shí)驗(yàn)，視頻包含不同光照環(huán)境下物件滯留、行人正常通過(guò)、逆行、滯留和擁堵等多種事件，算法在i5-6200U 2.40 GHz CPU、8 GB RAM、Windows 10操作系統(tǒng)的計(jì)算機(jī)上用C++編程實(shí)現(xiàn)。視頻圖像大小為480×272，處理速度達(dá)到36幀/秒。

4.1 目標(biāo)跟蹤實(shí)驗(yàn)結(jié)果

從某目標(biāo)進(jìn)入監(jiān)控區(qū)域開(kāi)始跟蹤，至其離開(kāi)并結(jié)束跟蹤，設(shè)目標(biāo)存在于監(jiān)控區(qū)域期間經(jīng)歷的總幀數(shù)為n，若算法能夠連續(xù)穩(wěn)定地跟蹤目標(biāo)位置且累計(jì)跟蹤幀數(shù)達(dá)到0.95n以上，則認(rèn)為算法成功跟蹤該目標(biāo)。設(shè)整個(gè)視頻監(jiān)控過(guò)程中實(shí)際總目標(biāo)數(shù)為TG(Target)，則按上述方法定義成功跟蹤數(shù)為TP(True Positive)，若算法將行人肩部或背景中的陰影等誤檢為人頭則計(jì)入誤檢數(shù)FP(False Positive)，若無(wú)法檢測(cè)出某目標(biāo)則計(jì)入漏檢數(shù)FN(False Negative)。本文采用文獻(xiàn)[13]的性能指標(biāo)分析算法對(duì)行人目標(biāo)及物件目標(biāo)的跟蹤效果，分別是精確率PR(Precision)、召回率RE(Recall)和調(diào)和均值F1(F1Score)，其中PR=TP/(TP+FP)，RE=TP/(TP+FN)，F(xiàn)1=2TP/(2TP+FP+FN)。圖10為目標(biāo)跟蹤結(jié)果，圓形框?yàn)樾腥烁櫧Y(jié)果及其軌跡，矩形框?yàn)槲锛櫧Y(jié)果及其軌跡，表4為目標(biāo)跟蹤性能指標(biāo)。

圖10 目標(biāo)跟蹤結(jié)果

目標(biāo)跟蹤的結(jié)果和性能指標(biāo)表明，算法能夠在行人目標(biāo)和物件目標(biāo)同時(shí)存在的情況下分別對(duì)其進(jìn)行連續(xù)穩(wěn)定的跟蹤，行人跟蹤的總調(diào)和均值為96.1%，物件跟蹤的總調(diào)和均值為94.9%，算法在光照充足且穩(wěn)定的環(huán)境下性能達(dá)到最佳。

對(duì)行人跟蹤性能指標(biāo)進(jìn)行分析，Adaboost人頭分類器能夠有效抵抗檢測(cè)環(huán)境光照強(qiáng)度及其穩(wěn)定性的影響。由于光照不足或不穩(wěn)所造成的召回率降幅約為3%，說(shuō)明不良的光照環(huán)境造成了更多漏檢，這與HOG特征基于方向梯度的特性相符合。但即使是惡劣的光照環(huán)境下算法的調(diào)和均值也能保持在94%以上，說(shuō)明算法對(duì)環(huán)境光照的變化是魯棒的。在此基礎(chǔ)上，客流的擁擠情況是造成算法性能下降的主要原因，相同光照條件下，算法對(duì)稀疏客流的跟蹤性能比對(duì)擁擠客流的跟蹤性能提高3.5%以上。在稀疏情況下，俯視人體的肩部HOG特征與人頭相似，可能造成誤檢；而在擁擠情況下，人體邊緣的粘連、衣物顏色過(guò)深和行人相距過(guò)近造成的陰影等因素使人頭的HOG特征不再明顯，造成了更多漏檢，圖11為上述幾種誤檢或漏檢情況的例子。

圖11 幾種誤檢或漏檢情況

對(duì)物件跟蹤性能指標(biāo)進(jìn)行分析，碼本模型在手扶電梯出入口等光照變化緩慢均勻的環(huán)境下有較好的背景建模效果，但是作為一種傳統(tǒng)的背景建模方法，碼本模型無(wú)法分割擁擠情況下的粘連目標(biāo)。對(duì)視頻監(jiān)控這一任務(wù)而言，物件跟蹤一般為大件物品滯留判定提供有用信息，因此實(shí)際工程中視頻監(jiān)控對(duì)物件跟蹤的性能要求較低。雖然在惡劣的光照環(huán)境下調(diào)和均值的降幅達(dá)到了9%以上，但引入某些先驗(yàn)知識(shí)及矯正條件后，算法的物件跟蹤總計(jì)調(diào)和均值仍能夠達(dá)到94%以上，足以完成滯留判定任務(wù)。此外，算法的精確率較低而召回率較高，說(shuō)明碼書模型一類的傳統(tǒng)背景建模方法主要缺點(diǎn)在于容易造成誤檢。由目標(biāo)跟蹤的結(jié)果及性能指標(biāo)來(lái)看，結(jié)合Adaboost和碼本模型的多目標(biāo)跟蹤算法能夠準(zhǔn)確地建立行人及物件目標(biāo)的位置序列，這為目標(biāo)行為監(jiān)控奠定了良好的基礎(chǔ)。

表4 目標(biāo)跟蹤性能指標(biāo)

4.2 目標(biāo)行為監(jiān)控實(shí)驗(yàn)結(jié)果

本文完成了視頻監(jiān)控中逆行檢測(cè)、客流統(tǒng)計(jì)、行人擁堵和物件滯留等監(jiān)控任務(wù)，仍然采用文獻(xiàn)[13]中的PR、RE和F1指標(biāo)分析算法對(duì)目標(biāo)行為的監(jiān)控效果，圖12為目標(biāo)行為檢測(cè)結(jié)果，表5為目標(biāo)行為監(jiān)控的性能指標(biāo)。

圖12 目標(biāo)行為檢測(cè)結(jié)果

分析目標(biāo)行為檢測(cè)的結(jié)果和性能指標(biāo)，其中逆行檢測(cè)和行人擁堵的效果僅決定于行人跟蹤的性能，因此二者的性能指標(biāo)與行人跟蹤的相關(guān)指標(biāo)相近。對(duì)客流統(tǒng)計(jì)而言，若無(wú)法保證行人跟蹤的性能，則目標(biāo)在通過(guò)客流計(jì)數(shù)線時(shí)可能多次觸發(fā)即發(fā)生誤檢，表現(xiàn)在客流統(tǒng)計(jì)的精確率只有91.3%，與其他目標(biāo)行為的指標(biāo)相比數(shù)值較低，因此該行為的調(diào)和均值也是最低的。物件滯留主要利用碼本模型的相關(guān)背景建模與前景提取算法，在物件目標(biāo)跟蹤部分的分析中已經(jīng)提到，在良好的光照環(huán)境下，較低的跟蹤性能便足以完成該監(jiān)控任務(wù)，因此物件滯留的調(diào)和均值能夠達(dá)到最高的97.2%?？傮w而言，算法能夠在各種環(huán)境下準(zhǔn)確地完成基本的視頻監(jiān)控任務(wù)，對(duì)各行為的檢測(cè)調(diào)和均值均達(dá)到93.9%以上，平均調(diào)和均值為95.8%，算法有較強(qiáng)的魯棒性。

表5 目標(biāo)行為監(jiān)控結(jié)果

5 結(jié)語(yǔ)

為了解決傳統(tǒng)視頻監(jiān)控方法在密集目標(biāo)場(chǎng)景下失效的問(wèn)題，滿足智能監(jiān)控系統(tǒng)的實(shí)時(shí)性需求，本文提出了一種基于Adaboost和碼本模型的多目標(biāo)視頻監(jiān)控方法，通過(guò)訓(xùn)練得到Adaboost人頭分類器，利用碼本算法為垂直拍攝的手扶電梯出入口圖像建立背景模型，提取前景圖像對(duì)其進(jìn)行人頭檢測(cè)和跟蹤，之后剔除行人目標(biāo)得到物件目標(biāo)，對(duì)物件目標(biāo)進(jìn)行跟蹤，最后根據(jù)行人和物件的運(yùn)動(dòng)特征進(jìn)行監(jiān)控。實(shí)驗(yàn)表明，本文的監(jiān)控算法能夠準(zhǔn)確穩(wěn)定地跟蹤行人和物件兩類目標(biāo)，通過(guò)分析目標(biāo)的運(yùn)動(dòng)特征能夠準(zhǔn)確完成逆行檢測(cè)、客流統(tǒng)計(jì)、行人擁堵和物件滯留等監(jiān)控任務(wù)，處理速度達(dá)到36幀/秒，目標(biāo)跟蹤準(zhǔn)確率達(dá)到94%以上，行為監(jiān)控準(zhǔn)確率達(dá)到95.8%，滿足智能視頻監(jiān)控系統(tǒng)魯棒性、實(shí)時(shí)性和準(zhǔn)確性的要求。但算法仍然存在不足，當(dāng)檢測(cè)環(huán)境過(guò)暗或光照產(chǎn)生猛烈突變時(shí)，算法容易監(jiān)控失敗。今后將會(huì)在多目標(biāo)檢測(cè)與跟蹤方面改善算法的性能，增強(qiáng)算法在不同應(yīng)用場(chǎng)合下的魯棒性，使其更好地應(yīng)用在各種智能視頻監(jiān)控系統(tǒng)當(dāng)中。

References)

[1] 潘浩,高枝寶,何小海,等.基于計(jì)算機(jī)視覺(jué)的公交系統(tǒng)人流量檢測(cè)算法[J].計(jì)算機(jī)工程,2007,33(11):216-218.(PAN H, GAO Z B, HE X H, et al. Pedestrian flow detection algorithm in public transport system based on computer vision[J]. Computer Engineering, 2007, 33(11): 216-218.)

[2] 顧德軍,伍鐵軍.一種基于人頭特征的人數(shù)統(tǒng)計(jì)方法研究[J].機(jī)械制造與自動(dòng)化,2010,39(4):134-138.(GU D J, WU T J. Pedestrian count method based on head feature [J]. Machine Building & Automation, 2010, 39(4): 134-138.)

[3] 張姍姍,景文博,劉學(xué),等.一種基于深度信息的人頭檢測(cè)方法[J].長(zhǎng)春理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2016,39(2):107-111.(ZHANG S S, JING W B, LIU X, et al. A head detection method based on depth information [J]. Journal of Changchun University of Science and Technology (Natural Science), 2016, 39(2): 107-111.)

[4] 文嘉俊,徐勇,戰(zhàn)蔭偉.基于AdaBoost和幀間特征的人數(shù)統(tǒng)計(jì)[J].中國(guó)圖象圖形學(xué)報(bào),2011,16(9):1729-1735.(WEN J J, XU Y, ZHAN Y W. People counting based on AdaBoost and inter-frame features [J]. Journal of Image and Graphics, 2011, 16(9): 1729-1735.)

[5] LI B, ZHANG J, ZHANG Z, et al. A people counting method based on head detection and tracking [C]// Proceedings of the 2014 International Conference on Smart Computing. Washington, DC: IEEE Computer Society, 2014: 136-141.

[6] 樸春赫,潘怡霖,趙海,等.基于改進(jìn)ViBe的多行人檢測(cè)方法[J].東北大學(xué)學(xué)報(bào)(自然科學(xué)版),2016,37(4):481-485.(PAK C H, PAN Y L, ZHAO H, et al. Multi-pedestrian detection approach based on improved ViBe algorithm [J]. Journal of Northeastern University (Natural Science), 2016, 37(4): 481-485.)

[7] ZHAO L, THORPE C E. Stereo- and neural network-based pedestrian detection [J]. IEEE Transactions on Intelligent Transportation Systems, 2000, 1(3): 148-154.

[8] KIM K, CHALIDABHONGSE T H, HARWOOD D, et al. Real-time foreground-background segmentation using codebook model [J]. Real-Time Imaging, 2005, 11(3): 172-185.

[9] KIM K, CHALIDABHONGSE T H, HARWOOD D, et al. Background modeling and subtraction by codebook construction [C]// Proceedings of the 2004 International Conference on Image Processing. Piscataway, NJ: IEEE, 2004, 5: 3061-3064.

[10] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection [C]// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2005, 1: 886-893.

[11] KéGL B. The return of AdaBoost.MH: multi-class Hamming trees [EB/OL]. [2016- 12- 20]. https://core.ac.uk/download/pdf/24989526.pdf.

[12] KELLY A. A 3D state space formulation of a navigation Kalman filter for autonomous vehicles [EB/OL]. [2016- 12- 20]. http://frc.ri.cmu.edu/users/alonzo/pubs/reports/kalman_V2.pdf.

[13] POWERS D M W. Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation [J]. Journal of Machine Learning Technologies, 2011, 2(1): 37-63.

VideomonitoringmethodofescalatorentranceareabasedonAdaboostandcodebookmodel

DU Qiliang, LI Haozheng*, TIAN Lianfang

(CollegeofAutomationScienceandEngineering,SouthChinaUniversityofTechnology,GuangzhouGuangdong510640,China)

Aiming at the problem that the traditional video monitoring method can not divide the dense foreground objects accurately, a multi-target video monitoring method based on Adaboost and codebook model was proposed. Firstly, the Adaboost human head classifier was obtained by training, and the background model was established for the vertical elevator image by the codebook algorithm. The foreground image was extracted and heads were detected and tracked. After that, the pedestrian targets were removed to get the object targets, and the object targets were tracked. Finally, the movement of pedestrians and objects was monitored. The experimental results on 12 entrance area videos show that the method can track pedestrians and objects accurately and stably. It can accomplish the monitoring tasks of retrograde detection, passenger statistics, pedestrian congestion and object retention. With the processing speed of 36 frames per second, the tracking-accuracy rate is above 94% and the monitoring-accuracy rate is 95.8%. The proposed algorithm meets robustness, real-time and accuracy requirements of the intelligent video monitoring system.

Adaboost; background modeling; video monitoring; head detection; multi-target tracking

2017- 03- 23;

2017- 05- 17。

廣州市產(chǎn)學(xué)研項(xiàng)目(201604010114)；廣東省前沿與關(guān)鍵技術(shù)創(chuàng)新專項(xiàng)資金資助項(xiàng)目(2016B090912001)；廣州市科信局國(guó)際合作項(xiàng)目(2012J5100001)。

杜啟亮(1980—)，男，廣東佛山人，副研究員，博士，主要研究方向：機(jī)器人、機(jī)器視覺(jué)； 黎浩正(1994—)，男，廣東番禺人，碩士研究生，主要研究方向：計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)； 田聯(lián)房(1969—)，男，山東濟(jì)寧人，教授，博士，主要研究方向：模式識(shí)別、人工智能。

1001- 9081(2017)09- 2610- 07

10.11772/j.issn.1001- 9081.2017.09.2610

TP391.4

A

This work is partially supported by the Projects on the Integration of Industry, Education and Research of Guangzhou (201604010114), the Special Funds for Frontier and Key Technology Innovation of Guangdong (2016B090912001), the International Cooperation Projects of Science and Technology Information Bureau of Guangzhou (2012J5100001).

DUQiliang, born in 1980, Ph. D., associate research fellow. His research interests include robot, machine vision.

LIHaozheng, born in 1994, M. S. candidate. His research interests include computer vision, machine learning.

TIANLianfang, born in 1969, Ph. D., professor. His research interests include pattern recognition, artificial intelligence.