楊 璐

(西安航空職業(yè)技術(shù)學(xué)院,陜西西安710089)

1 引 言

基于視頻圖像的教室人數(shù)統(tǒng)計屬于人數(shù)統(tǒng)計的一個分支,它主要應(yīng)用于學(xué)校自習(xí)室利用資源的調(diào)配和上課學(xué)生人數(shù)統(tǒng)計中,目前基于視覺方法的人數(shù)統(tǒng)計方法主要有2種:一種是在門口處統(tǒng)計人流量、另一種是統(tǒng)計座位上的人。第1種方法是從垂直角度場景統(tǒng)計人流法,主要運用于統(tǒng)計人流量,通過在門口垂直上方安裝攝像機,用圖像處理的方法識別人的頭部和肩部的垂直向下的形狀來判別是否有人經(jīng)過從而統(tǒng)計人的個數(shù)。它在精度上比使用光電傳感器要高,而且允許多個人同時通過。此方法主要應(yīng)用于統(tǒng)計人流量或者不需要知道人具體位置的場合,如商場、公交車[1]。第2種方法則是通過將攝像機安裝在房間的一定高度,通過實時處理房間的平面圖像,判斷各個座位上是否有人,從而統(tǒng)計出當(dāng)前房間內(nèi)的人數(shù)。該方法的優(yōu)點是:1) 圖像為實時處理,處理準(zhǔn)確度高,不會存在累積誤差；2) 可以給出當(dāng)前房間內(nèi)人的分布位置圖,有更多的應(yīng)用前景。

本文在第2種方法的基礎(chǔ)上進行進一步的研究,在人體識別和視頻理解方面方面,馬里蘭大學(xué)的實時視覺監(jiān)控系統(tǒng)W4,不僅能夠定位人和分割出人的身體部分[2],而且通過建立外觀模型來實現(xiàn)多人的跟蹤,并可以檢測人是否攜帶物體等簡單行為。

Taozhao等[3]建立人體模型,基于視頻中人頭不宜被遮擋的前提,識別人上半身形狀,確定人體位置,然后通過攝像機標(biāo)定技術(shù)確定人體模型參數(shù),利用卡爾曼濾波算法跟蹤對象,解決對象擁擠遮擋問題,得到了很好的統(tǒng)計效果。本文基于以上研究基礎(chǔ),通過輪廓提取結(jié)合運動目標(biāo)跟蹤算法來實現(xiàn)人體識別,進而實現(xiàn)教室人數(shù)的統(tǒng)計。

2 教室人體識別及統(tǒng)計算法

由于教室場景中,座椅、走道等背景基本固定,所以將教室中可能坐人的地域預(yù)先標(biāo)定好(一般是座椅處,這些區(qū)域在下文被稱為敏感區(qū)域)。

首先進行圖像的預(yù)處理,由于光照的不均勻及傳輸過程中帶入的脈沖噪聲,導(dǎo)致捕獲的圖像出現(xiàn)局域過亮或過暗現(xiàn)象,或是呈現(xiàn)出隨機分布的噪聲點,因此我們首先對采集來的圖像進行去噪和光照歸一化處理[4]。用Laplace濾波去除噪聲,用數(shù)學(xué)形態(tài)學(xué)運算進行光照歸一化處理，從而在保留有用信息的前提下,除去無用的干擾。

然后進行圖像的靜態(tài)識別，通過灰度、輪廓2個主要參數(shù)來判斷敏感區(qū)里是否有人；另外,根據(jù)觀察,在大部分人的輪廓都有最高點,即人的頭頂，找到當(dāng)前區(qū)域內(nèi)的輪廓最高點,判斷其是否在區(qū)域的邊緣以內(nèi)：若在區(qū)域邊緣以內(nèi)則認(rèn)為該區(qū)域?qū)?yīng)的座位沒人；若在該區(qū)域邊界處則認(rèn)為該區(qū)域有人。

最后針對走廊上的人,采用經(jīng)典的運動目標(biāo)檢測方法背景累積差分算法來識別[5]。通過此方法可將過道上走動的同學(xué)識別出來,保證系統(tǒng)功能的全面性。

算法整體流程圖如圖1所示。圖1中?代表計算結(jié)果的融合。

圖1 算法流程圖Fig.1 Algorithm flow chart

2.1 人體輪廓提取算法

1) 圖像差分

需要對有人的區(qū)域進行凸顯,此步驟采用有人教室的圖片,與空教室的圖片模版做差,達到確定有人區(qū)域的目的。

2) 閾值處理

8位灰度圖像的像素值為0～255,需要將其轉(zhuǎn)化為二值圖像Gk(i,j),這樣即可得到與背景不相符的區(qū)域的范圍[6]。

式中T為灰度閾值,需根據(jù)教室光照等環(huán)境情況依據(jù)調(diào)試結(jié)果取值。

3) 邊緣提取

圖像的邊緣提取與圖像的閾值處理并行,將教室里的所有輪廓以二值圖像提取出來。由于采用單種輪廓的提取方法總是存在某些方面的缺陷,因此采用Laplace和Canny兩種提取邊緣方法的疊加[7]。

Laplace算子是各向同性算子,基本原理是將圖像進行二階微分來實現(xiàn)的,這種算子與圖像中像素突變的方向無關(guān),一個二元圖像函數(shù)f(x,y)的Laplace變換定義為:

數(shù)字離散實現(xiàn)為:

2f=[f(x+1,y)+
f(x-1,y)+f(x,y+1)+
f(x,y-1)]-4f(x,y)

處理后就得到了Laplace濾波后的圖像,然后將該圖像進行二值化處理,就得到了教室內(nèi)的輪廓。Laplace算法提取出的輪廓保留豐富的人的細節(jié)信息,這對接下來圖像輪廓特征識別提供了極大的便利。

雖然Laplace算法提取的邊緣很好地保留了細節(jié),但它卻常常會產(chǎn)生雙邊界,不是最優(yōu)的邊緣。Canny算法則可以很好地彌補這一點,它的主要步驟:用高斯濾波器平滑圖像;用一階偏導(dǎo)的有限差分計算梯度的幅值和方向;對梯度幅值進行非極大值抑制;用雙閾值算法檢測和連接邊緣采用高斯平滑函數(shù)[8]。Canny算法得到的邊緣形狀很規(guī)則,將它與Laplace疊加后,就可為后面的邊緣特征識別所用。

4) 圖像形態(tài)學(xué)處理

由于單純的輪廓信息難以滿足區(qū)域連通性要求,因此,對圖像進行圖像形態(tài)學(xué)處理中的膨脹處理。膨脹處理在二值的邊緣圖像中的作用是,通過將邊緣“加長”和“變粗”,把相近區(qū)域閉合到一起,從而加強及突出人體的邊緣。

膨脹處理的步驟為:對于一個給定圖像集合A,用結(jié)構(gòu)元素B來膨脹:首先對B作關(guān)于結(jié)構(gòu)元素原點的映射,并將其映像平移,最后所有經(jīng)過平移仍與圖像A相交的結(jié)構(gòu)元素B原點位置所在像素組成了膨脹后的圖像[9],其運算符號為⊕,該過程表示為:

A⊕B={x|Bx∩A≠?}

其中?代表是否相交;x為B平移的位置量;Bx為平移后的圖像。

5) 敏感區(qū)域標(biāo)識

由于光照、物體顏色的影響,單純在一張二值圖像中統(tǒng)計與背景不相符的區(qū)域面積,難以得到正確的結(jié)果,因此運用圖像分割技術(shù),利用經(jīng)驗知識標(biāo)定出圖像中的敏感區(qū)域(如桌面、椅子靠背),此后這些敏感區(qū)域是進行特征提取的重點。

6) 人體輪廓特征提取

統(tǒng)計學(xué)特征提取與識別:以一個敏感區(qū)域為單位進行特征提取,從二值圖像中得到該區(qū)域提背景不一致的面積S1(像素值為1的面積),從輪廓圖像中得到該區(qū)域總的輪廓面積S2(也是像素值為1的面積),在進行2部分特征的加權(quán)累加,得到一個綜合性面積S,作為判段依據(jù)[10]。根據(jù)貝葉斯先驗概率模型:S=0.05×S1+0.95×S2,依據(jù)經(jīng)驗選擇一個閾值,來判斷該區(qū)域是否有人。

形狀特征識別:為了減少人擋人情況所造成的誤判,在所得區(qū)域內(nèi)人的部分形態(tài)特征,來進行第二次的判斷。找到當(dāng)前區(qū)域內(nèi)的輪廓最高點,判斷其是否在區(qū)域的邊緣以內(nèi),若在區(qū)域邊緣以內(nèi)則認(rèn)為該區(qū)域?qū)?yīng)的座位沒人,若在該區(qū)域邊界處則認(rèn)為該區(qū)域有人。

2.2 動態(tài)特征識別

考慮到教室的過道中也存在人走動的情況,為系統(tǒng)的完整性,從一個全新的角度去計算它,即識別行人。由于人在走動過程中動作幅度比較大,在圖像中的位置是一個變化的過程,因此只要找到像素值變化比較大的點,就可以判定出運動的區(qū)域,再根據(jù)篩選即可判斷此處是否有人。

由于攝像機場景中的物體是近大遠小,建立了攝像機的正向透視投影的近似模型:以圖片左上角為坐標(biāo)原點,原點向下為Y的正方向,人的平均寬度、高度為:

由于人身體大小不同,wm和hm的值上下浮動35%內(nèi)均認(rèn)為合理。

然后運用融合了固定背景差分算法與幀間差分算法[11]的運動目標(biāo)檢測方法將攝像機獲取的當(dāng)前幀圖像與背景圖像做差,得到一張以灰度格式保存下的照片,從而提取了與背景不一致的信息。對獲得的當(dāng)前運動物體所在的區(qū)域,進行區(qū)域連通性分析,將符合人長寬標(biāo)準(zhǔn)的區(qū)域提取出來,當(dāng)某一連通性區(qū)域面積和大致的長寬形狀滿足當(dāng)前攝像機近似模型中人的相應(yīng)參數(shù)時,即可判斷此處有人[12,13]。

3 實驗與結(jié)果分析

為了驗證本文算法的有效性,針對容量為40人及100人的2種教室進行了對比實驗。實驗針對窗簾全拉、全開的教室環(huán)境下,對人密度較大、人密度一般、有人走動3種情況分別做了測試,前2種情況主要測試算法識別座位上的人的正確率,第3種情況主要測試算法識別行人的正確率。

3.1 攝像機位置布置

由于攝像機的位置直接與實驗結(jié)果相關(guān),為了得到相對合理的實驗結(jié)果,對攝像機的布置位置進行了實驗。攝像機采集圖像的范圍能覆蓋整個教室,并且要盡量減小前后物體的遮擋。首先,攝像機架設(shè)的位置越高,遮擋情況就會越小,但是架設(shè)高度不能無限制增長,受房間天花板高度的制約。如果上下維度不能滿足足夠的角度來減少遮擋,則要通過前后移動攝像機來滿足要求,如果這兩點都無法實現(xiàn)則要考慮增設(shè)攝像機。

覆蓋教室既要覆蓋到教室左右的范圍,又要覆蓋到教室前后的范圍。根據(jù)教室左右寬度可以選擇廣角的固定攝像機或者PTZ攝像機,保證在橫向能夠完全覆蓋教室。而要覆蓋教室前后范圍,則跟攝像機的攝像角度、安裝角度以及架設(shè)高度有關(guān)。

由于不同類型教室座椅的分布不同,劃分敏感區(qū)域的準(zhǔn)則和方案也有所不同,本文給出一種沒有階梯的教室,攝像機架設(shè)高度的計算方法。這種情況下敏感區(qū)域主要是椅子的后背。

圖2所示是教室最后一排的位置,理想的攝像機架設(shè)高度應(yīng)該滿足在教室后面的椅子靠背不會被前排遮擋,圖2中:h為椅子靠背的高度,w為椅子之間的間距,γ最小入射角,γ是一個臨界角度,由圖2可以看出γ滿足:

(1)

圖2 教室座椅分布示意圖Fig.2 Seat of classroom schematic diagram

把圖2所示教室座椅分布放在一個教室里,如圖3所示。圖3中H為攝像機的架設(shè)高度,H1房間天花板高度,L1為第一排桌子離黑板的距離,L為教室的前后長度。

圖3 教室攝像機布局示意圖Fig.3 Camera of classroom schematic diagram

根據(jù)式(1)可以求得,攝像機的最小安裝高度為:H=L· tanγ,當(dāng)然這并不是一個必須遵守的值,但是太小于這個值會使得算法處理的難度加大、準(zhǔn)確度降低。

一般而言攝像機架設(shè)高度會影響到圖片的質(zhì)量,目標(biāo)區(qū)域需要最大的展現(xiàn)識別目標(biāo),在遮擋不嚴(yán)重的情況下(不偏離γ太多即可),當(dāng)攝像機架設(shè)高度對應(yīng)所需的角度最大時,即圖3中的α角大,這是最佳的架設(shè)點。這樣就可以得到:

由此可做出α,H的關(guān)系曲線,如圖4所示。圖4說明了當(dāng)H達到一定高度時,攝像機可以以最大的入射角拍攝照片。圖4所取相應(yīng)的參數(shù)為:L=20 m,L1=1.5 m。得到最佳架設(shè)高度在4.32 m左右。

圖4 α-H關(guān)系曲線Fig.4 α-H relationship curve

3.2 算法驗證

在有40人規(guī)模的教室中,根據(jù)的攝像機布置規(guī)則部署實驗環(huán)境,圖5和圖6分別為無人和有人環(huán)境。

圖5 無人環(huán)境Fig.5 Unmanned classroom

圖6 有人環(huán)境Fig.6 Manned classroom

對圖6進行歸一化后處理,歸一化后的圖像如圖7所示。圖8為灰度差分之后的結(jié)果。對人體靜態(tài)特征輪廓進行提取后結(jié)果如圖9所示,其中圖9中的座椅區(qū)域為2.1節(jié)中的敏感區(qū)域標(biāo)識。

圖7 歸一化后效果Fig.7 Effect of normalization

圖8 灰度差分后效果Fig.8 Effect of the gray scale difference

圖9 輪廓提取Fig.9 Contour extraction

在有人走動的環(huán)境下,采用動態(tài)特征識別后的結(jié)果如圖10所示。

圖10 動態(tài)特征識別Fig.10 Dynamic feature recognition

可以看出,算法較好地提取除了運動的人體,在非敏感區(qū)內(nèi)獲取到運動的人體輪廓可以有效地提高系統(tǒng)普適性。

對100余幀教室不同情況的圖片進行處理,用誤判的總?cè)藬?shù)除以照片的總幀數(shù),得到總的正確率,統(tǒng)計出正確人數(shù)的精確度達到了95.4%,即每一百種教室情況下中約有4～5人被誤判,誤判的情況基本上都是因為前排人站起或進行其他活動并遮擋后排座椅造成的,而針對學(xué)生在座位就坐學(xué)習(xí)的大多數(shù)情況,算法具備較高的準(zhǔn)確性。圖11是一種誤判的情況。

圖11 誤判Fig.11 Incorrect result

4 結(jié) 論

針對基于視頻的教室人數(shù)自動統(tǒng)計應(yīng)用場景,設(shè)計了靜態(tài)人體輪廓識別和動態(tài)人體運動檢測算法,解決了教室人數(shù)自動統(tǒng)計的問題,為下一步調(diào)配學(xué)校自習(xí)室利用資源的和統(tǒng)計上課學(xué)生人數(shù)提供了技術(shù)依據(jù)。下一步還將對方法的有效性進行進一步驗證及進行相應(yīng)的改進,針對人體誤判的情況將通過后續(xù)的研究進行算法優(yōu)化改進,逐漸提高算法的適用性。