張震+李進(jìn)鋼

摘 要： 公交車(chē)客流統(tǒng)計(jì)是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究方向，然而由于陰影、光照變化等動(dòng)態(tài)紋理因素的影響使得構(gòu)建一個(gè)實(shí)時(shí)精確的客流統(tǒng)計(jì)算法變得較為困難。針對(duì)以上難題，提出一種基于OpenCV實(shí)現(xiàn)單目視覺(jué)下的客流統(tǒng)計(jì)方法。首先對(duì)取得的實(shí)時(shí)圖像進(jìn)行預(yù)處理；然后運(yùn)用Codebook和形態(tài)學(xué)濾波相結(jié)合的方法建立背景模型，消除動(dòng)態(tài)紋理對(duì)前景的影響；最后采用改進(jìn)的Hough變換提取乘客的頭部區(qū)域，進(jìn)行跟蹤計(jì)數(shù)。實(shí)驗(yàn)結(jié)果表明，乘車(chē)環(huán)境中該方法的檢測(cè)準(zhǔn)確率達(dá)88.6%以上，可應(yīng)用于實(shí)時(shí)的客流計(jì)數(shù)系統(tǒng)。

關(guān)鍵詞： 客流計(jì)數(shù)； Codebook； 背景模型； 形態(tài)學(xué)濾波； 霍夫變換

中圖分類(lèi)號(hào)： TN911?34； TP391.41 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）02?0016?05

Abstract： The bus passenger flow statistics is an important research direction in computer vision field. However， the influence of dynamic texture factors such as shadow and illumination variation makes the construction of a real?time accurate bus passenger flow statistic algorithm difficult. To solve this problem， a bus passenger counting method based on OpenCV is presented. The obtained real?time image is preprocessed. The method of combining Codebook background model with morphological filtering is adopted to build the the background model to eliminate the influence of dynamic texture on the foreground. The improved Hough transform is used to extract the head region of the passengers for tracking counting. The experiment results show that the calculation accuracy of the algorithm can reach more than 88.6%， so it can be applied to the real?time passenger counting system.

Keywords： passenger counting； Codebook； background model； morphological filtering； Hough transform

0 引 言

快速、精確地統(tǒng)計(jì)公共區(qū)域人流量，對(duì)商業(yè)應(yīng)用和公共安全有著重要的意義。公交車(chē)作為一種載客量大和周轉(zhuǎn)率高的公共交通工具，其智能化管理水平直接關(guān)系著城市的交通運(yùn)行情況。根據(jù)實(shí)時(shí)客流情況，合理安排公交車(chē)輛調(diào)度，可以有效解決出行難問(wèn)題。由于乘車(chē)環(huán)境光線(xiàn)的劇烈變化和較高的實(shí)時(shí)性要求，公交車(chē)的客流統(tǒng)計(jì)技術(shù)成為研究的難點(diǎn)。

目前，機(jī)器視覺(jué)領(lǐng)域已經(jīng)成為客流統(tǒng)計(jì)研究的重點(diǎn)，文獻(xiàn)[1?2]采用在 DSP 上實(shí)現(xiàn)雙向通道和出入口的視頻人數(shù)統(tǒng)計(jì)方法，運(yùn)算量較大，無(wú)法滿(mǎn)足實(shí)時(shí)性的要求。文獻(xiàn)[3]利用雙目立體攝像機(jī)，只對(duì)感興趣的區(qū)域進(jìn)行跟蹤并計(jì)數(shù)，該方法需要在公交車(chē)上安裝相應(yīng)的雙目攝像系統(tǒng)，成本較高且不實(shí)際。文獻(xiàn)[4?5]利用人頭顏色和背景的差異進(jìn)行人數(shù)統(tǒng)計(jì)，易在白發(fā)老人上下車(chē)的場(chǎng)景中出現(xiàn)較大誤差。針對(duì)以上方法的不足，本文提出一種基于Codebook[6?7]和Hough[8]變換實(shí)現(xiàn)單目視覺(jué)下的客流統(tǒng)計(jì)方法。該方法充分利用公交車(chē)內(nèi)已有的監(jiān)控系統(tǒng)，提取乘客頭部特征，實(shí)現(xiàn)乘客上下車(chē)方向判別和自動(dòng)計(jì)數(shù)的功能。系統(tǒng)整體框架如圖1所示。

1 圖像預(yù)處理

圖像預(yù)處理作為公交乘客檢測(cè)算法的基礎(chǔ)，其處理效果直接影響到后期的運(yùn)動(dòng)檢測(cè)等一系列操作。在公交車(chē)視頻監(jiān)控環(huán)境下，由于不可避免地受到噪聲干擾，影響到后續(xù)的目標(biāo)檢測(cè)。在研究經(jīng)典背景提取算法的基礎(chǔ)上，本文選取全局閾值法對(duì)采集得到的CCD彩色圖像進(jìn)行預(yù)處理，將目標(biāo)和背景簡(jiǎn)單的分開(kāi)，得到乘客輪廓信息，處理結(jié)果如圖2所示。

2 運(yùn)動(dòng)目標(biāo)檢測(cè)

公交車(chē)在行進(jìn)過(guò)程中，車(chē)內(nèi)光線(xiàn)、陰影一直在發(fā)生變化，這最終都將反映到攝像頭攝取的實(shí)時(shí)圖像中。為了能夠?qū)ψ兓膱?chǎng)景進(jìn)行背景建模，本文選取了Codebook和形態(tài)學(xué)濾波相結(jié)合的算法。

2.1 建立背景模型

Codebook算法基本思想是為圖像中每一個(gè)像素點(diǎn)匹配一個(gè)包含多個(gè)碼元的碼本。其中，每個(gè)碼元包含背景學(xué)習(xí)、檢測(cè)時(shí)的最大、最小閾值成員。在背景建模期間，對(duì)每個(gè)像素點(diǎn)進(jìn)行碼本匹配，檢測(cè)像素點(diǎn)的觀察值是否在碼元的學(xué)習(xí)閾值范圍之內(nèi)，如果在碼本中某個(gè)碼元的閾值范圍內(nèi)，則認(rèn)為它是擾動(dòng)的；如果不在碼本中某個(gè)碼元的閾值范圍內(nèi)，則背景是動(dòng)態(tài)的，需要建立新的碼元并設(shè)置相應(yīng)的閾值。因此，在建立背景模型的過(guò)程中，不斷進(jìn)行碼本匹配，最終得到動(dòng)態(tài)的背景模型。

處理時(shí)，對(duì)每一像素建立對(duì)應(yīng)的Codebook，捕捉背景中相關(guān)變化的圖像，在進(jìn)行足夠多幀的圖像學(xué)習(xí)后，訓(xùn)練一個(gè)基本的背景模型。通過(guò)不斷更新有移動(dòng)前景條件下的背景，從而保持背景能定期得到更新。

2.2 運(yùn)動(dòng)檢測(cè)

比較對(duì)應(yīng)像素的Codebook是否出現(xiàn)在碼元中，輸出比較的結(jié)果：某個(gè)像素在該像素的編碼組的某個(gè)碼元的范圍之內(nèi)，則判斷該點(diǎn)是背景點(diǎn)，輸出值為0，否則判斷是前景點(diǎn)，輸出值為1，運(yùn)動(dòng)前景被提取出來(lái)。

2.3 形態(tài)學(xué)濾波

Codebook區(qū)分出的前景序列不可避免地受到光照、陰影等動(dòng)態(tài)紋理因素的影響，這樣有可能導(dǎo)致下一步目標(biāo)分割不成功。本文采用形態(tài)學(xué)腐蝕濾除動(dòng)態(tài)紋理帶來(lái)的干擾，腐蝕公式如下：

由于動(dòng)態(tài)紋理在前景圖像上會(huì)造成“斑點(diǎn)”，與運(yùn)動(dòng)前景中的人體相比，這些斑點(diǎn)面積很小，并不連貫，呈離散分布狀態(tài)。運(yùn)用圖像腐蝕可以較好地消除“斑點(diǎn)”。圖3（a）表示視頻序列中的某幀前景，圖3（b）則為腐蝕處理過(guò)的該幀前景。

經(jīng)過(guò)形態(tài)學(xué)腐蝕處理之后，影響前景的“斑點(diǎn)”被消除掉，圖像內(nèi)的較大運(yùn)動(dòng)區(qū)域依然存在，運(yùn)動(dòng)乘客形態(tài)特性更為明顯，為后續(xù)的目標(biāo)分割以及跟蹤計(jì)數(shù)創(chuàng)造了良好的前提條件。

3 運(yùn)動(dòng)目標(biāo)特征提取

運(yùn)動(dòng)目標(biāo)分割是對(duì)目標(biāo)檢測(cè)算法輸出的二值化后的前景圖進(jìn)行分割提取，得到用以追蹤的矩形框?？紤]到可能出現(xiàn)乘客隨身攜帶物品的場(chǎng)景，本文使用一種基于改進(jìn)Hough變換的目標(biāo)分割算法。該分割算法能夠精確識(shí)別乘客頭部在前景圖像上生成的圓形輪廓。

3.1 Hough變換原理

考慮到公交車(chē)的實(shí)際情況，監(jiān)控?cái)z像頭安裝在上下車(chē)門(mén)正上方垂直90°的位置。分析整個(gè)過(guò)程，發(fā)現(xiàn)只有乘客的頭部能保存完整的信息。當(dāng)車(chē)廂內(nèi)較為擁擠時(shí)，乘客身體其他部位遮擋嚴(yán)重，只有頭部信息能夠清晰地反映到圖像中。乘客的頭部是剛體，大小形狀不會(huì)發(fā)生變化，容易區(qū)分出與其他特征部位的差距，經(jīng)過(guò)攝像頭時(shí)，乘客頭部只會(huì)出現(xiàn)一次?；谝陨峡紤]，本文采用乘客頭部作為追蹤的對(duì)象。

在圖像平面中，任意一個(gè)圓的方程式表示如下：

式中：為圓的半徑；為圓心的坐標(biāo)。Hough變換的圓檢測(cè)在變換過(guò)程中，構(gòu)建一個(gè)三維的累加數(shù)組，然后對(duì)圖像中的邊緣點(diǎn)作Hough變換，計(jì)算出該點(diǎn)在三維空間上的對(duì)應(yīng)曲線(xiàn)，在相應(yīng)的累加數(shù)組上進(jìn)行加1操作，即：

通過(guò)累加可以觀測(cè)到累加數(shù)組上的局部最大值的點(diǎn)，這個(gè)最大值對(duì)應(yīng)的點(diǎn)就表示圖像平面上圓的圓心以及半徑參數(shù)。

傳統(tǒng)的基于Hough變換的圓檢測(cè)需要消耗大量的時(shí)間和存儲(chǔ)空間，產(chǎn)生無(wú)效累積，使得Hough變換僅僅在理論分析上是可行的，而幾乎不可能進(jìn)行實(shí)際應(yīng)用。

在實(shí)際計(jì)算中，像素點(diǎn)梯度方向角可在邊緣檢測(cè)中利用邊緣檢測(cè)算子得到，此時(shí)梯度方向角可由梯度向量在x方向上的分量和在y方向上的分量求取，即：

如圖4所示，表示圓心坐標(biāo)，是邊緣點(diǎn)的梯度方向，指向圓心?？傻贸鱿铝杏?jì)算圓心的方程：

本文采用一種基于梯度方向的Hough變換檢測(cè)算法。該方法利用邊緣像素點(diǎn)的局部梯度信息減少計(jì)算量，可以獲得較為精準(zhǔn)的圓心位置。

（1） 運(yùn)用Canny算法對(duì)前景圖像進(jìn)行邊緣提取，獲取邊緣點(diǎn)的灰度變化梯度。

（2） 對(duì)像元進(jìn)行賦值：灰度梯度值大于閾值的像元賦值1，標(biāo)記其梯度方向，并在相應(yīng)的二維累加數(shù)組各單元上進(jìn)行加1操作；灰度梯度值小于閾值的像元賦值0。

（3） 經(jīng)過(guò)步驟1，步驟2處理后，累加數(shù)組中會(huì)出現(xiàn)一個(gè)局部最大值，這個(gè)值就表示圓心的位置坐標(biāo)。

經(jīng)過(guò)以上步驟，累加數(shù)組從三維空間降低為二維空間，一對(duì)多映射修改為一對(duì)一映射，在節(jié)約存儲(chǔ)空間的同時(shí)也降低了計(jì)算量。

3.2 Hough變換的改進(jìn)

Hough變換并不計(jì)算所有的邊緣點(diǎn)，而是隨機(jī)采樣3點(diǎn)，將結(jié)果映射到圓參數(shù)空間中，采樣到達(dá)要求時(shí)，參數(shù)空間中所有值不為0的點(diǎn)都是假定存在的圓。由于Hough變換魯棒性較強(qiáng)，即使檢測(cè)到一小段圓弧，仍將形成目標(biāo)圓，造成干擾。此外，目標(biāo)圓在前景區(qū)域可能被分割成若干段連通的圓弧，Hough變換將檢測(cè)出多個(gè)重疊圓。

經(jīng)過(guò)實(shí)驗(yàn)觀察發(fā)現(xiàn)，檢測(cè)出的真圓上邊緣點(diǎn)的數(shù)量和圓的周長(zhǎng)存在簡(jiǎn)單的正比例關(guān)系，即：半徑越大，其邊緣點(diǎn)的數(shù)量愈多。虛假圓上邊緣點(diǎn)集中分布在某段圓弧處，數(shù)量較少。

為了解決上述問(wèn)題，本文設(shè)定極限匹配值。計(jì)算累加器數(shù)值與半徑的比值大小，若：

認(rèn)為該圓是假圓，直接排除，若：

則將該圓作為候選圓，求取半徑r，本文中取值0.12。

乘客攜帶的隨身物品也會(huì)出現(xiàn)在前景區(qū)域，會(huì)造成較大干擾。為了避免誤檢，考慮到乘客頭部反映到攝像機(jī)中成像的大小，設(shè)置最大圓半徑max_radius和最小圓半徑min_radius，用以限制區(qū)分成圓的半徑大小。只有當(dāng)求得的半徑r在max_radius和min_radius之間，即：

認(rèn)為該候選圓是真圓，進(jìn)行成圓；如果不在二者之間，不進(jìn)行成圓。本文中max_radius設(shè)為150，min_radius設(shè)為90。

為了去除重合圓，經(jīng)過(guò)多次實(shí)驗(yàn)驗(yàn)證，可以粗略地認(rèn)為兩個(gè)圓的圓心之間的距離不能小于兩個(gè)圓的半徑之和的否則認(rèn)為是同一個(gè)圓。假設(shè)兩個(gè)圓，如果滿(mǎn)足式（9），則認(rèn)為這兩個(gè)圓是重合的，只保留其中一個(gè)，如圖5所示。

圖6（a）表示未改進(jìn)情況下的檢測(cè)到的圓， 圖6（b）表示改進(jìn)之后檢測(cè)到的圓。通過(guò)對(duì)比可以看出，改進(jìn)后，Hough變換正確避開(kāi)假圓，在前景內(nèi)提取頭部區(qū)域。

考慮到下一步系統(tǒng)對(duì)目標(biāo)的追蹤和計(jì)數(shù)，矩形框效果更好。本文對(duì)上一步獲得的圓求取外接正方形，作為用于追蹤的矩形框。在運(yùn)動(dòng)檢測(cè)階段，形態(tài)學(xué)腐蝕在消除“斑點(diǎn)”的同時(shí)，也造成頭部邊緣區(qū)域的縮小。為此，選取的矩形框應(yīng)稍大一些，用以補(bǔ)償。

4 運(yùn)動(dòng)目標(biāo)跟蹤及計(jì)數(shù)

4.1 運(yùn)動(dòng)目標(biāo)跟蹤

考慮到公交車(chē)的人流特殊性，乘客之間距離較小且移動(dòng)緩慢，實(shí)時(shí)攝取的圖像中相鄰兩幀時(shí)間差只有數(shù)十ms，運(yùn)動(dòng)目標(biāo)基本未發(fā)生變化，相鄰兩幀圖像同一乘客形成的陰影有很大一部分的區(qū)域是重合的?；谏鲜鎏攸c(diǎn)，本文采用了一種基于目標(biāo)區(qū)域動(dòng)態(tài)更新的跟蹤方法[9]。

本算法的思想是：以第k幀為目標(biāo)幀檢測(cè)到運(yùn)動(dòng)區(qū)域，分割出來(lái)，建立初始模板并進(jìn)行編號(hào)。在第k+1幀中遍歷上一幀目標(biāo)位置的周?chē)鷧^(qū)域，通過(guò)圖像匹配和最小成本估算為目標(biāo)區(qū)域關(guān)聯(lián)最佳模板[10]。這樣，關(guān)聯(lián)的模板和目標(biāo)區(qū)域得到更新。最終通過(guò)不斷更新模板位置，記錄坐標(biāo)，完成對(duì)運(yùn)動(dòng)目標(biāo)的追蹤。追蹤流程圖如圖7所示。

4.2 運(yùn)動(dòng)目標(biāo)計(jì)數(shù)

本文在上下車(chē)門(mén)處設(shè)置計(jì)數(shù)線(xiàn)位置，通過(guò)記錄跟蹤矩形框上下邊框與計(jì)數(shù)線(xiàn)的接觸情況，程序判斷是否啟動(dòng)計(jì)數(shù)系統(tǒng)以及記錄運(yùn)動(dòng)目標(biāo)當(dāng)前狀態(tài)，效果如圖8所示。

5 實(shí)驗(yàn)結(jié)果

由于尚未在公交車(chē)上裝載，因此系統(tǒng)的測(cè)試由計(jì)算機(jī)模擬的方式完成。本文設(shè)計(jì)的硬件開(kāi)發(fā)平臺(tái)為SBS3730開(kāi)發(fā)板，軟件開(kāi)發(fā)平臺(tái)為Qt，采用OpenCV算法庫(kù)中的圖像數(shù)據(jù)結(jié)構(gòu)和封裝函數(shù)圖像進(jìn)行處理。

系統(tǒng)測(cè)試界面圖如圖9所示。

實(shí)驗(yàn)的測(cè)試素材由6段乘客上下車(chē)視頻片段組成，這些視頻均由現(xiàn)有公交車(chē)監(jiān)控設(shè)備攝取，基本涵蓋同時(shí)上下車(chē)、擁擠、攜帶行李、光照變化等常見(jiàn)狀況，程序的測(cè)試結(jié)果如表1所示。

測(cè)試結(jié)果表明，系統(tǒng)算法的計(jì)數(shù)精度達(dá)到88.6%以上，基本上達(dá)到了公交車(chē)實(shí)際應(yīng)用的要求。分析出現(xiàn)錯(cuò)誤計(jì)數(shù)的原因?yàn)楦呷肆髅芏认鲁丝瓦^(guò)于集中，較難分割緊密依靠在一起的目標(biāo)，容易出現(xiàn)漏檢。

6 結(jié) 語(yǔ)

公交車(chē)是一種復(fù)雜的計(jì)數(shù)場(chǎng)所，為了滿(mǎn)足計(jì)數(shù)的實(shí)時(shí)性、準(zhǔn)確性要求，本文提出一種基于OpenCV的公交客流計(jì)數(shù)方法。Codebook背景模型與形態(tài)學(xué)濾波相結(jié)合的人體檢測(cè)方法，減少光照、陰影等因素的影響，分割出前景。改進(jìn)后的Hough變換能夠準(zhǔn)確識(shí)別乘客頭部區(qū)域并進(jìn)行提取。實(shí)驗(yàn)結(jié)果表明，該方法的計(jì)數(shù)準(zhǔn)確性可以滿(mǎn)足實(shí)際應(yīng)用的需求。但是文中依然存在一些問(wèn)題，如Hough變換提取乘客頭部信息的算法還有待進(jìn)一步改進(jìn)，以提高系統(tǒng)在高人流密度下的準(zhǔn)確率；由于條件所限，本算法目前仍處于試驗(yàn)階段，如果在現(xiàn)實(shí)乘車(chē)環(huán)境中應(yīng)用，必然會(huì)碰到很多未知的問(wèn)題。因此提高算法的準(zhǔn)確率并將其應(yīng)用在實(shí)際的客流計(jì)數(shù)系統(tǒng)中，將是本文后續(xù)研究的重點(diǎn)。

參考文獻(xiàn)

[1] 高傳瑩.基于DSP的視頻人數(shù)統(tǒng)計(jì)研究[D].合肥：合肥工業(yè)大學(xué)，2010：17?26.

[2] ZHU Q Y， TANG L， JIANG Y P， et al. A novel approach of counting people based on stereovision and DSP [C]// 2010 The 2nd International Confe?rence on Computer and Automation Engineering. Singapore： ICCAE， 2010： 81?84.

[3] TERADA K， YOSHIDA D， OE S， et al. A Method of counting the passing people by using the stereo images [C]// Proceedings of IEEE International Conference on Image Processing. Tokushima， Japan： The University of Tokushima， 2009， 2： 338?342.

[4] LIN Shcngfu， CHEN Jawych， CHAO Hungxin. Estimation of number of people in crowded scenes using per?spcctivc transform ation [J]. IEEE transac?tions on systems， man and cybernetics （Part A）， 2010，31（6）： 645?654.

[5] 王強(qiáng)，馮燕.基于顏色和形狀信息的快速人數(shù)統(tǒng)計(jì)方法[J].計(jì)算機(jī)測(cè)量與控制，2010，18（9）：2157?2159.

[6] 李偉生，汪釗.基于時(shí)空背景模型的自適應(yīng)運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用，2014，34（12）：3515?3520.

[7] 霍東海，楊丹，張小洪，等.一種基于主成分分析的Codebook背景建模算法[J].自動(dòng)化學(xué)報(bào)，2012，38（4）：591?600.

[8] 蔣曉峰.基于視頻圖像處理的公交車(chē)人流量統(tǒng)計(jì)系統(tǒng)的研究[D].廣州：華南理工大學(xué)，2013：45?67.

[9] 尹俊超，劉直芳.基于OpenCV的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤[J].計(jì)算機(jī)工程與設(shè)計(jì)，2011，32（8）：2817?2820.

[10] 余旺盛，田孝華，侯志強(qiáng)，等.基于關(guān)鍵區(qū)域特征匹配的視覺(jué)跟蹤算法[J].電子學(xué)報(bào)，2014，42（11）：2150?2156.

[11] 王愛(ài)麗，董寶田，王澤勝，等.融合光流速度場(chǎng)與背景差分的自適應(yīng)背景更新方法[J].中國(guó)鐵道科學(xué)，2014，35（6）：131?137.

[12] 吳桐，王玲.基于幀差分塊的混合高斯背景模型[J].計(jì)算機(jī)工程與應(yīng)用，2014，50（23）：176?180.

[13] 周燦，余仲秋，張暉.畸變校正與幀差法相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)[J].光學(xué)技術(shù)，2014，40（6）：531?534.

[14] 崔莫磊.公交視頻人數(shù)統(tǒng)計(jì)系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)[D].鄭州：鄭州大學(xué)，2013：28?32.