曹 誠, 卿粼波, 韓龍玫, 何小海

1(四川大學(xué) 電子信息學(xué)院,成都 610065)

2(成都市規(guī)劃設(shè)計(jì)研究院,成都610081)

1 引言

在中國城鎮(zhèn)化路徑轉(zhuǎn)型和信息通信技術(shù)高速發(fā)展的背景下,人本尺度的城市量化研究日益受到規(guī)劃界的重視,獲取多源而維度豐富的行人信息至關(guān)重要[1].記錄城市公共空間行人信息的天網(wǎng)系統(tǒng)視頻大數(shù)據(jù)是城市規(guī)劃領(lǐng)域潛在的數(shù)據(jù)來源,具有信息完整、維度豐富和粒度可調(diào)三大優(yōu)點(diǎn),可以對(duì)城市公共空間中高度動(dòng)態(tài)化的人類活動(dòng)場景進(jìn)行精細(xì)化描述,具有巨大的研究前景[2,3].

目前城市量化研究中需要的行人數(shù)據(jù)包括經(jīng)過人數(shù)、滯留時(shí)間、移動(dòng)方向、年齡結(jié)構(gòu)、性別、情緒、活躍程度等. 其中年齡結(jié)構(gòu)、性別、情緒、活躍程度等學(xué)術(shù)界研究成果相對(duì)不成熟,而人數(shù)、滯留時(shí)間、方向等則可以通過對(duì)個(gè)體進(jìn)行檢測(cè)、跟蹤來實(shí)現(xiàn),相對(duì)較準(zhǔn)確且成熟. 目前對(duì)于群體量化分析主要采用基于密度檢測(cè)算法來實(shí)現(xiàn)大致的群體人數(shù)估計(jì)[4],卻無法分析行人個(gè)體信息. 本文選取了與目前的研究熱點(diǎn)“城市街道活力評(píng)估”、“空間品質(zhì)評(píng)價(jià)”等最相關(guān)的3種數(shù)據(jù)——人流量、滯留時(shí)間以及移動(dòng)方向,通過以個(gè)人為本來進(jìn)行城市量化研究[5,6].

為了充分利用視頻數(shù)據(jù)所蘊(yùn)含的行人信息,本文結(jié)合基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)及基于核相關(guān)函數(shù)的目標(biāo)跟蹤技術(shù),實(shí)現(xiàn)了監(jiān)控區(qū)域中人流量、滯留時(shí)間、移動(dòng)方向等多種參數(shù)的分析,為城市定量化研究提供準(zhǔn)確有效的數(shù)據(jù)支撐.

2 系統(tǒng)綜述

2.1 系統(tǒng)整體介紹

為了獲取量化分析的行人數(shù)據(jù),需要首先檢測(cè)視頻中的行人,然后為確保行人的唯一性,需要對(duì)行人進(jìn)行跟蹤操作. 本文設(shè)計(jì)的系統(tǒng)如圖1所示.

圖1 系統(tǒng)方案示意圖

指定攝像頭采集視頻中的監(jiān)測(cè)區(qū)域,檢測(cè)指定區(qū)域內(nèi)的行人目標(biāo),為了能更好的達(dá)到記錄行人目標(biāo)的信息的效果,本系統(tǒng)添加對(duì)檢測(cè)的行人目標(biāo)進(jìn)行跟蹤操作,同時(shí)記錄對(duì)應(yīng)的量化數(shù)據(jù)信息,最終將記錄的信息進(jìn)行分析.

2.2 區(qū)域內(nèi)多目標(biāo)檢測(cè)

由于只研究視頻中感興趣區(qū)域的行人信息,因此本文需要指定監(jiān)測(cè)區(qū)域(即感興趣區(qū)域),類似于圖2中多邊形所示.

傳統(tǒng)方法在行人檢測(cè)方面精度雖然高,但面對(duì)真實(shí)視頻的實(shí)時(shí)性、背景復(fù)雜多樣、場景光照強(qiáng)弱變化、行人衣著和姿態(tài)多樣化以及拍攝角度多樣化等因素時(shí),傳統(tǒng)方法存在明顯不足.

圖2 指定監(jiān)測(cè)區(qū)域

基于前向傳輸卷積神經(jīng)網(wǎng)絡(luò)的Single Shot Multi-Box Detector網(wǎng)絡(luò)(簡稱SSD網(wǎng)絡(luò))[7]在VOC2007測(cè)試圖像中,輸入300×300大小圖像時(shí),SSD網(wǎng)絡(luò)達(dá)到72.1% mAP的準(zhǔn)確率,58 fps,符合實(shí)時(shí)高精度的要求.故本文采用SSD網(wǎng)絡(luò)來進(jìn)行行人檢測(cè).

通過預(yù)設(shè)不同長寬比的濾波器,預(yù)測(cè)邊界框中的對(duì)象的類別與偏移,并將濾波器應(yīng)用于網(wǎng)絡(luò)后期的多個(gè)特征圖中,用于實(shí)現(xiàn)多尺度檢測(cè). 通過以上操作,即使對(duì)于低分辨率的圖像,SSD網(wǎng)絡(luò)也能實(shí)現(xiàn)高精度與快速檢測(cè). 對(duì)于本文視頻中不同尺度的行人目標(biāo)有很好的檢測(cè)適用性.

為了能夠準(zhǔn)確的判斷SSD網(wǎng)絡(luò)檢測(cè)的行人是否在指定的監(jiān)測(cè)區(qū)域,本文采用射線法[8]進(jìn)行判斷.

射線法從被判斷點(diǎn)向無窮遠(yuǎn)處作平行于水平橫軸的射線,計(jì)算該射線與多邊形各邊的交點(diǎn)個(gè)數(shù). 若交點(diǎn)個(gè)數(shù)為奇數(shù)則該點(diǎn)位于其多邊形內(nèi)部,若沒有交點(diǎn)或者交點(diǎn)個(gè)數(shù)為偶數(shù)則該點(diǎn)位于其多邊形外部.

2.3 區(qū)域內(nèi)多目標(biāo)跟蹤

當(dāng)判斷檢測(cè)的行人目標(biāo)是在指定的監(jiān)測(cè)區(qū)域內(nèi)部時(shí),為獲取所需的信息,接下來需對(duì)檢測(cè)的行人目標(biāo)進(jìn)行跟蹤操作.

為了滿足系統(tǒng)的需求,結(jié)合跟蹤算法在跟蹤速度和跟蹤性能上要求,本文采用基于核函數(shù)的相關(guān)濾波器跟蹤算法(Tracking Algorithm with Kernel Correlation Filter,簡稱KCF跟蹤算法)[9].

KCF算法總體思想為通過提取目標(biāo)周圍區(qū)域的圖像,巧妙使用循環(huán)矩陣方式構(gòu)造大量正負(fù)樣本用于訓(xùn)練分類器,利用循環(huán)矩陣在傅里葉空間可對(duì)角化的性質(zhì)將矩陣的運(yùn)算轉(zhuǎn)化為向量的哈達(dá)瑪積(HadamardProduct)來對(duì)候選區(qū)域進(jìn)行評(píng)估,其中響應(yīng)最大的候選區(qū)域即為目標(biāo)所處的新位置,最后對(duì)分類器參數(shù)重新訓(xùn)練以及更新.

KCF跟蹤算法跟蹤速度快,跟蹤效果好. 然而KCF跟蹤算法主要針對(duì)于單目標(biāo)跟蹤,而本文需要進(jìn)行多目標(biāo)跟蹤,本文通過將SSD網(wǎng)絡(luò)檢測(cè)到的多行人目標(biāo)分離,對(duì)每一個(gè)行人目標(biāo)進(jìn)行KCF算法的跟蹤,實(shí)現(xiàn)了將KCF跟蹤算法用于該場景下的多行人目標(biāo)跟蹤[10,11].

鑒于實(shí)際城市街道場景中背景相對(duì)比較復(fù)雜,結(jié)合所采集的視頻,應(yīng)用原始KCF跟蹤算法,當(dāng)行人目標(biāo)相互遮擋嚴(yán)重時(shí),會(huì)出現(xiàn)KCF跟蹤算法跟蹤目標(biāo)的丟失情況. 因此需要一種有效的方式來評(píng)估KCF跟蹤算法對(duì)于目標(biāo)跟蹤的準(zhǔn)確性. 本文引入峰值旁瓣比(Peak to Sidelobe Ratio,PSR)用于評(píng)估目標(biāo)KCF跟蹤算法跟蹤準(zhǔn)確性[12]. KCF中循環(huán)樣本找到的最優(yōu)濾波器與候選區(qū)域的檢測(cè)響應(yīng)輸出分布模型如圖3所示,其中響應(yīng)最大值即為峰值gmax.

圖3 PSR模型

PSR值計(jì)算原理：將響應(yīng)峰值gmax中心11×11矩形區(qū)域之外的其余區(qū)域稱為旁瓣區(qū)域,同時(shí)計(jì)算出旁瓣區(qū)域的均值 μ 和方差 σ . 利用式(2)即可計(jì)算出PSR值.

設(shè)置PSRthreshold 閾值,當(dāng)PSR≥PSRthreshold時(shí),表示該跟蹤目標(biāo)是可靠的,繼續(xù)跟蹤該目標(biāo); 反之則認(rèn)為該跟蹤目標(biāo)發(fā)生嚴(yán)重遮擋,判定該跟蹤目標(biāo)丟失.

2.4 多目標(biāo)檢測(cè)與跟蹤的實(shí)現(xiàn)

SSD網(wǎng)絡(luò)檢測(cè)到的多行人目標(biāo)如何與KCF跟蹤算法正確結(jié)合實(shí)現(xiàn)是本文的重點(diǎn)工作.

首先指定監(jiān)測(cè)區(qū)域,接下來進(jìn)行SSD檢測(cè)多行人目標(biāo),同時(shí)初始化KCF跟蹤對(duì)象. 在接下來讀入的幀中,先進(jìn)行SSD檢測(cè)行人目標(biāo),然后獲取當(dāng)前幀KCF跟蹤的多行人目標(biāo),判斷行人目標(biāo)是否還在指定的檢測(cè)區(qū)域內(nèi),同時(shí)結(jié)合PSR判斷目標(biāo)是否丟失,放棄跟蹤丟失的行人目標(biāo). 下一步判斷SSD檢測(cè)的多行人目標(biāo)是否均與KCF跟蹤的多行人目標(biāo)相同,將不同的目標(biāo)進(jìn)行KCF對(duì)象初始化,依次執(zhí)行. 具體流程可參考圖4多目標(biāo)檢測(cè)與跟蹤的實(shí)現(xiàn)流程圖.

圖4 多目標(biāo)檢測(cè)與跟蹤的實(shí)現(xiàn)流程圖

2.5 參數(shù)計(jì)算

每次指定監(jiān)測(cè)區(qū)域后,檢測(cè)從視頻中讀取的第一幀圖片,將檢測(cè)到的所有行人目標(biāo)坐標(biāo)信息用于初始化KCF算法對(duì)象的分類器模型.

在讀取視頻下一幀后,首先記錄檢測(cè)當(dāng)前指定區(qū)域內(nèi)行人坐標(biāo)信息; 接下來更新KCF算法對(duì)象對(duì)當(dāng)前幀的跟蹤,同時(shí)判斷目標(biāo)是否仍在指定的監(jiān)測(cè)區(qū)域里,計(jì)算目標(biāo)在指定的監(jiān)測(cè)區(qū)域里水平方向上累計(jì)的移動(dòng)距離τn.

(1)累計(jì)移動(dòng)距離計(jì)算公式如式(2)(3)：

其中 Δ τn表示第n個(gè)行人目標(biāo)當(dāng)前幀與前一幀重心X軸距離差,用于實(shí)時(shí)的顯示行人目標(biāo)的移動(dòng)方向.τn2為行人目標(biāo)當(dāng)前幀指定監(jiān)測(cè)區(qū)域的重心X軸位置,τn1為行人目標(biāo)前一幀指定監(jiān)測(cè)區(qū)域的重心X軸位置.τn為行人目標(biāo)在指定監(jiān)測(cè)區(qū)域內(nèi)重心X軸位置累計(jì)改變值,用于記錄行人目標(biāo)在指定監(jiān)測(cè)區(qū)域內(nèi)總體的移動(dòng)方向.

每一秒鐘記錄當(dāng)前幀中指定監(jiān)測(cè)區(qū)域里總目標(biāo)數(shù)量、目標(biāo)的移動(dòng)方向、目標(biāo)在該監(jiān)測(cè)區(qū)域所滯留時(shí)間和目標(biāo)在該監(jiān)測(cè)區(qū)域移動(dòng)速度以及當(dāng)前視頻幀的真實(shí)世界的時(shí)間.

(2)滯留時(shí)間計(jì)算公式如式(4)：

其中 Δ Tn表示第n個(gè)行人指定監(jiān)測(cè)區(qū)域的滯留時(shí)間.Tn1表示該行人進(jìn)入指定監(jiān)測(cè)區(qū)域的時(shí)間,Tn2表示該行人離開指定監(jiān)測(cè)區(qū)域的時(shí)間.

(3)速度計(jì)算公式如式(5)：

Vn表示第n個(gè)離開指定監(jiān)測(cè)區(qū)域的行人目標(biāo)經(jīng)過該指定監(jiān)測(cè)區(qū)域得速度值. D表示該指定監(jiān)測(cè)區(qū)域的長度.

接下來依次讀取下一幀直至視頻結(jié)束或者重新指定監(jiān)測(cè)區(qū)域.

3 結(jié)果分析

為了能夠更好的為城市定量化研究提供準(zhǔn)確有效的數(shù)據(jù)支撐,本文于成都市某街道拍攝480小時(shí)的視頻,對(duì)其中某一天24小時(shí)視頻進(jìn)行處理. 其中視頻分辨率1280×720,幀率20,視頻畫面左上角對(duì)應(yīng)拍攝的世界時(shí)間信息. 測(cè)試平臺(tái)：惠普Z820工作站、Intel Xeon E5處理器、32 G內(nèi)存; Nvidia Titan X顯卡、12 G顯存.

3.1 區(qū)域內(nèi)行人檢測(cè)與跟蹤

本文結(jié)合街道場景,設(shè)置以下的指定監(jiān)測(cè)區(qū)域,得出如圖5所示的實(shí)際效果圖.

其中圖5(a)中很好的檢測(cè)到指定監(jiān)測(cè)區(qū)域內(nèi)11個(gè)行人目標(biāo),并對(duì)其進(jìn)行標(biāo)號(hào)1-11. 從圖5(b)中能看出目標(biāo)都成功跟蹤,其中9號(hào)已被完全遮擋,但實(shí)現(xiàn)跟蹤. 圖5中(c)(d)子圖為驗(yàn)證不同街道場景下本文方法檢測(cè)與跟蹤效果,可以看出,圖中指定監(jiān)測(cè)區(qū)域內(nèi)行人目標(biāo)已成功檢測(cè)與跟蹤.

圖5 行人檢測(cè)與跟蹤

經(jīng)過測(cè)試,平均處理一幀的時(shí)間為49 ms,平均幀率20.4 fps,達(dá)到實(shí)時(shí)處理效果.

3.2 行人數(shù)據(jù)分析

本文通過檢測(cè)跟蹤指定監(jiān)測(cè)區(qū)域內(nèi)的行人目標(biāo),分析其在指定監(jiān)測(cè)區(qū)域內(nèi)的運(yùn)動(dòng)信息,得出如圖6、圖7、圖8所示的信息圖.

圖6 24小時(shí)行人的總數(shù)量和移動(dòng)方向

圖7 行人逗留時(shí)間分布

圖8 行人速度分布

圖6中可以清楚看到24小時(shí)內(nèi)通過該指定監(jiān)測(cè)區(qū)域內(nèi)行人的總數(shù)量以及移動(dòng)方向,可以獲知何時(shí)通過該指定監(jiān)測(cè)區(qū)域的行人數(shù)量最多,行人移動(dòng)哪個(gè)方向上數(shù)量最多. 該信息可用于城市街道活力分析中的定量分析,以及提供了活力研究的定向數(shù)據(jù),為進(jìn)一步深入的研究街道活力提供了較為具體的數(shù)據(jù).

結(jié)合圖7,得出行人通過該指定監(jiān)測(cè)區(qū)域的平均時(shí)間為16.02 s. 結(jié)合監(jiān)控視頻和行人通過指定監(jiān)測(cè)區(qū)域時(shí)間得出：1)通過時(shí)間為10 s以下的行人基本上是從花壇邊橫穿過或者騎車,其中通過時(shí)間為4 s的基本上都是騎車快速通過; 2)通過時(shí)間為10 s至22 s之間的行人采用正常速度; 3)通過時(shí)間為23 s以上的行人多數(shù)為散步或者一群人. 其中通過時(shí)間為60 s和140 s的為環(huán)衛(wèi)工人.

結(jié)合圖7得出圖8所示的行人通過該指定監(jiān)測(cè)區(qū)域的速度圖以及實(shí)際的距離,平均速度為1.25 m/s.

根據(jù)實(shí)時(shí)記錄行人移動(dòng)軌跡方向和視頻信息,得出如表1所示數(shù)據(jù).

表1 行人總數(shù)和移動(dòng)方向

通過對(duì)視頻的分析,發(fā)現(xiàn)在視頻右上角的位置上有個(gè)公交車站(站牌被遮擋),以及右側(cè)有小區(qū)入口. 因此行人朝右的數(shù)量明顯比朝左的數(shù)量要多.

4 結(jié)論與展望

本文采用深度學(xué)習(xí),同時(shí)結(jié)合多目標(biāo)跟蹤的方式,實(shí)現(xiàn)對(duì)監(jiān)控系統(tǒng)視頻中城市街道中的行人信息定量和定向的分析,為城市研究者開展城市量化研究工作提供一定意義上的參考. 然而本系統(tǒng)存在當(dāng)出現(xiàn)行人遮擋時(shí),會(huì)出現(xiàn)漏檢情況的問題,有待于進(jìn)一步的研究.同時(shí)結(jié)合城市規(guī)劃需求,對(duì)數(shù)據(jù)做出進(jìn)一步的分析.

1 龍瀛. 街道城市主義新數(shù)據(jù)環(huán)境下城市研究與規(guī)劃設(shè)計(jì)的新思路. 時(shí)代建筑,2016,(2)：128-132.

2 唐婧嫻,龍瀛,翟煒,等. 街道空間品質(zhì)的測(cè)度、變化評(píng)價(jià)與影響因素識(shí)別——基于大規(guī)模多時(shí)相街景圖片的分析.新建筑,2016,(5)：110-115.

3 Khan SD,Vizzari G,Bandini S,et al. Detecting dominant motion flows and people counting in high density crowds.Journal of WSCG,2014,22(1)：21-30.

4 樂勇. 基于監(jiān)控視頻動(dòng)態(tài)信息分析的人流密度檢測(cè)算法的研究[碩士學(xué)位論文]. 南京：南京郵電大學(xué),2015.

5 姜蕾. 城市街道活力的定量評(píng)估與塑造策略[碩士學(xué)位論文]. 大連：大連理工大學(xué),2013.

6 郝新華,龍瀛. 街道綠化：一個(gè)新的可步行性評(píng)價(jià)指標(biāo). 上海城市規(guī)劃,2017,(1)：32-36,49.

7 Liu W,Anguelov D,Erhan D,et al. SSD：Single shot MultiBox detector. Proceedings of the 14th European Conference on Computer Vision-ECCV. Amsterdam,The Netherlands. 2016. 21-37.

8 苗春葆. 點(diǎn)與多邊形關(guān)系的射線法. 電腦編程技巧與維護(hù),2008,(3)：56-58.

9 Henriques JF,Caseiro R,Martins P,et al. High-speed tracking with kernelized correlation filters. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3)：583-596. [doi：10.1109/TPAMI.2014.2345390]

10 Ess A,Leibe B,Schindler K,et al. A mobile vision system for robust multi-person tracking. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Anchorage,AK,USA. 2008. 1-8.

11 Wu HL,Li WH. Robust online multi-object tracking based on KCF trackers and reassignment. Proceedings of the 2016 IEEE Global Conference on Signal and Information Processing (GlobalSIP). Washington,DC,USA. 2016.124-128.

12 Bolme DS,Beveridge JR,Draper BA,et al. Visual object tracking using adaptive correlation filters. Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Francisco,CA,USA. 2010.2544-2550.