唐斯琪， 陶 蔚， 張梁梁， 潘志松

(中國(guó)人民解放軍陸軍工程大學(xué) 指揮控制工程學(xué)院 江蘇 南京 210007)

0 引言

隨著城市人口的急劇膨脹，“超級(jí)城市”的數(shù)量日益增加，大型高密度集會(huì)場(chǎng)景日益增多，人群的聚集行為呈現(xiàn)出頻率越來(lái)越頻繁、規(guī)模越來(lái)越大的特點(diǎn)，對(duì)城市安防系統(tǒng)帶來(lái)巨大的困難與挑戰(zhàn).為及時(shí)有效地處理海量監(jiān)控?cái)?shù)據(jù)，預(yù)防事故發(fā)生，降低公共場(chǎng)所安全隱患，人群密度估計(jì)技術(shù)已經(jīng)成為智能安防領(lǐng)域的研究熱點(diǎn)[1].人群密度估計(jì)算法的目標(biāo)就是通過(guò)一定技術(shù)手段，估計(jì)出整個(gè)圖像范圍內(nèi)人群中的個(gè)體數(shù)目.其主要有兩個(gè)基本框架：全局人數(shù)回歸框架和密度圖回歸框架.文獻(xiàn)[2-6]采用全局人數(shù)回歸框架，其中影響人群密度估計(jì)精確度的主要因素在于特征提取方法與回歸模型的選取.不同特征例如像素特征[3]、集成特征[5]、LBP特征[6]等，以及不同的回歸模型例如線性模型、嶺回歸、 高斯過(guò)程回歸[5]、神經(jīng)網(wǎng)絡(luò)[7]等都取得了較好效果.雖然整體回歸框架簡(jiǎn)單方便且有利于隱私保護(hù)，但由于沒(méi)能充分利用人群空間信息，其在密集場(chǎng)景下的估計(jì)準(zhǔn)確性難以滿(mǎn)足需要.為利用人群空間結(jié)構(gòu)信息，文獻(xiàn) [8]提出密度圖回歸框架，將物體計(jì)數(shù)問(wèn)題轉(zhuǎn)化為密度圖的回歸問(wèn)題.文獻(xiàn)[9-10]延續(xù)這一思路，利用隨機(jī)森林模型提升估計(jì)準(zhǔn)確性.卷積神經(jīng)網(wǎng)絡(luò)模型以其高度的非線性表達(dá)能力有效提高了分類(lèi)、檢測(cè)、分割等傳統(tǒng)任務(wù)的效果.文獻(xiàn)[11]首次利用卷積神經(jīng)網(wǎng)絡(luò)模型(Patch CNN)進(jìn)行密度圖回歸，有效提高了人群密度估計(jì)任務(wù)的準(zhǔn)確性.在此基礎(chǔ)上，文獻(xiàn)[12]構(gòu)建端到端的密度圖回歸網(wǎng)絡(luò)，并利用三列具有不同大小卷積核的卷積神經(jīng)網(wǎng)絡(luò)(MCNN)提升了人群密度估計(jì)算法的效果.文獻(xiàn)[13]利用長(zhǎng)短不同的2個(gè)網(wǎng)絡(luò)將淺層特征與深層特征進(jìn)行融合，有效提高了網(wǎng)絡(luò)應(yīng)對(duì)多尺度問(wèn)題的能力.

人群密度估計(jì)在本質(zhì)上是行人目標(biāo)的感知與檢測(cè)問(wèn)題.為解決遮擋問(wèn)題，本文采用基于行人頭部的密度圖回歸方式.為解決投影效應(yīng)造成的多尺度目標(biāo)問(wèn)題，需要模型具備感知多尺度目標(biāo)的能力.因此，開(kāi)放場(chǎng)景下的人群密度估計(jì)需要解決的核心問(wèn)題在于多尺度目標(biāo)和小目標(biāo)的感知.針對(duì)多尺度、小目標(biāo)的感知問(wèn)題，本文提出了一種基于特征圖融合的卷積神經(jīng)網(wǎng)絡(luò)(feature map fusion convolutional neural network, FMFCNN)的人群密度估計(jì)算法.特征圖融合能夠?qū)⒌讓拥募?xì)節(jié)信息更好地保留到高層，有利于對(duì)人頭這類(lèi)小目標(biāo)進(jìn)行感知.同時(shí)，特征圖融合有效豐富了信息流動(dòng)的路線，通過(guò)等效集成更多網(wǎng)絡(luò)以感知多尺度目標(biāo).實(shí)驗(yàn)結(jié)果表明，該算法有效提高了密集開(kāi)放場(chǎng)景中人群計(jì)數(shù)的準(zhǔn)確性.

1 三列卷積神經(jīng)網(wǎng)絡(luò)

圖1 三列卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of three-column convolutional neural network

為應(yīng)對(duì)人群密度估計(jì)問(wèn)題中的多尺度問(wèn)題，文獻(xiàn)[12]首次提出將具有不同感受野的三列網(wǎng)絡(luò)的特征進(jìn)行融合，三列卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.由于每個(gè)感受野能夠感知一定尺度范圍內(nèi)的目標(biāo)，因此將3個(gè)網(wǎng)絡(luò)得到的結(jié)果通過(guò)卷積層進(jìn)行融合，能夠有效擴(kuò)展網(wǎng)絡(luò)感知目標(biāo)的尺度范圍.在此基礎(chǔ)上，本文不僅考慮到人頭目標(biāo)具有的多尺度特點(diǎn)，同時(shí)考慮到人頭目標(biāo)的小目標(biāo)感知問(wèn)題.由于三列卷積神經(jīng)網(wǎng)絡(luò)中經(jīng)過(guò)非線性變換后得到的高層特征圖包含更多的語(yǔ)義信息，卻在一定程度上損失了細(xì)節(jié)信息，不利于對(duì)小目標(biāo)的準(zhǔn)確感知.因此，本文提出運(yùn)用特征圖融合的方式，綜合利用底層特征圖與高層特征圖，一方面可以保留更多細(xì)節(jié)信息以實(shí)現(xiàn)對(duì)小目標(biāo)的感知，另一方面也可以潛在集成更多網(wǎng)絡(luò)以應(yīng)對(duì)目標(biāo)多尺度問(wèn)題.

2 特征圖融合的多列卷積神經(jīng)網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)的輸入為圖片幀，監(jiān)督信息即為通過(guò)標(biāo)注目標(biāo)位置計(jì)算得到的密度圖.網(wǎng)絡(luò)通過(guò)綜合特征圖后連接的具有1×1×1卷積核的卷積層，實(shí)現(xiàn)從綜合特征圖到人頭密度圖的回歸，得到一副灰度圖作為網(wǎng)絡(luò)輸出的估計(jì)密度圖.直接對(duì)估計(jì)密度圖上各處的值進(jìn)行積分，即可以得到整幅圖片中的人數(shù)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

圖2 特征圖融合的三列卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of feature map fusion three-column convolutional neural network

由于任意密集開(kāi)放場(chǎng)景中，攝像機(jī)高度不同、角度不同以及攝像過(guò)程中的透視效應(yīng)，行人目標(biāo)尺度差異較大且目標(biāo)往往較小.因此，感知多尺度的小目標(biāo)是任意場(chǎng)景人群密度估計(jì)要解決的重點(diǎn)問(wèn)題.首先，為應(yīng)對(duì)小目標(biāo)感知問(wèn)題，本文利用特征圖融合的方法，豐富高層特征圖中的細(xì)節(jié)信息，提升人頭目標(biāo)的感知效果.其次，單一的網(wǎng)絡(luò)結(jié)構(gòu)往往只能有效感知處于某一尺度范圍內(nèi)的目標(biāo)，三列網(wǎng)絡(luò)也往往只能感知有限的幾類(lèi)尺度的目標(biāo).本文通過(guò)對(duì)多列網(wǎng)絡(luò)中的底層特征圖與高層特征圖的融合，成倍提高潛在集成的基礎(chǔ)網(wǎng)絡(luò)個(gè)數(shù)，從而提高對(duì)多尺度目標(biāo)的感知效果.網(wǎng)絡(luò)的激活函數(shù)采用修正線性單元(Relu)函數(shù)，并選擇最大下采樣機(jī)制，網(wǎng)絡(luò)中各卷積層配置情況如表1所示.

2.2 特征圖融合

在卷積神經(jīng)網(wǎng)絡(luò)中，下采樣層的存在與逐層抽象的網(wǎng)絡(luò)結(jié)構(gòu)，使底層特征圖主要感知圖像的邊緣、角點(diǎn)等細(xì)節(jié)局部信息，高層特征圖主要反映對(duì)整個(gè)目標(biāo)的感知信息，從而由底層到高層逐步建立起對(duì)目標(biāo)從局部到整體的感知.但對(duì)于小物體檢測(cè)[14]、語(yǔ)義分割等對(duì)空間位置敏感且細(xì)節(jié)要求較高的任務(wù)，由于高層特征的細(xì)節(jié)信息保留不足，會(huì)導(dǎo)致識(shí)別精度較低、分割邊緣粗糙等問(wèn)題.在基于卷積神經(jīng)網(wǎng)絡(luò)的人群密度估計(jì)中，存在以下問(wèn)題：① 高層神經(jīng)元的感受野一般范圍較大，高層特征圖包含更多粗糙語(yǔ)義信息，但缺乏細(xì)節(jié)信息，導(dǎo)致模型對(duì)較小人頭目標(biāo)感知能力較差.② 模型集成數(shù)量不足，難以解決由于透視效應(yīng)造成的人頭目標(biāo)多尺度問(wèn)題.因此，本文將每列網(wǎng)絡(luò)的第一、二個(gè)特征圖進(jìn)行拼接融合，并利用融合后的總體特征圖進(jìn)行密度圖回歸.進(jìn)行特征圖融合后，分析網(wǎng)絡(luò)的信息流動(dòng)方式可以發(fā)現(xiàn)，每列網(wǎng)絡(luò)潛在集成了3個(gè)網(wǎng)絡(luò)(例如第一列網(wǎng)絡(luò)集成了Conv1_1->Conv2_1->Conv3_1->Conv4_1，Conv1_1->Conv2_1和Conv1_1)，集成的模型數(shù)量是文獻(xiàn)[12]三列網(wǎng)絡(luò)的3倍.

表1 卷積層結(jié)構(gòu)配置

綜上，通過(guò)特征圖融合，一方面可以兼顧高層語(yǔ)義信息與底層細(xì)節(jié)信息，使融合的特征包含更加豐富的信息；另一方面可以有效提升模型集成效率，使模型集成更多子模型，從而更好地涵蓋目標(biāo)可能的尺度，提升模型對(duì)多尺度目標(biāo)的感知效果.

2.3 密度圖的計(jì)算

由于高密度場(chǎng)景中行人軀干存在嚴(yán)重的遮擋，而人的頭部不容易發(fā)生重疊.因此，頭部比軀干更適合作為網(wǎng)絡(luò)卷積核識(shí)別的目標(biāo).本文采用基于人頭的密度圖作為網(wǎng)絡(luò)的監(jiān)督信號(hào)，密度圖中每個(gè)人頭目標(biāo)用一個(gè)圓形高斯核表示，高斯核的中心位于人頭目標(biāo)的中心位置，將圖片中所有人頭目標(biāo)對(duì)應(yīng)的高斯核按此方法疊加在一起即可得到整幅圖片的密度圖.若整幅圖像上的目標(biāo)集合為T(mén)={t1,t2,…,tN},目標(biāo)ti的頭部中心坐標(biāo)為(xi,yi)，用來(lái)代表人頭的高斯函數(shù)為

(1)

式中：σi為目標(biāo)ti對(duì)應(yīng)的高斯核參數(shù).在密度圖上可以用一個(gè)沖擊響應(yīng)函數(shù)與高斯核函數(shù)的乘積代表此目標(biāo)，即

P(ti)=δ(x-xi,y-yi)Gσi(ti).

(2)

則具有N個(gè)目標(biāo)的圖片對(duì)應(yīng)的密度圖可以表示為

(3)

式中：δ(x,y)為二維沖擊函數(shù).本文選擇全局統(tǒng)一的高斯核參數(shù)對(duì)密度圖進(jìn)行計(jì)算.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 評(píng)價(jià)指標(biāo)

選擇平均絕對(duì)誤差(MAE)、平均相對(duì)誤差(MRE)、均方根誤差(MSE)作為模型的評(píng)價(jià)指標(biāo).

3.2 數(shù)據(jù)集

在Shanghaitech[10]和WorldExp10[11]這2個(gè)大規(guī)模開(kāi)放密集場(chǎng)景人群計(jì)數(shù)數(shù)據(jù)集上測(cè)試本文提出的方法.Shanghaitech數(shù)據(jù)集是任意場(chǎng)景人群數(shù)據(jù)集，共有標(biāo)注了330 165個(gè)人的1 198張圖片，它由 Part A和Part B兩個(gè)部分構(gòu)成，其中Part A來(lái)自互聯(lián)網(wǎng)圖片，Part B來(lái)自上海街頭的監(jiān)控視頻幀.WorldExp10數(shù)據(jù)集收集自上海世博會(huì)園區(qū)內(nèi)的108個(gè)監(jiān)控?cái)z像頭，共有標(biāo)注了199 923個(gè)人的3 980張圖片.

3.3 對(duì)比實(shí)驗(yàn)

為比較本文提出的基于特征圖融合的多列卷積神經(jīng)網(wǎng)絡(luò)(FMFCNN)模型對(duì)復(fù)雜開(kāi)放環(huán)境下人群密度估計(jì)的效果，利用全局人數(shù)回歸算法、基于卷積神經(jīng)網(wǎng)絡(luò)的密度圖回歸算法這兩類(lèi)算法進(jìn)行對(duì)比實(shí)驗(yàn).全局人數(shù)回歸算法分別采用LBP特征、HOG特征和Gabor特征，并利用最小二乘支持向量機(jī)(LSSVM)非線性回歸模型訓(xùn)練.基于卷積神經(jīng)網(wǎng)絡(luò)的密度圖回歸算法分別參考文獻(xiàn)[11]和[12]中提出的網(wǎng)絡(luò)模型.

3.4 網(wǎng)絡(luò)收斂效果

為研究特征圖融合對(duì)網(wǎng)絡(luò)收斂效果的影響，本文也訓(xùn)練了不融合特征圖的三列網(wǎng)絡(luò).在Shanghaitech數(shù)據(jù)集Part A部分中，特征圖融合對(duì)測(cè)試損失、訓(xùn)練誤差的影響結(jié)果如圖3所示.

圖3 特征圖融合對(duì)測(cè)試損失、訓(xùn)練誤差的影響Fig.3 Effect of feature map fusion on test loss and train loss

從圖3可以發(fā)現(xiàn)，不進(jìn)行特征圖融合的網(wǎng)絡(luò)收斂更早.圖3(a)顯示其收斂后的測(cè)試損失比進(jìn)行特征圖融合的網(wǎng)絡(luò)約高12.5%，相比不進(jìn)行特征圖融合的網(wǎng)絡(luò)結(jié)構(gòu)，特征圖融合的網(wǎng)絡(luò)能收斂到更好的局部最優(yōu)點(diǎn).另外，觀察圖3(b)可以發(fā)現(xiàn)，特征圖融合的網(wǎng)絡(luò)在前50 000次迭代過(guò)程中，訓(xùn)練誤差下降不穩(wěn)定，這是由于在網(wǎng)絡(luò)收斂的早期，特征圖融合的網(wǎng)絡(luò)全卷積層有更多參數(shù)尚未學(xué)習(xí)完成，綜合特征中摻雜了較多無(wú)用的細(xì)節(jié)信息，使未完全收斂的模型受到誤導(dǎo).隨著迭代次數(shù)的增加，兩個(gè)網(wǎng)絡(luò)訓(xùn)練誤差趨于同一趨勢(shì)，表明融合特征圖的網(wǎng)絡(luò)已經(jīng)能夠有效學(xué)習(xí)到融合不同階段的特征圖的參數(shù).

3.5 人群計(jì)數(shù)準(zhǔn)確性分析

不同算法在Shanghaitech數(shù)據(jù)集上評(píng)價(jià)指標(biāo)的對(duì)比結(jié)果如表2所示.在該數(shù)據(jù)集Part A部分中，本文提出的FMFCNN算法，對(duì)比同樣基于卷積神經(jīng)網(wǎng)絡(luò)的密度圖回歸框架的文獻(xiàn)[11]的Patch CNN算法和文獻(xiàn)[12]的MCNN算法，平均相對(duì)誤差(MRE)分別降低了20.55%和8.92%.在該數(shù)據(jù)集Part B部分中，本文提出的FMFCNN算法，對(duì)比Patch CNN算法和MCNN算法，MRE分別降低了57.94%和16.35%.

不同算法在WorldExp10數(shù)據(jù)集上評(píng)價(jià)指標(biāo)的對(duì)比結(jié)果如表3所示.可以看出，對(duì)比同樣基于卷積神經(jīng)網(wǎng)絡(luò)的密度圖回歸框架的3種算法，本文算法將已有算法的MRE誤差降低了15.73%，有效提高了人群密度估計(jì)的準(zhǔn)確性.

表2 不同算法在Shanghaitech數(shù)據(jù)集上評(píng)價(jià)指標(biāo)對(duì)比

表3 不同算法在WorldExp10數(shù)據(jù)集上評(píng)價(jià)指標(biāo)對(duì)比

從表2和表3中3種基于卷積神經(jīng)網(wǎng)絡(luò)的密度圖回歸方法的網(wǎng)絡(luò)大小可以發(fā)現(xiàn)，傳統(tǒng)的LSSVM方法效果較差，可能是由于手工提取特征表達(dá)能力較差造成的.雖然FMFCNN網(wǎng)絡(luò)結(jié)構(gòu)由于包含Merge層對(duì)特征圖進(jìn)行融合，但并沒(méi)有使網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)中的參數(shù)量發(fā)生大幅度的增加，其原因在于Merge層后面連接的是具有1×1卷積核的卷積層.因此，網(wǎng)絡(luò)增加的參數(shù)量?jī)H僅為1×1全卷積層增加的參數(shù)量.特征圖融合前此層輸入特征圖數(shù)目為36個(gè)，進(jìn)行特征圖融合后輸入特征圖數(shù)目為252個(gè)，特征圖的數(shù)量增加了216個(gè).因此，整個(gè)網(wǎng)絡(luò)參數(shù)的增加量也為216個(gè)特征圖對(duì)應(yīng)的參數(shù)量.相對(duì)于MCNN網(wǎng)絡(luò)，通過(guò)增加0.12%的網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)了在Shanghaitech數(shù)據(jù)集的Part A和Part B部分以及World Exp10數(shù)據(jù)集中將MRE分別降低8.92%、16.35%和15.73%的準(zhǔn)確性提升.

3.6 密度圖回歸準(zhǔn)確性分析

3種基于卷積神經(jīng)網(wǎng)絡(luò)的密度圖估計(jì)方法估計(jì)出的人群密度圖效果如圖4所示.其中圖4(a)為數(shù)據(jù)集中的測(cè)試圖片，圖4(b)為通過(guò)標(biāo)注信息按照2.3節(jié)方法計(jì)算得到的密度圖，圖4(c)為Patch CNN[11]估計(jì)的密度圖，圖4(d)為MCNN[12]估計(jì)的密度圖，圖4(e)為本文所提FMFCNN估計(jì)的密度圖.通過(guò)觀察可以發(fā)現(xiàn)，Patch CNN和MCNN估計(jì)的密度圖相對(duì)粗糙模糊，主要是由于對(duì)背景中的建筑物、樹(shù)木等結(jié)構(gòu)存在一定程度的誤判.而本文所提FMFCNN網(wǎng)絡(luò)結(jié)構(gòu)估計(jì)的密度圖能夠有效區(qū)分前景行人目標(biāo)和背景區(qū)域，密度圖回歸更加準(zhǔn)確.

圖4 3種基于卷積神經(jīng)網(wǎng)絡(luò)的密度圖估計(jì)方法估計(jì)出的人群密度圖效果Fig.4 The estimated density maps of the three estimation methods based on convolutional neural networks

4 小結(jié)

人群密度估計(jì)技術(shù)對(duì)密集人群的感知與管控具有重要意義.針對(duì)開(kāi)放密集場(chǎng)景中的小目標(biāo)與多尺度問(wèn)題，提出了基于特征圖融合的多列卷積神經(jīng)網(wǎng)絡(luò)模型.特征圖融合方式利用了高層語(yǔ)義特征與底層細(xì)節(jié)特征，同時(shí)大幅提高了基礎(chǔ)網(wǎng)絡(luò)集成數(shù)量，從而提高了人群密度估計(jì)的準(zhǔn)確性.實(shí)驗(yàn)結(jié)果表明，所提出的網(wǎng)絡(luò)模型有效提高了現(xiàn)有人群密度估計(jì)算法的準(zhǔn)確性.

參考文獻(xiàn)：

[1] SALEH S A M, SUANDI S A, IBRAHIM H. Recent survey on crowd density estimation and counting for visual surveillance[J]. Engineering applications of artificial intelligence, 2015, 41:103-114.

[2] 麻文華，黃磊，劉昌平. 基于置信度分析的人群密度等級(jí)分類(lèi)模型[J]. 模式識(shí)別與人工智能, 2011, 24(1): 30-39.

[3] 趙曉焱, 陶雪麗. 安防監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn)[J]. 鄭州大學(xué)學(xué)報(bào)(理學(xué)版), 2012, 44(4):59-62.

[4] DAVIES A C，YIN J H，VELASTIN S A. Crowd monitoring using image processing[J]. Electronics and communication engineering journal, 1995, 7(1): 37-47.

[5] LIANG Z S J, CHAN A B, VASCONCELOS N. Privacy preserving crowd monitoring: counting people without people models or tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, 2008:1-7.

[6] 覃勛輝, 王修飛, 周曦,等. 多種人群密度場(chǎng)景下的人群計(jì)數(shù)[J]. 中國(guó)圖象圖形學(xué)報(bào), 2013, 18(4):392-398.

[7] MARANA A, COSTA L D, LOTUFO R, et al. On the efficacy of texture analysis for crowd monitoring[C]//Proceedings of International Symposium on Computer Graphics, Image Processing, and Vision. Rio de Janeiro, 1998:354-361.

[8] LEMPITSKY V, ZISSERMAN A. Learning to count objects in images[C]//Proceedings of the 23rd International Conference on Neural Information Processing Systems.Vancouver, 2010:1324-1332.

[9] FIASCHI L, NAIR R, KOETHE U, et al. Learning to count with regression forest and structured labels[C]//Proceedings of the 21st International Conference on Pattern Recognition. Tsukuba, 2012:2685-2688.

[10] PHAM V Q, KOZAKAYA T, YAMAGUCHI O, et al. COUNT forest: co-voting uncertain number of targets using random forest for crowd density estimation[C]//IEEE International Conference on Computer Vision. Santiago, 2015:3253-3261.

[11] ZHANG C, LI H, WANG X, et al. Cross-scene crowd counting via deep convolutional neural networks[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Boston, 2015:833-841.

[12] ZHANG Y, ZHOU D, CHEN S, et al. Single-image crowd counting via multi-column convolutional neural network[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Las Vegas, 2016: 589-597.

[13] BOOMINATHAN L, KRUTHIVENTI S S S, BABU R V. CrowdNet: a deep convolutional network for dense crowd counting[C]//Proceedings of the ACM on Multimedia Conference. Amsterdam, 2016:640-644.

[14] KONG T, YAO A, CHEN Y, et al. HyperNet: towards accurate region proposal generation and joint object detection[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Las Vegas, 2016: 845-848.