楊博涵

摘要：近年來，人群密度的識別成為模式識別領(lǐng)域的熱點問題，基于這個問題，該文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的算法，首先將數(shù)據(jù)集中的Ground-Truth數(shù)據(jù)轉(zhuǎn)化為人群密度圖，然后將生成的密度圖送入神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到人群密度數(shù)據(jù)。該文創(chuàng)新點在于采用多尺度卷積神經(jīng)網(wǎng)絡(luò)，使用多種尺度的卷積核來適應(yīng)不同尺度的人頭大小。通過利用具有不同尺寸接收領(lǐng)域的過濾器，從而可以識別各種分辨率的人群圖像和數(shù)據(jù)。

關(guān)鍵詞：人工智能;卷積神經(jīng)網(wǎng)絡(luò);人群密度識別

中圖分類號：TP3 ? ? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）02-0082-02

1 概述

近年來，隨著城市化程度的加深，人群聚集的程度越來越高。一方面，隨著大型商超、地鐵站等人群聚集場所的增多，發(fā)生人群踩踏的概率越來越高;另一方面，在疫情的影響下，有必要對一些封閉場所的人群密度進(jìn)行控制，防止出現(xiàn)大規(guī)模聚集性疫情。在人力資源日漸緊張的當(dāng)下，依托于城市天網(wǎng)工程，利用攝像頭對人群密度進(jìn)行監(jiān)測是最好的選擇。

根據(jù)之前的成果，最廣泛使用的人群統(tǒng)計方法是基于特征的回歸[1]，這種方法的主要步驟是（1）分割前景;（2）從前景提取各種特征，例如人群遮罩的區(qū)域、邊緣計數(shù)或紋理特征;（3）利用回歸函數(shù)來估計人群計數(shù)。線性或分段線性函數(shù)是相對簡單的模型，性能良好。其他更先進(jìn)/有效的方法有嶺回歸[2]（RR）、高斯過程回歸（GPR）、神經(jīng)網(wǎng)絡(luò)（NN）[3]。

在目標(biāo)檢測中使用較多的神經(jīng)網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)采用一個固定尺寸的卷積核來遍歷圖片，對整張圖片進(jìn)行卷積操作后可以自動化地提取圖片中不同尺寸的特征，之后可以利用多次池化、卷積等操作，對圖片中的特征進(jìn)行自動歸納，從而檢測圖片的特征。卷積神經(jīng)網(wǎng)絡(luò)具有原理簡單，相關(guān)資源成熟的特點，故本文基于密度圖和卷積神經(jīng)網(wǎng)絡(luò)提出了一種具有多尺度檢測功能的卷積神經(jīng)網(wǎng)絡(luò)。在多尺度卷積神經(jīng)網(wǎng)絡(luò)中，用濾波器大小為1 × 1的卷積層來代替全連通層。因此，模型的輸入圖像可以是任意大小以避免失真。網(wǎng)絡(luò)的直接輸出是對人群密度的估計，從中得出總?cè)藬?shù)。

2 用于人群計數(shù)的多尺度神經(jīng)網(wǎng)絡(luò)

2.1 用于人群計數(shù)的密度圖的生成

人群計數(shù)有兩種途徑，第一種途徑是直接輸入人群圖像和標(biāo)簽數(shù)據(jù)，然后對人群數(shù)進(jìn)行預(yù)測;第二種途徑是輸入人群的密度圖，之后積分得到人頭數(shù)量。生成密度圖是較好的辦法，因為密度圖可以保留更多的信息，如圖像的空間分布，如果一個小區(qū)域的密度比其他區(qū)域高得多，這可能表明那里發(fā)生了異常情況。

2.2 通過高斯核生成密度圖

如果在[xi]位置存在一個人頭，可以用[δ]函數(shù)來表示為[δx-xi]，而一個包含[N]個頭像的圖像可以表示為：

[Hx=i=1Nδx-xi]

為了將這個圖像轉(zhuǎn)化為一個連續(xù)的函數(shù)，可以將這個函數(shù)與高 斯核[ Gσ]進(jìn)行卷積[4]，得到密度函數(shù)。

[Fx=Hx*Gσ]

此外還有一個問題，在使用二維高斯核時，需要設(shè)定高斯核大小用以表示估計的人頭大小。然而，在實踐中，由于許多情況下的遮擋，幾乎不可能準(zhǔn)確地獲得頭部的大小，并且也很難找到頭部大小和密度圖之間的潛在關(guān)系。有趣的是，在擁擠的場景中頭部的大小通常與兩個相鄰人的中心之間的距離有關(guān)。作為折衷，對于那些擁擠場景的密度圖，建議根據(jù)每個人到其鄰居的平均距離，數(shù)據(jù)自適應(yīng)地確定每個人的擴(kuò)散參數(shù)。即對于一個人頭的最近的[k]個人頭的距離記作[{di1，di2，...，dik}]，且有：

[di=1kj=1kdij]

高斯核的選擇應(yīng)該取決于[di]，即：

[Fx=Hx*Gσi，σi=βdi]

而[β]是一個經(jīng)驗參數(shù)，一般取0.3為宜，根據(jù)圖像生成的密度圖如圖1所示。

2.3 使用密度圖的多尺度卷積神經(jīng)網(wǎng)絡(luò)

由于透視失真，圖像通常包含大小非常不同的頭部，因此具有相同大小感受野的過濾器不太可能捕捉不同尺度下的人群密度特征。因此，更自然的是使用具有不同大小的局部感受野的濾波器來學(xué)習(xí)從原始像素到密度圖的映射。在MCNN中，對于每一列使用不同大小的過濾器來模擬對應(yīng)于不同比例的頭部的密度圖。例如，具有較大感受野的過濾器對于模擬對應(yīng)于較大頭部的密度圖更有用。

這種用于密度估計的MCNN模型的一個優(yōu)點是，濾波器被學(xué)習(xí)來對不同尺寸的頭部的密度圖進(jìn)行建模。因此，如果模型是在包含非常不同尺寸的頭部的大數(shù)據(jù)集上訓(xùn)練的，那么模型可以容易地適應(yīng)（或轉(zhuǎn)移）到另一個人群頭部具有一些特定尺寸的數(shù)據(jù)集。如果目標(biāo)域只包含幾個訓(xùn)練樣本，可以簡單地在MCNN中的每一列中固定前幾個層，并且只微調(diào)最后幾個卷積層。在這種情況下，微調(diào)最后幾層有兩個優(yōu)點。首先，通過固定前幾層，可以保留在源域中學(xué)習(xí)的知識，并且通過微調(diào)最后幾層，可以使模型適應(yīng)目標(biāo)域。因此，源域和目標(biāo)域的知識可以整合，有助于提高準(zhǔn)確性。其次，與微調(diào)整個網(wǎng)絡(luò)相比，微調(diào)最后幾層大大降低了計算復(fù)雜度。

多尺度神經(jīng)網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖2所示。它包含三個平行的神經(jīng)系統(tǒng)，其過濾器具有不同大小的局部感受野。為簡化起見，除了過濾器的大小和數(shù)量之外，對所有列使用同樣的網(wǎng)絡(luò)構(gòu)造，并使用Relu作為激活函數(shù)[5]。為了降低計算復(fù)雜度（要優(yōu)化的參數(shù)數(shù)量），對具有較大過濾器的CNNs使用較少數(shù)量的過濾器。將所有CNNs的輸出特征圖進(jìn)行疊加，并將其映射到密度圖中。為了將要素圖映射到密度圖，采用大小為1 × 1[6]的過濾器。然后用歐氏距離來衡量估計密度圖和地面真值的差異。

3 實驗和訓(xùn)練

為了測試網(wǎng)絡(luò)性能，本文選擇了上海科技大學(xué)2016年發(fā)布的人群密度識別數(shù)據(jù)集shanghaitech，之后在數(shù)據(jù)集上用卷積神經(jīng)網(wǎng)絡(luò)和多尺度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練?？梢钥闯觯m然這個模型并不復(fù)雜，但是仍然取得了較為良好的結(jié)果。

1）評估指標(biāo)

通過遵循現(xiàn)有人群計數(shù)工作的慣例，評估了具有絕對誤差（MAE）和均方誤差（MSE）的不同方法，其定義如下：

[MAE=1Ni=1Nzi-zi]

[MSE=1Ni=1Nzi-zi2]

其中[N]是測試圖像的數(shù)量，[zi]是第[i]張圖像中的實際人數(shù)，[zi]是第[i]張圖像中的估計人數(shù)。大致來說，MAE表示估計的準(zhǔn)確性，MSE表示估計的穩(wěn)健性。

2）損失函數(shù)

對于輸入的圖片[Xii=1，2，...，N]，圖片里的人頭總數(shù)為[zi]，[FXi;Θ]表示生成的密度圖，其中，[Θ]是多尺度卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)，這里S代表估計密度圖的空間區(qū)域則損失函數(shù)可以用以下函數(shù)定義：

[LΘ=12Ni=1NSFXi;Θdxdy-zi2]

采用不同損失函數(shù)和不同模型訓(xùn)練Shanghaitech數(shù)據(jù)集結(jié)果如表1所示。

4 結(jié)論

本文提出了一種新的卷積神經(jīng)網(wǎng)絡(luò)模型，利用人群密度圖提供的信息和由多個不同大小的卷積核形成的多尺度神經(jīng)網(wǎng)絡(luò)對密集人群進(jìn)行預(yù)測，它可以從幾乎任何角度準(zhǔn)確地估計單個圖像中的人群數(shù)量。此外，在源域上訓(xùn)練的模型可以通過只微調(diào)訓(xùn)練模型的最后幾層而容易地轉(zhuǎn)移到目標(biāo)域，這證明了所提出的模型的良好的可推廣性。

但本文結(jié)果也有不足，由于時間和能力所限，沒有嘗試和其他的如Local Binary Pattern（LBP）、Ridge Regression（RR）等基于回歸的傳統(tǒng)方法進(jìn)行比較，在數(shù)據(jù)集上，密度識別領(lǐng)域還有類似UCF_CC_50數(shù)據(jù)集，UCSD數(shù)據(jù)集等，并未將模型在這些數(shù)據(jù)集上進(jìn)行訓(xùn)練，不能直接比較模型和其他已有模型的優(yōu)劣，可以在后面進(jìn)行改進(jìn)。

參考文獻(xiàn)：

[1] Chan A B，Liang Z S John，Vasconcelos N.Privacy preserving crowd monitoring：Counting people without people models or tracking[C]//2008 IEEE Conference on Computer Vision and Pattern Recognition.June 23-28，2008，Anchorage，AK，USA.IEEE，2008：1-7.

[2] Chen K，Loy C C，Gong S G，et al.Feature mining for localised crowd counting[C]//Procedings of the British Machine Vision Conference 2012.Surrey.British Machine Vision Association，2012.

[3] Marana A N，Costa L F，Lotufo R A，et al.On the efficacy of texture analysis for crowd monitoring[C]//Proceedings SIBGRAPI'98.International Symposium on Computer Graphics，Image Processing，and Vision （Cat.No.98EX237）.October 20-23，1998，Rio de Janeiro，Brazil.IEEE，1998：354-361.

[4] Lempitsky V， Zisserman A. Learning to count objects in images[J].Advance in Neural Information Processing Systems， 2010：1324–1332.

[5] Zeiler M D， Ranzato M， Monga R， et al. On rectified linear units for speech processing[J].ICASSP， IEEE， 2013： 3517–3521 .

[6] Long J，Shelhamer E，Darrell T.Fully convolutional networks for semantic segmentation[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 7-12，2015，Boston，MA，USA.IEEE，2015：3431-3440.

【通聯(lián)編輯：代影】

2390501705261