桑軍， 劉新悅， 吳志偉， 王富森

重慶大學 大數(shù)據(jù)與軟件學院， 重慶 401331

由于城市進程化加快， 各類聚集活動猛增． 大型聚會、 演唱會、 體育盛會、 政治活動等都伴隨著人群過載、 難以管控的問題． 若是調(diào)控不當， 人群散亂沖撞， 極易發(fā)生嚴重的踩踏事故． 人群聚集是一種趨勢， 在計算機時代， 我們可以利用計算機視覺技術(shù)對人群進行分析， 提前做好應(yīng)急措施， 避免此類事件的發(fā)生． 人群分析是計算視覺的一個高熱度研究領(lǐng)域， 包含人群計數(shù)、 行人檢測、 行人追蹤等方向． 而人群計數(shù)是人群分析中的重要課題， 通過對單張圖片中的行人進行計數(shù)， 其模型可以應(yīng)用到實時監(jiān)控中， 對人群管控起到很大作用．

1 相關(guān)工作

當前人群計數(shù)研究[1-2]大多采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)生成單張圖像對應(yīng)的密度圖， 通過對密度圖積分得到具體人數(shù)． 生成的密度圖質(zhì)量決定了計數(shù)效果的好壞． 但是在人群個體尺度變化、 復雜背景干擾、 人群之間嚴重遮擋等問題的影響下， 人群計數(shù)仍然是一項具有挑戰(zhàn)性的研究課題． 其中復雜背景干擾會使得卷積神經(jīng)網(wǎng)絡(luò)將形狀類似人群頭部的樹葉、 路燈等當作人群進行計數(shù)， 造成計數(shù)誤差， 使模型效果變差． 為了減少復雜背景的影響， 不少學者采用了注意力機制方法， 將網(wǎng)絡(luò)注意力集中到人群區(qū)域， 弱化背景， 提高計數(shù)效果． 文獻[3]提出采用注意力機制， 提高人群區(qū)域注意力， 降低背景噪聲影響． 但是采用注意力機制的網(wǎng)絡(luò)大都使用了VGG[4]或者CSRNet[5]為基準網(wǎng)絡(luò)， 雖然計數(shù)結(jié)果不錯， 但網(wǎng)絡(luò)的參數(shù)量過大， 推理速度慢． 其他學者還研究了通過多任務(wù)學習的方式降低背景影響． 文獻[6]將復雜背景作為網(wǎng)絡(luò)的輔助任務(wù)， 還采用了尺度變化， 生成深度圖等共3個輔助任務(wù)， 但其基準網(wǎng)絡(luò)參數(shù)量大． 文獻[7]采用了人群密度分級、 背景分割輔助任務(wù)增強語義信息， 網(wǎng)絡(luò)結(jié)構(gòu)簡單， 參數(shù)量小， 但計數(shù)結(jié)果一般．

由于多任務(wù)學習方法能解決復雜背景干擾問題， 且選擇恰當?shù)那岸司W(wǎng)絡(luò)可以使得網(wǎng)絡(luò)參數(shù)量減少， 因此， 本文提出了一個基于背景輔助的高效人群計數(shù)多任務(wù)學習網(wǎng)絡(luò)(an efficient background assistance based multi-task network for crowd counting， BAMTLNet)． 與人群計數(shù)網(wǎng)絡(luò)中大量采用VGG[4]前10層作為前端網(wǎng)絡(luò)不同， 我們僅采用VGG[4]網(wǎng)絡(luò)的前7層， 以減少網(wǎng)絡(luò)的參數(shù)量． 在后端網(wǎng)絡(luò)中， 我們提出了2個分支， 分別是生成估計密度圖主任務(wù)分支和復雜背景分割輔助任務(wù)分支． 生成估計密度圖的主任務(wù)分支采用3個卷積層生成估計密度圖， 用于積分得到人數(shù)． 復雜背景分割輔助任務(wù)分支采用三層空洞卷積層生成背景分割圖， 利用多任務(wù)學習機制， 為主任務(wù)分支提供背景的語義信息， 優(yōu)化網(wǎng)絡(luò)參數(shù)， 以降低復雜背景對計數(shù)的影響． 此外， 我們?yōu)樵摱嗳蝿?wù)學習網(wǎng)絡(luò)設(shè)計了背景輔助融合多任務(wù)損失函數(shù)． 經(jīng)訓練， 該網(wǎng)絡(luò)能在人群計數(shù)基準數(shù)據(jù)集上達到不錯的效果， 網(wǎng)絡(luò)參數(shù)少， 推理速度快．

本文主要貢獻如下：

1) 提出了一個基于背景輔助的高效人群計數(shù)多任務(wù)學習網(wǎng)絡(luò)， 包含生成估計密度圖主任務(wù)分支和復雜背景分割輔助任務(wù)分支， 減少復雜背景對計數(shù)的影響， 網(wǎng)絡(luò)參數(shù)量小．

2) 針對上述網(wǎng)絡(luò)提出了背景輔助多任務(wù)損失函數(shù)．

3) 在人群計數(shù)基準數(shù)據(jù)集上與多種算法進行了對比實驗[8-17]， 并得到了不錯的實驗結(jié)果．

2 背景輔助多任務(wù)學習網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖1所示， 本文給出了網(wǎng)絡(luò)的具體結(jié)構(gòu)． 該多任務(wù)學習網(wǎng)絡(luò)由前端網(wǎng)絡(luò)和后端網(wǎng)絡(luò)組成． 為了減少網(wǎng)絡(luò)參數(shù)量， 我們并沒有采取常見的VGG[4]前10層作為前端網(wǎng)絡(luò)的做法． 因為后3層的通道數(shù)為512， 為了減少網(wǎng)絡(luò)體積且不損失太多精度， 我們采用前7層來提取初級特征． 為了加快訓練速度， 使網(wǎng)絡(luò)快速收斂， 我們在每個卷積層后加入了BN(batch normalization)層． 在后端網(wǎng)絡(luò)中， 我們采用了多任務(wù)學習、 硬參數(shù)共享的機制， 分割出兩個任務(wù)分支共享同一個前端網(wǎng)絡(luò)參數(shù)． 為了獲取單張圖片計數(shù)， 我們基于估計密度圖計數(shù)方法， 設(shè)計了生成估計密度圖主任務(wù)分支． 該分支由帶BN層的Conv4和Conv5卷積層組成， 并通過Conv1×1的卷積層生成最終的估計密度圖用于積分得到人數(shù)． 為了獲取關(guān)于背景的高級語義信息， 我們設(shè)計了復雜背景分割輔助任務(wù)分支． 該分支由Conv6和Conv7兩個空洞卷積層組成， 空洞率為2， 與主任務(wù)分支相似， 其通過Conv1×1的卷積層生成最終的背景分割圖． 在多任務(wù)聯(lián)合學習基礎(chǔ)下， 兩個任務(wù)通過共享前端網(wǎng)絡(luò)參數(shù)， 輔助任務(wù)通過反向傳播過程傳遞背景語義信息， 優(yōu)化整個網(wǎng)絡(luò)參數(shù)， 降低復雜背景造成的計數(shù)影響． 與其他復雜網(wǎng)絡(luò)相比雖沒有更準確的精度， 但我們的網(wǎng)絡(luò)僅有10層卷積層， 網(wǎng)絡(luò)復雜度小， 參數(shù)量?。?/p>

2.2 損失函數(shù)

為了更好地訓練上述多任務(wù)學習網(wǎng)絡(luò)， 我們設(shè)計了背景輔助多任務(wù)損失函數(shù)． 針對生成估計密度圖的主任務(wù)， 我們采用歐幾里得損失計算真實密度圖標簽與估計密度圖之間的差值． 針對復雜背景分割輔助任務(wù)， 我們同樣采用歐幾里得損失計算真實背景分割圖標簽與估計分割圖之間的差值， 兩個損失如下：

(1)

(2)

其中：N表示在一個訓練批次中輸入圖片的數(shù)目，F(xiàn)(g)是歐幾里得距離，Dgt表示真實密度圖，Dest表示網(wǎng)絡(luò)生成的估計密度圖，Sgt表示真實背景分割圖標簽，Sest表示估計背景分割圖，Xi為輸入圖片，Θ為網(wǎng)絡(luò)參數(shù)．

對于該網(wǎng)絡(luò)， 我們采用了多任務(wù)聯(lián)合學習的方式訓練， 最終的損失函數(shù)為：

L=LD+LS

(3)

3 實驗細節(jié)

3.1 標簽生成

在網(wǎng)絡(luò)訓練之前， 我們需要制作真實密度圖與背景分割圖標簽． 我們采用了人群計數(shù)中常見的真實密度圖標簽生成方法[8]， 利用幾何自適應(yīng)高斯核與人群頭部標注點圖生成真實密度圖：

(4)

在真實密度圖的基礎(chǔ)上， 我們對圖中的非零像素值取1， 否則取值0， 可以得到背景分割圖標簽：

(5)

其中p為真實密度圖Di(p)中的第i個像素．

3.2 數(shù)據(jù)集

我們在實驗中使用了3個人群計數(shù)基準數(shù)據(jù)集， 分別為ShanghaiTech[8]， UCF_CC_50[9]和UCF_QNRF[17]．

ShanghaiTech數(shù)據(jù)集[8]分為Part A和Part B兩部分． 每部分都有訓練集和驗證集． 每張圖片有對應(yīng)的點標簽， 包含1198張圖片， 330 165個注釋頭部． 它是目前使用最為廣泛的人群計數(shù)基準數(shù)據(jù)集．

UCF_CC_50數(shù)據(jù)集[9]包含50張圖像， 人群數(shù)量變化大， 十分具有挑戰(zhàn)性． 由于其數(shù)據(jù)集太小， 我們在訓練時采用了五折交叉驗證的方法．

UCF_QNRF數(shù)據(jù)集[17]是一個從網(wǎng)絡(luò)收集的大規(guī)模數(shù)據(jù)集， 包含透視場景和復雜背景的1 535張高分辨率圖像， 其人數(shù)從50到12 000不等．

3.3 訓練細節(jié)

本次訓練采用Tesla K80顯卡． 針對不同的數(shù)據(jù)集我們設(shè)置了不同的高斯核標準差， 對于比較稀疏的ShanghaiTech PartB， 我們設(shè)置了σ為15.0， 對其他較為密集的數(shù)據(jù)集我們設(shè)置了σ為4.0． 為了提高網(wǎng)絡(luò)的泛化性能， 我們采用了數(shù)據(jù)增強的方法． 我們首先對圖片進行隨機裁剪， 之后進行左右翻轉(zhuǎn)、 灰度化以及增強圖像對比度． 實驗中， 我們設(shè)置了4 000個epoch， batch size的大小為64， 學習率為5×10-6， 采用的優(yōu)化器為Adam．

3.4 評價指標

在所有實驗中， 我們采用了常見的平均絕對誤差(MAE)和均方根誤差(RMSE)對計數(shù)精度進行評價． 兩個評價指標定義如下：

(6)

(7)

4 結(jié)果分析

4.1 消融實驗

本文提出了基于背景輔助的高效人群計數(shù)多任務(wù)學習網(wǎng)絡(luò)(BAMTLNet)． 為了減少網(wǎng)絡(luò)參數(shù)量， 我們使用了VGG的前7層作為前端網(wǎng)絡(luò)提取初級特征． 為了降低復雜背景對計數(shù)的影響， 后端使用多任務(wù)網(wǎng)絡(luò)硬參數(shù)共享機制， 即生成估計密度圖的主任務(wù)分支與復雜背景分割輔助任務(wù)分支共享前端網(wǎng)絡(luò)參數(shù)． 為了更好地訓練網(wǎng)絡(luò)， 我們提出了背景輔助多任務(wù)損失函數(shù)． 為了證明復雜背景分割輔助任務(wù)分支的作用， 我們針對網(wǎng)絡(luò)分支做了消融實驗． 我們在3個人群計數(shù)基準數(shù)據(jù)集上與其他研究進行了對比實驗． 實驗證明， 我們的網(wǎng)絡(luò)在精度與網(wǎng)絡(luò)輕量化上都達到了不錯的效果．

為檢驗BAMTLNet中， 背景分割輔助任務(wù)能降低復雜背景對計數(shù)精度的影響， 我們對復雜背景分割輔助任務(wù)分支進行了消融． 如表1所示， 我們在ShanghaiTech Part A上分別做了包含輔助任務(wù)分支與不包含輔助任務(wù)分支的實驗． 可以看出， 加上輔助任務(wù)后， 計數(shù)精度提高了1.3， 表明加入背景分割輔助任務(wù)后， 網(wǎng)絡(luò)學習到了背景的語義信息， 提高了計數(shù)性能．

表1 BAMTLNet在ShanghaiTech Part A上的消融實驗結(jié)果

4.2 對比實驗

為檢驗BAMTLNet在不同數(shù)據(jù)集上的性能， 我們在ShanghaiTech Part A， ShanghaiTech Part B， UCF_CC_50和UCF_QNRF上進行了實驗， 并與其他人群計數(shù)網(wǎng)絡(luò)進行了對比．

表2展示了BAMTLNet在ShanghaiTech數(shù)據(jù)集上的性能． 在對比結(jié)果表格中， 我們的網(wǎng)絡(luò)在ShanghaiTech數(shù)據(jù)集上取得了不錯的結(jié)果． Part A的結(jié)果是67.1， 雖然沒有比上ADCrowdNet[3]的結(jié)果， 但是我們的網(wǎng)絡(luò)參數(shù)量更?。?在Part B上， 我們得到了更好的MAE值， 為7.8． 相比于ADCrowdNet[3]提高了4.9%．

表2 ShanghaiTech數(shù)據(jù)集上的對比實驗結(jié)果

表3展示了UCF_CC_50數(shù)據(jù)集上的對比實驗． 其中， 我們的實驗結(jié)果MAE為241.7， 比PCC Net[7]低1.7． 可能是由于該數(shù)據(jù)集圖片數(shù)量太少， 做五折交叉驗證時劃分5個圖片集的劃分方式導致我們的實驗結(jié)果略低．

表3 UCF_CC_50數(shù)據(jù)集上的對比實驗結(jié)果

表4展示了UCF_QNRF數(shù)據(jù)集上的對比實驗結(jié)果． 我們的網(wǎng)絡(luò)在該數(shù)據(jù)集上表現(xiàn)不錯． 其中MAE為101.5，RMSE為167.8． 在數(shù)據(jù)集足夠的情況下， 我們的網(wǎng)絡(luò)也可以在密集數(shù)據(jù)集上達到很好的性能．

表4 UCF_QNRF數(shù)據(jù)集上的對比實驗結(jié)果

為了證明BAMTLNet網(wǎng)絡(luò)參數(shù)量小， 我們對網(wǎng)絡(luò)參數(shù)量進行了計算比較， 見表5． 可以看出BAMTLNet網(wǎng)絡(luò)參數(shù)量為2.47×106， 低于3×106但未低至1×106以下． 我們認為在一定程度上， 參數(shù)量的增加可以帶來一定的精度提升． 而參數(shù)量太小， 網(wǎng)絡(luò)學習到的特征越少， 精度也會下降． 我們在精度與輕量化中取舍， 保證一定的精度又適當?shù)亟档途W(wǎng)絡(luò)的參數(shù)量， 使網(wǎng)絡(luò)達到不錯的性能． 一方面， 模型參數(shù)量一定程度上反映了模型的計算量和所需時間． 另一方面， 在具體比較計算時間時， 因?qū)嶒灜h(huán)境要求非常嚴格， 需要保證完全相同的環(huán)境參數(shù)． 因此， 本文未對比各模型在不同數(shù)據(jù)集上的計算時間． 然而， 在網(wǎng)絡(luò)模型參數(shù)量方面， 我們的模型達到了2.47 M的參數(shù)輕量化， 能在網(wǎng)絡(luò)訓練階段減少訓練時間． 同時， 在人群計數(shù)精度方面， 我們在ShanghaiTech Part A上獲得了較為令人滿意的結(jié)果．

表5 網(wǎng)絡(luò)參數(shù)量對比

4.3 可視化結(jié)果

圖2展示了BAMTLNet的可視化結(jié)果． 第一列表示原圖像； 第二列表示真實標簽密度圖； 第三列表示網(wǎng)絡(luò)所生成的估計密度圖． 我們在3個數(shù)據(jù)集上對真實密度圖與估計密度圖做出了評估， 并將其可視化． 可以看出， BAMTLNet生成的估計密度圖與真實密度圖標簽相差不大， 但在個別密集的區(qū)域會有些許的偏差． 因為我們的網(wǎng)絡(luò)更關(guān)注圖片的背景而非極度密集場景． 總體來說， BAMTLNet能完整生成圖片的密度圖并估計人數(shù)， 性能表現(xiàn)優(yōu)秀．

圖2 BAMTLNet的可視化結(jié)果

5 結(jié)論

本文提出了基于背景輔助的高效人群計數(shù)多任務(wù)學習網(wǎng)絡(luò)(BAMTLNet)． 為了減少網(wǎng)絡(luò)參數(shù)量， 我們使用了VGG的前7層作為前端網(wǎng)絡(luò)提取初級特征． 為了降低復雜背景對計數(shù)的影響， 后端使用多任務(wù)網(wǎng)絡(luò)硬參數(shù)共享機制， 采用生成估計密度圖的主任務(wù)分支與復雜背景分割輔助任務(wù)分支共享前端網(wǎng)絡(luò)參數(shù)． 為了更好訓練網(wǎng)絡(luò)， 我們提出了背景輔助多任務(wù)損失函數(shù)． 為了證明復雜背景分割輔助任務(wù)分支的作用， 我們針對網(wǎng)絡(luò)分支做了消融實驗． 我們在3個人群計數(shù)基準數(shù)據(jù)集上與其他研究進行了對比實驗． 實驗證明， 我們的網(wǎng)絡(luò)在精度與網(wǎng)絡(luò)輕量化上都達到了不錯的效果．