高 輝，鄧淼磊，趙文君，陳法權(quán)，張德賢

1.河南工業(yè)大學(xué) 機(jī)電工程學(xué)院，鄭州 450001

2.河南省糧食信息處理國際聯(lián)合實驗室，鄭州 450001

3.河南工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，鄭州 450001

人群定位旨在預(yù)測頭部，獲得視頻圖像中每個目標(biāo)的位置，是人群分析的一項重要研究內(nèi)容。主流人群定位方法大致可分為基于檢測、基于回歸和基于密度圖的方法?；跈z測的方法[1-3]主要遵循Faster RCNN[4]的路線，利用最近鄰頭部距離來初始化偽真值（ground truth，GT）邊界框。它們通常遵循兩步探測原則，頭部位置等于預(yù)測邊界框的中心。然而，偽GT 值并不能精確表示頭部尺寸，導(dǎo)致檢測性能差。此外，手動設(shè)計的非最大抑制（non-maximum suppression，NMS）算子可以消除負(fù)面預(yù)測。Ⅰdress等[5]和Gao等[6]利用了小型高斯核密度圖，頭部位置等于密度圖的最大值。盡管使用小內(nèi)核可以生成清晰的密度圖，但在極度密集的區(qū)域仍然存在重疊，使得頭部位置無法區(qū)分。因為位置圖需要經(jīng)過精心設(shè)計，從而基于密度圖的方法具有相對較高的定位精度，所以大多數(shù)人群定位方法是基于密度圖的，如距離標(biāo)簽圖[7]、焦點(diǎn)反變換圖（focal inverse distance transform map，F(xiàn)ⅠDTM）[8]和獨(dú)立實例圖（independent instance map，ⅠⅠM）[9]。然而，基于密度圖的方法需要復(fù)雜且不可微分的后處理來提取頭部位置，例如“查找最大值”。

此外，基于密度圖的方法依靠高分辨率表示生成清晰的地圖，以便更好地找到局部最大值，這意味著需要多尺度特征映射。相比之下，基于回歸的方法比基于檢測和基于密度圖的方法更簡單，原因可以概括為兩個方面：（1）訓(xùn)練簡單，既不需要預(yù)處理，如生成偽GT框或本地化地圖，也無須進(jìn)行后處理，如NMS 或“查找最大值”。（2）不依賴于高分辨率表示，如復(fù)雜的多尺度融合或上采樣機(jī)制。Song 等[10]是通過對大量提案定義替代回歸來實現(xiàn)的，該模型依賴于預(yù)處理，例如生成8×W×H點(diǎn)提案。

隨著深度學(xué)習(xí)的發(fā)展，Transformer在計算機(jī)視覺中迅速傳播開來[11-16]。具體而言，Carion 等[11]提出一種沒有NMS 的端到端可訓(xùn)練檢測器detector Transformer（DETR），利用Transformer解碼器在端到端管道中對目標(biāo)檢測進(jìn)行建模，并僅使用一個單級特征映射成功地消除了后處理的需要，實現(xiàn)具有競爭力的性能。然而，DETR主要依賴帶有類置信度的L1距離，即在沒有上下文的情況下為每個GT 分配每個獨(dú)立匹配可能導(dǎo)致錯誤，且與目標(biāo)檢測不同的是人群圖像只包含人頭一個類別，而密集的人頭的紋理都相似，所以預(yù)測的可信度很高，從而造成大大降低算法的定位效果。在DETR的基礎(chǔ)上，Meng 等[12]提出一種用于快速DETR 訓(xùn)練的條件交叉注意機(jī)制，加速了DETR 的收斂。在人群分析中，Liang 等[15]提出了TransCrowd，它從基于ViT 的序列計數(shù)的角度重新表述了弱監(jiān)督人群計數(shù)問題。TransCrowd能夠利用ViT 的自注意力機(jī)制有效地提取語義人群信息。此外，這是研究人員首次采用ViT進(jìn)行人群計數(shù)研究，并且取得顯著效果。Sun 等[17]展示了點(diǎn)監(jiān)督人群計數(shù)設(shè)置中Transformer的功效。但他們都只關(guān)注人群計數(shù)任務(wù)，而不是人群定位任務(wù)。

只有少數(shù)方法專注于計數(shù)，缺乏標(biāo)記數(shù)據(jù)。傳統(tǒng)方法[18]依賴于手工制作的特征，如GLCM 和邊緣方向，對于這種弱監(jiān)督的計數(shù)任務(wù)，這些特征是次優(yōu)的。Lei等[19]從少量的點(diǎn)級注釋（完全監(jiān)督）和大量的計數(shù)級注釋（弱監(jiān)督）學(xué)習(xí)模型。Borstel 等[20]提出了一種基于高斯過程的弱監(jiān)督解，用于人群密度估計。類似地，Yang等[21]提出了一種軟標(biāo)簽排序網(wǎng)絡(luò)，可以直接回歸人群數(shù)量，而無須任何位置監(jiān)控。然而，這些計數(shù)級弱監(jiān)督計數(shù)方法的計數(shù)性能仍然沒有達(dá)到與完全監(jiān)督計數(shù)方法相當(dāng)?shù)慕Y(jié)果，存在大量退化，限制了弱監(jiān)督方法在現(xiàn)實世界中的應(yīng)用。因此，基于ViT的架構(gòu)采用了弱監(jiān)督方法。其中，Tian等[22]借鑒了Chu等[23]提出的Twins SVT，包括骨干網(wǎng)絡(luò)和一個復(fù)雜的解碼器，它既可以執(zhí)行完全監(jiān)督的人群計數(shù)，也可以執(zhí)行弱監(jiān)督的人群計數(shù)。在密集場景中，由于對每個頭部標(biāo)注邊界框既費(fèi)時又費(fèi)力，因此一般用頭部的中心點(diǎn)表示目標(biāo)的位置，而且當(dāng)前大多數(shù)數(shù)據(jù)集僅提供點(diǎn)級標(biāo)注。因此，設(shè)計一種準(zhǔn)確的人群定位算法可以提高人群跟蹤和人群計數(shù)性能。

1 改進(jìn)的人群定位網(wǎng)絡(luò)

本文旨在探索將純Transformer 模型用于人群定位，建立一個基于弱監(jiān)督的改進(jìn)Transformer框架Local-Former，如圖1所示。該方法無須額外的預(yù)處理和后處理即可直接預(yù)測所有實例子，包含特征提取網(wǎng)絡(luò)Backbone、編碼器-解碼器網(wǎng)絡(luò)與預(yù)測器。具體來說，該方法首先使用預(yù)先訓(xùn)練的Transformer骨干網(wǎng)絡(luò)從輸入圖像中提取多尺度特征，并將來自不同階段的特征通過全局最大池化（global max pooling，GMP）操作后，再經(jīng)過聚合模塊得到組合特征F。其次，在編碼器-解碼器網(wǎng)絡(luò)中，將組合特征進(jìn)行位置嵌入后的特征Fp輸入編碼器，輸出編碼特征Fe，再將Fe輸入解碼器，且每個解碼器層采用一組可訓(xùn)練嵌入作為查詢，并將編碼器最后一層的視覺特征作為鍵和值，輸出解碼特征Fd用于預(yù)測置信度得分。最后，將Fd和置信度得分送入二值化模塊自適應(yīng)優(yōu)化閾值學(xué)習(xí)器，精確地二值化置信度圖，從而得到人頭中心位置。

圖1 LocalFormer網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram of LocalFormer

1.1 Transformer骨干網(wǎng)絡(luò)

本文提出的LocalFormer 使用金字塔vision Transformer 作為特征提取骨干網(wǎng)絡(luò)，在此參考PVTv2[24]的“PVTv2 B5”版本，如表1 所示。它有4 個階段，每個階段生成不同比例的特征圖。每個階段的架構(gòu)包括重疊的補(bǔ)丁嵌入層和變壓器編碼器層的Li數(shù)，即第i階段的Li編碼器層。PVTv2 利用重疊的補(bǔ)丁嵌入來標(biāo)記圖像。生成補(bǔ)丁時，相鄰窗口的重疊面積為其面積的一半。重疊補(bǔ)丁嵌入是通過應(yīng)用零填充卷積和適當(dāng)?shù)牟介L來實現(xiàn)的。具體來說，對于大小為W×H×C的輸入，卷積層的內(nèi)核大小為2S-1，零填充為S-1，步長S，內(nèi)核數(shù)C被用于生成一個尺寸為×C的輸出。第一階段生成補(bǔ)丁的卷積步長為S=4 ，其余階段為S=2。因此，從第i階段獲得一組特征圖，與輸入圖像的大小相比，尺寸縮小了2(i+1)。

表1 LocalFormer骨干網(wǎng)絡(luò)參數(shù)配置Table 1 Parameters setting of LocalFormer backbone network

標(biāo)準(zhǔn)Transformer 層由multi-head attention 和MLP塊組成，同時采用了層歸一化（layer norm，LN）和殘差連接，如圖2 所示。在第一階段開始時，輸入被均勻地劃分為大小相等的重疊補(bǔ)丁，每個補(bǔ)丁被展平并投影到Ci 維嵌入中。第1、2、3 和4 階段嵌入維度分別為64、128、320 和512，這些補(bǔ)丁嵌入然后通過Transformer 編碼器。每個編碼器由一個自我注意機(jī)制和一個前饋神經(jīng)網(wǎng)絡(luò)組成，位置編碼在前饋神經(jīng)網(wǎng)絡(luò)中完成。在LocalFormer中，輸入圖像大小為384×384×3像素，第一階段的補(bǔ)丁大小為7×7×3 和3×3×Ci，其中Ci是第i階段的嵌入維度。如前所述，C2=64、C3=128 和C4=320。因此，得到的輸出特征的尺寸分別為96×96×64、48×48×128、24×24×320和12×12×512。

圖2 標(biāo)準(zhǔn)Transformer層Fig.2 Standard Transformer layer

通過實驗，在Transformer 骨干網(wǎng)絡(luò)前三階段使用全局最大池化銳化提取特征，去除無效信息。在第四階段使用全局平均池化（global avg pooling，GAP）來獲取全局上下文信息，找到所有的目標(biāo)可區(qū)分區(qū)域。因此，從每個階段獲取特征映射，執(zhí)行全局池化操作以獲得64、128、320和512維的一維序列，并將這些序列中的每一個投影到長度為6 912的一維序列中。

1.2 Transformer編碼器-解碼器

1.2.1 編碼器

由于Transformer 編碼器采用1D 序列作為輸入，本文在Transformer 骨干網(wǎng)絡(luò)提取的特征Fp可以直接送入Transformer 編碼器層，以生成編碼特征Fe。這里，編碼器包含許多編碼器層，每一層包括一個自注意力（self-attention，SA）層和一個前饋（feed-forward，F(xiàn)F）層。SA由3個輸入組成，包括查詢（query，Q）、鍵（key，K）和值（value，V），定義如下：

其中，Q、K和V從相同的輸入Z獲得（例如，Q=ZWQ）。特別是，使用多頭自注意力（multi self-attention，MSA）來建模復(fù)雜的特征關(guān)系，這是多個獨(dú)立SA模塊的擴(kuò)展：MSA=[SA1,SA2,…,SAm]W，其中W是重投影矩陣，m是設(shè)置為8的注意頭數(shù)。

1.2.2 解碼器

Transformer解碼器由多個解碼器層組成，每一層由3 個子層組成：（1）一個自我注意力（SA）層。（2）交叉注意（cross attention，CA）層。（3）前饋（FF）層。SA和FF與編碼器相同。CA模塊將兩個不同的嵌入作為輸入，而不是SA中的相同輸入。將兩個嵌入表示為X和Y，CA可以寫為CA=SA(Q=XWQ,K=YWK,V=YWV)。

本文中，每個解碼器采用一組可訓(xùn)練嵌入作為查詢query，最后一個編碼器層的視覺特征作為鍵和值。解碼器輸出解碼后的特征Fd，用于預(yù)測人頭的點(diǎn)坐標(biāo)（point coordinate）及其置信度得分（confidence score），從而得出場景中的人數(shù)和人群定位。

1.3 二值化模塊

許多主流方法利用熱圖進(jìn)行目標(biāo)定位，通常設(shè)置閾值以從預(yù)測的熱圖中過濾位置信息。大多數(shù)啟發(fā)式人群定位方法[2-3，8，25]在數(shù)據(jù)集上用單個閾值提取頭部點(diǎn)。顯然，這不是最佳選擇，因為低置信度和高置信度之間的置信度響應(yīng)不同。為了緩解這個問題，ⅠⅠM提出學(xué)習(xí)一個像素級閾值圖來分割置信度圖[9]，這可以有效提升捕獲更多較低響應(yīng)頭并消除相鄰頭中的重疊。但也存在兩個問題：（1）閾值學(xué)習(xí)器在訓(xùn)練過程中可能會誘發(fā)NaN（not a number）現(xiàn)象。（2）預(yù)測的閾值圖相對粗糙。因此，考慮重新設(shè)計二值化模塊來解決這兩個問題。

如圖3 所示，置信度預(yù)測值被饋送到閾值學(xué)習(xí)器中，用于解碼像素級閾值映射。這里，進(jìn)行像素級的注意過濾器操作，而不是直接傳遞特征映射Fd。注意過濾器是解碼特征Fd和置信度預(yù)測C之間的點(diǎn)積操作，其可表示為：

圖3 二值化模塊流程圖Fig.3 Flowchart of binarization module

二值化模塊的核心組件是閾值學(xué)習(xí)器和二值化層。前者從過濾器學(xué)習(xí)像素級閾值映射T，后者將置信度映射C二值化為二值映射B。其中，閾值學(xué)習(xí)器由5個卷積層組成：前三層以3×3的內(nèi)核大小逐步減少特征通道，每一層后面都有一個批量歸一化和ReLU激活函數(shù)。最后兩層的內(nèi)核大小分別為3×3 和1×1，然后是批處理規(guī)范化、ReLU 和平均池層。添加窗口大小為9×9的平均池層來平滑閾值圖。最后，引入了一個定制的激活函數(shù)來解決NaN現(xiàn)象，其定義如下：

等式（3）將Ti,j的范圍限制為[0.25，0.90]。與壓縮的Sigmoid激活函數(shù)相比，它不會強(qiáng)制最后一層輸出±∞等無意義值，因此，它增加了數(shù)值計算的穩(wěn)定性。為了確保在訓(xùn)練過程中適當(dāng)優(yōu)化閾值，規(guī)定了公式（4）的推導(dǎo)規(guī)則。

閾值學(xué)習(xí)器定義為δ，參數(shù)θt，其輸出閾值映射如公式（5）所示：

現(xiàn)在，通過將置信度映射C和閾值映射T轉(zhuǎn)發(fā)到可微二值化層，得到了具有函數(shù)?(C,T)的二值映射B，其公式如下：

1.4 損失函數(shù)

在獲得一對一匹配結(jié)果后，需要計算反向傳播的損失。由于不同圖像的人群數(shù)量差異很大，而且L1損失[23]對異常值非常敏感，所以使用平滑的Ls損失，而不是L1損失。平滑Ls損失定義如下：

公式（7）可以看出，當(dāng) |Prei-Gti|>β時，平滑Ls損失作為L1損失。|Prei-Gti|≤β時，平滑Ls損失作為L2損失。β是一個超參數(shù)，Prei和Gti分別代表給定圖像中的預(yù)測人數(shù)和真實人數(shù)。

2 實驗

2.1 數(shù)據(jù)集

在3個具有挑戰(zhàn)性的數(shù)據(jù)集上評估本文方法，每個數(shù)據(jù)集詳細(xì)情況如下：

ShanghaiTech[26]是前幾年最大的大規(guī)模人群統(tǒng)計數(shù)據(jù)集之一，由1 198幅圖像和330 165條注釋組成。根據(jù)密度分布的不同，將數(shù)據(jù)集分為兩部分：A 部分和B 部分。A 部分由300 張訓(xùn)練圖像和182 張測試圖像組成。B部分包括400張訓(xùn)練圖像和316張測試圖像。A 部分是從互聯(lián)網(wǎng)上隨機(jī)選取的圖片，B部分是從上海一個大都市的繁忙街道上拍攝的圖片。A 部分中的密度比B部分中的密度大得多。該數(shù)據(jù)集所呈現(xiàn)的規(guī)模變化和視角扭曲為許多基于CNN的網(wǎng)絡(luò)的設(shè)計提供了新的挑戰(zhàn)和機(jī)遇。

UCF-QNRF[5]是一個密集的數(shù)據(jù)集，包含1 535幅圖像（1 201 幅用于訓(xùn)練，334 幅用于測試）和1 251 642 個注釋。每幅圖像的平均行人數(shù)量為815人，最大人數(shù)達(dá)到了12 865人。此數(shù)據(jù)集中的圖像具有更廣泛的場景，并包含最多樣化的視點(diǎn)集、密度和照明變化。

NWPU-Crowd[27]是從各種場景收集的大規(guī)模數(shù)據(jù)集，共包含5 109 幅圖像，總共包含2 133 238 個帶注釋的實例。這些圖像隨機(jī)分為訓(xùn)練集、驗證集和測試集，分別包含3 109、500 和1 500 幅圖像。與現(xiàn)實世界中以前的數(shù)據(jù)集相比，除了數(shù)據(jù)量之外，還有一些其他優(yōu)點(diǎn)，包括負(fù)樣本、公平評估、更高的分辨率和較大的外觀變化。此數(shù)據(jù)集提供點(diǎn)級和框級注釋。

2.2 訓(xùn)練環(huán)境

對于上述數(shù)據(jù)集，使用原始大小的圖像隨機(jī)水平翻轉(zhuǎn)、縮放（0.8~1.2 倍）和裁剪（768×1 024）來增加訓(xùn)練數(shù)據(jù)。批處理大小為8，二值化模塊學(xué)習(xí)率設(shè)置為1E-5，其余可學(xué)習(xí)模塊的學(xué)習(xí)率初始化為1E-6。在訓(xùn)練期間，通過衰減策略更新學(xué)習(xí)率，衰減率為0.9，Adam[28]算法用于優(yōu)化框架，選擇驗證集中性能最好的模型來進(jìn)行測試和評估本文模型，將10%的訓(xùn)練數(shù)據(jù)集劃分為一個驗證集。在測試階段，在驗證集上選擇性能最好的模型來評估測試集上的性能，執(zhí)行端到端預(yù)測，無須多尺度預(yù)測融合和參數(shù)搜索。

2.3 評估指標(biāo)

在這項工作中，使用精度（precision，Pre）、召回率（recall，Rec）和F1 值（F1-measure，F(xiàn)1）作為人群定位的評估指標(biāo)，具體計算如下所示：

其中，TP表示預(yù)測為1，實際為1，預(yù)測正確；FP表示預(yù)測為1，實際為0，預(yù)測錯誤；FN表示預(yù)測為0，實際為1，預(yù)測錯誤。

預(yù)測點(diǎn)和ground truth遵循一對一匹配。如果匹配對中的距離小于距離閾值σ，則相應(yīng)的預(yù)測點(diǎn)被視為人頭中心點(diǎn)的位置。對于ShanghaiTech數(shù)據(jù)集，使用兩個固定閾值，包括σ=4 和σ=8。對于UCF-QNRF，使用[1，2，…，100]中的各種閾值范圍，類似于CL[5]。對于提供框級注釋的NWPU群組數(shù)據(jù)集，σ設(shè)置為/2，其中w和h分別是每個頭部的寬度和高度。

2.4 消融實驗

2.4.1 全局池化影響

首先研究GMP和GAP的影響。當(dāng)刪除GMP時，觀察到人群定位的性能顯著下降，精度從74.9%降至72.6%。而刪除GAP 時，精度從74.9%降至73.2%。全局池化對算法的消融實驗，結(jié)果如表2所示。

表2 全局池化消融實驗結(jié)果Table 2 Results of global pooling ablation experiment單位：%

2.4.2 Transformer大小消融

接下來，研究了改變Transformer 大小的影響，包括編碼器/解碼器層的數(shù)量和可訓(xùn)練的實例查詢。如表3所示，當(dāng)層和查詢數(shù)設(shè)置為6 和500 時，LocalFormer 實現(xiàn)了最佳性能。當(dāng)查詢數(shù)為300時，所提出的方法的精度降至74.5%。當(dāng)查詢數(shù)更改為700 時，所提出方法的精度降至74.3%。因此，查詢數(shù)量過多或者過少都會影響所提出算法的性能。

表3 Transformer 尺寸的影響Table 3 Effect of Transformer size

3 結(jié)果及討論

首先使用一些最先進(jìn)的本地化方法來評估本地化性能。對于NWPU人群，如表4所示，一個大型數(shù)據(jù)集，本文提出的LocalFormer 在驗證集上的F1 值優(yōu)于Auto-Scale[7]，為4.0個百分點(diǎn)。值得注意的是，該數(shù)據(jù)集提供了精確的框級注釋。盡管本文方法只是基于點(diǎn)注釋，這是一種更弱的標(biāo)記機(jī)制，但它仍然可以在NWPU-Crowd測試集上實現(xiàn)有優(yōu)勢的競爭性能。對于密集數(shù)據(jù)集UCF-QNRF（見表5），本文方法實現(xiàn)了最佳的召回率和F1 值。對于ShanghaiTech PartA（見表6），一個稀疏的數(shù)據(jù)集，本文的LocalFormer將最先進(jìn)的方法TopoCount的F1 值改進(jìn)了1.1 個百分點(diǎn)，用于嚴(yán)格的設(shè)置(σ=4)，并且在不太嚴(yán)格的設(shè)置(σ=8)中仍然領(lǐng)先。這些結(jié)果表明，該方法可以處理各種場景，包括大規(guī)模、密集和稀疏場景。

表4 NWPU-Crowd數(shù)據(jù)集的人群定位性能Table 4 Crowd localization performance on NWPU-Crowd dataset 單位：%

表5 UCF-QNRF數(shù)據(jù)集的人群定位性能Table 5 Crowd localization performance on UCF-QNRF dataset 單位：%

本文方法的人群定位結(jié)果可視化如圖4所示，第一行為3 個數(shù)據(jù)集上的4 張人群樣本圖，第二行為人群定位效果圖。其中，圖4（a）和4（b）分別來自ShanghaiTech數(shù)據(jù)集PartA 和PartB，圖4（c）來自NWPU-Crowd 數(shù)據(jù)集，圖4（d）來自UCF_QNRF數(shù)據(jù)集。

圖4 人群定位可視化結(jié)果Fig.4 Visualization results of crowd localization

4 結(jié)論

本文提出一種基于視覺Transformer 的人群定位算法LocalFormer，實現(xiàn)了在密集場景下人群定位。該算法基于弱監(jiān)督學(xué)習(xí)，將純Transformer 網(wǎng)絡(luò)用于人群定位，并進(jìn)行了改進(jìn)。通過在Transformer 每一層之后加入全局最大池化操作提高骨干網(wǎng)絡(luò)的特征提取能力。在編碼器-解碼器層，將聚合特征嵌入位置信息，并通過二值化模塊自適應(yīng)優(yōu)化閾值學(xué)習(xí)器，大幅提升了人群定位模型性能。在三個具有挑戰(zhàn)性的數(shù)據(jù)集上的實驗證明本文方法簡單而有效。下一步，將結(jié)合目標(biāo)檢測等，探索輕量化的人群定位模型，提高人群分析效率。