項(xiàng)朝輝　王麗亞　邱健數(shù)

關(guān)鍵詞： 行人重識(shí)別; 圖像聚類; 降維分析; 輪廓系數(shù); 計(jì)算機(jī)視覺(jué)

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）03-0028-04

0 概述

行人重識(shí)別（Person re-identification ReID） 是一個(gè)圖像搜索的問(wèn)題，它的任務(wù)是在不同時(shí)間不同攝像頭數(shù)據(jù)中檢測(cè)特定目標(biāo)。隨著智慧城市的發(fā)展，人們對(duì)安防的需求越來(lái)越高，現(xiàn)實(shí)中部署的攝像頭數(shù)量越來(lái)越多，如何從大量的視頻數(shù)據(jù)中快速檢索出特定目標(biāo)，成為計(jì)算機(jī)視覺(jué)中一個(gè)熱點(diǎn)研究的問(wèn)題。隨著深度學(xué)習(xí)的發(fā)展，當(dāng)前行人重識(shí)別任務(wù)廣泛采用深度學(xué)習(xí)網(wǎng)絡(luò)提取圖像的特征。

1.1 行人重識(shí)別特征

使用深度學(xué)習(xí)的方法提取圖像中行人的特征主要有特征表示學(xué)習(xí)和深度度量學(xué)習(xí)兩種方式。對(duì)于行人重識(shí)別任務(wù)，特征表示學(xué)習(xí)的思路是從行人的圖像中總結(jié)出能夠區(qū)分不同身份的更具有判別性的特征表示。其中根據(jù)提取特征策略的差異，進(jìn)一步可以將ReID模型分為驗(yàn)證模型和分類模型。文獻(xiàn)[1]將行人重識(shí)別問(wèn)題看成是一個(gè)多分類的問(wèn)題，每個(gè)身份的行人圖像為一個(gè)類別，用訓(xùn)練分類模型的方法達(dá)到行人重識(shí)別目的。文獻(xiàn)[2]在全局特征的基礎(chǔ)上，加入了相似性度量的方法，提高了搜索精度。全局特征難以捕捉到局部特征的差異，為了解決細(xì)粒度特征的問(wèn)題，文獻(xiàn)[3]改進(jìn)卷積核，采用了小型的卷積核進(jìn)行特征提取，該方法提取的特征在行人圖像存在遮擋等問(wèn)題時(shí)，搜索結(jié)果表現(xiàn)出較好的魯棒性。由于攝像頭的角度不同，拍攝到行人的姿態(tài)差異較大，導(dǎo)致同一人在不同攝像頭下的圖片特征相似度低，為了解決該問(wèn)題，主流的方法是將全局特征與局部特征相融合。文獻(xiàn)[4]對(duì)行人圖像進(jìn)行姿態(tài)估計(jì)，確定了圖像中行人頭、腳等部位的位置，再將圖像水平分割，分別提取每一個(gè)水平區(qū)域內(nèi)的局部特征，最后融合全局特征，提高了特征的魯棒性。文獻(xiàn)[5]同樣采用了水平分割圖像的方法，但是不同角度下分割出來(lái)的水平區(qū)域不能對(duì)齊，該文獻(xiàn)設(shè)計(jì)了精細(xì)局部池化模塊進(jìn)行對(duì)齊，提高了行人特征提取的性能。

另一種提取行人特征的方式是深度度量學(xué)習(xí)。度量學(xué)習(xí)的目的是在樣本中得到一個(gè)最優(yōu)的距離度量方式，能夠有效衡量樣本之間的相似性。而深度度量學(xué)習(xí)是使用深度學(xué)習(xí)的方法，將樣本特征從一個(gè)特征空間映射到另一個(gè)特征空間，在新的特征空間中，同一類別的樣本距離較近，不同類別的樣本距離較遠(yuǎn)。而對(duì)于傳統(tǒng)度量學(xué)習(xí)的方程，深度學(xué)習(xí)采用損失函數(shù)替代，其中實(shí)例損失是將行人重識(shí)別任務(wù)當(dāng)作一個(gè)圖像分類問(wèn)題[1]。文獻(xiàn)[6]改進(jìn)分類損失函數(shù)，采用了三元組損失函數(shù)訓(xùn)練行人特征，其思想為，不僅要讓不同類別的特征距離變大，還要讓相同類別的特征距離變小。為了解決三元組損失存在的正樣本之間距離無(wú)法控制的問(wèn)題，文獻(xiàn)[7]選擇難樣本進(jìn)行計(jì)算三元組損失。文獻(xiàn)[8]設(shè)計(jì)了感知三元組損失，其思路是將序列特征建模為一個(gè)集合，通過(guò)三元組損失優(yōu)化集合之間的距離，提升了行人特征的表示能力。

1.2 圖像聚類方法

在計(jì)算機(jī)視覺(jué)中，聚類是研究較少的方法，然而，對(duì)于行人重識(shí)別任務(wù)，有效的聚類可以提高搜索的速度。文獻(xiàn)[9]將聚類方法應(yīng)用到目標(biāo)檢測(cè)中，為了解決外界干擾檢測(cè)的影響，該文獻(xiàn)改進(jìn)了K-means算法，讓所有樣本計(jì)算其與子類的中心距離，以達(dá)到自動(dòng)搜索聚類個(gè)數(shù)的目的。文獻(xiàn)[10]將聚類方法應(yīng)用到圖像分割的任務(wù)中，將圖像背景進(jìn)行聚類從而達(dá)到前景提取的目的。該方法以視頻為研究目標(biāo)，從連續(xù)的圖像中進(jìn)行像素級(jí)去監(jiān)督模糊聚類，對(duì)結(jié)果進(jìn)行閾值分割來(lái)自適應(yīng)確定單模或多模背景。文獻(xiàn)[11]將聚類方法應(yīng)用到圖像的多目標(biāo)檢測(cè)任務(wù)中，對(duì)K-means算法進(jìn)行自適應(yīng)改進(jìn)，對(duì)運(yùn)動(dòng)物體的像素值、特征點(diǎn)坐標(biāo)進(jìn)行聚類，進(jìn)而區(qū)分了運(yùn)動(dòng)目標(biāo)和背景，從而完成了運(yùn)動(dòng)多目標(biāo)檢測(cè)。文獻(xiàn)[12]將聚類方法應(yīng)用到人臉檢測(cè)和文字檢測(cè)任務(wù)中，研究了將馬爾可夫聚類網(wǎng)絡(luò)與Viola-Jones算法結(jié)合，達(dá)到了圖像尺寸以及特征點(diǎn)方向的自適應(yīng)性，有效提高了人臉檢測(cè)與文字檢測(cè)的精準(zhǔn)度。

綜上，對(duì)行人重識(shí)別的研究重點(diǎn)在如何提取具有更好表示能力的特征，以及設(shè)計(jì)具有更強(qiáng)區(qū)分能力的度量。本文將在行人重識(shí)別任務(wù)中加入聚類算法，在搜索結(jié)果中，通過(guò)聚類得出聚類中心的排序，提高圖像檢索的效率。另外，對(duì)行人圖像特征進(jìn)行降維，使用聚類效果衡量各個(gè)維度下特征的表示能力，來(lái)確定最優(yōu)的維度，從而達(dá)到提高行人重識(shí)別搜索速度的目的。

2 相關(guān)工作

2.1 FastReID

京東AI研究院發(fā)布的FastReID[13]涵蓋了模型訓(xùn)練、模型評(píng)估、模型微調(diào)和模型部署。在網(wǎng)絡(luò)中設(shè)計(jì)了4個(gè)模塊，分別是圖像預(yù)處理、骨干網(wǎng)（Backbone） 、聚合模塊（Aggregation） 以及Head 模塊。FastReID 在每個(gè)模塊中配置了多種可選方法以適用于不同場(chǎng)景的任務(wù)。其中主干網(wǎng)絡(luò)用來(lái)提取圖像特征，F(xiàn)astReID 實(shí)現(xiàn)了3 個(gè)不同的主干，包括ResNet、ResNext 和ResNeSt。聚合模塊用于將骨干網(wǎng)生成的特征聚合成一個(gè)全局特征。Head模塊用于對(duì)生成的全局特征進(jìn)行歸一化、緯度約減等。

其中，D（：，：） 是關(guān)于人的圖像對(duì)的距離度量，m 為一對(duì)正和負(fù)之間的邊界。本文使用FastReID提取人體圖像的特征作為搜索的重要部分。

2.2 DBSCAN 聚類

DBSCAN（Density-Based Spatial Clustering of Ap?plications with Noise，具有噪聲的基于密度的聚類方法）是一種典型的基于密度的空間聚類算法。對(duì)于凸樣本集或非凸樣本集DBSCAN都有良好的聚類效果，而且它能夠找到空間中任意形狀的簇。

DBSCAN 的思路是根據(jù)數(shù)據(jù)樣本在空間中的距離計(jì)算密度，根據(jù)密度將數(shù)據(jù)點(diǎn)分為一類，其算法流程如下：

（1） 對(duì)于給定的數(shù)據(jù)集D，設(shè)定超參數(shù)鄰域半徑?和鄰域最小樣本點(diǎn)數(shù)MinPts;

（2） 從數(shù)據(jù)集D 中隨機(jī)選取一個(gè)樣本點(diǎn)，如果其鄰域半徑? 內(nèi)有大于MinPts 個(gè)樣本，則標(biāo)記為核心樣本，則找到所有與該點(diǎn)密度相連的樣本點(diǎn)，否則暫時(shí)將其標(biāo)記為噪聲點(diǎn)，后續(xù)還會(huì)進(jìn)一步將其分類；

（3） 重復(fù)（2） 步驟直到找到一個(gè)核心樣本，然后對(duì)其? 鄰域內(nèi)所有的核心對(duì)象，尋找對(duì)應(yīng)的密度相連的樣本點(diǎn)；

（4） 遍歷所有暫時(shí)的噪聲點(diǎn)，重復(fù)（2） 和（3） ，直到?jīng)]有新的核心對(duì)象為止；

（5） 完成上述操作后仍然沒(méi)有歸類的點(diǎn)被標(biāo)記為最終的噪聲點(diǎn)。

和傳統(tǒng)的K-means算法相比，DBSCAN最大的不同就是無(wú)需確定聚類個(gè)數(shù)。在行人重識(shí)別任務(wù)中，搜索庫(kù)中行人的身份個(gè)數(shù)也是未知的。另外，DBSCAN 對(duì)任意形狀有自適應(yīng)性，這一點(diǎn)也和行人圖片由于角度、遮擋等原因造成樣本空間非凸特點(diǎn)非常契合。綜上，本文將使用DBSCAN對(duì)行人特征進(jìn)行聚類。

2.3 評(píng)估方法

相較于分類任務(wù)，搜索任務(wù)的類別個(gè)數(shù)是可以增加或者減少的，所以通常使用搜索結(jié)果的排序來(lái)進(jìn)行衡量模型效果。其中常用的Rank-n 表示搜索排序中前n 張圖是否包含目標(biāo)類別的概率。另外平均準(zhǔn)確率均值mAP 衡量了目標(biāo)類別在搜索排序中的分布，對(duì)于為x₁、x₂、...x_n的n 張檢索到的圖像結(jié)果，一共M 類，其mAP 計(jì)算公式如下：

對(duì)于無(wú)監(jiān)督聚類算法，通常使用輪廓系數(shù)（Silhou?ette Score） 來(lái)衡量聚類效果。輪廓系數(shù)計(jì)算了同一個(gè)類別中所有點(diǎn)之間的距離以及與鄰近類別中所有點(diǎn)的距離，通過(guò)距離來(lái)評(píng)估聚類模型的表現(xiàn)。主要思想是讓類內(nèi)距離越小且類間距離越大的模型分?jǐn)?shù)越高。

對(duì)于模型開(kāi)發(fā)階段，行人重識(shí)別數(shù)據(jù)集已經(jīng)標(biāo)注了行人的信息，所以可以通過(guò)行人身份進(jìn)一步衡量聚類效果。互信息分（Mutual Information-based Score） 可以衡量真實(shí)標(biāo)簽和聚類結(jié)果之間的相似性。其指標(biāo)越接近0，表示聚類結(jié)果越隨機(jī)，指標(biāo)越接近1，表示聚類越精確。

綜上，本文采用多種評(píng)價(jià)方法評(píng)估聚類的效果，以便于尋找最優(yōu)的行人圖像聚類結(jié)果。

3 本文工作

FastReID模型通過(guò)提取行人圖像全局特征進(jìn)行行人搜索，實(shí)際場(chǎng)景中由于光線、遮擋、攝像頭角度、攝像頭距離等問(wèn)題，導(dǎo)致同一人的不同圖像特征差距較大，造成誤判。另外行人駐足停留或者活動(dòng)頻繁會(huì)導(dǎo)致搜索出大量相似的圖片，如果搜索結(jié)果中出現(xiàn)大量誤判的相似圖片，則會(huì)嚴(yán)重干擾人們快速在搜索結(jié)果中找到目標(biāo)。本文將在行人全局特征的基礎(chǔ)上，進(jìn)行聚類，以便于快速地檢索出目標(biāo)圖片。圖1為行人重識(shí)別搜索結(jié)果圖。

現(xiàn)實(shí)場(chǎng)景中，行人搜索固定時(shí)間空間內(nèi)的圖片數(shù)量以及id 數(shù)量是不確定的，所以該任務(wù)不能用Kmeans這種需要確定聚類個(gè)數(shù)的聚類算法。本文將使用DBSCAN 密度聚類算法，該算法根據(jù)圖像特征密度、樣本之間的聚類劃分出類別。圖2為聚類后搜索結(jié)果圖。

在DBSCAN密度聚類算法中，不同樣本特征根據(jù)距離是否超過(guò)閾值來(lái)區(qū)分是否為領(lǐng)域內(nèi)的點(diǎn)，從而達(dá)到聚類目的。其中距離閾值? 是一個(gè)非常重要的參數(shù)，如何正確地設(shè)置參數(shù)數(shù)值是聚類的關(guān)鍵。本文通過(guò)多種方式衡量聚類的效果：1） 類別個(gè)數(shù)判定。由于訓(xùn)練數(shù)據(jù)為有標(biāo)注的行人數(shù)據(jù)，所以可以通過(guò)比較聚類后的類別個(gè)數(shù)與真實(shí)類別個(gè)數(shù)差異來(lái)衡量聚類效果；2） 輪廓系數(shù)判定。在特征層面，好的聚類結(jié)果是類內(nèi)距離較小，類間距離較大，所以可以選取輪廓系數(shù)來(lái)衡量聚類效果；3） 互信息分判定。根據(jù)已標(biāo)注的訓(xùn)練數(shù)據(jù)，計(jì)算每個(gè)id所有圖片的聚類標(biāo)簽的熵值，以及每個(gè)類別中圖片id 的熵值，可以衡量聚類的效果。

另外FastReID輸出特征維度為2 048維，在實(shí)際場(chǎng)景中，高維特征數(shù)據(jù)儲(chǔ)存困難，計(jì)算耗時(shí)。本文將在此基礎(chǔ)上進(jìn)行PCA降維分析，在每一類維度上尋找最優(yōu)的聚類結(jié)果，根據(jù)計(jì)算耗時(shí)、聚類效果、搜索精度綜合得到一個(gè)計(jì)算更輕量、搜索更高效的行人特征。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文選用Market-1501數(shù)據(jù)集進(jìn)行驗(yàn)證。Market-1501數(shù)據(jù)集中包含６個(gè)攝像頭拍攝得到的1 501個(gè)行人，共32 668張行人圖像，其中3 368張圖像用于查詢。

4.2 DBSCAN 參數(shù)選取

在2 048維的FastReID特征基礎(chǔ)上，使用DBSCAN 進(jìn)行聚類。對(duì)于密度聚類，無(wú)法指定類別個(gè)數(shù)，調(diào)整距離參數(shù)?，可以得到不同的聚類效果。進(jìn)一步評(píng)估聚類效果，本文選取了輪廓系數(shù)來(lái)評(píng)估聚類效果。此外，由于Market1501數(shù)據(jù)集存在圖片的標(biāo)簽，所以可以利用真實(shí)標(biāo)簽來(lái)評(píng)估聚類效果，本文選取了互信息分?jǐn)?shù)來(lái)評(píng)估聚類效果。遍歷? 值得到結(jié)果如圖3 所示。

根據(jù)趨勢(shì)圖可以看出，? 在0.24附近，聚類個(gè)數(shù)達(dá)到最大值，約1 254個(gè)類別，由于數(shù)據(jù)集中有1501個(gè)類別，所有? 取0.24 時(shí)，聚類類別個(gè)數(shù)與真實(shí)類別個(gè)數(shù)最接近。根據(jù)輪廓系數(shù)以及互信息分可以看出，在距離參數(shù)? 在0.26以及0.27附近取到最大，從三者對(duì)比可以看出，雖然最優(yōu)的距離參數(shù)有所區(qū)別，但是在最優(yōu)距離附近趨勢(shì)是一致的，而且差距不大。綜上，根據(jù)聚類個(gè)數(shù)、輪廓系數(shù)以及互信息分?jǐn)?shù)來(lái)確定最優(yōu)距離參數(shù)的方法是可行的。

4.3 特征降維分析

高維特征能夠充分表達(dá)圖像特征，但是計(jì)算速度較慢。對(duì)特征進(jìn)行降維處理能夠加快計(jì)算速度，但是降低了行人重識(shí)別的搜索精度。本文評(píng)估了不同維度下計(jì)算速度和搜索精度。實(shí)驗(yàn)在Python3.80進(jìn)行，Numpy 版本為1.24.2，CPU 型號(hào)為13th Gen Intel（R） Core（TM） i5-13400F。實(shí)驗(yàn)結(jié)果如圖4所示：

圖4左圖中，當(dāng)數(shù)據(jù)維度降到64維時(shí)，每一個(gè)樣本的計(jì)算時(shí)間降低到原始特征計(jì)算時(shí)間的1/25左右。另外在圖4 右圖中，維度降到64 維時(shí)，Rank-n 以及mAP 值沒(méi)有明顯的下降，可以得出該維度數(shù)是一個(gè)比較理想的維度數(shù)。

通過(guò)計(jì)算降維后特征的聚類評(píng)估，進(jìn)一步確定最優(yōu)參數(shù)。本文遍歷了2至2048維度以及DBSCAN密度參數(shù)?，分別計(jì)算聚類個(gè)數(shù)、輪廓分?jǐn)?shù)以及互信息分。結(jié)果如圖5所示。

三種評(píng)估方式得到的結(jié)果相近，且在64維度時(shí)，三種評(píng)估方式得到的最優(yōu)密度參數(shù)? 基本一致。

5 結(jié)論

在行人重識(shí)別任務(wù)中，對(duì)特征聚類可以提高圖片檢索效率。從聚類個(gè)數(shù)、輪廓系數(shù)以及互信息分三個(gè)角度綜合評(píng)估聚類效果，可以確定最優(yōu)的聚類參數(shù)。通過(guò)降維能夠有效地提高圖片搜索速度，通過(guò)實(shí)驗(yàn)得出，特征維度在64維時(shí)，速度提高到原來(lái)的24.75倍，且搜索精度Rank-n 僅降低0.6%，mAP 值僅降低1.4%。

【通聯(lián)編輯：唐一東】