翟冰，戴天虹

（東北林業(yè)大學機電工程學院，哈爾濱，150040）

傳統(tǒng)的動物監(jiān)測方法，如標記和現(xiàn)場調查等，不僅昂貴，而且很難提供實時和準確的信息［1］，因此，研究人員開始逐漸把重識別（re-identification）技術［2］應用于保護稀有野生動物和追蹤動物個體領域，這對動物行為和生態(tài)學研究及保護瀕危物種具有重要意義。近年來，隨著計算機視覺技術的發(fā)展以及無人機和相機陷阱等技術的逐漸成熟［3?5］，人們收集了一些野生動物圖像數據并在這些數據上進行了重識別研究，其中包括但不限于針對靈長類（Primates）動物［6?7］、非洲森林象（Loxodonta cyclotis）［8］和北大西洋露脊鯨（Eubalaena glacialis）［9］等的重識別，這些重識別算法利用動物的身體部位提取判別特征，然后根據提取的特征來區(qū)分不同個體，然而以上野生動物重識別研究存在數據量較小和在非自然環(huán)境中捕獲等限制。從長遠角度看，如何設計重識別模型使其在自然環(huán)境下的較大規(guī)模野生動物數據集上具有更高的準確性和更好的泛化性，是野生動物重識別研究領域中一個具有挑戰(zhàn)性的問題。

由于深度神經網絡最初應用于圖像分類［10］，因此早期的行人重識別研究是對整張圖像進行全局特征學習［11］。東北虎（Panthera tigris altaica）重識別任務與行人重識別任務雖然同屬于檢索任務，但東北虎靠四肢運動，姿態(tài)變化比行人更大，并且光照條件不受約束，雜亂的背景、更隨機的遮擋和東北虎條紋的高度相似性，使東北虎重識別任務難度更大，但虎條紋圖案具有豐富的信息，可以作為判別虎身份的主要標志［12］。Li等［13］構建了野外東北虎重識別（Amur tiger re-identification in the wild，ATRW）數據集并提出幾個基線方法。Liu等［14］設計了一個姿態(tài)指導的補償特征學習（pose-guided complementary features learning，PGCFL）的雙流網絡，利用虎頭朝左或朝右來輔助特征學習。Liu等［15］提出一個部分姿態(tài)引導網絡（part-pose guided network，PPGNet），該網絡包括1 個全局流（global stream）和2 個局部流（lo?cal stream），其中2 個局部流用來指導全局流對局部特征的學習，雖然測試時僅使用全局流即可，但在訓練時非常消耗資源和時間。

針對東北虎重識別，本研究設計一種結合指導學習和特征擦除的方法：一方面，設計包括全局流和局部流的雙流網絡，融合局部流輸出特征與全局流輸出特征來指導全局流對細粒度特征的學習；另一方面，基于判別感知機制（discrimination-aware mechanism，DAM）［16］對融合后的特征向量和全局流輸出的特征向量進行特征擦除，以擦除后的特征訓練網絡，增強特征向量中更多元素的辨別能力，使模型獲得更全面、更具有魯棒性的東北虎特征表示，提高東北虎重識別的準確率。

1 結合指導學習和特征擦除網絡模型的構建

研究框架如圖1 所示，模型包括1 個全局流和 1個局部流，全局流與局部流之間的網絡權重參數不共享，主干網絡均為ResNet-50［17］，同時將最后一個殘差塊的步長設置為1，以獲得包含更多細粒度信息的高分辨率的特征圖。通過特征融合與損失計算實現(xiàn)局部流對全局流的指導學習，通過DAM 指導特征擦除來提高模型的魯棒性。

圖1 東北虎重識別的整體框架Fig.1 The overall framework of Amur tiger recognition

1.1 雙流網絡模型

1.1.1 局部流模型

在局部流中，首先利用分割掩碼（mask）與原圖相乘運算得到東北虎前景圖，以減輕雜亂背景產生的影響，使網絡更關注東北虎本身，其中掩碼獲取屬于數據預處理部分，分割方法采用Mask R-CNN［18］，同時對前景圖進行邊緣裁剪（crop）以減輕后面劃分操作中因錯位產生的影響，再將裁剪后的前景圖送入ResNet-50 前5 層中，得到輸出特征圖。目前的東北虎重識別方法主要基于身體條紋，為減輕對條紋豎直結構的破壞，采用PCB［19］中的劃分方法將特征圖在豎直方向上切分，再對每個分塊進行平均池化和降維操作，得到?local，i∈?256（i=1，2，···，8）。最后將提取到的細粒度特征在通道維度上進行級聯(lián)，得到特征向量?local∈?2048。

1.1.2 全局流模型

在全局流中，首先將原圖送入ResNet-50 前5 層中，通過全局平均池化操作得到全局特征向量?global∈?2048，對?global進行批次標準化（batch normalization，BN）后再以全連接層（fully connected layer，F(xiàn)C）權重為指導進行特征擦除操作。在最后的融合階段中，將?global與?local相加融合得到?fuse∈?2048，分別對?fuse和BN 層之后的融合特征進行特征擦除。特征擦除只在訓練階段使用，在測試階段僅使用全局流中經過BN層后的特征進行識別。

1.2 基于DAM的特征擦除

為了使類間的特征元素盡可能不同，在訓練過程中，每次迭代將每個特征向量元素都分成低判別性特征元素和高判別性特征元素。對具有低判別性特征元素的集合迭代優(yōu)化，擦除具有高判別性的特征元素。利用DAM 獲得新的特征向量，以進一步優(yōu)化模型參數。DAM 利用類之間差異的絕對值來確定應該擦除的特征元素。具體地說，當使用交叉熵損失（ID loss）來監(jiān)督分類任務時，使用最后一個全連接層的權重w∈?C×D為指導，將類內特征距離盡可能拉近，類間距離盡可能拉遠，其中C是類別數目，D是一個特征向量的維度。特征的類別是由特征向量fi投影到權重向量[w1，???，wC]中來決定的，其中wl（l=1，2，···，C）是一個D維向量。通過訓練使fi在wyi上的投影更長（yi是fi的真實類別）。特征的每個維度的值和類權重越相似，則投影越長。因此，類別權重可以表示類內樣本的平均特征，類權重之間的差異可以表示類間樣本之間的差異。類別ci和類別cj之間差異的絕對值定義如下：

式中：Wi，j是一個D維向量，它表示ci和cj之間每個元素的差異性，其值越高，則對應該位置的特征元素在兩類之間的判別性越強。通過兩個類別之間的差異來決定哪些特征元素需要進一步優(yōu)化，當差異性較小時，意味著該特征元素在兩類之間的判別性較弱。為了選擇需要優(yōu)化的特征元素，采用一種門控機制對具有高判別性的特征元素進行篩選與擦除。具體地說，采用不同類別權重之間差異絕對值的平均值來衡量特征元素的有效性，為了增加門控機制的靈活性，設置一個可調的參數λ，門控權重Ti，j定義如下：

為了進一步優(yōu)化特征fi中與其他所有類別之間具有低判別性的特征元素，采用ci與其他類別之間的平均差異為指導進行擦除，平均差異Wi，all定義如下：

通過采用相同的門控機制獲得門控權重Ti，all，然后得到fi相比于其他類別具有低判別性的新的門控特征Fi，all，其定義如下：

1.3 損失函數

為了提高整體特征表示的魯棒性，采用新的門控特征計算引入標簽平滑［20］后的交叉熵損失，公式如下：

式中：N為一個批次中的圖像數目；C為類別個數；Fi，all表示第i個樣本的新的門控特征；yi表示第i個樣本對應的真實標簽；qi是一個C維向量，每一維的值的定義如式（8）所示；ε是一個很小的常數，為0.1；wj和wl分別表示第j個類別和第l個類別對應的權重向量，當l=yi時，wl表示第i個樣本對應的真實類別的權重向量。

為了使網絡能夠學到更豐富的特征信息從而提高泛化能力，采用新的門控特征來計算錨樣本與負樣本之間的歐氏距離，使其優(yōu)化難度進一步提升從而提高特征表示的魯棒性，公式如下：

式中：［·］+=max（·，0）；α是一個預定義的值，設置為0.1；d（·）表示歐氏距離；fa和fp表示錨樣本與正樣本對應的特征向量；Fa，n表示錨樣本相對于負樣本生成的新的門控特征向量；Fn，a表示負樣本相對于錨樣本生成的新的門控特征向量。

綜上所述，總體損失如下：

式中：LS_global為全局流的交叉熵損失；LS_fuse為融合特征的交叉熵損失；LTriH_fuse為融合特征的難三元組損失；θ和β分別是融合特征的交叉熵損失的權重和難三元組損失的權重。

2 試驗與性能分析

2.1 數據集

采用Li等［13］構建的野外東北虎重識別數據集作為試驗數據集，該數據集規(guī)模相對較大且大多圖像是在自然環(huán)境下采集，由92 只東北虎的182 個實例組成，并且還包含3 649 個邊界框注釋，其中50 個實例由交叉攝像機捕獲，其余實例則在單攝像機下捕獲。60%單攝像機下的實例和40%交叉攝像機下的實例構成了訓練集，訓練集共1 887 張圖像，包含75 只東北虎的107 個實例。測試集共1 762 張圖像，包含58 只東北虎的75 個實例。測試集中的每個圖像都將對整個測試集查詢1 次，因此測試集既是庫集也是查詢集。

2.2 試驗參數設置

操作系統(tǒng)為Windows 10專業(yè)版，中央處理器為In?tel Xeon Gold 6142，顯卡為2 塊NVIDIA GeForce RTX3090，每塊顯存為25.4 GB，深度學習框架采用Py?torch 1.10。輸入網絡的圖像均調整為256像素×512像素，批處理大小設置為16，使用Adam優(yōu)化器訓練270個周期，初始學習率設置為0.000 3，前30個周期學習率從0.000 03線性增長到0.000 3，后期每40個周期學習率縮減至之前的1/3。λ為1.5，θ和β分別為1.5和2.0。

2.3 數據增強

東北虎的身體兩側可以看作不同的實例［19］，因此通過水平翻轉可以進一步擴大數據集，得到新實例，最終數據集規(guī)模是原來數據集的2倍。采用3種類型的數據增強方法，分別是隨機旋轉（隨機選擇旋轉角度-10°～10°，圖2A）。隨機改變圖像屬性（亮度、對比度和飽和度，改變范圍均為0.8～1.2，圖2B）和隨機添加噪聲（圖2C）。

圖2 東北虎圖像的數據增強樣例Fig.2 Sample of data enhancement of Amur tiger image

2.4 方法對比

在ATRW數據集上與CE［13］、Triplet Loss［13］、Aligned-reID［13］、PPbM-a［13］、PPbM-b［13］、PGCFL［14］和PPGNet［15］進行比較，試驗結果（表1）顯示，本研究提出的方法在所有指標上均優(yōu)于后者。在ATRW 數據集上使用單攝像機的情況下，本研究方法在mAP、Rank-1 和Rank-5 上的準確率分別達到92.1%、98.8%和99.6%，相比于最先進的PPGNet，分別提高了1.5%、1.1%和0.5%；在使用交叉攝像機的情況下，本研究方法在mAP、Rank-1 和Rank-5 上的準確率分別達到72.9%、94.1%和97.0%，相較于PPG?Net分別提高了0.3%、0.5%和0.3%。

表1 不同方法在ATRW數據集上的mAP、Rank-1和Rank-5的精度Tab.1 Accuracy of mAP，Rank-1，Rank-5 of different methods on ATRW dataset %

2.5 消融試驗

2.5.1 試驗1

為測試算法中各模塊對模型性能的貢獻，設計了消融試驗。將未引入DAM 和局部流，但引入了難三元組損失和帶標簽平滑的交叉熵損失的全局流模型作為基準模型（baseline），比較了加入局部流、掩碼（未加入掩碼時，局部流輸入與全局流輸入相同，即為原圖）、邊緣裁剪和DAM 后的試驗數據，以驗證各模塊的效果，結果如表2 所示，每個模塊均對性能提升做出了貢獻。引入局部流后，模型在單攝像機和交叉攝像機下的mAP 指標均有顯著提升，表明局部流的指導學習效果顯著，可以讓模型學習到更多的細粒度特征。局部流的輸入為分割前景圖時，模型在單攝像機下的各項指標具有小幅提升，在交叉攝像機下的mAP 指標有大幅提升，提升5.7%，這是因為通過背景抑制的方法讓局部流更關注前景，即東北虎本身，有效減輕了背景變換造成的影響。引入裁剪操作后，各項指標具有小幅度提升，這表明裁剪操作可在一定程度上減輕姿態(tài)錯位對后續(xù)PCB分塊的影響，能更好地指導全局流對細粒度特征的學習。引入DAM 后，模型性能進一步得到提升，在交叉攝像機下的mAP 指標提升最大（提升2.6%），指導性的特征擦除使模型學習到的特征向量更具判別性，對背景的變換更具魯棒性。

表2 在ATRW數據集上以ResNet-50為主干網絡的消融試驗Tab.2 Ablation study with ResNet-50 as the backbone on ATRW dataset %

2.5.2 試驗2

針對局部流中PCB分塊操作對模型性能的影響進行對比分析，在不改變其他條件的情況下，分別測試將特征圖分為1、2、4、8、16 塊的模型性能，如表3所示，N是豎直方向切分的塊數，可以發(fā)現(xiàn)當N為8時，模型性能最優(yōu)，因此在試驗中將本研究中的模型特征圖等分為8塊。

表3 PCB分塊的結果Tab.3 PCB blocking results %

2.5.3 試驗3

通過多次試驗分析DAM中λ取值不同對最終結果的影響，這里僅對mAP 和Rank-1 兩項指標進行測試，將λ分別取值0.5、1.0、1.5、2.0 和2.5，結果如圖3 所示。當λ值為1.5 時，在單攝像機下和交叉攝像機下的mAP 和Rank-1 準確率最高。這是因為當λ值較小時，擦除的特征維度較多，導致不能充分表示圖像的語義信息，致使優(yōu)化不充分；當λ值較大時，擦除的特征維度較少，出現(xiàn)冗余，同樣不能較好的優(yōu)化。

圖3 不同λ值下的模型性能Fig.3 Model performance at different λs

2.5.4 試驗4

為驗證DAM 的有效性，在其他條件相同的情況下，將其與Dropout［21］和DropBlock［22］進行比較，試驗結果如表4 所示。綜合來看，無論是哪種特征擦除方法，單攝像機下的mAP 均不低于90.7%，交叉攝像機下的mAP均不低于71.6%，但DAM 相比于其他特征擦除方法表現(xiàn)更好，尤其在交叉攝像機下的mAP 指標具有明顯提升，由此可見指導性擦除更具有針對性，可以有效提高特征向量的判別能力。

表4 DAM與其他特征擦除方法的差異Tab.4 Difference between DAM and other feature erasure methods %

2.6 試驗結果可視化

為清晰直觀地表現(xiàn)本研究的識別效果，對ATRW 數據集下某些查詢圖像的前5 個排序結果進行展示（圖4），綠線邊框表示正確的查詢結果，紅線邊框表示錯誤的查詢結果。第1 組待檢索東北虎姿態(tài)變化較大，基準模型在第5 序位出錯，本研究方法檢索結果全部正確；第2 組待檢索東北虎受光照影響較大，基準模型在第4 序位出錯，本研究方法檢索結果全部正確；第3 組基準模型在第5 序位出錯，主要因為被錯誤檢索的東北虎的條紋與待檢索東北虎的條紋相似度較高，而本研究方法檢索結果全部正確；第4 組待檢測東北虎存在遮擋，基準模型在第4序位出錯，本研究方法仍然全部檢索正確?？傮w來看，相較于基準模型，本研究結合指導學習與特征擦除的方法可以使東北虎特征表示更具魯棒性，實現(xiàn)更高的重識別準確率。

圖4 ATRW數據集部分圖像查詢排序結果樣例Fig.4 Sample sorting results of partial image queries in ATRW dataset

3 結論

本研究針對東北虎重識別問題提出了一種結合指導學習和特征擦除的方法，該方法設計了一種雙流網絡，包括局部流和全局流，局部流采用分割后的前景圖作為輸入，并對全局流進行指導學習，使全局流獲得關于前景的更多的細粒度信息，同時，在全局流和特征融合中引入DAM 對原始特征進行特征擦除得到新的門控特征，利用新的門控特征進行損失函數的計算，使得模型優(yōu)化更加困難，但是也讓模型泛化能力進一步提高。在ATRW 數據集上的試驗結果驗證了本研究方法的有效性，消融試驗對比了各模塊及超參數對于模型性能的影響。此外，無論是何種方法，單攝像機條件下的各評估指標都明顯優(yōu)于交叉攝像機條件下的指標。這是因為在單攝像機條件下，采集的圖像是某只東北虎在某個攝像機下的連續(xù)圖像，這些圖像的背景、光照、遮擋和姿態(tài)等方面的變化不是很大。但在交叉攝像機條件下，采集的圖像是某只東北虎被2 個或2 個以上攝像機共同捕獲的圖像，即不同攝像機拍攝到同一只東北虎，因此不同攝像機采集到的東北虎圖像在時間、色調、拍攝角度和背景環(huán)境等諸多方面都存在著比較明顯的差異。在實際應用中，提升模型在交叉攝像機條件下的識別準確率具有十分重要的現(xiàn)實意義。整體而言，模型結構挖掘判別特征信息的能力還有提升空間，如何進一步優(yōu)化結構和提高特征元素的判別能力以及將模型算法擴展到其他野生動物重識別應用上是下一步要研究的內容。