關(guān)曉惠，孫欣欣

(浙江水利水電學(xué)院 信息工程學(xué)院，浙江 杭州310018)

行人重識別是機(jī)器學(xué)習(xí)領(lǐng)域的一個重要分支，主要利用計算機(jī)視覺技術(shù)，在跨監(jiān)控設(shè)備的場景下識別和檢索特定行人是否存在于視頻畫面，可應(yīng)用于視頻監(jiān)控、智能安防等領(lǐng)域。隨著深度學(xué)習(xí)在計算機(jī)視覺領(lǐng)域獲得突破性進(jìn)展，研究人員提出了各種基于深度學(xué)習(xí)的行人重識別方法，主要有基于表征學(xué)習(xí)的方法、基于度量學(xué)習(xí)的方法、基于局部特征的方法、基于視頻序列的方法和基于GAN造圖的方法等[1]。然而，在開放空間中，由于光線、攝像角度、遮擋和分辨率等因素，這些模型缺乏魯棒性和適應(yīng)性，無法保證穩(wěn)定的識別精度。另一方面，現(xiàn)有算法的模型復(fù)雜度高，參數(shù)眾多，計算量大，難以在資源受限的終端設(shè)備上部署[2]。為此，研究人員就深度神經(jīng)網(wǎng)絡(luò)壓縮與加速開展了一系列的研究，主要方法有：參數(shù)剪枝、參數(shù)共享、低秩分解、核稀疏化及知識蒸餾等[3-4]。筆者探索一種優(yōu)化組合策略進(jìn)行模型壓縮，在保證精度的情況下，降低模型的復(fù)雜度和計算量。

1 預(yù)備知識

筆者通過通道剪枝[5]、分組卷積[6]、非局部自注意力機(jī)制[7-8]等優(yōu)化組合，尋求在速度與精度兩方面都最佳的特征提取策略，具體流程如圖1所示。

圖1 方法總結(jié)流程圖

1.1 通道剪枝

為了降低模型的復(fù)雜度，通常采用通道剪枝的方法對神經(jīng)網(wǎng)絡(luò)的寬度進(jìn)行調(diào)節(jié)，添加BN層權(quán)重系數(shù)，剪掉多余的特征圖通道，具體過程為包含特征通道選擇和特征通道重組兩個方面。通道剪枝示意圖如圖2所示。

圖2 模型通道剪枝示意圖

通道剪枝數(shù)學(xué)描述形式為

(1)

(2)

s.t. |βi|0-c′≤0

通過調(diào)整懲罰系數(shù)λ，使βi中出現(xiàn)更多的0項(xiàng)，通過βi的結(jié)果完成特征通道選擇。然后求解參數(shù)fi，使得剪枝后的特征圖輸出信息與原特征圖輸出信息盡可能接近，即最小化特征重組誤差。

1.2 分組卷積

分組卷積是一種減少參數(shù)，提升網(wǎng)絡(luò)特征抽取能力的重要手段。首先將輸入特征圖按通道數(shù)平均分組，然后分別對每一組進(jìn)行常規(guī)卷積，最后按卷積通道維度合并所有特征圖。

記輸入特征圖為c×h×w(h×w為特征圖大小，c為輸入通道數(shù))，卷積核大小為s×c×k×k(s為卷積輸出通道，k×k為卷積核大小)，卷積步長為1，填充為0，則輸出特征圖大小為s×h×w。在忽略神經(jīng)元偏置的情況下，常規(guī)卷積的參數(shù)量為s×c×k×k，計算量為k×k×c×h×w×s。若將輸入特征圖按通道均分為G組(每組含c/G有個特征圖)，則每組對應(yīng)的卷積核大小為(s/G)×(c/G)×k×k，然后將各組的輸出特征圖按通道數(shù)拼接，輸出的特征圖尺寸s為s×h×w，分組卷積的參數(shù)量為(s×c×k×k)/G，降低為原來的1/G，卷積計算量也為原來的1/G。

1.3 非局部自注意力機(jī)制

非局部自注意力機(jī)制通過擴(kuò)大感受野的方式捕獲更豐富的信息，數(shù)學(xué)表達(dá)式為

(3)

2 實(shí)驗(yàn)方法

2.1 模型框架

將通道剪枝、分組卷積和非局部自注意力機(jī)制分別記為V1,V2,V3，它們的集合Ω={V1,V2,V3}，Ti為集合Ω的第i個子集；非線性函數(shù)G(xi)特征提取網(wǎng)絡(luò)，xi為輸入的特定人物圖像，i為人物id，則pi=G(xi)為模型輸出i號人物的概率，那么Re-ID的定義可表示為max(pi)。若固定xi的輸入尺寸，則可表示Re-ID模型的復(fù)雜度(Params、Flops)為o{G(xi)}，建立數(shù)學(xué)模型為

(4)

整個方法的框架如圖3所示。

圖3 方法框架示意圖

2.2 損失函數(shù)

筆者所述模型的損失函數(shù)包括兩部分，一部分采用分類問題的交叉熵?fù)p失函數(shù)L1；另一部分采用三元組損失函數(shù)L2。為了控制L1與L2對總體損失函數(shù)的影響，引入平衡因子，損失函數(shù)表示為

(5)

3 實(shí)驗(yàn)過程與結(jié)果

實(shí)驗(yàn)采用Market-1501數(shù)據(jù)集[9]，共有1 501個行人類別(身份)，32 668張行人圖片，從中選取751個行人的12 936 張圖像作為訓(xùn)練集，750個行人的19 732張圖像作為測試集。為了證明優(yōu)化壓縮方法的有效性和通用性，以ResNet50和mobileNetV2作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，使用隨機(jī)梯度下降優(yōu)化算法學(xué)習(xí)網(wǎng)絡(luò)權(quán)重，訓(xùn)練圖像尺寸為256×128。訓(xùn)練時的批量大小設(shè)置為64，基礎(chǔ)學(xué)習(xí)率為10-3，訓(xùn)練周期為200個epoch。訓(xùn)練時數(shù)據(jù)增強(qiáng)包括隨機(jī)旋轉(zhuǎn)、隨機(jī)平移。訓(xùn)練開始前分別加載ResNet50和mobileNetV2的ImageNet預(yù)訓(xùn)練權(quán)重參數(shù)，當(dāng)修改ResNet50和mobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)時，將修改后的網(wǎng)絡(luò)重新在ImageNet數(shù)據(jù)集上訓(xùn)練20～30個epoch。實(shí)驗(yàn)中用到的ResNet50和mobileNetV2模型的結(jié)構(gòu)如表1和表2所示,其中：Conv代表卷積操作；stride為卷積的步長；FC為全連接層。

表1 ResNet50網(wǎng)絡(luò)結(jié)構(gòu)

表2 mobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)

實(shí)驗(yàn)使用的硬件平臺：GPU為2080Ti*4，CPU為48核Inter(R) Xeon(R) 2.20GHz，軟件版本為Ubuntu 16.04，Pytorch 1.5，Python 3.7。實(shí)驗(yàn)中用到的評價標(biāo)準(zhǔn)有累計匹配特征(CMC)和平均準(zhǔn)確率均值(mAP)。評估模型大小和計算消耗的指標(biāo)有參數(shù)量(Params)和網(wǎng)絡(luò)一次前向傳播所執(zhí)行的浮點(diǎn)運(yùn)算次數(shù)(Flops)。

3.1 通道剪枝實(shí)驗(yàn)

使用Market-1501數(shù)據(jù)集，在ResNet50和mobileNetV2[10]模型的基礎(chǔ)上，按照剪枝率q=0.5訓(xùn)練模型，并和沒有剪枝的模型參數(shù)進(jìn)行對比，實(shí)驗(yàn)結(jié)果如表3所示。

表3 通道剪枝壓縮ResNet50和mobileNetV2的卷積通道

實(shí)驗(yàn)表明，裁剪率為0.5時，ResNet50模型的參數(shù)量下降24%，總浮點(diǎn)運(yùn)算次數(shù)下降17%，在Market-1501數(shù)據(jù)集上微調(diào)10個樣本周期后Rank-1達(dá)到78%，較之前下降8%，mAP為59%，較之前下降6%。mobileNetV2模型的網(wǎng)絡(luò)參數(shù)量僅為2.04 M，下降42%，總浮點(diǎn)運(yùn)算次數(shù)為0.23 G，下降26%，在Market-1501數(shù)據(jù)集上微調(diào)20個樣本周期后Rank-1達(dá)到70%，下降了4%，mAP為53%，下降4%。

為了驗(yàn)證超參數(shù)q對模型性能的影響，本實(shí)驗(yàn)采用不同的模型剪枝率簡化模型，從實(shí)驗(yàn)結(jié)果可知，模型性能會隨著剪枝率q的增大而下降，當(dāng)達(dá)到某一閾值后模型性能會急速下降(圖4)。因此，調(diào)節(jié)壓縮率q的大小雖然可實(shí)現(xiàn)對模型不同程度的壓縮，但同時會帶來模型精度的損失，尤其當(dāng)q大于一定閾值后，模型精度損失極其嚴(yán)重?？梢?，僅通過非結(jié)構(gòu)化剪枝無法得到最優(yōu)的壓縮模型。

圖4 剪枝率q對ResNet50和mobileNetV2在Market-1501數(shù)據(jù)集上的性能影響

3.2 分組卷積實(shí)驗(yàn)

上述通道剪枝壓縮時，存在模型間斷點(diǎn)問題。為了進(jìn)一步壓縮模型，同時避免模型出現(xiàn)間斷點(diǎn)，使用分組卷積形式，將卷積在通道方向上分組，每組使用同一個卷積核。記輸入層特征圖大小為[B,G,H,W]，將C個通道均分為g組，訓(xùn)練周期為200個epoch。研究表明分組卷積超參數(shù)G取32時ResNet50在ImageNet上的分類效果最佳，因此本實(shí)驗(yàn)?zāi)J(rèn)此設(shè)置。分組卷積不但減少了運(yùn)算量起到加速作用，還可以使卷積后的特征圖包含更多的語義信息。分組卷積實(shí)驗(yàn)結(jié)果如表4所示。

表4 Market-1501數(shù)據(jù)集上使用組卷積操作改造ResNet50和mobileNetV2模型

由實(shí)驗(yàn)結(jié)果可知，使用分組卷積替換部分正常卷積可在性能指標(biāo)Rank-1和mAP極小損失的情況下，極大地降低模型的參數(shù)量。

3.3 非局部自注意力實(shí)驗(yàn)

由于非局部自注意力機(jī)制可以彌補(bǔ)卷積操作缺乏全局信息處理能力的缺點(diǎn)，在ResNet50網(wǎng)絡(luò)模型的四個層級的連接處分別插入非局部自注意力機(jī)制塊，在mobileNetV2模型的第一個反殘差塊后加入非局部自注意力塊。實(shí)驗(yàn)結(jié)果如表5所示。

表5 非局部自注意力non-local塊插入對基準(zhǔn)網(wǎng)絡(luò)的影響，實(shí)驗(yàn)數(shù)據(jù)集為Market-1501

由實(shí)驗(yàn)結(jié)果可知，非局部自注意力模塊可有效提升網(wǎng)絡(luò)的性能。ResNet50在插入三個非局部注意力塊后mAP提高了3%，mobileNetV2插入一個非局部注意力塊后mAP提高了2%。但非局部自注意力模塊也會給網(wǎng)絡(luò)帶來計算量和參數(shù)量的提升，其中ResNet50網(wǎng)絡(luò)前向傳播的Flops增加了20%，Params增加了15.3%，mobileNetV2則分別增加了24%和17%?？梢娦阅艿奶嵘喟殡S著計算消耗，因此如何找到模型性能與計算消耗的平衡是亟待解決的問題。

3.4 交叉實(shí)驗(yàn)

為了驗(yàn)證各優(yōu)化方法組合的有效性，以ResNet50和mobileNetV2網(wǎng)絡(luò)為基礎(chǔ)為各種優(yōu)化算法進(jìn)行交叉組合，實(shí)驗(yàn)結(jié)果如表6所示。

表6 Pose-DTW模型優(yōu)化前后性能測試

實(shí)驗(yàn)結(jié)果表明，通道剪枝技術(shù)、分組卷積和非局部自注意力機(jī)制的結(jié)合，可使得裁剪后的模型經(jīng)過微調(diào)可以獲得更優(yōu)越的精度，同時明顯降低模型的參數(shù)量、計算量。同時不同的優(yōu)化方法是相對獨(dú)立的，在應(yīng)用中可以根據(jù)實(shí)際需求和應(yīng)用平臺選擇速度和精度最平衡的優(yōu)化組合策略。

4 結(jié) 語

針對現(xiàn)有行人重識別模型參數(shù)量多、計算消耗大的問題，筆者提出若干種模型壓縮優(yōu)化的策略，主要通過通道剪枝、自注意力、分組卷積等方法的組合優(yōu)化，快速開發(fā)出符合實(shí)際使用場景的網(wǎng)絡(luò)模型。筆者從理論和實(shí)驗(yàn)上說明不同的優(yōu)化方法可以相互組合，使模型在計算消耗和精度損傷方面達(dá)到最佳平衡。此優(yōu)化策略具有一定的通用性，不僅可用于ResNet50這種大體量模型，也可用于輕量級的網(wǎng)絡(luò)，進(jìn)一步壓縮其存儲消耗和計算消耗，同時提高模型精度。