毛淑菲，曾志高（通信作者），張曉麗，袁鑫攀，文志強

（1 湖南工業(yè)大學(xué)計算機學(xué)院 湖南 株洲 412008）

（2 湖南省智能信息感知及處理技術(shù)重點實驗室 湖南 株洲 412008）

（3 湖南交通工程學(xué)院電氣與信息工程學(xué)院 湖南 衡陽 421200）

0 引言

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，網(wǎng)絡(luò)的精度以及速度相比傳統(tǒng)目標(biāo)檢測網(wǎng)絡(luò)有大大的提升，但是大部分網(wǎng)絡(luò)是以不斷增加網(wǎng)絡(luò)結(jié)構(gòu)深度和寬度、模型的復(fù)雜度來獲得更佳的性能，但這勢必帶來網(wǎng)絡(luò)模型參數(shù)龐大，參數(shù)空間存在一定的冗余以及內(nèi)存占用過大等問題[1]。這些問題使得目標(biāo)檢測[2]的算法無法達(dá)到實時性檢測，無法適合現(xiàn)實場景中的應(yīng)用程序，也讓模型直接部署在資源受限的低端設(shè)備成了一大阻礙。對此，部分學(xué)者采用剪枝降低網(wǎng)絡(luò)的復(fù)雜性，但是剪枝過程未對跳躍連接層進(jìn)行有效處理；龔圣斌等[3]通過使用輕量化Inception-V2更換Faster R-CNN網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)使得網(wǎng)絡(luò)更輕量化；張麗瑩等[4]通過深度可分離卷積替換了模型中的普通卷積從而減少參數(shù)量。像類似直接用已經(jīng)輕量化的backbone直接去替換大網(wǎng)絡(luò)中普通的主干網(wǎng)絡(luò)治標(biāo)不治本，甚至對于一些具有計算密集型設(shè)備的計算反而會有一定的抑制，模型性能有很大下降。本文在原有量化算法[5-8]基礎(chǔ)上進(jìn)行改進(jìn)，摒棄原有量化計算流程中大量反復(fù)的加法與乘法的混合操作，簡化模型中量化的計算流程，同時選取目標(biāo)檢測一階段和兩階段的經(jīng)典網(wǎng)絡(luò)進(jìn)行訓(xùn)練，同時模型數(shù)據(jù)流clip模型訓(xùn)練，分別分析其模型參數(shù)的分布情況，最后對模型低比特量化。

1 量化原理

目標(biāo)檢測網(wǎng)絡(luò)模型FasterRCNN和YOLOv3-SPP做采用均勻量化[9]，其量化方案嚴(yán)格的數(shù)學(xué)定義如下：

式（1）中的x表示的是網(wǎng)絡(luò)浮點輸入，Xq表示的是經(jīng)過量化后的結(jié)果值。scale和zp是量化參數(shù)，其中scale體現(xiàn)了映射中的比例關(guān)系，zp則是零基準(zhǔn)zero-point，也就是浮點中的零在量化tensor中的值。它們建立了浮點tensor到量化tensor的映射關(guān)系。當(dāng)對稱量化器將zp限制為0，對稱量化公式如式（2）所示[10]：

2 量化的加速

本文中YOLOv3以及FasterRCNN網(wǎng)絡(luò)中卷積算子Y=WX（這里暫時不考慮偏置），Y是模型輸出，W表示模型權(quán)重，X表示數(shù)據(jù)流，如果采用傳統(tǒng)的量化方法，對數(shù)據(jù)量化是每個操作計算出最優(yōu)的一組scale，那么需要對輸入數(shù)據(jù)X∈[xmin，xmax]，W∈[wmin，wmax]做如下操作：

接著對x，w的量化如式（5）（6），xq，wq是對x與w做量化操作的結(jié)果：

Y=WX算子的反量化，由于式（5）（6）可得根據(jù)前面式（3）（4）和反量式（5）（6）得到的反量化，如式（7）所示：

傳統(tǒng)方法主要的問題在于有很多額外的計算過程且會占用較多內(nèi)存和計算時間。

基于此，本文提出了一種改進(jìn)后的方法，基本過程如下：

（1）首先，結(jié)合模型訓(xùn)練時量化和后量化的優(yōu)缺點，在模型訓(xùn)練時將數(shù)據(jù)流做了一個小trick,將數(shù)據(jù)范圍有效裁剪（clip）到一個固定的范圍：,這里n是小數(shù)位寬。假設(shè)x裁剪到[-4,4],w裁剪到[-1,1]，則nx=2,nw=0。

（2）進(jìn)行模型推理的時候，對經(jīng)過步驟（1）的模型進(jìn)行量化：

對于式(8)(9)，如果此時需要做8 bit量化，要求：如果需要更低比特，比如4 bit量化，

（3）權(quán)重和數(shù)據(jù)流的反量化可由式（8）（9）反推得到，如式（10）所示：

3 量化實驗步驟

步驟一：實驗首先選取二階段ResNet50+FPN+Faster RCNN模型的學(xué)習(xí)率設(shè)置為0.001，batch_size=4,epoch=15進(jìn)行訓(xùn)練，并得到baseline的權(quán)重模型；

步驟二：一階段網(wǎng)絡(luò)DarkNet53-YOLOv3-SPP模型，學(xué)習(xí)率設(shè)置為0.001，batch_size=8，epoch=30，并得到baseline的權(quán)重模型；

步驟三：將MobileNetv2輕量化網(wǎng)絡(luò)替換步驟一的ResNet50,接著MobileNetv2+FasterRCNN全精度訓(xùn)練后得到baseline模型；

步驟四：接著對步驟一和步驟二得到的模型數(shù)據(jù)流做clip實驗操作并對FP32的模型已經(jīng)訓(xùn)練好的baseline的權(quán)重共做了9組裁剪實驗以及不做裁剪操作的實驗對比；

步驟五：根據(jù)式（8）和式（9）對YOLOv3-SPP、MobileNetv2-FasterRCNN以及ResNet50+FPN+FasterRCNN模型量化和反量化處理，量化后的x,w的精度誤差為本實驗基于簡單地說，即nx,nw值越小，說明實驗中clip的范圍越小，那么kw和kx就越大，模型量化后精度則會越高。最后再對9組量化模型進(jìn)行模型推理。

4 實驗結(jié)果與分析

4.1 實驗環(huán)境與數(shù)據(jù)集

本實驗基于Pytorch深度學(xué)習(xí)開源框架，其他相關(guān)配置如表1所示，F(xiàn)aster RCNN分別采用Resnet50+FPN和輕量化網(wǎng)絡(luò)MobileNetv2的主干網(wǎng)絡(luò)進(jìn)行訓(xùn)練。選擇基于coco數(shù)據(jù)集訓(xùn)練好的權(quán)重進(jìn)行遷移學(xué)習(xí)迭代出屬于本文的模型。試驗環(huán)境具體配置如表1所示：

表1 實驗環(huán)境配置

基于現(xiàn)有的配置，采用公開數(shù)據(jù)集PASCAL VOC2012，該數(shù)據(jù)集主要有20個類別，主要分為4大類：交通工具類別、家庭物品類、動物類別、針對Person的檢測。目標(biāo)訓(xùn)練集共有5717張圖片，驗證集5 823張圖片。對該數(shù)據(jù)進(jìn)行圖像預(yù)處理：隨機水平翻轉(zhuǎn)，同時所標(biāo)注的GT的坐標(biāo)也進(jìn)行反轉(zhuǎn)。

4.2 實驗結(jié)果

由于圖1中數(shù)值范圍最大在（-1,1）之前，所以本文clip實驗對權(quán)重裁剪到（-1,1）與（-0.5,0.5）兩組范圍內(nèi)，實驗表明，權(quán)重范圍不管clip到0.5還是1的范圍，模型AP和AR都下降得很低，ResNet50,MobileNetv2和YOLOv3模型數(shù)據(jù)流clip到±8和權(quán)重clip到±1效果最好。

圖1 選取YOLOv3模型list112做權(quán)重clip

為了驗證本文提出方法的有效性，一階段網(wǎng)絡(luò)Resnet50+FPN+Faster RCNN、MobileNetv2+Faster RCNN和二階段網(wǎng)絡(luò)是輸入圖像512×512，backbone為Darknet53的YOLOv3-spp網(wǎng)絡(luò)對數(shù)據(jù)流和模型權(quán)重做clip的實驗，選取其中一個模型ResNet50+_FPN進(jìn)行裁剪過后得到的模型檢測的mAP和在訓(xùn)練過程的損失如圖2所示。

圖2 ResNet50+_FPN模型訓(xùn)練損失和mAP

圖2是選取clip_x8_w1對數(shù)據(jù)流和權(quán)重分別裁剪到（-1,1）的損失和mAP，是對3.1節(jié)量化實驗細(xì)節(jié)中步驟四更為具體的實驗，從圖2中可以看到clip實驗雖然在前幾個epoch的mAP會有少許變化，但隨著模型的迭代更新，總體的mAP相較于baseline模型的mAP并未減少，對應(yīng)的各類別mAP的平均值可以達(dá)到78%左右，其他兩個模型的訓(xùn)練損失和mAP結(jié)果類似模型ResNet50+_FPN的實驗結(jié)果，所以這里不列舉圖示。

表2是YOLOv3-SPP模型8bit量化的結(jié)果，其中Lr1是實驗中參數(shù)LR設(shè)置為0.001同時將數(shù)據(jù)流clip到（-8,+8）,w裁剪到（-0.5,+0.5）與clip到（-8,+8）,w裁剪到（-1,+1）的結(jié)果；Lr2是LR=0.0001同時將數(shù)據(jù)流clip到(-8,+8),w裁剪到（-1,+1）的結(jié)果；Lr3是LR=0.00001同時將數(shù)據(jù)流clip到（-8,+8）,w裁剪到（-0,+1）的結(jié)果；由于對w設(shè)置在（-0.5,+0.5）時，結(jié)果最佳，本文選取對w設(shè)置在（-0.5,+0.5）的實驗進(jìn)行微調(diào)結(jié)果展示，LR=0.001為最初始的學(xué)習(xí)率，進(jìn)行8bit模型量化后發(fā)現(xiàn)模型精度降低得稍微有點明顯，本文對量化后的模型做微調(diào)，將學(xué)習(xí)率分別調(diào)整到Lr2和Lr3，從實驗結(jié)果可以看到，當(dāng)Lr設(shè)為0.000 1后，模型量化的精度十分接近baseline浮點模型精度。

表2 模型8位量化推理以及微調(diào)結(jié)果

表3是對實驗?zāi)Ｐ蚥ackbone為MobileNetv2、ResNet50+FPN、DarkNet53的模型進(jìn)行量化后的模型與三個baseline模型就mAP和模型大小的一個比較。

表3 各個模型的結(jié)果對比

實驗結(jié)果表明，量化后的模型和原有的模型相比，模型的mAP精度并無顯著下降，與此同時YOLOv3-SPP模型從原來的323 MB下降到82.75 MB，模型壓縮了74.38%；MobileNetv2-Faster RCNN模型大小亦壓縮了75%；ResNet50+FPN+Faster RCNN模型大小將近4倍的壓縮。

從數(shù)據(jù)集以及非數(shù)據(jù)集中隨機選取的多目標(biāo)和單目標(biāo)圖片進(jìn)行測試，三個模型的檢測結(jié)果分別如圖3、圖4、圖5所示。

圖3 ResNet50+FPN-FasterRCNN檢測

圖4 MobileNetv2+FasterRCNN檢測

圖5 DarkNet53-YOLOv3檢測

5 結(jié)語

綜上所述，本文對傳統(tǒng)的模型量化方法進(jìn)行優(yōu)化，不管是后量化還是訓(xùn)練時量化，現(xiàn)有的算法都較為煩瑣，頻繁統(tǒng)計數(shù)據(jù)流和權(quán)重參數(shù)的范圍，同時伴有精度降低的問題，通過改進(jìn)后的量化方法不僅可以減少級聯(lián)網(wǎng)絡(luò)的計算量，相較于傳統(tǒng)量化算法的優(yōu)越性在于目標(biāo)檢測模型量化和反量化過程簡潔。實驗表明，使用該方法不僅壓縮了模型的大小，在目標(biāo)檢測領(lǐng)域仍然具有較高的準(zhǔn)確率。下一步考慮將改進(jìn)后的量化算法結(jié)合知識蒸餾、矩陣分解算法進(jìn)一步壓縮網(wǎng)絡(luò)模型。