李靖宇， 康 曉

(中國(guó)北方車輛研究所，北京 100072)

2012年，Hinton和Alex等人為了解決圖像分類任務(wù)，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法Alexnet[1]，利用GPU加速卷積神經(jīng)網(wǎng)絡(luò)算法，使其在圖像相關(guān)任務(wù)中的處理速度快速提升.近年來，隨著計(jì)算機(jī)算力的逐步提高和GPU在深度學(xué)習(xí)任務(wù)中的廣泛使用，大量基于卷積神經(jīng)網(wǎng)絡(luò)的圖像處理算法被提出并應(yīng)用于相關(guān)技術(shù)領(lǐng)域.卷積神經(jīng)網(wǎng)絡(luò)在近年來常被用于解決目標(biāo)檢測(cè)、目標(biāo)跟蹤、語義或?qū)嵗指钊蝿?wù).作為圖像識(shí)別任務(wù)的進(jìn)一步延伸，目標(biāo)檢測(cè)任務(wù)不僅要識(shí)別出圖像中的目標(biāo)物體，還要對(duì)這些物體的尺寸和位置進(jìn)行標(biāo)識(shí).

常用的目標(biāo)檢測(cè)算法一般分為兩階段方法和端到端方法.以Faster RCNN[2]等為代表的兩階段方法第一步是在待檢測(cè)圖像經(jīng)過卷積處理后得到的特征圖上生成候選框，第二步是對(duì)得到的候選框做進(jìn)一步判斷，確定其所包含物體類別.兩階段目標(biāo)檢測(cè)方法優(yōu)點(diǎn)是準(zhǔn)確率高，缺點(diǎn)是其對(duì)圖像的處理速度較慢.端到端方法同樣對(duì)圖像進(jìn)行卷積、池化和激活等操作，但其最終直接輸出代表檢測(cè)結(jié)果的張量中包含檢測(cè)目標(biāo)的類別及位置信息.端到端方法將整個(gè)目標(biāo)檢測(cè)流程一體化，其算法結(jié)構(gòu)更加緊湊.除此之外，端到端方法如YOLO系列算法[3]在工作階段速度較快，因此也經(jīng)常被應(yīng)用在實(shí)時(shí)目標(biāo)檢測(cè)任務(wù)中.

端到端方法的目標(biāo)檢測(cè)算法通常包括backbone、neck以及head 3個(gè)部分.backbone通常對(duì)算法輸入圖像進(jìn)行一系列的卷積及相關(guān)操作，得到圖像的特征圖(feature map)；Neck部分對(duì)特征圖進(jìn)行處理，通過多尺度等操作提升檢測(cè)框架對(duì)不同尺寸特征的感知能力；Head部分對(duì)neck部分的結(jié)果進(jìn)行少量的卷積及相關(guān)操作得到輸出張量，輸出張量一般包含原始圖像中全部的目標(biāo)尺寸及類別信息.

雖然基于端到端方法的目標(biāo)檢測(cè)框架的3個(gè)主體部分是基本固定的，但是每個(gè)部分可以有不同的具體實(shí)現(xiàn)方式.在head部分，特征提取網(wǎng)絡(luò)可以使用VGG、ResNet、DenseNet、Darknet[4-7]等不同框架，設(shè)計(jì)更加合理的特征提取網(wǎng)絡(luò)能夠顯著地提升目標(biāo)檢測(cè)算法的性能.Neck部分對(duì)于特征圖的不同操作會(huì)進(jìn)一步影響檢測(cè)結(jié)果.除此之外，不同的卷積、池化、以及激活函數(shù)的操作，也會(huì)影響整個(gè)算法的檢測(cè)效果.

本研究在YOLOv5算法的基礎(chǔ)上改進(jìn)其激活函數(shù)和池化操作方法，構(gòu)建新的目標(biāo)檢測(cè)算法.經(jīng)過改進(jìn)后的目標(biāo)檢測(cè)算法在訓(xùn)練階段具有更準(zhǔn)確的梯度變化，權(quán)重能夠精確迭代更新.在實(shí)驗(yàn)部分將對(duì)提出的目標(biāo)檢測(cè)算法利用現(xiàn)有數(shù)據(jù)集進(jìn)行準(zhǔn)確度測(cè)試，驗(yàn)證其檢測(cè)性能.

1 算法結(jié)構(gòu)及工作原理

本研究的目標(biāo)檢測(cè)算法總體結(jié)構(gòu)如圖1所示.該檢測(cè)算法分別從backbone、neck以及head 3個(gè)部分進(jìn)行構(gòu)建.

圖1 本研究目標(biāo)檢測(cè)算法整體結(jié)構(gòu)

首先進(jìn)行backbone的選取.作為目標(biāo)檢測(cè)算法的第一部分，backbone主要用于提取圖像的各類特征并生成特征圖，并直接影響目標(biāo)檢測(cè)算法的檢測(cè)準(zhǔn)確率.本研究選取backbone的思路是尋求一種在骨干網(wǎng)絡(luò)權(quán)重參數(shù)數(shù)量、算法整體工作速度以及目標(biāo)檢測(cè)算法整體準(zhǔn)確率之間平衡的結(jié)構(gòu).基于此思路，使用CSPNet結(jié)構(gòu)[8]作為backbone網(wǎng)絡(luò)的基礎(chǔ)組成單元.CSPNet結(jié)構(gòu)上與DenseNet[9]相似，二者之間的不同在于CSPNet將經(jīng)過卷積操作的特征圖分為兩部分，其中一部分繼續(xù)進(jìn)行一系列的卷積相關(guān)操作，另一部分則不經(jīng)過處理，直接與第一部分經(jīng)過處理的結(jié)果在特征圖深度方向進(jìn)行拼接.式(1)和式(2)表示DenseNet中圖像數(shù)據(jù)的前向和反向傳播過程，而式(3)和式(4)代表輸入數(shù)據(jù)在CSPNet結(jié)構(gòu)中的前向傳播和反向傳播過程，其中的變量均為張量形式.

x1=w1*x0，
x2=w2*[x0,x1]，
……
xk=wk*[x0,x1,…,xk-1].

(1)

(2)

(3)

(4)

接下來對(duì)目標(biāo)檢測(cè)算法的neck部分進(jìn)行構(gòu)建.Neck部分的主要構(gòu)建思路是將backbone中提取出的特征圖進(jìn)一步處理，拓寬特征圖的感受野，令其能夠包含不同尺度目標(biāo)的信息，以方便之后的head部分輸出更加精確的結(jié)果.基于此思路，本研究借鑒目標(biāo)檢測(cè)框架YOLOv5的思路，對(duì)backbone中不同階段的特征圖進(jìn)行提取.之后將得到的較小尺度特征圖通過上采樣操作與大尺度的特征圖在尺寸上進(jìn)行對(duì)齊，并在特征圖的深度維度上進(jìn)行拼接，具體操作如圖1的中間分支箭頭部分所示.另外，應(yīng)用空間特征金字塔池化，令網(wǎng)絡(luò)允許不同尺寸的圖像作為輸入，并可以得到統(tǒng)一尺寸的池化特征.

在構(gòu)建的目標(biāo)檢測(cè)算法中，空間特征金字塔池化操作不采用最大池化操作，而是選擇平滑池化[10]操作.圖2為平滑池化操作的示意圖.圖中，左邊帶有顏色的二乘二網(wǎng)格代表平滑池化操作，三乘三網(wǎng)格代表特征圖，右邊的二乘二網(wǎng)格代表經(jīng)過平滑池化操作的輸出.

圖2 平滑池化操作示意圖

平滑池化為待采樣區(qū)域的每個(gè)像素值分配一個(gè)權(quán)重因子wi，該權(quán)重因子wi的計(jì)算方式如式(5)所示.

(5)

式中：j為采樣區(qū)域中包含的所有特征像素?cái)?shù)；a為采樣區(qū)域特定點(diǎn)的像素值.

獲得采樣區(qū)域的全部特征后，按照式(6)計(jì)算平滑池化的輸出值.在誤差反向傳播階段，采樣操作中各個(gè)像素的梯度計(jì)算方式如式(7)所示.不同于最大池化中采樣區(qū)域僅單個(gè)像素能夠獲得梯度變化的情況，平滑池化能夠令采樣區(qū)域內(nèi)的所有像素獲得誤差梯度，使網(wǎng)絡(luò)權(quán)重參數(shù)獲得更多的有效信息，有利于提升網(wǎng)絡(luò)整體的識(shí)別準(zhǔn)確率.

(6)

(7)

head部分負(fù)責(zé)目標(biāo)檢測(cè)算法的最終輸出.為了使目標(biāo)檢測(cè)算法擁有更強(qiáng)的多尺度目標(biāo)檢測(cè)能力，本算法將head結(jié)構(gòu)設(shè)計(jì)為3個(gè)三維張量，對(duì)大、中、小3種尺度的目標(biāo)進(jìn)行檢測(cè).將不同尺度的目標(biāo)放在不同的張量中進(jìn)行表示不易使目標(biāo)信息混淆，能夠提高檢測(cè)算法的準(zhǔn)確率.本算法中3組輸出在寬度與高度的尺寸分別為13×13、26×26、52×52.

在整個(gè)模型中，激活函數(shù)是重要的一個(gè)組成部分.激活函數(shù)可以抑制不重要的特征輸出，起到強(qiáng)化特征信息表達(dá)的作用.在本研究中，整個(gè)目標(biāo)檢測(cè)網(wǎng)絡(luò)使用了兩種激活函數(shù)，分別為ReLU函數(shù)見式(8)和Mish函數(shù)[11]見式(9).

f(x)=max(0,x),x∈R.

(8)

f(x)=x·tanh[ln(1+ex)],x∈R.

(9)

由表達(dá)式以及圖3可以看出，Mish函數(shù)相較于ReLU函數(shù)在零點(diǎn)附近具有更加穩(wěn)定的梯度流.根據(jù)之前的討論，更加穩(wěn)定的梯度流能夠使網(wǎng)絡(luò)在權(quán)重的訓(xùn)練階段更加穩(wěn)定，不易出現(xiàn)梯度消失現(xiàn)象.

圖3 兩種激活函數(shù)對(duì)比圖

本研究的檢測(cè)模型并未全局采用Mish函數(shù)作為激活函數(shù)，而是在neck部分采用Mish函數(shù)，在backbone部分采用ReLU函數(shù).采取這種做法的原因是為了保證backbone骨干網(wǎng)絡(luò)能夠直接加載已經(jīng)最優(yōu)化的網(wǎng)絡(luò)權(quán)重參數(shù)，這樣可以令檢測(cè)算法在訓(xùn)練過程中減少模型訓(xùn)練次數(shù)，提高訓(xùn)練效率.

2 算法訓(xùn)練與工作過程

首先考慮算法的訓(xùn)練過程.基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法卷積權(quán)重初始化的方法有兩種，分別是隨機(jī)初始化和加載預(yù)訓(xùn)練卷積權(quán)重.隨機(jī)初始化權(quán)重參數(shù)一般適用于新提出的算法模型結(jié)構(gòu)，這種初始化方式適用于各種目標(biāo)檢測(cè)算法結(jié)構(gòu).但是采用該種初始化策略使整個(gè)網(wǎng)絡(luò)的訓(xùn)練過程十分緩慢，并易使整個(gè)網(wǎng)絡(luò)參數(shù)陷入局部最優(yōu)，無法取得最佳檢測(cè)表現(xiàn).加載預(yù)訓(xùn)練卷積權(quán)重一般使用Imagenet等圖像分類數(shù)據(jù)集對(duì)算法的卷積網(wǎng)絡(luò)參數(shù)進(jìn)行預(yù)訓(xùn)練，調(diào)整卷積網(wǎng)絡(luò)參數(shù)，也可以利用其他檢測(cè)算法中具有同樣結(jié)構(gòu)卷積網(wǎng)絡(luò)的權(quán)重?cái)?shù)據(jù)直接進(jìn)行數(shù)據(jù)遷移.加載預(yù)訓(xùn)練權(quán)重方式的缺點(diǎn)在與其不能在一種結(jié)構(gòu)算法中加載另一種結(jié)構(gòu)的算法權(quán)重.由于直接加載預(yù)訓(xùn)練權(quán)重方式能夠節(jié)省大量的訓(xùn)練時(shí)間且該種權(quán)重對(duì)整個(gè)模型的全局訓(xùn)練影響較小，所以本算法backbone部分采用直接加載預(yù)訓(xùn)練權(quán)重的方式進(jìn)行權(quán)重加載.對(duì)于neck與head部分的權(quán)重參數(shù)，則采用隨機(jī)初始化方法.

在算法訓(xùn)練階段，權(quán)重更新依賴于網(wǎng)絡(luò)輸出值與樣本標(biāo)簽值的誤差所產(chǎn)生的權(quán)重梯度變化.這表示網(wǎng)絡(luò)的損失函數(shù)對(duì)網(wǎng)絡(luò)模型能否收斂，以及網(wǎng)絡(luò)模型的最終表現(xiàn)具有直接的影響.目標(biāo)檢測(cè)任務(wù)關(guān)注的是圖像中目標(biāo)的類別、位置以及尺寸，所以目標(biāo)損失函數(shù)應(yīng)該包含這些因素.對(duì)輸入圖像中目標(biāo)類別進(jìn)行判斷，本質(zhì)上可以定義為多分類問題，而對(duì)目標(biāo)位置及尺寸的確定，則可以被歸類為多元回歸問題.針對(duì)目標(biāo)類別多分類問題，本算法采用交叉熵?fù)p失函數(shù)計(jì)算模型類別輸出值與樣本真值的誤差.交叉熵函數(shù)的表達(dá)形式如式(10)所示.

(10)

式中：yic是樣本真值；pic是觀測(cè)樣本i屬于類別c的概率；M是待檢測(cè)物體類別數(shù)量.

對(duì)于目標(biāo)的定位及尺寸問題，考慮到其回歸問題的本質(zhì)特性，模型采用均方差損失函數(shù)計(jì)算樣本真值與預(yù)測(cè)值的誤差.將上述交叉熵?fù)p失函數(shù)與均方根損失函數(shù)疊加，即得檢測(cè)模型的整體損失函數(shù)，如式(11)所示.

(11)

整個(gè)算法模型使用隨機(jī)梯度下降法進(jìn)行模型訓(xùn)練，當(dāng)損失函數(shù)值趨于穩(wěn)定，表示算法模型收斂，此時(shí)停止訓(xùn)練.對(duì)于網(wǎng)絡(luò)模型的輸出，抑制負(fù)樣本輸出的數(shù)量，將正負(fù)樣本的比例控制在1∶3，對(duì)于不影響正負(fù)樣本區(qū)域輸出的網(wǎng)絡(luò)權(quán)重參數(shù)，在誤差反向傳播階段忽略其梯度變化，不對(duì)其進(jìn)行更新.

算法模型在推理階段要求準(zhǔn)確地輸出目標(biāo)的位置及尺寸信息.由算法的結(jié)構(gòu)圖可以看出，本研究構(gòu)建的目標(biāo)檢測(cè)算法輸出密集，這說明一個(gè)正確的輸出周圍有可能存在若干個(gè)與真值相近但并非最優(yōu)的輸出.這種輸出將導(dǎo)致圖4所示的情況發(fā)生.

圖4 未經(jīng)過非極大值抑制的輸出

為了避免上述情況的發(fā)生，可以采用非極大值抑制算法(Non-maximum suppression, NMS)減少候選框的重復(fù)產(chǎn)生.非極大值抑制算法的核心思路是計(jì)算不同候選輸出之間的交集與并集，并通過它們的比值來確定最后需要保留的候選輸出，其算法偽代碼如圖5所示.

圖5 非極大值抑制流程圖

圖中，B是候選輸出合集，S是候選框?qū)?yīng)置信度，D代表最終得到的輸出合集.通過對(duì)候選輸出進(jìn)行非極大值抑制操作，多余的目標(biāo)檢測(cè)結(jié)果被去除，目標(biāo)檢測(cè)模型的輸出能夠更加準(zhǔn)確簡(jiǎn)潔.

3 實(shí)驗(yàn)與結(jié)果分析

為了測(cè)試目標(biāo)檢測(cè)算法各個(gè)部分獨(dú)立的有效性以及模型整體的表現(xiàn)，實(shí)驗(yàn)首先對(duì)backbone骨干網(wǎng)絡(luò)框架、Mish函數(shù)、平滑池化部分的有效性進(jìn)行測(cè)試，之后再對(duì)模型的整體有效性進(jìn)行測(cè)試.

首先對(duì)backbone的有效性進(jìn)行實(shí)驗(yàn).常見的圖像分類數(shù)據(jù)集有CIFAR、Caltech101、ImageNet等.其中CIFAR數(shù)據(jù)集對(duì)象種類為10種或100種，數(shù)據(jù)集內(nèi)圖像像素?cái)?shù)為32×32，尺寸較??；Caltech101數(shù)據(jù)集由101類對(duì)象圖片組成，每張圖片的像素大小在300×200；ImageNet數(shù)據(jù)集規(guī)模最大，包含了上萬類對(duì)象，以及超過1500萬張圖片，其子集ISLVRC 2012也為常用數(shù)據(jù)集.綜上，從算法模型大小以及訓(xùn)練時(shí)間兩方面因素考慮，選用ISLVRC 2012的部分?jǐn)?shù)據(jù)并分割為訓(xùn)練集和測(cè)試集，對(duì)不同的backbone進(jìn)行測(cè)試，所得結(jié)果如表1所示.

表1 各類backbone識(shí)別準(zhǔn)確率

表1中，Top-1準(zhǔn)確率指分類模型輸出結(jié)果概率最高項(xiàng)與測(cè)試數(shù)據(jù)標(biāo)簽類別相同的比率.由于數(shù)據(jù)集種類共1000類，所以引入Top-5準(zhǔn)確率，表示對(duì)于測(cè)試集所有數(shù)據(jù)，分類網(wǎng)絡(luò)輸出概率中最大的5類中包含測(cè)試數(shù)據(jù)標(biāo)簽類別的比率.由表1看出，特征提取網(wǎng)絡(luò)在分類任務(wù)上的準(zhǔn)確率較高，反映了其優(yōu)秀的特征提取能力.

為證明Mish函數(shù)在卷積網(wǎng)絡(luò)模型中具有比其他激活函數(shù)更優(yōu)秀的性能，利用圖像分類網(wǎng)絡(luò)CSPResNeXt作為分類器，分別用ReLU、Swish、Mish 3種激活函數(shù)在ISLVRC 2012子集上進(jìn)行測(cè)試，其分類結(jié)果如表2所示.

表2 各類激活函數(shù)識(shí)別準(zhǔn)確率

表2中，運(yùn)用Mish函數(shù)網(wǎng)絡(luò)模型較其他激活函數(shù)具有更高的分類準(zhǔn)確率.可見Mish函數(shù)的運(yùn)用能夠增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)對(duì)特征的提取能力.

接下來對(duì)平滑池化的性能進(jìn)行評(píng)價(jià),采用的評(píng)價(jià)方式是分別將常用分類卷積網(wǎng)絡(luò)中的最大池化操作替換成平滑池化層，數(shù)據(jù)集同樣采用ISLVRC2012子集，其結(jié)果如表3所示.

表3 各類池化操作識(shí)別準(zhǔn)確率

由表3中結(jié)果可以看出，替換為平滑池化操作之后的分類網(wǎng)絡(luò)具有更高的識(shí)別準(zhǔn)確率，這證明了平滑池化的有效性.

現(xiàn)對(duì)本研究構(gòu)建的目標(biāo)檢測(cè)算法進(jìn)行評(píng)價(jià).根據(jù)前文所述，目標(biāo)檢測(cè)算法不僅要對(duì)檢測(cè)對(duì)象的類別進(jìn)行判斷，還要給出檢測(cè)對(duì)象的尺寸和位置.在這種情況下，單純的圖像分類數(shù)據(jù)集由于缺少檢測(cè)對(duì)象位置及尺寸信息，已經(jīng)變得不再適用.在這種情況下，使用符合目標(biāo)檢測(cè)模型輸出格式的數(shù)據(jù)集才能使模型在反復(fù)迭代訓(xùn)練后具有良好的表現(xiàn).本研究選用COCO數(shù)據(jù)集的子集對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練及評(píng)價(jià).采用全類別平均準(zhǔn)確率(mean Average Precision, mAP)對(duì)不同模型的表現(xiàn)進(jìn)行評(píng)價(jià)，結(jié)果如表4所示.

表4 不同模型目標(biāo)檢測(cè)平均準(zhǔn)確率

由表4可以看出，在測(cè)試數(shù)據(jù)集上，本文提出的方法具有良好的表現(xiàn).

4 結(jié) 論

本研究構(gòu)建的目標(biāo)檢測(cè)算法側(cè)重于在訓(xùn)練階段的誤差反向傳播過程中為所有的權(quán)重參數(shù)提供更加穩(wěn)定與精確的梯度變化信息.本研究提出的算法模型架構(gòu)并未引入額外的參數(shù)，故模型占用空間相較于使用其他激活函數(shù)和池化操作的網(wǎng)絡(luò)模型沒有增加，這也是本研究所構(gòu)建算法模型的一個(gè)優(yōu)點(diǎn).與現(xiàn)有的算法相比，本研究構(gòu)建的目標(biāo)檢測(cè)算法的平均準(zhǔn)確率表現(xiàn)并不是最突出的.究其原因，主要有兩方面的因素：

1)算法的一些超參數(shù)如預(yù)設(shè)檢測(cè)框尺寸等并未經(jīng)過準(zhǔn)確優(yōu)化，圖像數(shù)據(jù)集的預(yù)處理以及數(shù)據(jù)增強(qiáng)工作仍有待完善；

2)本研究構(gòu)建的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型在設(shè)計(jì)方面仍有待改進(jìn)之處，如損失函數(shù)的回歸部分可將坐標(biāo)均方差損失替換為交并比損失等.

對(duì)以上方面進(jìn)行改進(jìn)，可以進(jìn)一步提升本研究所設(shè)計(jì)的目標(biāo)檢測(cè)算法的表現(xiàn).