鮑潤嘉，侯慶山，邢進(jìn)生

(山西師范大學(xué) 數(shù)學(xué)與計算科學(xué)學(xué)院，山西 臨汾 041000)

0 引 言

計算機視覺中圖像識別技術(shù)的發(fā)展為無人駕駛領(lǐng)域中的檢測識別提供了便捷的通道。當(dāng)前目標(biāo)檢測技術(shù)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)在對車載圖像識別等方面的研究也越來越深入。目標(biāo)檢測應(yīng)用于智能交通是未來進(jìn)一步的研究熱點。

眾多國內(nèi)外學(xué)者為了解決目標(biāo)檢測中存在的問題，相繼做了大量研究工作。2014年，Ross Girshick等人提出了R-CNN[1]算法，該算法首次將CNN引入目標(biāo)檢測領(lǐng)域。R-CNN通過利用在輸入圖像上提取的候選框，將候選區(qū)域縮放成固定的特征傳入CNN中進(jìn)行特征提取，最后將提取的特征輸入到分類檢測器中實現(xiàn)圖像上目標(biāo)的檢測分類。該算法的檢測效果相較于傳統(tǒng)的目標(biāo)檢測算法[2]有了明顯提高，但是該算法的檢測過程較復(fù)雜，檢測效率和檢測速度依舊不夠理想。于是，Ross Girshick繼R-CNN算法之后，在2015年提出了Fast R-CNN[3]算法，針對R-CNN的缺陷進(jìn)行了相關(guān)優(yōu)化。在此之后Faster R-CNN被Shaoqing Ren等人提出，該方法通過自適應(yīng)尺度的池化方法對網(wǎng)絡(luò)進(jìn)行了優(yōu)化，使用了softmax[4]進(jìn)行分類和回歸，使得該算法在檢測的精確度和速度上都有了一定程度的提升，但是該算法在檢測實時性方面仍有不足。針對Faster R-CNN目標(biāo)檢測模型檢測實時性的優(yōu)化問題，在2016年，Joseph Redmon等人提出了YOLO[5]算法，該算法實現(xiàn)了端到端的檢測效果，并在檢測速率上有所提升。YOLO算法利用CNN全局特征預(yù)測可能的目標(biāo)，規(guī)范圖像的輸入和輸出，將最后的目標(biāo)檢測劃分成了一個回歸的問題。隨后兩年，YOLO的優(yōu)化算法YOLO v2[6]、YOLO v3[7]相繼提出，針對檢測的速度和精確度問題，基于YOLO算法的研究成果，對算法進(jìn)行了改進(jìn)并取得明顯進(jìn)步，成為目前表現(xiàn)最優(yōu)的目標(biāo)檢測算法之一。單發(fā)多框檢測器(single shot multibox detector，SSD)[8]算法是繼Faster R-CNN和YOLO算法之后又一個出眾的目標(biāo)檢測算法，該算法由Wei Liu、Dragomir Anguelov等人在2016年提出，結(jié)合了Faster R-CNN與YOLO的部分思想，基于多層卷積的輸出特征圖進(jìn)行相關(guān)目標(biāo)的檢測，提升了算法的整體檢測精確度。但由于采用不同尺寸的先驗框?qū)斎雸D像進(jìn)行特征提取，這種方式會導(dǎo)致部分信息的丟失，相同的目標(biāo)會被不同的檢測框重復(fù)檢測，模型的檢測精度需進(jìn)一步提高。

通過研究SSD目標(biāo)檢測算法，該文基于傳統(tǒng)的SSD目標(biāo)檢測模型，對模型檢測精度上的提升做了相關(guān)研究及改進(jìn)，并通過實驗表明，改進(jìn)模型檢測精度顯著提升。這一改進(jìn)對無人駕駛領(lǐng)域的未來研究和發(fā)展都具有積極意義。

1 SSD網(wǎng)絡(luò)

SSD算法從結(jié)構(gòu)上可以看作是Faster R-CNN和YOLO算法的結(jié)合，借鑒了YOLO算法中基于回歸的模式，同時結(jié)合了Faster R-CNN的anchor機制。

SSD采用VGG16[9]作為基礎(chǔ)骨干網(wǎng)絡(luò)，并在VGG16的基礎(chǔ)上新增了卷積層來獲得更多的特征圖以用于檢測。卷積層降低了空間維度和分辨率，為了解決該問題，在多個輸出特征圖上執(zhí)行獨立的目標(biāo)檢測，并在檢測的過程中，使用了許多候選區(qū)域作為目標(biāo)圖像中識別出的候選識別區(qū)域，最終在實現(xiàn)快速檢測的同時也能夠較準(zhǔn)確的對目標(biāo)進(jìn)行定位。SSD算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

2 改進(jìn)算法模型

針對傳統(tǒng)SSD目標(biāo)檢測算法不能充分利用局部特征和全局語義特征、目標(biāo)定位和識別存在矛盾等缺陷，改進(jìn)SSD算法將輸入圖像中待檢測目標(biāo)的低層次細(xì)節(jié)特征與高層次的語義信息結(jié)合起來，降低待檢測目標(biāo)定位與識別間的矛盾，從而重新生成模型的目標(biāo)檢測金字塔。

2.1 改進(jìn)SSD模型的相關(guān)特征融合方法

卷積神經(jīng)網(wǎng)絡(luò)對金字塔特征層結(jié)構(gòu)具有良好的特征提取能力，在傳統(tǒng)的SSD模型中采用了采樣金字塔結(jié)構(gòu)，相關(guān)特征層從低到高的表達(dá)了輸入圖像的語義信息。但不足的是，傳統(tǒng)SSD模型將位于不同特征層的相關(guān)信息作為同一層次的信息，并直接由各檢測層產(chǎn)生目標(biāo)的檢測結(jié)果和分類，這種方案使檢測器缺乏同時捕獲局部細(xì)節(jié)特征和全局語義特征的能力，無法有效提取到相關(guān)模型的上下文信息，對輸入圖像上相關(guān)目標(biāo)的檢測極為不利。為改善上述不足，基于傳統(tǒng)的SSD目標(biāo)檢測模型，制定了模型相關(guān)特征層的融合方法。

目前許多目標(biāo)檢測算法嘗試對金字塔特征層結(jié)構(gòu)進(jìn)行充分利用，如FPN[10]、DSSD[11]等多目標(biāo)檢測算法，方法結(jié)構(gòu)如圖2所示，但這種融合方法使得右側(cè)的新特征層只能對左側(cè)相應(yīng)層次以及更高層次的輸出特征進(jìn)行融合，缺少了底層的特征信息。

圖2 FPN、DSSD等多目標(biāo)檢測算法的金字塔結(jié)構(gòu)

針對傳統(tǒng)特征融合方法的不足，改進(jìn)算法中將不同層次的特征以較為合適的方法進(jìn)行融合，重新構(gòu)建目標(biāo)檢測金字塔對輸入圖像中的相關(guān)目標(biāo)進(jìn)行檢測，改進(jìn)SSD算法的目標(biāo)檢測算法結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)SSD算法的特征融合及目標(biāo)檢測金字塔

針對改進(jìn)算法的目標(biāo)檢測金字塔結(jié)構(gòu)，假設(shè)Xi，i∈C表示希望融合的輸出特征圖，考慮以下幾方面因素，具體相關(guān)表述如下：

Xf=φf{Ti(Xi)},i∈C

(1)

(2)

(3)

式(1)中C表示參與融合的原輸出特征圖集合，Ti表示每一個參與融合的輸出特征圖在進(jìn)行拼接操作之前的變換函數(shù)，即表示對輸出特征圖進(jìn)行降采樣[12]或上采樣[13]處理的方法選擇，通過降采樣及上采樣的處理使模型輸出特征圖的規(guī)模保持一致性，改進(jìn)模型中采用雙線性插值的方法對相關(guān)卷積層的輸出特征圖規(guī)格進(jìn)行統(tǒng)一。φf為相關(guān)的特征融合函數(shù)，表示對經(jīng)過統(tǒng)一化操作后的相關(guān)特征圖進(jìn)行拼接或元素求和操作，改進(jìn)模型選用拼接操作將相關(guān)輸出特征圖融合為某規(guī)格的輸出特征圖。式(2)中φp表示改進(jìn)算法目標(biāo)檢測金字塔的生成函數(shù)，P表示參與目標(biāo)檢測金字塔構(gòu)建的輸出特征圖集合，即如何運用生成的融合特征圖重新構(gòu)建SSD目標(biāo)檢測算法的相關(guān)檢測層，也就是目標(biāo)檢測金字塔。式(3)中φc,l表示根據(jù)目標(biāo)檢測金字塔進(jìn)行相關(guān)檢測的方法。

在傳統(tǒng)的SSD目標(biāo)檢測模型中，基于Conv4_3、fc7、Conv6_2、Conv7_2、Conv8_2、Conv9_2的輸出特征圖進(jìn)行相關(guān)目標(biāo)的檢測。相對應(yīng)的輸出特征圖尺寸包括了38×38、19×19、10×10、5×5、3×3和1×1。需要說明的是，由于在Conv9_2的輸出特征圖中能夠被合并的信息太少，因此1×1尺寸的特征輸出圖并未參與輸出特征圖的融合，而是直接參與了改進(jìn)算法目標(biāo)檢測金字塔的構(gòu)建。

為高效地融合不同尺度的輸出特征圖，首先，將Conv4_3、FC7、Conv6_2的原輸出特征圖降維至256，利用雙線性插值法[14]將FC7、Conv6_2的輸出特征圖調(diào)整到與Conv4_3相同的38×38尺寸，對處理后的輸出特征圖進(jìn)行拼接操作；其次，將FC7的原輸出特征圖降維至512，Conv6_2輸出特征圖維度保持不變，Conv7_2維度變換為512，利用雙線性插值法將Conv6_2、Conv7_2的輸出特征圖調(diào)整到與FC7相同的19×19尺寸，對處理后的輸出特征圖作拼接操作；最后，將Conv6_2的原輸出特征圖降維至256，Conv7_2、Conv8_2輸出特征圖維度保持原樣，利用雙線性插值法將Conv7_2、Conv8_2的輸出特征圖調(diào)整到與Conv6_2相同的10×10尺寸，對處理后的輸出特征圖進(jìn)行拼接操作。

此外，融合相關(guān)輸出特征圖時主要有兩種方法，拼接法以及元素求和的方法，但由于元素求和的方法要求特征映射具有相同的大小，這意味著需要將特征映射轉(zhuǎn)換為相同的通道，這個需求限制了融合特征映射的靈活性，故采用拼接法進(jìn)行輸出特征圖融合。

2.2 改進(jìn)模型的默認(rèn)框生成方法

改進(jìn)模型的默認(rèn)框生成策略采用了原SSD目標(biāo)檢測模型的默認(rèn)框生成策略，對每一檢測層的各單元格設(shè)置了不同長寬比的默認(rèn)邊界框。在對相關(guān)模型進(jìn)行測試時，將所有輸出特征圖上產(chǎn)生的默認(rèn)邊界框結(jié)合起來，通過非極大值抑制算法去除部分重疊或錯誤的邊界框，產(chǎn)生最終的檢測結(jié)果。默認(rèn)邊界框的生成策略如下：

(1)以各輸出特征圖上的每個像素點為單位進(jìn)行相關(guān)默認(rèn)框的生成，將最下層輸出特征圖的Scale值設(shè)置為0.2，最上層輸出特征圖的Scale值設(shè)置為0.95，通過式(4)計算剩余輸出特征圖的Scale值；

(4)

式中，m表示輸出特征圖的個數(shù)，k∈[1，m]，Smin、Smax的值分別為0.2和0.95。

(2)設(shè)置不同默認(rèn)框的長寬比ar∈{1，2，3，1/2，1/3}，通過式(5)計算默認(rèn)框的寬度及高度。

(5)

2.3 改進(jìn)模型的相關(guān)標(biāo)定策略

在對改進(jìn)模型進(jìn)行訓(xùn)練時，需要確認(rèn)輸入圖像中的真實邊界框與哪些默認(rèn)邊界框匹配，主要包含了以下兩個方面：

(1)對于輸入圖像上的默認(rèn)邊界框，首先找到與其IoU值最大的默認(rèn)邊界框，將該默認(rèn)邊界框與真實邊界框匹配，保證輸入圖像上的真實邊界框一定能夠匹配到某一默認(rèn)邊界框。與真實邊界框相匹配的默認(rèn)邊界框稱為正樣本，相應(yīng)的，對于不匹配的默認(rèn)邊界框稱為負(fù)樣本。然而輸入圖像上的真實邊界框往往是很少的，但模型產(chǎn)生的默認(rèn)邊界框很多，這樣就會產(chǎn)生大量的負(fù)樣本，從而導(dǎo)致了正負(fù)樣本的不均衡問題。

(2)針對樣本的不均衡問題[15-16]，設(shè)定IoU的閾值為0.5，對于(1)中未配到的剩余默認(rèn)邊界框，若IoU閾值大于0.5，也將該默認(rèn)邊界框設(shè)定為正樣本。因此，正常情況下輸入圖像上的真實邊界框通常對應(yīng)多個默認(rèn)邊界框。

2.4 改進(jìn)模型的損失函數(shù)

改進(jìn)SSD模型的損失包含了分類損失和邊界框回歸損失兩部分內(nèi)容，模型的總體損失基于兩部分損失的加權(quán)和，相關(guān)損失可由式(6)表示。

(6)

式中，Lconf表示分類損失，Lloc表示邊界框的回歸損失，可分別由式(7)、(8)進(jìn)行表示，α表示回歸損失的權(quán)重系數(shù)。

(7)

(8)

3 實 驗

3.1 相關(guān)數(shù)據(jù)集描述

車載圖像數(shù)據(jù)集源于行車記錄儀采集，共60 000張不同場景下的圖像。選取55 000張圖像作為改進(jìn)模型的訓(xùn)練集，并對其進(jìn)行標(biāo)注，剩余5 000張圖像作為測試集。

從目前的研究情況來看，不論國內(nèi)還是國外，對于水在終端使用過程中的能耗特征都缺乏深入、全面的研究，而這一環(huán)節(jié)的能源強度實際上超過了其他所有環(huán)節(jié)的能源強度，在這一環(huán)節(jié)節(jié)約用水將有可能以最小的成本帶來最大的節(jié)水節(jié)能效應(yīng)，這也是需求側(cè)管理思想的核心。因此，水系統(tǒng)水—能關(guān)系未來的研究重點應(yīng)該放在水資源的終端消費領(lǐng)域，探討家庭、行業(yè)節(jié)水與節(jié)能的相互關(guān)系，從而通過需水管理達(dá)到水資源和能源的可持續(xù)利用，促進(jìn)城市節(jié)能減排與可持續(xù)發(fā)展。

數(shù)據(jù)的讀取及預(yù)處理：

一個網(wǎng)絡(luò)訓(xùn)練的結(jié)果受多因素影響，在訓(xùn)練相關(guān)改進(jìn)模型之前對圖像進(jìn)行預(yù)處理。預(yù)處理過程如下：

(1)通過TFrecord讀取數(shù)據(jù)集以減少內(nèi)存消耗，加速模型相關(guān)數(shù)據(jù)集讀取。

(2)利用最大值法對圖像數(shù)據(jù)集進(jìn)行灰度化處理?；叶茸畲笾捣捎墒?9)表達(dá)：

Gray(i,j)=max{R(i,j),G(i,j),B(i,j)}

(9)

(3)對灰度化后的數(shù)據(jù)集進(jìn)行圖像增強[17]。

改進(jìn)算法主要研究圖像識別在精度上的提升，所以圖像質(zhì)量的好壞直接影響識別算法速率提升的效果，對圖像數(shù)據(jù)集進(jìn)行上述預(yù)處理過程之后，可減少數(shù)據(jù)集圖像中的無關(guān)信息。圖像預(yù)處理效果如圖4所示。

圖4 圖像預(yù)處理效果

3.2 相關(guān)參數(shù)設(shè)定

對于改進(jìn)的SSD檢測算法，基于實驗采集的相關(guān)訓(xùn)練集，在Nvidia 2080Ti GPU的硬件條件下對相關(guān)模型進(jìn)行訓(xùn)練。設(shè)置批量大小為32，權(quán)重衰減值為0.000 5，隨機梯度下降算法[18]的動量值為0.9，改進(jìn)模型的初始學(xué)習(xí)率為0.001，訓(xùn)練迭代300 000次；之后將學(xué)習(xí)率下降至0.000 1，訓(xùn)練迭代600 00次；最后將學(xué)習(xí)率再次下調(diào)至0.000 01訓(xùn)練改進(jìn)模型，直到模型達(dá)到收斂。

另外，在相同的條件下，選取一系列的對比模型進(jìn)行訓(xùn)練，用于改進(jìn)模型測試階段的相關(guān)對比。

3.3 實驗訓(xùn)練方法描述

針對改進(jìn)的SSD目標(biāo)檢測模型，可以選擇以下三種主流的訓(xùn)練方案：

方案一：改進(jìn)模型基于傳統(tǒng)的SSD目標(biāo)檢測模型，因此可以使用訓(xùn)練好的SSD模型相關(guān)參數(shù)作為改進(jìn)模型的初始參數(shù)，即將訓(xùn)練好的傳統(tǒng)SSD檢測算法作為改進(jìn)模型的預(yù)訓(xùn)練模型。對改進(jìn)模型進(jìn)行訓(xùn)練時，學(xué)習(xí)速率可以適當(dāng)增加，從而加快改進(jìn)模型的訓(xùn)練。

方案二：與傳統(tǒng)SSD目標(biāo)檢測模型的訓(xùn)練方法相同，改進(jìn)模型不采用任何預(yù)訓(xùn)練模型。

方案三：以訓(xùn)練好的VGGNet為基礎(chǔ)，對原SSD算法及改進(jìn)算法進(jìn)行訓(xùn)練。

觀察圖5，基于VGGNet預(yù)訓(xùn)練網(wǎng)絡(luò)的改進(jìn)算法略優(yōu)于基于傳統(tǒng)SSD預(yù)訓(xùn)練網(wǎng)絡(luò)的改進(jìn)算法。以原SSD算法為預(yù)訓(xùn)練網(wǎng)絡(luò)對改進(jìn)模型進(jìn)行訓(xùn)練時，改進(jìn)SSD模型的收斂速度更快。此外，在相同的訓(xùn)練條件下(傳統(tǒng)SSD算法與相關(guān)改進(jìn)算法都基于VGGNet預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行訓(xùn)練)，相較于傳統(tǒng)的SSD算法而言，改進(jìn)算法檢測精度更高。此外，為了保證實驗結(jié)果的準(zhǔn)確性，訓(xùn)練目標(biāo)與原SSD算法保持一致，對原SSD算法采用相同的硬件環(huán)境和訓(xùn)練策略。

圖5 原SSD模型及相關(guān)改進(jìn)模型的訓(xùn)練

3.4 相關(guān)算法對比

基于相關(guān)測試集對訓(xùn)練好的模型以及相關(guān)對比模型進(jìn)行測試，測試結(jié)果如表1所示。

表1 改進(jìn)模型及相關(guān)對比模型的測試結(jié)果

由表1中數(shù)據(jù)可知，改進(jìn)的SSD 300算法(加入OPD機制的SSD300算法)在相關(guān)測試集上可以達(dá)到79.2%的精確度，與傳統(tǒng)的SSD 300算法相比精確度提高了2.3%。與DSSD 321檢測模型相比，雖然DSSD 321檢測模型使用性能優(yōu)于VGG 16的ResNet-101作為基礎(chǔ)網(wǎng)絡(luò)，但改進(jìn)SSD 300算法的精確度仍有0.5%的提升。與DSSD 513算法相比，改進(jìn)的SSD 512算法在檢測精度上略顯不足，可以認(rèn)為基礎(chǔ)網(wǎng)絡(luò)在此起到關(guān)鍵作用，但就算法檢測實時性而言，改進(jìn)的SSD 512算法要比DSSD 513算法快得多。

傳統(tǒng)的SSD算法在未進(jìn)行預(yù)訓(xùn)練處理時，模型的性能只能到達(dá)69.2%?；谕瑯拥臈l件，對改進(jìn)的SSD算法從零開始訓(xùn)練，改進(jìn)算法的模型精度達(dá)到73.2%，模型性能明顯提升。在單Nvidia 2080Ti GPU環(huán)境下，分別測試了原SSD檢測算法以及改進(jìn)檢測算法的FPS值，由于改進(jìn)算法加入了相關(guān)的特征融合機制，消耗了約8%的額外時間，模型檢測FPS值相較于原SSD算法大致相同。但對比DSSD與Faster RCNN模型，改進(jìn)模型的檢測速度要快許多，同時也保持了較好的精度。

4 結(jié)束語

重點研究了特征融合機制對SSD模型性能的影響，基于相關(guān)實驗數(shù)據(jù)集，對加入了特征融合機制的SSD算法進(jìn)行了相關(guān)訓(xùn)練和測試，與Faster RCNN、DSSD、原SSD以及YOLO v2算法進(jìn)行實驗對比。實驗結(jié)果表明，特征融合機制的引入，有效提升了SSD目標(biāo)檢測算法的效率。

特征融合機制的加入使得SSD檢測算法得到兩方面的提升，一方面，降低了重復(fù)檢測同一目標(biāo)或?qū)⒍鄠€目標(biāo)檢測為同一目標(biāo)的機率，從而使模型效率得到提升。另一方面，針對傳統(tǒng)SSD模型將位于不同特征層的相關(guān)信息作為同一層次的信息問題，通過輸出特征圖的融合機制重新構(gòu)建目標(biāo)檢測金字塔，使得SSD算法能夠更充分地利用局部特征和全局語義特征，將輸入圖像中待檢測目標(biāo)的低層次細(xì)節(jié)特征與高層次的語義信息相結(jié)合，使得模型能夠成功地檢測到更多的目標(biāo)對象，進(jìn)而將模型檢測精確度提升約2.3%。這一改進(jìn)對無人駕駛領(lǐng)域[19]的精確檢測具有較高的參考價值。