董宜平，謝 達(dá)，鈕 震，彭湖灣，賈尚杰

（1.中國電子科技集團(tuán)公司第五十八研究所，江蘇無錫 214072；2.無錫中微億芯有限公司，江蘇無錫 214072；3.凱博易控車輛科技（蘇州） 股份有限公司，江蘇蘇州 215200）

1 引言

當(dāng)前，北京、上海、武漢、廣州、杭州等大城市保有大量的雙源無軌電車，該類電車有著靈活、經(jīng)濟(jì)、環(huán)保等特點(diǎn)。雙源無軌電車普遍采用傳統(tǒng)手動(dòng)搭線方式將集電桿接入高壓電網(wǎng)，這樣的操作方式存在著效率低、容易誤操作以及增加操作員風(fēng)險(xiǎn)等弊端。近年來，研究人員開始采用深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)集電盒進(jìn)行自動(dòng)識(shí)別，從而實(shí)現(xiàn)搭載過程完全自動(dòng)化。該方法可以減少搭載時(shí)間、提高搭載精度，做到停下即搭載，減少堵車風(fēng)險(xiǎn)，在保護(hù)司機(jī)的同時(shí)可以減少其誤操作。第三版?zhèn)鹘y(tǒng)黑暗網(wǎng)絡(luò)的主干網(wǎng)絡(luò)單次檢測（YOLO-V3）是常用的基于深度學(xué)習(xí)網(wǎng)絡(luò)的目標(biāo)識(shí)別模型，但是以YOLO-V3 網(wǎng)絡(luò)模型為基礎(chǔ)搭建試驗(yàn)平臺(tái)進(jìn)行測試時(shí)發(fā)現(xiàn)，由于集電盒在白天和夜晚的曝光效果不同，同時(shí)存在陰天、霧霾、雨雪等天氣干擾，多變背景、遮擋和陰影等環(huán)境干擾，以及集電盒的大小、高度、拍照角度不一致等原因，導(dǎo)致識(shí)別的集電盒出現(xiàn)異常形變，很難進(jìn)行有效識(shí)別。同時(shí)，基于YOLO-V3 網(wǎng)絡(luò)的搭載模型運(yùn)算速度有待提高，硬件開銷較大。

本文提出以輕量化移動(dòng)網(wǎng)絡(luò)（MobileNet）為主干網(wǎng)絡(luò)的改進(jìn)型YOLO-V3 網(wǎng)絡(luò)模型，取代傳統(tǒng)的以黑暗網(wǎng)絡(luò)為主干網(wǎng)絡(luò)的模型，以減少訓(xùn)練時(shí)間、提高運(yùn)算處理速度、降低硬件消耗和提高識(shí)別性能。

2 YOLO-V3 和改進(jìn)模型建立

2.1 YOLO-V3 網(wǎng)絡(luò)

YOLO-V3 是一種可以全輸入的目標(biāo)檢測算法，即不需要對(duì)輸入模型進(jìn)行裁剪。該算法能快速將被測目標(biāo)從復(fù)雜環(huán)境中分離出來，從而降低深層網(wǎng)絡(luò)的訓(xùn)練復(fù)雜度，減少深度學(xué)習(xí)過程中的硬件開銷。YOLO-V3 網(wǎng)絡(luò)模型如圖1 所示，圖中藍(lán)色虛線框中是黑暗網(wǎng)絡(luò)-53（Darknet-53），由53 個(gè)卷積層組成。卷積層包含如下幾部分：一個(gè)Darknet 的2 維卷積Conv2D 采用3×3 和1×1 的卷積核對(duì)圖片進(jìn)行目標(biāo)特征提?。灰粋€(gè)批量歸一化層通過反向傳播對(duì)訓(xùn)練過程中的梯度參數(shù)進(jìn)行更新，使訓(xùn)練最快得到最優(yōu)解；一個(gè)具有激活函數(shù)的層幫助參數(shù)進(jìn)行更新。其中殘差網(wǎng)絡(luò)由兩級(jí)卷積網(wǎng)絡(luò)疊加和主分支輸出的同維度張量得到。同時(shí)，采用快捷鏈接可以有效解決卷積層訓(xùn)練過程中網(wǎng)絡(luò)模型梯度退化、網(wǎng)絡(luò)誤差不斷累積等問題，保障YOLO-V3 深度訓(xùn)練高擬合度。

圖1 YOLO-V3 網(wǎng)絡(luò)模型

YOLO-V3 模型的Darknet 主干網(wǎng)絡(luò)由5 組殘差層組成，數(shù)據(jù)處理流程如下：1）輸入分辨率為416×416×3 的圖片，經(jīng)過1 次選采樣傳遞給下一級(jí)殘差網(wǎng)絡(luò)；2）輸入分辨率為208×208×64 的選采樣圖像，經(jīng)過一級(jí)的殘差網(wǎng)絡(luò)處理，傳遞給下一級(jí)的2 次下采樣；3）輸入2 次下采樣的104×104×128 圖像，經(jīng)過2 級(jí)的殘差網(wǎng)絡(luò)處理，傳遞給下一級(jí)的3 次下采樣；4）輸入3 次下采樣的52×52×256 圖像，經(jīng)過8 級(jí)的殘差網(wǎng)絡(luò)處理，傳遞給下一級(jí)的4 次下采樣；5）輸入26×26×512的4 次下采樣圖像，經(jīng)過8 級(jí)的殘差網(wǎng)絡(luò)，傳遞給下一級(jí)的5 次下采樣；6）輸入13×13×1024 的5 次下采樣圖像，經(jīng)過4 級(jí)的殘差網(wǎng)絡(luò)，傳遞給下一級(jí)的32 次采樣，完成Darknet-53 的網(wǎng)絡(luò)處理。

經(jīng)過Darknet-53 的網(wǎng)絡(luò)處理后， 再通過YOLO-V3 的3 個(gè)特征對(duì)目標(biāo)進(jìn)行多尺度特征檢測。多尺度特征檢測1：輸入416×416 的圖像，經(jīng)過79 層的卷積網(wǎng)絡(luò)后，利用1×1 和3×3 的卷積運(yùn)算，再經(jīng)過32 次下采樣得到輸出分辨率為13×13×255 的特征圖。較小的特征圖具有更大的感受視野，主要用于大的目標(biāo)特征提取。多尺度特征檢測2：輸入416×416 的圖像，經(jīng)過91 層卷積網(wǎng)絡(luò)后的上采樣卷積與第61 層特征圖融合，得到91 層較細(xì)致的特征圖。再經(jīng)過16 次下采樣，輸出26×26×255 的特征圖。中等的特征圖有中等的感受視野，主要針對(duì)中等的目標(biāo)特征提取。多尺度特征檢測3：輸入416×416 的圖像，經(jīng)過91 層的卷積網(wǎng)絡(luò)后的上采樣卷積與第36 層特征圖融合，得到91 層較細(xì)致的特征圖。再經(jīng)過8 次下采樣，輸出52×52×255 的特征圖。最大的特征圖有最小的感受視野，主要用于小型的目標(biāo)特征提取。

YOLO-V3 模型過于龐大，該網(wǎng)絡(luò)的卷積層大概需要106 個(gè)。部署到FPGA 上需要轉(zhuǎn)換模型和優(yōu)化參數(shù)。由32 位的浮點(diǎn)運(yùn)算轉(zhuǎn)換成16 位的定點(diǎn)運(yùn)算以及權(quán)重參數(shù)模型都要占用FPGA 內(nèi)部大量的緩存，對(duì)硬件消耗較大。而且YOLO-V3 對(duì)復(fù)雜環(huán)境下的車載集電盒辨識(shí)度不高，特別是在夜晚、攝像頭采集邊緣等情況下無法有效識(shí)別。下面對(duì)YOLO-V3 模型進(jìn)行改進(jìn)從而解決上述問題。

2.2 改進(jìn)型YOLO-V3 網(wǎng)絡(luò)

MobileNet 的深度可分離卷積在確保精度的前提下，可以滿足雙源無軌道電車集電盒的識(shí)別需求。MobileNet 主要由深度卷積和逐點(diǎn)卷積組成，其結(jié)構(gòu)如圖2 所示。圖像處理流程如下：深度卷積首先將輸入為416×416×3 的圖像分為3 個(gè)通道，每個(gè)通道只和一個(gè)卷積核進(jìn)行卷積運(yùn)算。產(chǎn)生的特征值的通道數(shù)和輸入的通道數(shù)一致，但是無法有效擴(kuò)展特征向量，不能獲取不同空間上的特征值。采用1（輸入通道數(shù)）×1（輸出通道數(shù)）的卷積核進(jìn)行逐點(diǎn)卷積，組成新的包含空間信息的特征值。

圖2 深度可分離卷積網(wǎng)絡(luò)模型

基于MobileNet 的深度可分離卷積模型的改進(jìn)流程如圖3 所示。改進(jìn)后的網(wǎng)絡(luò)可有效避免傳統(tǒng)網(wǎng)絡(luò)反饋過程中，梯度過大導(dǎo)致輸入為負(fù)值時(shí)經(jīng)過ReLU 激活函數(shù)后輸出為零，從而導(dǎo)致網(wǎng)絡(luò)崩潰的情況。采用線性輸出后的數(shù)據(jù)在有效保留了各個(gè)通道信息的同時(shí)，亦保留了MobileNet 卷積層數(shù)少的優(yōu)勢。改進(jìn)結(jié)構(gòu)中MobileNet 將95%的計(jì)算時(shí)間用于有75%的參數(shù)的1×1 卷積。1×1 卷積在FPGA 部署過程中可以采用查找表的形式，不占用大量運(yùn)算處理單元，經(jīng)過一級(jí)流水就能得到結(jié)果，效率提高明顯，同時(shí)減少了硬件開銷。

圖3 基于MobileNet 的深度可分離卷積模型的改進(jìn)流程

用 改 進(jìn) 的 MobileNet 代 替 YOLO-V3 中 的Darknet 架構(gòu)，改進(jìn)的YOLO-V3 網(wǎng)絡(luò)架構(gòu)如圖4 所示。藍(lán)色方框內(nèi)為深度可分離卷積和標(biāo)準(zhǔn)卷積，深度和逐點(diǎn)卷積都跟隨一個(gè)激活函數(shù)。改進(jìn)MobileNet 共28 層，具體圖像處理流程如下：1）輸入416×416×3 的圖像，經(jīng)過下采樣校準(zhǔn)卷積3×3×32 轉(zhuǎn)換為208×208×32 的圖像輸出；2）經(jīng)過標(biāo)準(zhǔn)卷積變換后輸入13 層的深度可分離卷積，輸出13×13×1024 的數(shù)據(jù)；3）輸入13層的13×13×1024 深度可分離卷積輸出數(shù)據(jù)，經(jīng)過K值為7、步長為1 的平均池化，輸出7×7×1024 的圖像，防止過擬合；4）全鏈接層把輸入為7×7×1024 的池化特征值轉(zhuǎn)化為1×1×1024 的特征值，采用分布式表示；5）Softmax 層輸出1×1×1024 的特征值。

圖4 改進(jìn)型YOLO-V3 網(wǎng)絡(luò)模型

改進(jìn)型YOLO-V3 網(wǎng)絡(luò)相比于YOLO-V3 網(wǎng)絡(luò)，卷積層數(shù)從106 層減少至28 層，大大減少了所需要的參數(shù)。用深度卷積和逐點(diǎn)卷積代替原有標(biāo)準(zhǔn)卷積核，減少了卷積運(yùn)算次數(shù)，實(shí)現(xiàn)了通道和區(qū)域的分離。

2.3 損失函數(shù)計(jì)算

為了更好地評(píng)估預(yù)測值與目標(biāo)值的差距，有效指導(dǎo)下一步訓(xùn)練的權(quán)重值，本文引入損失函數(shù)進(jìn)行評(píng)估。改進(jìn)型YOLO-V3 網(wǎng)絡(luò)的損失函數(shù)主要由3 個(gè)部分組成。

2.3.1 置信度

置信度是為了預(yù)測目標(biāo)是否存在預(yù)測框內(nèi)概率值，由二分類任務(wù)交叉熵?fù)p失函數(shù)構(gòu)成，其中正例和負(fù)例的概率和為1。

其中Lc代表置信度損失函數(shù)，o 為樣本標(biāo)簽值，c 為模型預(yù)測樣本為正例的概率，k 為樣本個(gè)數(shù)。預(yù)測值通過sigmoid 函數(shù)激活，從而減少?zèng)]有目標(biāo)值的部分權(quán)重的計(jì)算，減少計(jì)算量。

2.3.2 邊框準(zhǔn)確度

邊框網(wǎng)絡(luò)模型如圖5 所示。在網(wǎng)絡(luò)架構(gòu)中，對(duì)偏移量進(jìn)行了約束，防止邊框的中心在隨機(jī)位置，導(dǎo)致訓(xùn)練不能收斂。圖中cx和cy分別表示中心的xy 坐標(biāo)值，Pw和Ph為錨點(diǎn)的寬度和高度，σ(tx)和σ(ty)代表預(yù)測框的中心點(diǎn)和坐標(biāo)軸的距離，tw和th分別代表預(yù)測框的橫縱偏離度，最終得到bx、by、bw、bh4 個(gè)邊框相對(duì)特征圖的位置和大小參數(shù)[1]。

圖5 邊框網(wǎng)絡(luò)模型

均方誤差損失函數(shù)L1為：

2.3.3 對(duì)象分類誤差

當(dāng)?shù)趇 個(gè)網(wǎng)格的第j 個(gè)錨點(diǎn)可以確定為所需要的目標(biāo)時(shí)，這個(gè)錨點(diǎn)才去計(jì)算對(duì)象的分類損失函數(shù)。對(duì)象分類誤差同樣由二分類任務(wù)交叉熵?fù)p失函數(shù)構(gòu)成：

其中La為對(duì)象分類損失函數(shù)，C 代表網(wǎng)格內(nèi)的錨點(diǎn)。

3 訓(xùn)練和實(shí)測結(jié)果

3.1 訓(xùn)練模型

原始數(shù)據(jù)是雙源無軌電車在不同環(huán)境和路況下，通過集電盒下的攝像頭得到的。選取部分圖片作為訓(xùn)練集，首先用軟件進(jìn)行圖片標(biāo)定，然后對(duì)數(shù)據(jù)集進(jìn)行模式轉(zhuǎn)換，將視覺目標(biāo)分類格式轉(zhuǎn)換為YOLO 格式的文本文件。文件包含邊框中心點(diǎn)的x 坐標(biāo)與圖片的寬度比值、邊框中心點(diǎn)的y 坐標(biāo)與圖片的高度比值、邊框的寬度與圖片寬度比值以及邊框的高度與圖片高度比值。

搭建改進(jìn)型YOLO 網(wǎng)絡(luò)的運(yùn)行環(huán)境并編譯成功，分別創(chuàng)建訓(xùn)練和測試數(shù)據(jù)集。安裝英偉達(dá)的并行架構(gòu)計(jì)算軟件后，利用七彩虹RTX 3060 Ti 顯卡進(jìn)行GPU訓(xùn)練。

3.2 運(yùn)算結(jié)果

因?yàn)榄h(huán)境因素的影響，比如白天和夜晚的曝光效果不同、不同天氣、背景多變、遮擋和陰影等環(huán)境干擾，還有集電盒本身的大小、高度不一致，拍照角度不一致，都可能導(dǎo)致識(shí)別的集電盒出現(xiàn)異常形變和尺寸變化。將基于Darknet-53 主干網(wǎng)絡(luò)的YOLO-V3、基于Tiny 主干網(wǎng)絡(luò)的YOLO-V3-Tiny 和基于MobileNet 主干網(wǎng)絡(luò)的改進(jìn)型YOLO-V3 的數(shù)據(jù)進(jìn)行不同場景下的測試，對(duì)比結(jié)果如表1 所示。改進(jìn)模型在準(zhǔn)確性(F1 score)和交并比（IoU）上有明顯提升，平均精度也明顯優(yōu)于其他兩種網(wǎng)絡(luò)。權(quán)重大小僅為28 MB，可以較好地部署到移動(dòng)設(shè)備等低功耗需求的設(shè)備中去，減少緩存和算力消耗。

表1 不同網(wǎng)絡(luò)模型測試結(jié)果對(duì)比

YOLO-V3 和改進(jìn)型YOLO-V3 模型訓(xùn)練過程中的損失函數(shù)曲線如圖6 所示。從圖中可以看出，YOLO-V3 在迭代50000 次后趨于收斂，損失函數(shù)值為0.06%。改進(jìn)型YOLO-V3 的損失函數(shù)值在500 次迭代后收斂較快，4000 次后趨于平均，損失函數(shù)為0.03%。改進(jìn)后的YOLO-V3 模型比傳統(tǒng)網(wǎng)絡(luò)收斂速度加快90%，穩(wěn)定后損失函數(shù)值降低50%，識(shí)別精度更高。

圖6 YOLO-V3 和改進(jìn)型YOLO-V3 訓(xùn)練過程中的損失函數(shù)曲線

3.3 硬件結(jié)構(gòu)

在改進(jìn)型YOLO-V3 網(wǎng)絡(luò)的環(huán)境要求下，利用神經(jīng)網(wǎng)絡(luò)常用平臺(tái)建模，采用浮點(diǎn)網(wǎng)絡(luò)模型和校準(zhǔn)數(shù)據(jù)集作為訓(xùn)練的輸入，基于Xilinx 軟件搭建硬件系統(tǒng)[2-8]，其硬件結(jié)構(gòu)如圖7 所示。硬件系統(tǒng)由攝像頭、H.264 編解碼、直接內(nèi)存控制器（DMA）、A53 控制器、深度學(xué)習(xí)處理單元（DPU）和DDR 存儲(chǔ)器組成。攝像頭采用1920×1080@30 ps 的車載網(wǎng)絡(luò)攝像頭，支持日夜模式，可以滿足不同場景下對(duì)圖像質(zhì)量、流暢度的要求；H.264 編解碼采用PL 邏輯單元，最大支持2K 的視頻編解碼，由網(wǎng)絡(luò)控制器和編解碼器組成；A53 為系統(tǒng)的應(yīng)用處理層，實(shí)現(xiàn)系統(tǒng)調(diào)度和實(shí)時(shí)顯示等功能；DPU主要作為改進(jìn)型YOLO-V3 網(wǎng)絡(luò)的卷積計(jì)算單元，存儲(chǔ)器主要用于緩存圖像和權(quán)重值。

圖7 基于Xilinx 搭建的硬件結(jié)構(gòu)

3.4 實(shí)測結(jié)果

攝像頭和處理單元安裝在無軌電車的動(dòng)力控制部分；實(shí)地對(duì)攝像頭進(jìn)行標(biāo)定，完成畸變矯正，使得圖像更趨于平滑；對(duì)集電盒的大小和高度進(jìn)行校準(zhǔn)和軟件調(diào)試。YOLO-V3 網(wǎng)絡(luò)和改進(jìn)網(wǎng)絡(luò)調(diào)試結(jié)果如圖8所示。由于YOLO-V3 模型較大，處理單張圖片平均耗時(shí)1247 ms，對(duì)應(yīng)幀率0.8 幀/s，無法做到實(shí)時(shí)處理，對(duì)在黑夜曝光的集電盒無法識(shí)別。而改進(jìn)模型規(guī)模較小，平均耗時(shí)89 ms，對(duì)應(yīng)幀率11 幀/s，可以滿足實(shí)時(shí)處理的需求，能夠準(zhǔn)確處理各種復(fù)雜環(huán)境下的集電盒識(shí)別。由對(duì)比結(jié)果可知改進(jìn)型YOLO-V3 模型識(shí)別精度和準(zhǔn)確率有明顯優(yōu)勢，能有效識(shí)別傳統(tǒng)網(wǎng)絡(luò)無法識(shí)別的圖像。

圖8 實(shí)際測試結(jié)果對(duì)比

4 結(jié)論

為解決雙源無軌電車集電盒識(shí)別應(yīng)用上的技術(shù)難題，通過對(duì)傳統(tǒng)基于Darknet 主干網(wǎng)絡(luò)的YOLO-V3網(wǎng)絡(luò)結(jié)構(gòu)和應(yīng)用的不足進(jìn)行分析，提出了一種基于MobileNet 主干網(wǎng)絡(luò)的改進(jìn)型YOLO-V3 網(wǎng)絡(luò)架構(gòu)。通過仿真訓(xùn)練和實(shí)地部署，對(duì)真實(shí)復(fù)雜環(huán)境下雙源無軌電車進(jìn)行測試，試驗(yàn)結(jié)果表明，改進(jìn)的YOLO-V3 網(wǎng)絡(luò)識(shí)別精度和處理速度都優(yōu)于傳統(tǒng)網(wǎng)絡(luò)，可以在雙源無軌電車中大規(guī)模推廣應(yīng)用。