摘" 要： 針對(duì)復(fù)雜背景下鐵路貨運(yùn)車輛車號(hào)定位復(fù)雜、定位準(zhǔn)確率低的問(wèn)題，提出一種采用ResNet50作為基本特征提取網(wǎng)絡(luò)，同時(shí)引入空殘差塊對(duì)學(xué)習(xí)樣本進(jìn)行多層特征融合，構(gòu)造了一種新的特征提取網(wǎng)絡(luò)和改進(jìn)算法，提高目標(biāo)檢測(cè)網(wǎng)絡(luò)的特征表達(dá)能力，實(shí)現(xiàn)了快速車號(hào)目標(biāo)檢測(cè)。實(shí)驗(yàn)數(shù)據(jù)集采用自建數(shù)據(jù)集，并通過(guò)三個(gè)對(duì)比實(shí)驗(yàn)驗(yàn)證了該方法的可靠性。當(dāng)IoU閾值為0.5時(shí)，改進(jìn)算法的平均精度值為97.1%，分別比F?VGG和F?ResNet50高9.4%和6.8%，同時(shí)采用改進(jìn)算法對(duì)我國(guó)鐵路常用不同車型貨運(yùn)車輛進(jìn)行車號(hào)定位測(cè)試實(shí)驗(yàn)，從實(shí)驗(yàn)結(jié)果可以看出優(yōu)化方法沒(méi)有誤分類或漏檢。改進(jìn)后的算法可以提高復(fù)雜背景下鐵路貨運(yùn)車輛車號(hào)的定位精度，具有較強(qiáng)的泛化能力，對(duì)實(shí)現(xiàn)復(fù)雜背景下車輛車號(hào)快速定位具有一定的參考意義。

關(guān)鍵詞： 車號(hào)定位； 特征提取網(wǎng)絡(luò)； RCNN； ResNet50； 空殘差塊； 多層特征融合

中圖分類號(hào)： TN911.73?34； TP391.4"" """"""""""""文獻(xiàn)標(biāo)識(shí)碼： A""""""""""""""""""" 文章編號(hào)： 1004?373X（2024）09?0082?04

0" 引" 言

目標(biāo)檢測(cè)是機(jī)器視覺(jué)中的一項(xiàng)核心任務(wù)，主要用于判斷物體的位置與類別，目標(biāo)檢測(cè)技術(shù)發(fā)展迅速[1]?；谌斯ど窠?jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)快速發(fā)展，有效地解決了傳統(tǒng)目標(biāo)檢測(cè)中的問(wèn)題。

傳統(tǒng)圖像目標(biāo)檢測(cè)算法主要包括六個(gè)模塊[2]：圖像預(yù)處理模塊、滑動(dòng)窗口確定候選區(qū)域、候選區(qū)域特征提取、進(jìn)行特征選擇、完成特征分類和后處理模塊，采用的方法主要是特征點(diǎn)匹配和基于滑動(dòng)窗口確定候選區(qū)域的經(jīng)典算法，特征提取是目標(biāo)檢測(cè)與識(shí)別的關(guān)鍵環(huán)節(jié)[3]。但是，傳統(tǒng)圖像處理方法主要基于人工篩選實(shí)現(xiàn)特征選擇，如針對(duì)特定檢測(cè)對(duì)象的方法中，HOG特征主要用于圖像中的行人檢測(cè)[4]，類似其他的目標(biāo)則需要人為選擇其他特征實(shí)現(xiàn)目標(biāo)表示，從而造成傳統(tǒng)圖像處理和機(jī)器學(xué)習(xí)算法的泛化性較差，無(wú)法廣泛應(yīng)用于通用的目標(biāo)檢測(cè)算法。自2012年以來(lái)，深度學(xué)習(xí)發(fā)展給目標(biāo)檢測(cè)領(lǐng)域帶了新的契機(jī)，研究者提出了大量基于深度網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法[5]。

然而，現(xiàn)有的算法（包括深度學(xué)習(xí)）在檢測(cè)復(fù)雜背景圖像時(shí)無(wú)法直接獲得良好的效果。為了使工業(yè)實(shí)踐中的目標(biāo)識(shí)別算法具有更好的適應(yīng)性，除了提高圖像質(zhì)量外，還可以通過(guò)從原始圖像中有選擇地提取特征，提高目標(biāo)檢測(cè)對(duì)不同環(huán)境的適應(yīng)性。事實(shí)上，在深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練過(guò)程中提取太多與領(lǐng)域相關(guān)的特征會(huì)導(dǎo)致模型在領(lǐng)域中過(guò)度擬合[6]。為了降低擬合度，有必要設(shè)計(jì)合適的網(wǎng)絡(luò)訓(xùn)練算法。文獻(xiàn)[7]通過(guò)增強(qiáng)特征空間上跨域的穩(wěn)健性來(lái)改進(jìn)分類網(wǎng)絡(luò)，并使用對(duì)抗性訓(xùn)練方法。這是增強(qiáng)特征空間對(duì)抗學(xué)習(xí)領(lǐng)域自適應(yīng)首次解決不同領(lǐng)域級(jí)別的問(wèn)題。

考慮到復(fù)雜背景檢測(cè)問(wèn)題，本文選擇了基于滑動(dòng)窗口候選區(qū)域的目標(biāo)檢測(cè)算法，對(duì)傳統(tǒng)RCNN進(jìn)行了改進(jìn)。采用ResNet50作為基本特征提取層，然后介紹了孔卷積。殘差塊融合多層特征提高了鐵路貨運(yùn)車輛車號(hào)的定位效果，包括誤分類、漏檢和定位不準(zhǔn)等都得到改善，該算法應(yīng)用于復(fù)雜不確定背景下的車輛車號(hào)定位和識(shí)別，驗(yàn)證了該方法的有效性。

1" 實(shí)現(xiàn)方法

1.1" 卷積神經(jīng)網(wǎng)絡(luò)框架選取

由于鐵路貨運(yùn)車輛車號(hào)定位精度直接決定車號(hào)識(shí)別準(zhǔn)確度，為此選用Faster RCNN作為卷積神經(jīng)網(wǎng)絡(luò)框架[8]，如圖1所示。該框架主要由區(qū)域特征提取、區(qū)域生成網(wǎng)絡(luò)（RPN）、興趣區(qū)域池化層（ROI Pooling）和檢測(cè)模塊組成。通過(guò)卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)輸入圖像的特征提取和學(xué)習(xí)；RPN網(wǎng)絡(luò)層用于產(chǎn)生目標(biāo)對(duì)象的可能候選區(qū)域；卷積池化層（ROI）實(shí)現(xiàn)了卷積特征長(zhǎng)度統(tǒng)一處理；目標(biāo)檢測(cè)網(wǎng)絡(luò)推理部分用于車輛車號(hào)的定位結(jié)果輸出。

Faster RCNN檢測(cè)過(guò)程：首先，把預(yù)處理過(guò)后的測(cè)試圖像輸入到網(wǎng)絡(luò)進(jìn)行特征提??；其次，進(jìn)行特征映射再傳遞到RPN層，RPN層基于設(shè)置的IoU閾值選擇候選幀；然后，RPN層輸出的候選幀進(jìn)入到ROI的池化網(wǎng)絡(luò)層，獲得候選幀的卷積特征圖；最后，輸入推理網(wǎng)絡(luò)部分經(jīng)過(guò)ROI池化層返回候選幀，得到最終幀位置，同時(shí)進(jìn)行目標(biāo)類別識(shí)別，生成分類結(jié)果。

1.2" 區(qū)域特征提取網(wǎng)絡(luò)

ResNet50網(wǎng)絡(luò)層數(shù)多，可用于提取更多抽象特征[9]。而ResNet50的殘差結(jié)構(gòu)可以提升網(wǎng)絡(luò)學(xué)習(xí)效率，減少了梯度消失、梯度爆炸問(wèn)題，從而提升網(wǎng)絡(luò)學(xué)習(xí)性能[10]。本文選擇ResNet50作為基礎(chǔ)網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1中，Conv1～Conv5作為特征提取層并應(yīng)用于Faster RCNN，實(shí)際中不能顯著提高目標(biāo)檢測(cè)的準(zhǔn)確性。為了解決這一目標(biāo)檢測(cè)精度沒(méi)有明顯提高的問(wèn)題，將Conv1～Conv4作為區(qū)域特征提取層，Conv5和全連接層作為檢測(cè)網(wǎng)絡(luò)，具體結(jié)構(gòu)如圖2所示。本文的檢測(cè)網(wǎng)絡(luò)能夠提高分類性能和目標(biāo)檢測(cè)準(zhǔn)確率。

1.3" 改進(jìn)的特征提取網(wǎng)絡(luò)

圖3a）和圖3b）中的空洞卷積殘差塊是在ResNet50的基礎(chǔ)上，以2的膨脹率形成的空洞卷積結(jié)構(gòu)[11]?？斩淳矸e殘差塊可以實(shí)現(xiàn)高層語(yǔ)義信息抽取。本文還使用了如圖3c）所示的空洞卷積殘差塊的特征融合模型。

為此，ResNet50中的Conv5模塊進(jìn)行移動(dòng)處理到檢測(cè)網(wǎng)絡(luò)，而只用特征提取層的前4層，這樣網(wǎng)絡(luò)相對(duì)變少，因此在Conv4之后形成了一個(gè)具有1×1演化層映射的孔殘差區(qū)塊，如圖3a）所示，還在RPN網(wǎng)絡(luò)的第5層使用了空洞卷積殘差塊（如圖3b）所示）。其優(yōu)點(diǎn)體現(xiàn)在空間分辨率的一致性并減少了信息損失。為了減少計(jì)算量和存儲(chǔ)器空間，設(shè)置殘差塊的通道數(shù)為512。其次，為了便于車號(hào)目標(biāo)的檢測(cè)，經(jīng)過(guò)對(duì)Conv1～Conv4這4層進(jìn)行下采樣后，空間分辨率變小導(dǎo)致目標(biāo)語(yǔ)義信息大量丟失[12]。為此，將Conv1和Conv3與新引入的第5層進(jìn)行融合，用來(lái)提取新的卷積特征，該特征涵蓋了高空間分辨率下的淺層紋理和幾何信息以及低空間分辨率的深層語(yǔ)義信息[13]。為了提升方法表達(dá)能力和目標(biāo)檢測(cè)精度，融合了深淺特征和上采樣的特征，有效地改善了特征提取網(wǎng)絡(luò)的能力。

2" 實(shí)驗(yàn)與分析

2.1" 數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)數(shù)據(jù)采用自建鐵路貨運(yùn)車輛圖像數(shù)據(jù)集。數(shù)據(jù)集中鐵路貨運(yùn)車輛樣本圖像如圖4所示，從圖中可以看出，車體圖像包含強(qiáng)光、雨滴、非車號(hào)字符等復(fù)雜干擾背景[14]，對(duì)車號(hào)定位造成嚴(yán)重影響。圖像數(shù)據(jù)集由設(shè)置在中鐵南昌局集團(tuán)有限公司向塘西站鐵路高清圖像貨檢系統(tǒng)完成采集，這些圖片包含了我國(guó)鐵路貨運(yùn)敞車、棚車、平板車等常用車輛類型[15]，其中敞車圖像10 000張，棚車圖像5 000張，平板車圖像2 000張。訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)按8∶2劃分。

實(shí)驗(yàn)使用的硬件環(huán)境圖形卡是Tesla V100，軟件部分主要基于Linux Ubuntu 16.04和Python 3.6?；赥ensor Flow作為深度學(xué)習(xí)框架進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)。Faster RCNN最大迭代次數(shù)為70 000次，并進(jìn)行調(diào)整和算法性能的比較。

在實(shí)驗(yàn)中將對(duì)比VGG16卷積神經(jīng)網(wǎng)絡(luò)方法的目標(biāo)檢測(cè)器，即F?VGG16。以ResNet50為區(qū)域特征提取層的方法稱為F?ResNet50，采用本文提出的結(jié)合空殘差塊進(jìn)行特征提取網(wǎng)絡(luò)優(yōu)化的算法稱為F?F?ResNet50方法。

2.2" 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)一：為了驗(yàn)證所提出的優(yōu)化Faster RCNN算法在鐵路貨運(yùn)車輛車號(hào)定位的準(zhǔn)確性，采用上述三種不同的檢測(cè)算法對(duì)鐵路貨運(yùn)車輛圖像數(shù)據(jù)集進(jìn)行交叉檢查。三種檢測(cè)算法的測(cè)試指標(biāo)對(duì)比如表2所示。

從表2中可以看出，當(dāng)IoU閾值為0.5時(shí)，本文算法的平均精度值為97.1%，分別比F?VGG16和F?ResNet50高9.4%和6.8%。因此，本實(shí)驗(yàn)基于ResNet50代替VGG進(jìn)行特征提取，同時(shí)利用空洞卷積殘差塊進(jìn)行多層特征融合，進(jìn)一步提高了目標(biāo)檢測(cè)的性能。

實(shí)驗(yàn)二：采用所提出的優(yōu)化Faster RCNN算法對(duì)我國(guó)鐵路常用不同車型貨運(yùn)車輛進(jìn)行車號(hào)定位測(cè)試實(shí)驗(yàn)。圖5顯示了3種不同車型車號(hào)定位測(cè)試結(jié)果，圖中白色框?yàn)槟Ｐ偷恼_檢測(cè)結(jié)果，測(cè)試圖像包含集裝箱箱號(hào)字符、銹蝕、粉筆標(biāo)記等對(duì)象，背景復(fù)雜且具有較大的不確定性。從檢測(cè)結(jié)果可以看出，本文的優(yōu)化方法沒(méi)有誤分類或漏檢。

由不同車型車號(hào)定位結(jié)果可以看出，使用本文提出的算法進(jìn)行鐵路貨運(yùn)車輛車號(hào)定位具有較高的車輛車號(hào)定位精度，并在復(fù)雜場(chǎng)景下具有較強(qiáng)的魯棒性和適應(yīng)性，更有利于貨運(yùn)車輛車號(hào)的定位。

3" 結(jié)" 論

為了提高復(fù)雜場(chǎng)景下鐵路貨運(yùn)車輛車號(hào)定位精度，本文對(duì)Faster RCNN算法進(jìn)行了改進(jìn)。本文以ResNet50為基本特征提取網(wǎng)絡(luò)，引入空殘差塊結(jié)構(gòu)，在不同尺度下進(jìn)行多層特征融合，進(jìn)一步提高了貨運(yùn)車輛車號(hào)定位精度。

通過(guò)交叉驗(yàn)證實(shí)現(xiàn)在自建鐵路貨運(yùn)車輛圖像數(shù)據(jù)集上的比較實(shí)驗(yàn)，本文提出的算法平均準(zhǔn)確率為97.1%，取得了非常好的目標(biāo)檢測(cè)效果。同時(shí)，采用所提出的優(yōu)化Faster RCNN算法對(duì)我國(guó)鐵路常用不同車型貨運(yùn)車輛進(jìn)行車號(hào)定位測(cè)試實(shí)驗(yàn)，驗(yàn)證了本文方法在鐵路貨運(yùn)車輛車號(hào)定位的通用性，可以看出，本文提出的算法對(duì)復(fù)雜背景干擾具有較好的適應(yīng)性和良好的魯棒性。在未來(lái)的發(fā)展中，將繼續(xù)深入研究利用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)大規(guī)模鐵路貨運(yùn)車輛圖像車號(hào)目標(biāo)的快速定位。

參考文獻(xiàn)

[1] LIU Z G， Lü Y， WANG L Y， et al. Detection approach based on an improved faster RCNN for brace sleeve screws in high?speed railways [J]. IEEE transactions on instrumentation and measurement， 2020， 69（7）： 4395?4403.

[2] 賈迪，朱寧丹，楊寧華，等.圖像匹配方法研究綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2019，24（5）：677?699.

[3] 張陽(yáng)婷，黃德啟，王東偉，等.基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法研究與應(yīng)用綜述[J].計(jì)算機(jī)工程與應(yīng)用，2023，59（18）：1?13.

[4] 李文書(shū)，韓洋，阮夢(mèng)慧，等.改進(jìn)的基于增強(qiáng)型HOG的行人檢測(cè)算法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2020，29（10）：199?204.

[5] ZOU Z X， SHI Z W， GUO Y H， et al. Object detection in 20 years： A survey [EB/OL]. [2019?05?16]. https：//arxiv.org/abs/1905.05055v2.

[6] 馬崠奡，唐娉，趙理君，等.深度學(xué)習(xí)圖像數(shù)據(jù)增廣方法研究綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2021，26（3）：487?502.

[7] GANIN Y， LEMPITSKY V. Unsupervised domain adaptation by backpropagation [EB/OL]. [2015?12?30]. https：//www.doc88.com/p?9052394403026.html.

[8] REN S Q， HE K M， GIRSHICK R， et al. Faster R?CNN： Towards real?time object detection with region proposal networks [J]. IEEE transactions on pattern analysis and machine intelligence， 2017， 39（6）： 1137?1149.

[9] 辜瑞帆，李祥，任維民.基于ResNet50改進(jìn)模型的圖像分類研究[J].現(xiàn)代電子技術(shù)，2023，46（4）：107?112.

[10] BACHLECHNER T， MAJUMDER B， MAO H， et al. ReZero is all you need： Fast convergence at large depth [EB/OL]. [2020?06?25]. https：//arxiv.org/abs/2003.04887.

[11] 楊昊，張軼.基于上下文信息和多尺度融合重要性感知的特征金字塔網(wǎng)絡(luò)算法[J].計(jì)算機(jī)應(yīng)用，2023，43（9）：2727?2734.

[12] CHEN L C， ZHU Y K， PAPANDREOU G， et al. Encoder?decoder with atrous separable convolution for semantic image segmentation [C]// 15th European Conference on Computer Vision. Heidelberg， Germany： Springer， 2018： 833?851.

[13] 盧麒，秦軍，姚雪東，等.基于多層次感知網(wǎng)絡(luò)的GF?2遙感影像建筑物提取[J].國(guó)土資源遙感，2021，33（2）：75?84.

[14] 張汝榛，張建林，祁小平，等.復(fù)雜場(chǎng)景下的紅外目標(biāo)檢測(cè)[J].光電工程，2020，47（10）：128?137.

[15] 何春雨，余偉，唐荻.鐵路貨車車體用鋼的現(xiàn)狀及研究發(fā)展趨勢(shì)[J].熱加工工藝，2020，49（16）：15?20.

Method for locating train number of railway freight vehicles in complex background

CAI Kangcheng1， LAI Yihui2， ZHOU Shumin1， LAN Xiangui1

（1. School of Information Engineering， East China University of Technology， Nanchang 330013， China; 2. Nanchang Normal University， Nanchang 330032， China）

Abstract： Railway freight vehicle number localization is a challenging problem and it suffers from an inferior recognition performance in complex background， so a new feature extraction network is established and an improved algorithm is proposed by using ResNet50 as the basic feature extraction network and by introducing 1 residual blocks to fuse the multi?layer features of the learning samples. This method aims to improve the feature expression ability of the object detection network and realize fast object detection of the vehicle number. The self?built data set is taken as the data set for the experiment. The effectiveness of the proposed method is verified by three contrastive experiments. When the threshold value of IOU （intersection over union） is 0.5， the average accuracy of the improved algorithm is 97.1%， which is higher than F?VGG and F?ResNet50 by 9.4% and 6.8%， respectively. The proposed method is also used to test the vehicle number location of different types of freight vehicles commonly used in China′s railways. From the experimental results， it can be seen that the optimization method has no misclassification or missing detection cases. The improved algorithm can improve the localization accuracy of railway freight vehicle number in complex background. It has strong generalization ability. Therefore， it provides a positive example to realize rapid localization of vehicle number in complex background.

Keywords： vehicle number localization; feature extraction network; RCNN; ResNet50; 1 residual block; multi?layer feature fusion

DOI：10.16652/j.issn.1004?373x.2024.09.015

引用格式：蔡康程，賴毅輝，周書(shū)民，等.一種復(fù)雜背景下的鐵路貨運(yùn)車輛車號(hào)定位方法[J].現(xiàn)代電子技術(shù)，2024，47（9）：82?85.

收稿日期：2023?12?06""""""" """修回日期：2023?12?27

基金項(xiàng)目：江西省技術(shù)創(chuàng)新引導(dǎo)類項(xiàng)目（科技合作專項(xiàng)）（20212BDH80008）；江西省新能源工藝及裝備工程技術(shù)研究中心2022年度開(kāi)放基金（JXNE2022?06）；江西省科技計(jì)劃項(xiàng)目（重點(diǎn)研發(fā)計(jì)劃）（20232BBE50013）

蔡康程，等：一種復(fù)雜背景下的鐵路貨運(yùn)車輛車號(hào)定位方法

作者簡(jiǎn)介：蔡康程（1999—），男，江西贛州人，碩士，研究方向?yàn)橛?jì)算機(jī)視覺(jué)。

賴毅輝（1991—），男，江西吉安人，碩士，助教，研究方向?yàn)橹悄軠y(cè)控與信息處理。

周書(shū)民（1971—），男，遼寧開(kāi)原人，碩士，教授，研究方向?yàn)楹穗娮訉W(xué)與信息技術(shù)。

藍(lán)賢桂（1979—），男，江西大余人，碩士，副教授，研究方向?yàn)闄C(jī)器視覺(jué)。

蔡康程，等：一種復(fù)雜背景下的鐵路貨運(yùn)車輛車號(hào)定位方法