徐 鑫，潘 杰，曹利安，羅 偉，謝 松

（中國鐵路成都局集團有限公司 科學(xué)技術(shù)研究所，成都 610081）

隨著我國鐵路的高速發(fā)展，截至2022年底，全國鐵路運營里程已達15.5萬km，其中，高鐵里程達到4.2萬km。2022年，鐵路貨運總發(fā)送量達49.84億t，鐵路發(fā)送旅客量達到16.73億人[1]，鐵路運輸在我國經(jīng)濟發(fā)展中發(fā)揮著越來越重要的作用，鐵路運輸安全的重要性也愈發(fā)凸顯。然而，鐵路沿線行人、家畜、野生動物等侵入鐵路線路的事件時有發(fā)生，威脅鐵路行車安全。

目前，針對異物侵入界限（簡稱：侵限）檢測的方法主要有電網(wǎng)檢測法、光纖光柵檢測法、視頻檢測法、雷達檢測法、超聲檢測法和紅外線屏障法等[2]。這些方法的檢測原理不同，適用的場景也不盡相同，其中，以視頻檢測法較為通用，使用該方法時，完全不需要對鐵路線網(wǎng)進行任何設(shè)施改造。根據(jù)《鐵路綜合視頻監(jiān)控系統(tǒng)技術(shù)規(guī)范》[3]，鐵路沿線均建設(shè)有監(jiān)控攝像頭，并由專人24 h盯控，以便及時發(fā)現(xiàn)異物侵限等異常事件。由于這種方法監(jiān)測的時空范圍和防護能力有限，仍存在誤報、依賴人工判識等問題[4]，基于此，本文研究YOLOv5深度學(xué)習(xí)模型[5]，針對鐵路場景，對該模型進行適應(yīng)性改進，并將其作為鐵路異物侵限檢測模型，檢測鐵路線路異物侵限情況，實現(xiàn)提高檢測精確率的目的。

1 檢測模型

1.1 YOLOv5模型網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv5模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要由主干（Backbone）網(wǎng)絡(luò)、頸部（Neck）網(wǎng)絡(luò)、頭部（Head）網(wǎng)絡(luò)組成。其中，Backbone網(wǎng)絡(luò)采用較為輕量級的跨階段局部網(wǎng)絡(luò)（CSPDarknet，Cross Stage Partial Darknet）[6]，提取目標(biāo)特征，減少模型參數(shù)數(shù)量，在保證高精度的同時大幅減少了計算量；Neck網(wǎng)絡(luò)采用路徑聚合網(wǎng)絡(luò)（PANet，Path Aggregation Network）[7]，通過上采樣和下采樣操作實現(xiàn)多尺度特征的融合，構(gòu)建特征金字塔網(wǎng)（FPNet，F(xiàn)eature Pyramid Network）；Head網(wǎng)絡(luò)對FPNet進行目標(biāo)檢測，輸出檢測結(jié)果。

圖1 YOLOv5模型網(wǎng)絡(luò)結(jié)構(gòu)

1.2 鐵路異物侵限檢測模型

鐵路異物侵限檢測場景往往背景復(fù)雜多變、各類目標(biāo)尺寸和形態(tài)差異較大、遠(yuǎn)小目標(biāo)數(shù)量占比較大，并且真實目標(biāo)樣本數(shù)量過少。為了提高檢測精度，本文主要在目標(biāo)框損失函數(shù)和檢測尺度方面對YOLOv5模型進行了適應(yīng)性改進，以此作為鐵路異物侵限檢測模型。

1.2.1 目標(biāo)框損失函數(shù)改進

YOLOv5模型使用CIoU損失函數(shù)作為目標(biāo)框回歸的損失函數(shù)，CIoU利用預(yù)測框和真實框之間的距離、重疊區(qū)域、寬高比等指標(biāo)指導(dǎo)模型收斂。但是CIoU及GIoU等損失函數(shù)均未考慮預(yù)測框和真實框之間的方向性，大量“游離在外”的預(yù)測框?qū)τ谀Ｐ褪諗坎荒芴峁┤魏斡行畔?。因此，本文引入SIoU作為目標(biāo)框損失函數(shù)[8]，將預(yù)測框和真實框之間的位置關(guān)系加入到模型回歸參數(shù)中，有效降低了預(yù)測框的自由度，使模型收斂速度更快，訓(xùn)練結(jié)果也更準(zhǔn)確。

1.2.2 檢測尺度改進

YOLOv5模型使用FPNet+PANet的方式提供3個尺度的特征圖輸出，以（像素為）640×640的圖像輸入為例，YOLOv5將輸出3個像素分別為20×20、40×40、80×80的特征圖。YOLOv5使用20×20的特征圖檢測大目標(biāo)，通過2次上采樣和拼接操作，進行特征融合，分別得到40×40、80×80的特征圖，用于檢測中等尺度的目標(biāo)和小目標(biāo)。

本文經(jīng)過對相關(guān)數(shù)據(jù)集整理發(fā)現(xiàn)，在鐵路異物侵限檢測場景中，發(fā)生侵限的目標(biāo)（如行人、動物等）在監(jiān)控攝像機畫面中的像素面積占比通常都較小，特別是發(fā)生在距離攝像機較遠(yuǎn)處的侵限，即便是YOLOv5提供的最大尺度（80×80）的特征圖仍無法對遠(yuǎn)處的小型侵限目標(biāo)進行精準(zhǔn)檢測。此外，現(xiàn)實場景中極少出現(xiàn)在畫面中占比非常大的侵限目標(biāo)，因此，YOLOv5提供的最小尺度（20×20）的特征圖在本文場景中幾乎沒有實際作用。

基于上述考慮，本文對YOLOv5的檢測尺度進行了適應(yīng)性修改，通過增加一個額外的上采樣和特征融合模塊，獲得尺度更大的特征圖（160×160），能夠檢測到更遠(yuǎn)、更小的侵限目標(biāo)。此外，還裁剪掉了原模型中作用不大、最小尺度為20×20的相關(guān)檢測模塊，減少了模型推理期間的計算量，提升模型推理速度。

改進后的模型網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，圖中，紅色背景為本文新增的、更大尺度的檢測模塊，灰色連接箭頭及模塊為本文移除的檢測模塊。

圖2 改進后的YOLOv5模型網(wǎng)絡(luò)結(jié)構(gòu)

改進后模型輸出的3個尺度的特征圖為40×40、80×80、160×160，分別用于檢測大、中、小目標(biāo)，能更好地適應(yīng)鐵路場景的異物侵限檢測。

2 數(shù)據(jù)集構(gòu)建

當(dāng)前并沒有專門針對鐵路場景的行人和動物的圖像數(shù)據(jù)（簡稱：數(shù)據(jù)）集，既有的公開數(shù)據(jù)集，如COCO等[9]，缺乏鐵路軌道及列車（特別是我國的各類高速動車組列車）背景，若將此類公開數(shù)據(jù)集直接用于鐵路場景異物檢測模型的訓(xùn)練，模型不能有效學(xué)習(xí)到鐵路軌道相關(guān)場景特征，容易產(chǎn)生大量的誤檢和漏檢。例如，基于此類數(shù)據(jù)集訓(xùn)練出來的檢測模型極易將鐵路扣件、鐵路道外立桿、動車組列車部件等多種鐵路常見場景誤識為行人類型，而在鐵路軌道中行走的行人（特別是夜間或者雨天）和動物則會產(chǎn)生較多的漏檢。

因此，本文將通過多種途徑采集鐵路場景專用的異物侵限數(shù)據(jù)，并從公開數(shù)據(jù)集中挑選部分相關(guān)樣本、輔以多種數(shù)據(jù)增強技術(shù)，構(gòu)建一個更適合鐵路場景的異物侵限數(shù)據(jù)集。

2.1 數(shù)據(jù)采集

本文從鐵路綜合視頻監(jiān)控平臺中選取了60路運營中的鐵路軌道旁的常規(guī)監(jiān)控視頻，包括有砟普速客、貨運鐵路，以及無砟高速鐵路，涵蓋橋梁、隧道口、隧道內(nèi)等多種場景。根據(jù)實際使用需要，從選取的監(jiān)控視頻中采集了白天、夜間、陰天、晴天、雨天、雪天、霧天等多種條件下的數(shù)據(jù)，經(jīng)過人工篩查，構(gòu)建了含有6 000張樣本的數(shù)據(jù)集，并對這些樣本進行了標(biāo)注。其中，5 500張樣本中包含鐵路軌道中行走的行人（主要是夜間上道作業(yè)的人員和部分經(jīng)過居民聚居區(qū)的貨運線路上行走的行人）及少量動物，剩余500張樣本為不包含行人和動物的鐵路軌道背景及各式列車背景，作為負(fù)樣本使用。

真實線路中，能采集到的動物數(shù)據(jù)非常有限，遠(yuǎn)不足以滿足模型訓(xùn)練要求。經(jīng)過對鐵路沿線異物侵限情況的調(diào)研、與鐵路巡線人員及鐵路綜合視頻盯控人員的溝通，最終選定了牛、羊、狗、貓、兔、雞、松鼠、猴、狐貍、鹿等多種線路上較為常見的動物作為訓(xùn)練類別。針對其中的羊、雞、豬等易發(fā)生侵限的動物，在鐵路試驗場地內(nèi)按真實線路規(guī)格架設(shè)攝像機，以可控方式引入這些動物進行樣本采集，共采集并標(biāo)注了約500張包含行人和動物的樣本。其他動物的數(shù)據(jù)由于獲得性和可控性較差，不便進行現(xiàn)場采集，故通過公開數(shù)據(jù)集獲取到這些動物的數(shù)據(jù)，通過技術(shù)手段疊加到此前采集的真實線路背景樣本中，又生成了3 500張包含各類動物的鐵路場景樣本。

至此，本文共得到了10 000張包含鐵路場景下的行人、常見動物、列車的樣本。完成標(biāo)注后，共有28 000個各類目標(biāo)。

圖3為本文采集和生成的部分樣本圖片示例。圖3（a）為本文在鐵路試驗場地內(nèi)采集的動物（羊、雞）樣本，圖3（b）為真實鐵路上采集的動物（貓、猴）侵限樣本，圖3（c）為使用本文方法將動物（狗、牛）素材疊加至鐵路線路生成的樣本。

圖3 采集和生成的部分樣本圖片示例

2.2 數(shù)據(jù)增強

由于樣本采集的設(shè)備數(shù)量和場景有限、各個場景相似度也略高，直接將上述數(shù)據(jù)用于模型訓(xùn)練，很容易產(chǎn)生過擬合，泛化能力較差。如果將來應(yīng)用于訓(xùn)練集中未曾出現(xiàn)過的場景、或者采用像素值相差較大的攝像機進行拍攝，模型準(zhǔn)確性可能會有所下降。因此，在模型訓(xùn)練前需要對數(shù)據(jù)集進行增強，提高數(shù)據(jù)集的豐富程度。

為提高模型泛化能力、減少過擬合現(xiàn)象的發(fā)生，本文使用改變圖像的亮度、對比度、飽和度、色調(diào)，進行隨機旋轉(zhuǎn)、裁剪、翻轉(zhuǎn)[10]，增加額外噪聲等技術(shù)對數(shù)據(jù)進行增強處理。通過此類數(shù)據(jù)增強技術(shù)可彌補數(shù)據(jù)采集設(shè)備型號、現(xiàn)場光照環(huán)境等的不足，從而更好地將模型應(yīng)用于訓(xùn)練集之外的設(shè)備和場景。

此外，本文還使用Mosaic、Cutout、Mixup等數(shù)據(jù)增強技術(shù)，將多張樣本進行隨機縮放、裁剪、拼接，將多個目標(biāo)集成于單張圖像中，有效提升學(xué)習(xí)效率，同時，可隨機將圖像中的部分區(qū)域剪切，模擬目標(biāo)被部分遮擋的情況，提高模型魯棒性。圖4為使用數(shù)據(jù)增強技術(shù)產(chǎn)生的部分用于訓(xùn)練的樣本圖片示例。

圖4 數(shù)據(jù)增強技術(shù)產(chǎn)生的部分樣本圖片示例

3 測試及結(jié)果分析

3.1 模型訓(xùn)練環(huán)境

本文進行模型訓(xùn)練使用的軟、硬件配置如表1所示。

表1 模型訓(xùn)練軟、硬件配置

基于YOLOv5網(wǎng)絡(luò)，初始學(xué)習(xí)率（learning rate）為0.001，使用Adam優(yōu)化器，IOU閾值0.7，批大?。╞atch size）為64，啟用了旋轉(zhuǎn)、色調(diào)、飽和度、翻轉(zhuǎn)、Mosaic、Cutout、Mixup等數(shù)據(jù)增強技術(shù)。模型訓(xùn)練共使用10 000張樣本，按照8 : 1 : 1的比例劃分為訓(xùn)練集、驗證集、測試集。

3.2 模型指標(biāo)評估

深度學(xué)習(xí)目標(biāo)檢測任務(wù)中，一般使用精確率（precision）、召回率（recall）、平均精度均值（mAP）等指標(biāo)評估模型性能。其中，精確率表示在所有檢出目標(biāo)中真實目標(biāo)的占比，精確率越高，代表錯檢率越低；召回率表示所有真實目標(biāo)被檢出的比例，召回率越高，代表漏檢率越低。計算公式為

式中，P為精確率，R為召回率，TP表示檢測出的真實目標(biāo)數(shù)量，F(xiàn)P表示檢測出的錯誤目標(biāo)數(shù)量，F(xiàn)N表示未被檢出的目標(biāo)數(shù)量。

精確率和召回率從兩個不同的角度衡量模型性能，單獨看任何一個指標(biāo)都不足以評價模型的好壞，故引入了AP（Average Precision）概念，用于表述不同召回率下的平均精確率。而目標(biāo)檢測任務(wù)包含多個類別，對所有類別的AP取平均即得到評估指標(biāo)mAP。

圖5為模型訓(xùn)練過程中，訓(xùn)練集和驗證集的損失函數(shù)曲線，包括目標(biāo)框損失函數(shù)（box_loss）、目標(biāo)置信度損失函數(shù)（obj_loss）、目標(biāo)類別損失函數(shù)（cls_loss）。本文共訓(xùn)練了約250輪迭代（epoch），從損失函數(shù)曲線可以看到，模型訓(xùn)練約200輪后，驗證集的各個損失值均已趨于平穩(wěn)，不再有明顯下降趨勢。最終，采用訓(xùn)練250輪得到的模型文件進行后續(xù)試驗。

圖5 模型訓(xùn)練損失函數(shù)曲線

圖6為本文最終選擇的模型在驗證集上的精確率－召回率曲線（PR曲線，IoU閾值為0.5）。圖中，灰色線條為各類別的PR曲線，藍色線條為所有類別平均的PR曲線。根據(jù)PR曲線，模型所有類別最終平均精度（mAP）為0.863。

圖6 模型精確率－召回率曲線

3.3 測試結(jié)果分析

使用本文訓(xùn)練得到的模型對測試樣本中的鐵路場景和非鐵路場景的行人、動物數(shù)據(jù)進行檢測。按行人、動物兩大類別統(tǒng)計，本文訓(xùn)練模型在1 000張測試樣本（含各類目標(biāo)共2 713個）中的檢測性能指標(biāo)如表2所示。從表2的指標(biāo)可以看到，模型在測試集上整體精確率為0.897左右、召回率為0.854左右，其中，行人的精確率和召回率均略高于動物的。部分檢測結(jié)果如圖7所示。

表2 測試集檢測結(jié)果

測試結(jié)果表明，模型能以較高的置信度檢測出樣本中的行人和動物，特別是對于真實線路夜間場景和圖像質(zhì)量較低的樣本，本文模型也能取得較為理想的檢測效果，模型具有良好的魯棒性和充分的泛化能力。

4 結(jié)束語

針對異常侵入鐵路股道、影響鐵路運營安全的行人和常見動物，本文提出了基于深度學(xué)習(xí)的鐵路異物侵入界限檢測模型。該模型已在某客運專用線試用，多次檢測出入侵動物，提高了鐵路線路安全防護水平，同時，漏檢率和誤檢率也較低，取得了較好的試用效果，滿足鐵路異物侵限檢測要求。