潘東亮

（國能包神鐵路集團有限責任公司 科技信息部,包頭 014010）

鐵路大橋作為鐵路線路防護重點區(qū)域,存在非法穿越、員工誤入等人員侵入界限（簡稱：侵限）行為,給鐵路運營帶來嚴重的事故隱患,因此,亟需對鐵路大橋的人員入侵情況進行實時監(jiān)測,保障列車安全運行[1-2]。

目前,針對鐵路大橋,多采用人員巡檢和護欄布設等手段防止人員入侵,監(jiān)測的時空范圍和防護能力有限。部分鐵路橋梁雖然布設了攝像頭等監(jiān)測設備,仍存在誤報頻繁、依賴人工辨識等問題,檢測精度和智能化水平有待進一步提高。針對鐵路侵限監(jiān)測,相關研究人員提出了電網檢測[3]、光纖光柵檢測[4]、超聲波檢測[5]、紅外線檢測[6]、視頻檢測[7-8]、激光雷達檢測[9]等方法,相較之下,視頻檢測法技術更加成熟,具有檢測范圍大、檢測精度高、獲取信息量大等優(yōu)點[10]。

隨著智能視頻分析技術的快速發(fā)展,基于深度學習的目標檢測模型被廣泛應用于鐵路周界入侵監(jiān)測[11-12]。作為智能視覺領域重要研究方向,目標檢測可以找出圖像中所有感興趣目標,并對之進行定位和分類。作為當前主流的目標檢測模型,YOLOv5 已在京張（北京—張家口）鐵路等軌道交通場景開展了實際應用[13],具有強魯棒性和高泛化能力。

光學相機及人工智能技術的快速發(fā)展,使得智能視頻分析的檢測方法被廣泛應用于鐵路安全保障領域,并取得良好的監(jiān)測效果?；诖?本文研究鐵路大橋人員入侵智能檢測技術,構建基于智能視覺的鐵路大橋人員入侵防護系統(tǒng)（簡稱：鐵路大橋人員入侵防護系統(tǒng)）,實現對入侵人員的實時精準監(jiān)測,提升鐵路大橋人員入侵檢測精度和防護水平,有效保障鐵路運輸安全。

1 系統(tǒng)設計

1.1 系統(tǒng)組成及功能

鐵路大橋人員入侵防護系統(tǒng)由視頻平臺、智能視覺平臺及業(yè)務管理平臺組成,如圖1 所示。

圖1 鐵路大橋人員入侵防護系統(tǒng)組成

1.1.1 視頻平臺及其功能

視頻平臺主要由視頻監(jiān)測攝像頭、數據前端處理模塊、數據傳輸模塊等組成。視頻監(jiān)測攝像頭由云臺、槍機等高清攝像頭組成,用于現場數據的采集；數據前端處理模塊主要負責圖像數據的預處理和暫時存儲；數據傳輸模塊主要負責監(jiān)測數據的回傳,包括網口有線傳輸和4G 無線回傳等傳輸模式。視頻平臺支持相機注冊接入及數據采集功能,支持遠程視頻查看、視頻存儲及回放等功能。

1.1.2 智能視覺平臺及其功能

智能視覺平臺通過實時流傳輸協(xié)議（RTSP,Real Time Streaming Protocol）接收視頻平臺的數據,通過運行深度學習模型,實時監(jiān)測橋面情況；當檢測到人員入侵時,產生告警信息并發(fā)送至業(yè)務管理平臺。

智能視覺平臺架構如圖2 所示。該平臺主要提供對圖像與視頻的智能分析能力,針對鐵路海量視頻與圖像數據,綜合運用深度神經網絡技術、圖像處理技術、視頻流分發(fā)存儲技術,實現數據的智能視覺分析與應用；以組件化的形式提供視頻采集、解碼、預處理、推理、跟蹤、渲染、編碼輸出等功能,其核心是提供面向鐵路場景的視頻分析算法庫和模型庫,及推理加速能力。

圖2 智能視覺平臺架構

1.1.3 業(yè)務管理平臺及其功能

業(yè)務管理平臺支持告警信息實時查看、處理,以及歷史告警信息查詢、結果統(tǒng)計分析、數據查詢等操作。

圖3 所示為業(yè)務管理平臺告警時抓拍記錄的圖片,紅色線條表示繪制的危險區(qū)域,當人員進入該區(qū)域時產生告警,便于人工復核,進一步確認入侵情況。

圖3 業(yè)務管理平臺告警抓拍記錄

1.2 檢測流程

鐵路大橋人員入侵防護系統(tǒng)的檢測流程如圖4所示。

圖4 鐵路大橋人員入侵防護系統(tǒng)檢測流程

（1） 設置相機預置位與守望位,避免人為移動相機后檢測位置不準確；

（2） 配置相機參數,如晝夜參數轉換、分辨率、幀率、定時重啟等,滿足檢測基本要求；

（3） 配置檢測區(qū)域與檢測時間,當特定時間段內進入特定區(qū)域時產生告警信息；

（4） 配置系統(tǒng)運行參數后開始識別,實時上報告警信息,并通知相關業(yè)務人員及時處理。

1.3 系統(tǒng)特點

鐵路大橋人員入侵防護系統(tǒng)具有以下特點。

（1）靈活性高：支持自定義危險區(qū)域繪制,靈活設置重點關注區(qū)域位置。

（2）全天候檢測：采用深度學習算法進行人員檢測,可適應不同光照條件下的檢測。

（3）檢測精度高：支持不同遠近、不同大小人體目標檢測。

（4）響應速度快：連續(xù)幀實時目標檢測,當有人員進入危險區(qū)域時,在1 s 內即可產生報警。

（5）可靠性高：采用連續(xù)滑窗動態(tài)檢測,當在一定時間段內持續(xù)入侵時,才進行實時檢測入侵情況,避免單幀誤檢引起的誤報。

2 關鍵技術

橋面人員入侵檢測的實時性和準確性是制約智能視頻檢測技術應用的關鍵問題。本文采用YOLOv5 目標檢測模型進行人員入侵檢測,該模型的網絡結構主要由主干（Backbone）網絡、頸部（Neck）網絡和頭部（Head）網絡組成。

采用Backbone 網絡對圖像特征進行提??；采用注意力機制（Focus）+跨階段局部（CSP,Cross Stage Partial）網絡模塊,以提升圖像特征提取速度和檢測實時性；采用Neck 網絡對不同網絡層的特征圖進行融合,獲取圖像更豐富的特征信息,以提升檢測的準確性；由Head 網絡層輸出檢測結果,通過檢測框的平移和校準,進一步提升檢測的準確性。

2.1 Backbone 網絡

Backbone 網絡用于提取圖像特征,供后續(xù)網絡結構使用。YOLOv5 的Backbone 網絡中使用了Focus模塊,并設計了2 種CSP 結構,在保證模型精度的同時大幅提高推理速度；同時,使用空間金字塔池化（SPP,Spatial Pyramid Polling）模塊獲取不同尺度信息,提高模型性能。

2.1.1 Focus 模塊

圖像輸入主干網絡之前,先由Focus 模塊對其進行切片操作,將高分辨率圖像拆分成多個低分辨率圖像。以一個像素為4×4×3 的輸入圖像為例,對輸入特征圖進行間隔采樣,并將采樣結果在通道維度進行拼接,將通道數擴充為原來的4 倍,輸出像素為2×2×12 的特征圖,后續(xù)的網絡層都在新的特征圖上進行卷積操作。

假設圖像像素為640×640×3,將其輸入到YOLOv5 中,經過Focus 層進行切片操作之后得到像素為320×320×12 的特征圖,再與通道數為32 的卷積層進行卷積操作,最后得到像素為320×320×32 的特征圖。利用Focus 切片操作將圖像的平面信息轉換為通道維度,可以在確保圖像信息無損的前提下實現兩倍下采樣操作,有效提升網絡推理速度。

2.1.2 CPS 結構

針對網絡優(yōu)化時,因存在梯度重復計算而導致的推理計算量過大問題,YOLOv5 借鑒CSPNet 思想,設計了2 種CSP 模塊。其中,CSP1_X 用于主干網絡,該模塊將特征圖按通道拆分為兩部分,一部分進行標準卷積操作,另一部分利用殘差網絡思想構建殘差組件。最后將這兩部分合并得到新的特征圖,以避免重復計算梯度值,提高模型推理速度。此外,CSP 結構在反向傳播過程中可以增強梯度值,當主干網絡的層數較深時,可以緩解梯度消失的問題,增強網絡的特征提取能力。CSP2_X 則用于Neck 網絡,模塊使用卷積層代替殘差組件,將輸入的特征圖分為兩部分,分別計算之后再融合,以保留更多圖像信息。研究表明,引入CSP 模塊可有效增強模型的學習能力,能在大幅減少模型計算量的同時保證檢測精度。

2.1.3 SPP 模塊

SPP 模塊的主要思想是將不同大小的池化層疊加在一起,每個池化層大小與感受野大小成正比,最終獲取不同大小的感受野。SPP 模塊將特征圖并行輸入到卷積核像素為5×5、9×9 和13×13 的最大池化層,得到3 個最大池化后的特征圖,再將4 個感受野不同的特征圖（分別為輸入特征圖及3 個最大池化后的特征圖）拼接到一起。

2.2 Neck 網絡

針對隨著網絡層數增加而出現的圖像局部信息消失問題,YOLOv5 利用Neck 網絡融合不同像素的特征圖,以獲取更豐富的圖像特征信息,通過將這些經過處理后的特征輸入到Head 層,更好地分類和定位目標。

在YOLOv5 中,Neck 網絡首先接收Backbone網絡的3 個不同像素的特征圖,將其作為輸入,采用特征金字塔網絡（FPN,Feature Pyramid Network）結構對深層特征圖采樣后與淺層特征圖融合；再采用PAN（Pyramid Attention Network）結構增加一個自底向上的特征金字塔,對淺層特征圖采樣后與深層特征圖融合。YOLOv5 結合FPN 和PAN 結構,這種設計方式既能自頂向下傳遞強語義信息,又能自底向上傳達強邊緣信息,可以有效提高模型性能。

2.3 Head 網絡

YOLOv5 在進行目標檢測任務時,首先將圖像輸入到Backbone 網絡并提取特征,將Backbone 網絡提取的特征輸入到Neck 網絡進行加工處理,最后由Head 網絡層輸出目標類別。Head 網絡層主要負責根據預測的位置偏移量修正候選框的位置,進而得到更加精準的檢測結果。

3 現場測試

本文提出的鐵路大橋人員入侵防護系統(tǒng)在包神鐵路集團有限公司（簡稱：包神鐵路公司）萬南站區(qū)黃河大橋進行了部署和測試。

3.1 硬件部署

在包神鐵路公司萬南站區(qū)黃河大橋對鐵路大橋人員入侵防護系統(tǒng)的硬件設備進行了安裝、部署。黃河大橋全長856 m,南北走向。為實現橋面人員入侵檢測,在大橋的南、中、北這3 個位置分別安裝雙攝像頭,共6 個攝像頭,如圖5 所示,實現橋面無死角監(jiān)控。采用深度學習服務器部署智能視覺平臺及業(yè)務管理平臺,服務器參數如表1 所示。

表1 鐵路大橋人員入侵防護系統(tǒng)服務器參數

圖5 鐵路大橋人員入侵防護系統(tǒng)攝像頭安裝示意

3.2 模型訓練

3.2.1 數據集與數據預處理

在黃河大橋現場,使用橋面相機采集入侵人員圖像數據。該數據集覆蓋不同時間段、不同天氣等各種場景,包含鐵路大橋人員入侵的多數情況。通過圖像標注軟件Labelmg 對入侵人員進行標定,共包含27 200 張圖像數據。按照9 : 1 的比例劃分訓練集與測試集,即24 480 張圖像用來訓練,2 720 張用來測試。部分數據集樣本如圖6 所示。

圖6 數據集樣本

鐵路橋梁類型多樣,橋梁人員侵限的種類復雜,而基于有限數據進行模型訓練的結果具有泛化能力差、場景適應度低等問題,這也是制約人員入侵檢測精度的又一關鍵問題。為提高模型的泛化能力,本文采用隨機裁剪、隨機翻轉、色彩抖動、高斯噪聲、Mosaic 等圖像數據增強技術,增強原始圖像數據,解決訓練樣本不足和樣本類型單一的問題,有助于 YOLOv5 目標檢測模型學習到更多圖像特征,提升該模型的泛化能力和場景適應能力。

3.2.2 數據集與數據預處理

本次實驗所用的實驗環(huán)境與超參數設置分別如表2 和表3 所示。

表2 實驗環(huán)境

表3 超參數設置

3.2.3 性能評估

使用訓練集數據對YOLOv5 目標檢測模型進行訓練,在每個訓練周期（epoch）結束后計算模型損失,并更新模型參數,訓練過程Loss 變化曲線如圖7 所示；在訓練過程中,從訓練集中選擇一部分數據作為驗證集,用來評估 YOLOv5 目標檢測模型的性能,計算該模型在不同指標下的精度和召回率等指標；使用測試集數據測試YOLOv5 目標檢測模型,評估該模型在新數據上的性能。測試結果為：在測試集上人員檢測的準確率為95.3%；在NVIDIA Tesla T4 設備上,單張圖片平均測試時間為2 ms；人員檢測的準確率與實時性均滿足工程實際應用要求。

圖7 模型訓練過程曲線

4 結束語

本文設計了基于智能視覺的鐵路大橋人員入侵防護系統(tǒng)。采用YOLOV5 目標檢測模型和多種圖像數據增強技術,提升入侵人員檢測的準確率和實時性,確保模型的泛化能力與場景適應能力。該系統(tǒng)在包神鐵路集團萬南站區(qū)黃河大橋進行了部署和測試,驗證了該系統(tǒng)的有效性和可靠性,實現了高可靠、高精度準確率、全天候實時入侵檢測。

本系統(tǒng)可在以下方面持續(xù)優(yōu)化。

（1）工作服區(qū)分法：在正常的天窗施工期間,也會有人員告警,大多數為鐵路施工人員。未來,可優(yōu)化深度學習模型,通過工作服區(qū)分是否為工作人員,避免誤報。

（2）自適應檢測區(qū)域法：由于橋面相機為多專業(yè)共用,會出現人為移動位置的情況,導致繪制的檢測區(qū)域出現偏差。未來,可通過軌道區(qū)域檢測等方法,自動調整危險區(qū)域,避免漏報。