薛憲堂,張翼,王燕國,周威,劉國躍,杜馨瑜,王凡
(1.中國鐵道科學研究院集團有限公司 基礎設施檢測研究所,北京 100081;2.北京鐵科英邁技術有限公司 產(chǎn)品研發(fā)部,北京 100081)
近年來,我國電氣化鐵路運營里程不斷增加,為確保鐵路安全穩(wěn)定運營,中國國家鐵路集團有限公司、鐵路局集團公司和站段各類接觸網(wǎng)檢測車的檢測任務越來越繁重,弓網(wǎng)視頻監(jiān)控系統(tǒng)作為接觸網(wǎng)檢測車的眼睛,需要在正面陽光、夜間、雨雪和出入隧道等多種場景下保持實時穩(wěn)定清晰的視頻采集和存儲。為達到上述目的,需要從多方面進行弓網(wǎng)視頻監(jiān)控技術研究,主要研究內容包括車頂視覺光場方案、多線程并發(fā)處理技術和動態(tài)自動調整策略等。
國外一些相關機構對接觸網(wǎng)檢測系統(tǒng)進行了弓網(wǎng)視頻監(jiān)控技術研究。
(1)法國的IRIS320綜合檢測列車最高運行速度320 km/h,系統(tǒng)圖像分辨率為640×480,幀率為100fps,其側重弓網(wǎng)接觸狀態(tài)監(jiān)控,優(yōu)點為成像視野范圍較大,可以監(jiān)控支柱等接觸網(wǎng)設備和周邊環(huán)境,但由于車頂空間限制,導致監(jiān)控設備距離受電弓較遠,弓網(wǎng)接觸區(qū)域圖像不清晰[1]。
(2)日本的East-I綜合檢測列車最高運行速度275 km/h,其弓網(wǎng)視頻監(jiān)控功能和環(huán)境視頻監(jiān)測功能為一套設備,安裝在兩車頭位置,其優(yōu)點是監(jiān)控的視野范圍更大,可以監(jiān)控接觸線、支柱、附件懸掛等設備,但弓網(wǎng)接觸區(qū)域成像不清晰[2]。
(3)德國DB檢測系統(tǒng)的弓網(wǎng)視頻監(jiān)控系統(tǒng)分辨率為640×480、幀率為100 fps,可以采集、存儲、回放視頻文件,輔助分析弓網(wǎng)缺陷,經(jīng)過長時間的檢測運用也發(fā)現(xiàn)了一些不足:其車頂相機距離受電弓14 m左右,光路較長,能量損失較多,導致圖像夜間質量較差;其采集-存儲設計架構為單線程串行采集和存儲,導致圖像有丟幀的情況;系統(tǒng)圖像明暗自動調整采用硬件外接控制板的方式實現(xiàn),控制邏輯較簡單,自動調整過于敏感,圖像明暗交替頻繁,而且其數(shù)據(jù)格式保密,不能進行數(shù)據(jù)管理和綜合分析[3]。
國內相關單位對車頂弓網(wǎng)視頻監(jiān)控技術有過大量研究。
(1)某鐵路局集團公司安裝的車頂部弓網(wǎng)視頻監(jiān)控設備采用玻璃鋼外罩,攝像頭鏡頭采用鋼化玻璃,防護等級IP67,外形結構整體開模加工,成流線型,無尖角。設備制作精密,體積較小,但其幀率僅為8 fps,適用于低速環(huán)境,一旦提高幀率,相關散熱、光源和軟件圖像處理流程都會暴露出問題。技術方案中的車頂光場布局過于緊湊,離受電弓較近,導致仰角過大,監(jiān)視效果不佳;明暗調整策略為參照全圖像素平均灰度值進行調整,光線不足的場景會導致過曝。
(2)某電力機車有限責任公司研制的城際動車組弓網(wǎng)視頻監(jiān)控設備,關鍵組件有受電弓攝像機集成攝像頭(云臺一體機)、補光燈和加熱玻璃等,攝像頭具有云臺控制、電動變焦、補光和強光抑制功能,滿足全天24 h觀測需求,在白天和夜間均可正常工作;補光燈采用高功率頻閃燈,兼顧功耗、亮度與壽命,補光燈根據(jù)升降弓信號自動開啟和關閉,降弓10 min后補光燈自動關閉,同時監(jiān)控屏設置攝像頭和補光燈開啟關閉按鍵,可以手動操作;加熱玻璃通過感應溫度變化控制加熱開啟和關閉,具有除霧功能,保證視野清晰,設備功能豐富。攝像機為云臺一體機可以方便調節(jié),但是該設備整體高度較高,多場景應用受限,且安裝位置離受電弓較近,視角較大,成像區(qū)域不理想,而且其幀率不足100 fps,不符合高速弓網(wǎng)視頻監(jiān)控設備參數(shù)要求[4]。
設備在車頂安裝位置的限制、期望達到的光場效果和成像區(qū)域的要求是車頂視覺光場設計需要考慮的主要因素。由于車頂設備較多且均有一定的電氣安全距離,所以安裝位置有一定限制;補光位置過遠會導致亮度不夠,補光位置過近會導致補光能量過于集中造成補光不均衡;成像區(qū)域要求能夠覆蓋整個受電弓降弓和升弓的最高位置。綜合考慮車頂安裝位置限制、光場效果和成像區(qū)域覆蓋等情況,將成像設備和補光燈安裝在受電弓開口側水平距離6~8 m位置,補光燈和相機同斷面安裝,設置雙補光燈交叉補光,減少受電弓上零件陰影,提高圖像清晰度[5-6]。車頂視覺光場方案見圖1。
圖1 車頂視覺光場方案
數(shù)據(jù)采集、處理和存儲具有一定的相關性,常采用單線程構架進行開發(fā)。單線程具有程序執(zhí)行時,程序執(zhí)行順序不變的特點,即前面的邏輯必須處理結束,后面的部分才會執(zhí)行。單線程處理的優(yōu)點是程序邏輯簡單清楚,但由于需要在上一個任務完成后才能開始新任務,所以在多核處理機上其效率通常比多線程低。在單線程中如果中間某一部分邏輯所用的時間比預計時間長,程序會出現(xiàn)不響應的狀態(tài)甚至程序崩潰[7]。
傳統(tǒng)單線程構架采集、處理和存儲的方法在分辨率為1 024×1 024、幀率100 fps數(shù)據(jù)量下會有丟幀現(xiàn)象,造成圖像數(shù)據(jù)缺失,不能最大限度發(fā)揮弓網(wǎng)視頻監(jiān)控系統(tǒng)的作用和價值。為達到視頻的高速采集、處理和存儲目的,采用多線程并行處理、線程同步等技術[8]。圖像采集后將數(shù)據(jù)同時分發(fā)給顯示、處理和存儲線程,使采集、顯示、處理和存儲能同步進行,相比采集-顯示-處理-存儲單線程架構,系統(tǒng)能力得到提升,在圖像幀率100 fps的數(shù)據(jù)量下實時采集、處理和存儲不丟幀、檢測數(shù)據(jù)完整、弓網(wǎng)視頻監(jiān)控軟件運行流暢。多線程交互過程見圖2。
圖2 多線程交互過程
多線程并發(fā)處理技術可以實現(xiàn)不同的功能模塊同時進行工作,從而提高數(shù)據(jù)處理量和處理速度。多線程并發(fā)處理技術中圖像數(shù)據(jù)接收線程負責采集圖像數(shù)據(jù),對數(shù)據(jù)采集進行了多線程包裝,從驅動中采集的數(shù)據(jù)轉存到智能內存中并同步實時地將載有圖像數(shù)據(jù)的智能內存分發(fā)給顯示線程、數(shù)據(jù)處理線程和存儲線程,以實現(xiàn)數(shù)據(jù)顯示、處理和存儲同步進行。
視頻圖像畫質清晰與否是衡量視頻實用性的重要參數(shù)。市面上的相機有些沒有自動曝光功能,這種情況下,檢測車在夜間以及行駛至隧道等環(huán)境時會影響視頻清晰度,看不清弓網(wǎng)工況,靠人工調整不但耗費人力而且難以時刻保證圖像質量;帶有自動曝光功能的相機,由于采取使用整幅圖像像素平均灰度值調整曝光的方法,在夜間弓網(wǎng)視頻會出現(xiàn)大部分背景為黑色而受電弓以及有光線照射的接觸網(wǎng)零部件所占圖像區(qū)域較小情況,這種情況下有光照部分的受電弓和接觸網(wǎng)設備會出現(xiàn)過度曝光情況,看不清弓網(wǎng)工況。相機自動曝光效果見圖3。
圖3 相機自動曝光效果
為解決上述問題,將自動調整的區(qū)域設定為受電弓區(qū)域,通過基于深度神經(jīng)網(wǎng)絡的目標定位算法實時在圖像中選取受電弓區(qū)域[9]。深度神經(jīng)網(wǎng)絡可通過大量的受電弓樣本訓練,利用深層神經(jīng)網(wǎng)絡的擬合能力對受電弓模式特征進行建模,從圖像中自動定位受電弓區(qū)域[10]。利用該區(qū)域內的圖像像素計算平均灰度值,據(jù)此調整曝光和增益,根據(jù)實際圖像分析,該方法在夜間的圖像質量優(yōu)于相機自動曝光的圖像。軟件自動曝光效果見圖4,其中紅色限定框為計算灰度值的區(qū)域(該限定框僅供計算灰度值,不顯示和存儲)。
圖4 軟件自動曝光效果
優(yōu)化后圖像細節(jié)對比見圖5,上部分是相機自動調整效果,下部分是軟件中設置受電弓區(qū)域為自動調整區(qū)域后的效果。圖5中可以明顯看出下部分紅框區(qū)域比上部分對應位置更清晰。
圖5 優(yōu)化前后圖像細節(jié)對比
該功能中計算灰度值較耗時,根據(jù)實際效果計算灰度值的像素點采用10選1抽樣計算灰度值,計算灰度值調整的頻率為隔幀計算。這種抽樣計算平均灰度值的方法既提高了計算速度,也不影響調整效果。
根據(jù)當前灰度值找到合適的調整值,采用二分法快速定位合適曝光和增益值的方法。在此基礎上增加小幅控制邏輯用來防止某些情況下圖像的平均灰度值在控制邊界擺動時出現(xiàn)閃屏的現(xiàn)象。二分法調整邏輯見圖6。
圖6 二分法調整邏輯
基于弓網(wǎng)視頻監(jiān)控技術的硬件設備和軟件已經(jīng)在高速綜合檢測列車上安裝部署,并進行了1個月的驗證試驗,試驗線路場景包括:夜間、直面陽光、隧道、雨雪等場景。夜間效果提升對比見圖7,存儲圖像信息見圖8。
圖7 夜間效果提升前后對比
圖8 存儲圖像信息
試驗結果表明:通過對車頂視覺光場方案和動態(tài)自動調整策略的優(yōu)化,夜間圖像質量得到明顯提升,受電弓的細節(jié)更清晰;通過多線程并發(fā)處理技術的改進,弓網(wǎng)視頻監(jiān)控系統(tǒng)運行流暢穩(wěn)定,圖像數(shù)據(jù)不丟真。弓網(wǎng)視頻監(jiān)控系統(tǒng)滿足弓網(wǎng)1C技術條件,可以快速采集、處理、展示和存儲視頻圖像,并能夠適應直面陽光、夜間、雨雪和出入隧道等多種場景。
通過對國內外弓網(wǎng)視頻監(jiān)控技術的發(fā)展現(xiàn)狀分析并結合現(xiàn)場實際運用環(huán)境的特點,提出解決實際問題的弓網(wǎng)視頻監(jiān)控技術,包括:車頂視覺光場方案、多線程并發(fā)處理技術和動態(tài)自動調整策略。在線路試驗分析基礎上對系統(tǒng)不斷完善,在多種場景的線路試驗過程中,持續(xù)對弓網(wǎng)視頻監(jiān)控系統(tǒng)的圖像質量和性能進行跟蹤測試,驗證確認了弓網(wǎng)視頻監(jiān)控技術的正確性。