陳文軒，郭佑民

?

雙目測距技術在調車作業(yè)中的研究與應用

陳文軒，郭佑民

(蘭州交通大學 機電技術研究所，甘肅 蘭州 730070)

為實現調車作業(yè)視頻監(jiān)控與測距的目的，設計一種用于調車頂送作業(yè)的雙目測距系統(tǒng)，其通過安裝于機車車廂的雙目攝像機，采集機車已掛車廂與待掛車廂之間實時視頻并測量其距離。在OpenCV計算機視覺庫與Windows平臺下，使用張正友標定法對雙目攝像機進行標定，并獲得畸變校正后的圖像與攝像機參數。通過SGBM特征匹配算法實現車廂目標特征提取與立體匹配。最后利用三維重建方法獲得深度信息。系統(tǒng)分別在實驗室環(huán)境與現場環(huán)境下進行實驗，現場實驗結果表明，測距結果比實際距離稍偏大，最大誤差小于1 m，滿足實際現場環(huán)境要求，可有效地輔助人工瞭望進行調車作業(yè)。

鐵路運輸；視頻監(jiān)控；調車作業(yè)；雙目測距

調車作業(yè)是鐵路車站行車組織中的關鍵環(huán)節(jié)，在摘掛機車作業(yè)時，目前主要通過作業(yè)人員瞭望來確認機車和車廂之間的距離。工作強度大，疲勞、疏忽等因素可能引起調車事故發(fā)生[1?2]。現有技術中，國內主要使用無線調車機車信號和監(jiān)控系統(tǒng)[3]，其針對整車站的機車信號進行監(jiān)控，無法實時監(jiān)控單個調車作業(yè)過程。以美國和日本為主的一些國家，使用GPS定位技術獲得機車的位置信息，并傳輸到監(jiān)控室的電子地圖，以此獲得機車地面信息。歐洲一些國家通過GSM-R技術[4]由監(jiān)控中心值班員向裝有無線設備的機車發(fā)送相關指令，機車司機可根據這些指令來進行作業(yè)?，F有技術大多采用虛擬的位置信息，無法實時地監(jiān)控調車作業(yè)過程，具有一定的局限性。本文基于視頻監(jiān)控[5]記錄調車作業(yè)的過程，利用雙目測距技術，實現調車作業(yè)過程實時監(jiān)控的效果，并且輔助人工瞭望判斷距離。此外，結合視頻監(jiān)控中行人檢測等其他視頻圖像處理技術輔助調車作業(yè)，可實時記錄調車作業(yè)過程，提高作業(yè)安全性，減輕人工作業(yè)的強度，彌補現有技術和設備的不足。

1 雙目測距

雙目測距是根據2臺參數相同的攝像機在不同位置對同一目標進行成像，利用目標點在左右視圖上成像的橫坐標差異(即視差)與目標點到成像平面之間距離的反比關系，獲得目標點的深度信息。雙目測距主要由圖像獲取、相機標定、圖像預處理、特征提取與立體匹配、三維重建及深度信息提取5個過程實現[6?7]。

1.1 雙目測距原理

如圖1(a)所示，雙目攝像機對目標點1和2等成像；如圖1(b)所示，點為目標點，O與O分別為左右攝像機的光心，x與x分別為在左右攝像機上的成像點，為點至光心面的距離，即為深度距離，攝像機焦距為，為2個攝像頭O與O之間的距離，根據相似三角形原理，由

得深度距離：

其中：x與x為點在攝像機平面的投影點橫坐標值，視差=x?x，如圖1(c)所示。

(a) 雙目攝像機；(b) 測距原理圖；(c) 視差深度圖

1.2 圖像獲取

如圖2所示，搭建雙目測距系統(tǒng)硬件框架。將2個相同參數攝像機放置在同一平面內，保持光軸平行。如圖3所示，使用2個型號、內參數一致的數字攝像機。本實驗選取奧尼HD LENS CAMERA型攝像機，其焦距為4.8 mm，分辨率為640×480，將2個攝像機使用硬紙板固定。在Visual Studio2012與開源跨平臺計算機視覺庫OpenCV2.4.9開發(fā)環(huán)境下，通過OpenCV的capture類函數，結合DirectShow函數來實現雙攝像頭的捕捉與圖像采集功能。

圖2 雙目測距系統(tǒng)硬件框架

圖3 雙目攝像機

1.3 攝像機標定

由于張正友標定算法只考慮了影響最大的徑向畸變，則其數學表達式為：

即可得到畸變系數。

雙目攝像機標定使用的棋盤格大小為22 mm×22 mm，角點數為9×6，圖像大小為640×480，標定板如圖4所示。

圖4 標定板

如圖5所示，設定實際距離為400 mm，2臺攝像機光心距離為30 mm，通過改變攝像機與標定板之間的角度(每次10°)和距離(0~3 cm之間)，拍攝了10對20張標定圖，實現雙目攝像機的標定過程。利用cvFindChessboardCorners函數得到棋盤在攝像機鏡頭中的2D位置，在主函數中添加角點數：arg[1]=“?=9”；arg[2]=“?=6”，編譯運行程序得到最終求解參數如表1。

圖5 攝像機標定

圖6 畸變校正前后的圖像

表1 攝像機內外參數

根據計算結果，旋轉矩陣趨向于0，2臺攝像機之間的旋轉矢量可忽略不計，系統(tǒng)滿足雙目測距模型的要求[10]。對左右攝像機圖像進行雙目校正，消除畸變對視圖的影響，如圖6所示，為完成校正的圖像。

1.4 特征提取與立體匹配

圖像特征提取是從圖像中提取有價值的數值、符號等信息，常見的特征類型有邊緣、角、區(qū)域等。通過提取這些高質量的特征，進行精準的匹配。立體匹配通過對左右攝像機成像的相同部分進行匹配，得到視差圖。基于對匹配精度及處理效果的要求，本文使用一種半全局立體匹配算法SGBM (semi-global block matching)算法[11?12]。其核心步驟為：選取每個像素點的視差，組建成視差圖，設置一個和視差圖相關的全局能量函數，使得這個能量函數最小化，達到求解每個像素點最優(yōu)視差的目 的[13?14]。SGBM算法基本流程為：

1) 預處理及像素匹配計算。實驗使用自適應線性濾波進行預處理，去除畫面較突出的噪點。SGBM算法采用水平Sobel算子，使得每個像素點映射成新的梯度圖像。

2) 代價計算。采用一維約束近似二維約束的方法，給像素點設置8個路徑，計算最小代價路徑，得到近似二維約束匹配計算。

3) 剔除誤匹配。搜索左右像素點不相同的無效匹配，如圖7(a)所示，目標書本上沿區(qū)域(A區(qū)域)產生較多誤匹配，進行剔除后，得到匹配圖7(b)。

4) 左右視差計算。通過動態(tài)迭代規(guī)劃，最小代價計算到的視差值為該像素點的視差。

(a) 實驗目標匹配圖；(b) 實驗目標剔除誤匹配圖

1.5 三維重建與深度信息提取

如圖8所示，reprojectImageTo3D函數生成 3D點云，得到視差圖像，圖中白色部分表示，3D點云中保存有2D圖像的三維坐標，進行空間三維重建[15]。以左攝像機光心為世界坐標系的原點，由式(2)和矩陣計算，可求得深度信息[16]。如圖9所示，得到測量結果，隨機取部分測距結果進行統(tǒng)計，如表2所示。

圖8 實驗目標視差圖

圖9 實驗目標測距結果圖

表2 實驗測距結果

2 雙目測距在調車作業(yè)中的應用

2.1 雙目測距系統(tǒng)配置

如圖10所示，雙目測距系統(tǒng)包括視頻圖像采集裝置，圖像處理與測距系統(tǒng)及視頻圖像與距離信息顯示裝置[17]。視頻圖像信息采集裝置由數字攝像機和光照裝置組成，實現實時視頻圖像信息采集工作[18]。

圖像處理與測距系統(tǒng)使用C++語言，結合SGBM算法，在OpenCV2.4.9與Visual Studio2012配置環(huán)境下運行，性能測試實驗在CPU1.90 GHz，64位Windows7操作系統(tǒng)，4G內存的計算機上運行。系統(tǒng)軟件程序流程包括初始化系統(tǒng)配置、獲取圖像、檢測圖像可用性、圖像匹配并計算坐標值得出目標的距離信息。視頻圖像與距離信息顯示在可視化的程序界面，在司機室上位機界面上可實現實時視頻、測距結果與警戒報警距離等信息的顯示。

圖10 雙目測距系統(tǒng)總體結構

圖11 雙目測距系統(tǒng)示意圖

2.2 雙目測距系統(tǒng)應用過程

如圖11所示，在機車行駛至車廂的過程中，安裝于機車車廂的攝像機采集待測距離間的實時畫面，通過有線傳輸方式，顯示在司機室的上位機界面。將采集到的幀圖像，經過圖像處理與圖像匹配算法，得到視差圖像，利用雙目測距技術，獲得機車與車廂之間動態(tài)實時距離[19]，并顯示在司機室上位機界面。此外，系統(tǒng)可設定距離報警值，方便司機工作。

3 實驗設計與結果分析

3.1 實驗過程及數據

在實際場景中，以車廂為測距目標，進行實 驗[20]。在已掛車廂人工瞭望位置與角度安裝攝像機，保持2臺攝像機在同一平面內且保持光軸平行。為減少誤差，再次進行攝像機標定與圖像校正。之后，通過攝像機采集并獲取幀圖像。如圖12所示，圖12(a)為目標匹配圖，車廂頂部區(qū)域誤匹配較大，進行剔除誤匹配，圖12(b)為剔除誤匹配之后的 圖像。

得到較理想的匹配圖像后，進行空間三維重建和深度信息的提取。如圖13所示為測距目標視差圖像，圖中白色部分為可測距離的匹配像素點，實際目標為車廂左部及部分軌道。圖14為目標周圍隨機點測距結果。

(a) 目標匹配圖；(b) 剔除誤匹配圖

圖13 目標視差圖

從實驗結果中，隨機選取10組數據進行分析，如表3所示。

圖14 測距程序結果圖

表3 實際目標測距結果

3.2 實驗結果分析

基于雙目測距實驗基礎，在實際場景中進行雙目測距在調車作業(yè)中的應用實驗。由表3實驗數據分析，與車廂實際距離約為75 m，隨機選擇10組測距結果，進行計算比較，誤差最大為971 mm，誤差控制在1 m以內，基本符合實際工作要求。在不同距離重復上述實驗10次，每次取最接近平均誤差的數據作為本次的實驗數據進行統(tǒng)計。如表4所示，統(tǒng)計結果表明，實驗最大誤差為997 mm，隨著距離的增大，誤差相應地變大，主要原因是視差變化造成的，微小的視差變化，都將產生測量結果的巨大變化。對比人工瞭望時人眼產生的誤差，本實驗結果滿足調車作業(yè)實際工作要求。

表4 10組實驗結果

4 結論

1) 研究雙目測距技術在調車作業(yè)測距中的應用，采用SGBM特征匹配算法，通過圖像獲取、相機標定、圖像預處理、特征提取與立體匹配、三維重建及深度信息提取5個過程，實現雙目測距。

2) 分別在實驗室及現場環(huán)境下進行多次測距實驗，結果表明測量距離為83.2 m時最大誤差不超過1 m，10組數據平均絕對誤差為497 mm，滿足實際工作要求。實現了利用雙目測距技術輔助調車作業(yè)測距的效果。

3) 初步實現了雙目測距技術在調車作業(yè)中的應用，但現場實驗環(huán)境為較開闊的白天，在較多遮擋物和能見度不良的夜間環(huán)境下測距誤差較大，下一步工作將升級硬件系統(tǒng)及優(yōu)化算法，實現復雜環(huán)境下調車作業(yè)的測距效果。

[1] 劉鵬鑫. 鐵路調車人因事故可靠性研究[J]. 鐵道貨運, 2016, 34(8): 45?49. LIU Pengxin. Study of the reliability of human factor in railway shunting accident[J]. Railway Freight Transport, 2016, 34(8): 45?49.

[2] 張亮. 鐵路車務系統(tǒng)中間站調車作業(yè)安全防控對策分析[J]. 鐵道運輸與經濟, 2018, 40(5): 71?74. ZHANG Liang. An analysis on the safety management of shunting operation at intermediate stations[J]. Railway Transport and Economy, 2018, 40(5): 71?74.

[3] 曹海霞. 無線調車機車信號和監(jiān)控系統(tǒng)(STP)的應用分析[J]. 鐵道通信信號, 2017, 53(9): 33?36. CAO Haixia. Application analysis of STP[J]. Railway Signalling & Communication, 2017, 53(9): 33?36.

[4] 龔驍猷. 鐵路GSM-R網絡編號方案關鍵問題研究[J].鐵道標準設計, 2018, 62(2): 160?166. GONG Xiaoyou. Research on key problems of railway GSM-R network numbering program[J]. Railway Standard Design, 2018, 62(2): 160?166.

[5] 黃鐵軍, 鄭錦, 李波, 等. 多媒體技術研究: 2013——面向智能視頻監(jiān)控的視覺感知與處理[J]. 中國圖象圖形學報, 2014, 19(11): 1539?1562. HUANG Tiejun, ZHENG Jin, LI Bo, et al. Visual perception and processing for intelligent video surveillance: a review[J]. Journal of Image and Graphics, 2014, 19(11): 1539?1562.

[6] 黃松梅, 畢遠偉, 劉殿通, 等. 雙目立體視覺非接觸式測量研究[J]. 煙臺大學學報(自然科學與工程版), 2017, 30(4): 323?327. HUANG Songmei, BI Yuanwei, LIU Diantong, et al. Non-contact measurement with binocular stereo vision[J]. Journal of Yantai University (Natural Science and Engineering Edition), 2017, 30(4): 323?327.

[7] 安果維, 王耀南, 周顯恩, 等. 基于顯著性檢測的雙目測距系統(tǒng)[J]. 智能系統(tǒng)學報, 2018(6): 1?9. AN Guowei, WANG Yaonan, ZHOU Xian’en, et al. Binocular distance measurement system based on saliency detection[J]. CAAI Transactions on Intelligent Systems, 2018(6): 1?9.

[8] ZHANG Zhengyou. A flexible new technique for camera cablibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330?1334.

[9] 許威, 丁學文, 宋蘭草, 等. 基于MATLAB和OpenCV的雙目視覺測距系統(tǒng)的實現[J]. 天津職業(yè)技術師范大學學報, 2017, 27(4): 47?52. XU Wei, DING Xuewen, SONG Lancao, et al. Realization of binocular stereo vision distance measurement system based on MATLAB and OpenCV[J]. Journal of Tianjin University of Technology and Education, 2017, 27(4): 47?52.

[10] 汪珍珍, 趙連玉, 劉振忠. 基于MATLAB與OpenCV相結合的雙目立體視覺測距系統(tǒng)[J]. 天津理工大學學報, 2013, 29(1): 45?48. WANG Zhenzhen, ZHAO Lianyu, LIU Zhenzhong. Binocular stereo vision distance measurement system based on a combination of Matlab and OpenCV[J]. Journal of Tianjin University of Technology, 2013, 29(1): 45?48.

[11] 張歡, 安利, 張強, 等. SGBM算法與BM算法分析研究[J]. 測繪與空間地理信息, 2016, 39(10): 214?216. ZHANG Huan, AN Li, ZHANG Qiang, et al. SGBM algorithm and B-M algorithm analysis and research[J]. Geomatics & Spatial Information Technology, 2016, 39(10): 214?216.

[12] Rostam H, Haidi I, Eduard L. Literature survey on stereo vision disparity map algorithms[J]. Journal of Sensors, 2015, 10(2): 34?51.

[13] Hirschmuller H. Accurate and efficient stereo processing by semi global matching and mutual information[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2005: 807?814.

[14] Bleyer M, Gelautz M. Graph-cut-based stereo matching using image segmentation with symmetrical treatment of occlusions[J]. Signal Processing: Image Communication, 2007, 22(2): 127?143.

[15] 楊韜, 符文星, 王民鋼, 等. 基于光場成像的雙目深度圖像獲取[J]. 西北工業(yè)大學學報, 2015, 33(5): 727?731. YANG Tao, FU Wenxing, WANG Minggang, et al. Binocular stereo depth map acquisition based on light field images[J]. Journal of Northwestern Polytechnical University, 2015, 33(5): 727?731.

[16] 任繼昌, 楊曉東. 基于互信息的高精度雙目視覺測距方法研究[J]. 控制工程, 2015, 22(1): 199?204. REN Jichang, YANG Xiaodong. Improving range- measuring accuracy of stereo vision based on mutual information registration[J]. Control Engineering of China, 2015, 22(1): 199?204.

[17] 王予見. 圖像處理技術在調車作業(yè)安全防護中的應用研究[D]. 蘭州: 蘭州交通大學, 2015. WANG Yujian. Application research of image processing technologies on safety protection for shunting operation [D]. Lanzhou: Lanzhou Jiaotong University, 2015.

[18] 佟卓遠. 基于機器視覺的前方車輛檢測與測距系統(tǒng)設計[D]. 哈爾濱: 哈爾濱工業(yè)大學, 2015. TONG Zhuoyuan. The design of preceding vehicles detection and distance measurement system based on machine vision[D]. Harbin: Harbin Institute of Technology, 2015.

[19] 張穎江, 潘堯, 吳聰. 基于車載系統(tǒng)雙目CCD相機測距[J]. 信息安全與技術, 2016, 7(1): 57?62. ZHANG Yinjiang, PAN Yao, WU Cong. Distance measurement of binocular CCD camera on vehicle-mounted system[J]. Information Security and Technology, 2016, 7(1): 57?62.

[20] 王志遠, 王茂森. 基于雙目視覺的移動機器人測距與定位系統(tǒng)[J]. 兵器裝備工程學報, 2017, 38(11): 173?177. WANG Zhiyuan, WANG Maosen. Ranging and positioning system of mobile robot based on binocular vision[J]. Journal of Ordnance Equipment Engineering, 2017, 38(11): 173?177.

Research and application of binocular distance measurement technology to shunting operation

CHEN Wenxuan, GUO Youmin

(Mechanical and Electronic Technology Institute, Lanzhou Jiaotong University, Lanzhou 730070, China)

In order to achieve the purpose of video surveillance and distance measurement in shunting operation, a distance measurement system was designed. With a camera mounted on the connected carriage, it collected the real-time video and measured distance among carriage connected and unconnected. Under the OpenCV computer vision and windows platform, the intrinsic and extrinsic parameters of cameras and rectified images were determined using Zhang’s calibration method. The target feature extraction and stereo matching were achieved though the SGBM feature matching algorithm. Finally, the depth information was obtained using 3D-reconstruction method. The distance measurement system has been tested under the laboratory environment and field environment. The experimental results show that the distance of the system is slightly larger than the actual one, and the maximum error is less than 1 meters. It can effectively assist manual work for shunting operation.

railway transportation; video surveillance; shunting operations; binocular distance measure

10.19713/j.cnki.43?1423/u.2019.03.034

TP391

A

1672 ? 7029(2019)03 ? 0819 ? 08

2018?05?22

郭佑民(1968?)，男，甘肅隴西人，教授，從事車輛工程、數字圖像處理的研究；E?mail：lqzymc@qq.com

(編輯 陽麗霞)