杜倫平，朱天賜，劉期柏，梁力東，王泉東，傅勤毅，劉斯斯

基于單目視覺三維重建的貨運(yùn)列車超限檢測(cè)方法研究

杜倫平1，朱天賜1，劉期柏2，梁力東2，王泉東1，傅勤毅1，劉斯斯1

(1. 中南大學(xué) 交通運(yùn)輸工程學(xué)院，湖南 長(zhǎng)沙 410072；2. 廣州局集團(tuán)公司貨運(yùn)部，廣東 廣州 510088)

針對(duì)基于雷達(dá)和激光等技術(shù)的貨運(yùn)列車超限檢測(cè)系統(tǒng)存在檢測(cè)區(qū)域不完整及只能在列車移動(dòng)狀態(tài)下進(jìn)行測(cè)量的缺陷，提出一種基于單目視覺三維重建的貨運(yùn)列車超限檢測(cè)方法。通過單目視覺三維重建算法對(duì)獲取的序列圖像進(jìn)行建模處理得到目標(biāo)貨運(yùn)列車的三維點(diǎn)云模型。對(duì)三維點(diǎn)云模型進(jìn)行全局坐標(biāo)系轉(zhuǎn)換與切片投影，得到目標(biāo)貨運(yùn)列車若干橫截面二維點(diǎn)云圖形。結(jié)合鐵路貨運(yùn)列車超限檢測(cè)標(biāo)準(zhǔn)，構(gòu)建標(biāo)準(zhǔn)界限圖形。將獲得的二維點(diǎn)云圖形代入標(biāo)準(zhǔn)界限圖形中進(jìn)行超限檢測(cè)判別。實(shí)驗(yàn)結(jié)果顯示，該方法具有較高的檢測(cè)精度和檢測(cè)效率，能夠滿足鐵路貨運(yùn)列車超限檢測(cè)作業(yè)要求。

貨運(yùn)列車；超限檢測(cè)；單目視覺；三維重建；點(diǎn)云模型處理

1 貨運(yùn)列車超限檢測(cè)設(shè)備系統(tǒng)

設(shè)備系統(tǒng)包括無人機(jī)系統(tǒng)和計(jì)算機(jī)系統(tǒng)2個(gè)部分。無人機(jī)系統(tǒng)用于圖像數(shù)據(jù)采集和傳輸；計(jì)算機(jī)系統(tǒng)用于三維點(diǎn)云模型生成以及點(diǎn)云數(shù)據(jù)超限檢測(cè)處理。

如圖1中所示，無人機(jī)系統(tǒng)主要包括無人機(jī)、RTK(Real Time Kinematic，實(shí)時(shí)動(dòng)態(tài)載波相位差分技術(shù))定位單元、單目相機(jī)和數(shù)據(jù)存儲(chǔ)設(shè)備。無人機(jī)用于提供飛行平臺(tái)；RTK定位單元系統(tǒng)用于輔助設(shè)定無人機(jī)飛行路徑；單目相機(jī)用于獲取目標(biāo)貨運(yùn)列車圖像數(shù)據(jù)；數(shù)據(jù)存儲(chǔ)設(shè)備用于存儲(chǔ)相機(jī)獲取的數(shù)據(jù)。計(jì)算機(jī)系統(tǒng)由一臺(tái)安裝ubuntu16和ROS系統(tǒng)的工作站組成；圖像的識(shí)別和處理采用的是Python和OpenCV圖像處理庫，嵌入到了ROS環(huán)境。

圖1 硬件系統(tǒng)結(jié)構(gòu)圖

本文中對(duì)無人機(jī)的選型并無特殊要求，市場(chǎng)上商用的小型無人機(jī)可以滿足對(duì)圖像視頻采集的穩(wěn)定性要求。在本實(shí)驗(yàn)中，采用的是 DJI Phantom Pro 4，但本文提出的算法對(duì)采集的圖像重合度要求較高，因此需要對(duì)無人機(jī)進(jìn)行飛行路線規(guī)劃[13]以選取合適的飛行路線。路徑規(guī)劃的主要參數(shù)包括飛行路線及飛行高度。結(jié)合待測(cè)目標(biāo)貨運(yùn)列車(靜止)尺寸信息，采用飛行高度分別為6，8和10 m。如圖2所示，飛行路線分直線型和U型2種。

(a) U形路徑；(b) 直線型形路徑

2 基于單目視覺三維重建的貨運(yùn)列車超限檢測(cè)方法

本文提出的基于單目視覺三維重建的貨運(yùn)列車超限檢測(cè)方法主要包含2部分：貨運(yùn)列車的三維點(diǎn)云模型生成和貨運(yùn)列車超限檢測(cè)判段。主要過程如下：利用計(jì)算機(jī)系統(tǒng)讀取數(shù)據(jù)存儲(chǔ)設(shè)備中所獲取的視頻數(shù)據(jù)，將視頻數(shù)據(jù)利用OpenCV解幀成序列圖像。序列圖像作為輸入，采用單目視覺三維重建算法進(jìn)行三維點(diǎn)云模型重建，生成目標(biāo)貨運(yùn)列車三維點(diǎn)云模型。對(duì)目標(biāo)貨運(yùn)列車點(diǎn)云模型進(jìn)行坐標(biāo)系轉(zhuǎn)化和切片處理，獲得橫截面圖形，并與標(biāo)準(zhǔn)界限圖形進(jìn)行圖形運(yùn)算，根據(jù)運(yùn)算結(jié)果判斷是否超限。圖3為完整貨運(yùn)列車超限檢測(cè)流程。

2.1 單目視覺三維重建算法

本文提出的單目視覺三維重建算法主要分為5部分：傳感器數(shù)據(jù)讀取, 前端視覺里程計(jì)計(jì)算, 后端非線性優(yōu)化，回環(huán)檢測(cè)和三維點(diǎn)云模型建立。圖4為三維模型重建流程。

1) 傳感器信息讀取。利用計(jì)算機(jī)系統(tǒng)讀取視頻信息，并解幀序列圖像。

其中e1和e2為當(dāng)前設(shè)計(jì)點(diǎn)及MPP的Kriging預(yù)測(cè)誤差。通過比較當(dāng)前設(shè)計(jì)點(diǎn)可靠度指標(biāo)與目標(biāo)可靠度，并考慮關(guān)鍵點(diǎn)建模誤差，可避免對(duì)概率約束有效性的誤判。

2) 前端視覺里程計(jì)計(jì)算。通過構(gòu)建視覺里程計(jì)，能夠計(jì)算出相機(jī)在相鄰幀圖像之間的運(yùn)動(dòng)狀況并實(shí)現(xiàn)局部場(chǎng)景的構(gòu)成推算。

3) 后端非線性優(yōu)化。不同時(shí)刻的視覺里程計(jì)測(cè)量的相機(jī)位姿和回環(huán)檢測(cè)的信息傳入到后端進(jìn)行優(yōu)化，確保場(chǎng)景點(diǎn)云和軌跡滿足全圖一致。

圖3 貨運(yùn)列車超限檢測(cè)流程圖

4) 回環(huán)檢測(cè)。如果檢測(cè)到回環(huán)，即該位置相機(jī)先前曾經(jīng)到達(dá)過，算法利用后端處理回環(huán)信息，實(shí)現(xiàn)結(jié)果的優(yōu)化和改進(jìn)。

5) 三維點(diǎn)云模型建立。根據(jù)估計(jì)的相機(jī)軌跡，建立目標(biāo)場(chǎng)景三維點(diǎn)云圖。

圖4 三維模型重建流程

前端視覺里程計(jì)環(huán)節(jié)的實(shí)現(xiàn)主要包括圖像特征點(diǎn)提取、及多幅圖像中特征點(diǎn)匹配、利用對(duì)極幾何的約束恢復(fù)圖像之間的相機(jī)的三維運(yùn)動(dòng)、利用三角測(cè)量方法估計(jì)場(chǎng)景點(diǎn)深度。

利用張正友法標(biāo)定法[14]確定單目相機(jī)的內(nèi)外參數(shù)和畸變系數(shù)。圖像特征點(diǎn)采用ORB (Oriented FAST and rotated BRIEF) 特征。ORB特征中的關(guān)鍵點(diǎn)提取過程：在圖像中選取像素p，假設(shè)它的亮度為p。設(shè)置一個(gè)閾值=0.2p。以像素p為中心，16個(gè)像素點(diǎn)分布在以3為半徑的圓上。對(duì)像素點(diǎn)預(yù)檢測(cè)，鄰域圓上的第 2，6，10，14個(gè)像素點(diǎn)檢測(cè)其亮度，如果4個(gè)像素中有3個(gè)同時(shí)大于p+，進(jìn)行下一步驟；否則直接刪除。計(jì)算出選取的圓上亮度大于p+的連續(xù)點(diǎn)的個(gè)數(shù)。若≥12，將該點(diǎn)儲(chǔ)存為角點(diǎn)，如圖5中所示。循環(huán)以上4步來處理所有像素點(diǎn)。構(gòu)建圖像金字塔，對(duì)金字塔上各層圖像進(jìn)行角點(diǎn)檢測(cè)。當(dāng)金字塔上層和下層得到的角點(diǎn)匹配時(shí)，將該角點(diǎn)作為關(guān)鍵點(diǎn)(特征點(diǎn))保留，否則剔除。在原始圖像上計(jì)算特征點(diǎn)附近的圖像塊灰度質(zhì)心，將連接圖像塊集合中心和質(zhì)心得到的一個(gè)方向向量特征點(diǎn)的方向。

圖5 角點(diǎn)檢測(cè)

ORB特征中的BRIEF描述子提取過程：通過高斯概率分布在關(guān)鍵點(diǎn)附近隨機(jī)選取128對(duì)2個(gè)像素，分別為和。若>，則取1，反之取0。得到128維由0，1組成的向量。

多幅圖像特征匹配中，主要運(yùn)用暴力匹配法。計(jì)算一張圖像上每一個(gè)特征點(diǎn)與相鄰幀圖像上所有的特征點(diǎn)的描述子距離，排序后選取最近點(diǎn)作為匹配點(diǎn)。利用漢明距離，即計(jì)算2個(gè)二進(jìn)制串不同位數(shù)的個(gè)數(shù)，來處理ORB特征中的BRIEF描述子。第1張圖像上特征點(diǎn)的匹配點(diǎn)滿足漢明距離最短的條件。

圖像之間相機(jī)的三維運(yùn)動(dòng)通過對(duì)極幾何的約束進(jìn)行恢復(fù)。利用對(duì)極約束條件，根據(jù)配對(duì)點(diǎn)的像素位置，計(jì)算出基礎(chǔ)矩陣和本質(zhì)矩陣，進(jìn)而可以求出相機(jī)旋轉(zhuǎn)和平移矩陣。

場(chǎng)景點(diǎn)的深度估計(jì)主要是利用三角測(cè)量法。利用已知相機(jī)位置參數(shù)，計(jì)算出同一特征點(diǎn)在2張不同圖像中位置。理論上2張圖片中各自光心與特征點(diǎn)在圖像中的像素點(diǎn)位置連線相交于一點(diǎn)，該點(diǎn)即為特征點(diǎn)位置。由于噪聲的影響，2條直線往往無法相交，通過最小二乘法求解近似值。

后端非線性優(yōu)化。每個(gè)相機(jī)位姿與特征點(diǎn)位置利用BA(Bundle Adjustment, 光束調(diào)整優(yōu)化)進(jìn)行優(yōu)化，求出一個(gè)姿態(tài)后驗(yàn)概率最大化的最優(yōu)估計(jì)。

回環(huán)檢測(cè)中，2張圖像的匹配主要通過K-means對(duì)ORB特征進(jìn)行處理并聚類生成ORB特征分類結(jié)果。具體過程：隨機(jī)選取個(gè)中心點(diǎn)：1…,c；計(jì)算每一個(gè)樣本與每個(gè)中心點(diǎn)之間的距離，求出最小值所在對(duì)應(yīng)的中心點(diǎn)作為它的歸類；重新計(jì)算每個(gè)類的中心點(diǎn)；如果每個(gè)中心點(diǎn)變化小于一定的閾值，則算法收斂，退出；否則返回起始步驟。

對(duì)任意2幅圖像進(jìn)行相似性評(píng)分，取一個(gè)先驗(yàn)相似度，其他圖像相似性檢驗(yàn)參照該值進(jìn)行歸 一化。

三維點(diǎn)云模型建立。單目稠密重建中，利用極線搜索和塊匹配確定投影點(diǎn)位置。預(yù)先假定某個(gè)初始的高斯分布能夠用來描述所有像素的深度的分布；利用極線搜索和塊匹配處理產(chǎn)生的新數(shù)據(jù)來確定投影點(diǎn)位置；三角化后的深度以及不確定性通過幾何關(guān)系計(jì)算可以獲得；上一次的估計(jì)結(jié)果利用當(dāng)前觀測(cè)值進(jìn)行融合優(yōu)化。若收斂則停止計(jì)算，否則返回第2步。

2.2 貨車超限檢測(cè)判定算法

這部分的算法主要包括3個(gè)部分：1) 三維點(diǎn)云模型預(yù)處理；2) 貨車切片處理；3) 重建外表面投影超限判斷。

三維點(diǎn)云模型預(yù)處理。利用三維重建算法生成場(chǎng)景點(diǎn)云，該場(chǎng)景點(diǎn)云中包含了目標(biāo)貨運(yùn)列車以及列車周圍物體(如燈柱、行人等)。為了獲取所需進(jìn)一步處理的目標(biāo)貨運(yùn)列車處點(diǎn)云，利用點(diǎn)云濾波函數(shù)去除場(chǎng)景中非目標(biāo)貨運(yùn)列車部分的點(diǎn)云。主要濾波過程如下：首先運(yùn)用直通濾波[15]保留場(chǎng)景中包含目標(biāo)貨運(yùn)列車部分的點(diǎn)云范圍；其次選用半徑濾波器和統(tǒng)計(jì)濾波器，設(shè)定合理閾值，過濾掉小型團(tuán)簇狀干擾點(diǎn)云；最后利用體素濾波器[16]對(duì)目標(biāo)貨運(yùn)列車點(diǎn)云總體稀疏程度進(jìn)行調(diào)整。處理前后的點(diǎn)云如圖6(a)和6(b)所示。

(a) 濾波前點(diǎn)云；(b) 濾波后點(diǎn)云；(c) 軌道平面提取

利用平面提取算法提取出目標(biāo)貨運(yùn)點(diǎn)云中2條鐵軌所在的軌道平面，如圖6(c)所示。利用隨機(jī)抽樣一致算法，設(shè)定大范圍半徑，計(jì)算出該軌道平面上每個(gè)點(diǎn)的法向量，將平面上所有點(diǎn)的法向量相加并單位化，將單位化后的法向量作為新坐標(biāo)系的軸方向，利用旋轉(zhuǎn)矩陣對(duì)原坐標(biāo)系點(diǎn)云坐標(biāo)進(jìn)行變換。運(yùn)用點(diǎn)云庫中的分割算法，分割出2條軌道處的點(diǎn)云。利用最小二乘法，提取出2條軌道的中心線。將該中心線方向作為新坐標(biāo)系的方向，求出將原坐標(biāo)系方向變換為新坐標(biāo)系方向的旋轉(zhuǎn)矩陣通過上述轉(zhuǎn)換過程，確定了以軌道面為基準(zhǔn)，以目標(biāo)貨運(yùn)列車高度方向?yàn)檩S的新坐標(biāo)系。利用旋轉(zhuǎn)矩陣和平移矩陣，對(duì)點(diǎn)云中所有點(diǎn)進(jìn)行坐標(biāo)轉(zhuǎn)換。

貨運(yùn)列車切片處理。在新建立的坐標(biāo)系中，確定目標(biāo)貨運(yùn)列車車身長(zhǎng)度方向，即軸方向上的分布長(zhǎng)度。沿軸(即車身方向)方向，將目標(biāo)貨運(yùn)列車均勻劃分為若干(此處取1 000)份。每份點(diǎn)云標(biāo)記為P，∈(1,1 000)。在每份點(diǎn)云中，將每個(gè)點(diǎn)的軸坐標(biāo)導(dǎo)出，可以生成平面二維點(diǎn)云圖形(二維點(diǎn)云指的是三維點(diǎn)云的在制定平面的投影)。由于每份長(zhǎng)度足夠小，平面上生成的二位點(diǎn)云圖形近似于貨運(yùn)列車橫截面形狀。平面上的二維點(diǎn)云圖形如圖7(a)所示。

重建外表面和投影來進(jìn)行超限判斷。過濾掉路基形成的的二維點(diǎn)云后，將二維橫截面點(diǎn)云圖形與標(biāo)準(zhǔn)界限圖形在同一坐標(biāo)系中進(jìn)行圖形運(yùn)算。圖中各個(gè)點(diǎn)為實(shí)際橫截面形狀，虛點(diǎn)線段和和點(diǎn)劃線段分別表示一級(jí)和二級(jí)標(biāo)準(zhǔn)界限圖形。圖7(b)中為一級(jí)和二級(jí)標(biāo)準(zhǔn)界限圖形。通過判斷二維點(diǎn)云圖中各個(gè)點(diǎn)與標(biāo)準(zhǔn)界限圖形之間的關(guān)系，得到對(duì)應(yīng)的超限等級(jí)。未超限的點(diǎn)云、一級(jí)超限點(diǎn)云和二級(jí)超限點(diǎn)云將被系統(tǒng)分別標(biāo)記(如圖7(c))。

(a) 點(diǎn)云投影；(b) 標(biāo)準(zhǔn)界限圖形；(c) 標(biāo)準(zhǔn)界限圖形檢測(cè)

3 鐵路現(xiàn)場(chǎng)試驗(yàn)及結(jié)果分析

中南大學(xué)鐵道學(xué)院現(xiàn)有機(jī)車寬為4.70 m，高為3.37 m，全車長(zhǎng)19 m。鐵路貨車最大寬度和高度都在3～4 m之間，裝載貨物后最大寬度高度會(huì)略有增加。該機(jī)車尺寸和裝載貨物的貨運(yùn)列車尺寸接近，形狀相較于貨車更加復(fù)雜，因此可以將該貨運(yùn)列車作為鐵路裝載貨車的代替物進(jìn)行檢測(cè)技術(shù) 驗(yàn)證。

在本次實(shí)驗(yàn)采取的方案中，飛行高度為10 m，飛行路徑為U型路線。圖8為解幀處理得到的圖片以及最終的目標(biāo)貨運(yùn)列車三維點(diǎn)云模型。

對(duì)生成的三維點(diǎn)云模型進(jìn)行超限檢驗(yàn)。在對(duì)點(diǎn)云進(jìn)行坐標(biāo)系轉(zhuǎn)換后，沿著軸將點(diǎn)云均勻分解成若干份(此處取20)。將所有二維點(diǎn)云橫截面圖形與標(biāo)準(zhǔn)界限圖形進(jìn)行對(duì)比。如圖10中所示，縱軸表示超限等級(jí)。0，1和2分別表示未超限，一級(jí)超限，二級(jí)超限。橫坐標(biāo)表示橫截面圖形序列號(hào)。

從圖9可以看出，第5和6橫截面對(duì)應(yīng)的地方滿足一級(jí)超限；第7，13和14橫截面對(duì)應(yīng)的地方滿足二級(jí)超限；

為了進(jìn)一步核準(zhǔn)上述方法的測(cè)量精度，需要進(jìn)行多次誤差實(shí)驗(yàn)。精度檢測(cè)主要分為長(zhǎng)度檢測(cè)和高度檢測(cè)2個(gè)方面。在機(jī)車車身長(zhǎng)度和高度方向分別設(shè)置4個(gè)標(biāo)志物長(zhǎng)度，做4組實(shí)驗(yàn)。實(shí)際長(zhǎng)度由實(shí)際人工測(cè)量獲得；測(cè)量距離由模型上像素距離比例測(cè)得。精度結(jié)果如表1所示。

(a) 解幀圖片；(b) 三維點(diǎn)云模型

圖9 貨運(yùn)列車多個(gè)截面檢測(cè)

表1 精度檢驗(yàn)實(shí)驗(yàn)結(jié)果

由表1數(shù)據(jù)可知，在復(fù)雜的現(xiàn)場(chǎng)環(huán)境下，所建立的模型上沿長(zhǎng)度和高度方向的絕對(duì)誤差在30?mm之間，總標(biāo)準(zhǔn)差為14.173?mm。外場(chǎng)實(shí)驗(yàn)中，整節(jié)列車的測(cè)量時(shí)間為5?min?？傮w性能參數(shù)能夠滿足鐵路貨車超限檢測(cè)的作業(yè)標(biāo)準(zhǔn)要求。

4 結(jié)論

1) 基于單目視覺三維重建的貨運(yùn)列車超限檢測(cè)方法能夠提升檢測(cè)效率，降低系統(tǒng)成本。

2) 利用單目視覺三維重建方法能夠簡(jiǎn)單、快速、有效的構(gòu)建出貨車的三維點(diǎn)云模型且模型精度較高。

3) 將三維物體超限問題轉(zhuǎn)化為二維空間上的點(diǎn)云橫截面圖形和標(biāo)準(zhǔn)界限圖形之間的關(guān)系問題，能夠節(jié)省計(jì)算資源，快速得出超限結(jié)論。

[1] 李曉冰. 紅外目標(biāo)測(cè)量圖像高精度定位方法[J]. 兵工自動(dòng)化, 2018, 37(5): 31?34.LI Xiaobing. High precision location method for infrared target measurement image[J]. Ordnance Industry Automation, 2018, 37(5): 31?34.

[2] 韓麗茹. 提高超聲波測(cè)距精度方法綜述[J]. 電訊技術(shù), 2010, 50(9):132?136. HAN Liru. A survey of methods for improving ultrasonic ranging precision[J]. Telecommunication Engineering, 2010, 50(9):132?136.

[3] 王世和, 陳遠(yuǎn)金, 劉彬. CCD與CMOS國(guó)內(nèi)外技術(shù)發(fā)展綜述[J].內(nèi)燃機(jī)與配件, 2017, 1(13): 112?114.WANG Shihe, CHEN Yuanjin, LIU Bin. Summary of the development of CCD and CMOS technology at home and abroad[J]. Internal Combustion Engine & Parts, 2017, 1(13): 112?114.

[4] 張光遠(yuǎn), 丁小東, 魯工圓，等. 基于紅外與高速攝像技術(shù)相結(jié)合的鐵路超限檢測(cè)系統(tǒng)實(shí)驗(yàn)分析[J]. 綜合運(yùn)輸, 2017, 39(7): 54?59. ZHANG Guangyuan, DING Xiaodong, LU Gongyuan, et al. Railway out-of-gauge detection system establishment and experiment research based on combination of infrared and high-speed video camera technology[J]. Comprehensive Transportation, 2017, 39(7): 54?59.

[5] 張益昕, 汪家其, 王順, 等. 基于大尺度三維幾何視覺的貨運(yùn)列車超限檢測(cè)方法研究[J]. 儀器儀表學(xué)報(bào), 2012, 33(1): 181?187. ZHANG Yixin, WANG Jiaqi, WANG Shun, et al. Freight train gauge-exceeding detection based on large scale 3D geometric vision measurement[J]. Chinese Journal of Scientific Instrument, 2012, 33(1): 181?187.

[6] 杜津玲, 勾長(zhǎng)虹. 基于激光雷達(dá)的鐵路超限貨物測(cè)量方法[J]. 軍事交通學(xué)院學(xué)報(bào), 2009, 1(1): 89?91.DU Jinling, GOU Changhong. Measure method of railway overload cargo based on Lindar[J]. Journal of Military Transportation University, 2009, 1(1): 89?91.

[7] Geiger A, Ziegler J, Stiller C. Stereoscan: Dense 3D reconstruction in real-time[J]. IEEE Intelligent Vehicles Symposium, 2012, 32(14): 963?968.

[8] Hassner T, Basri R. Example based 3D reconstruction from single 2D images[C]// 2006 Conference on Computer Vision and Pattern Recognition Workshop (CVPRW’06). IEEE, 2006: 15?15.

[9] Mouragnon E, Lhuilllier M, Dhome M, et al. Real time localization and 3D reconstruction[C]// 2006 Conference on Computer Vision and Pattern Recognition (CVPR’06). IEEE, 2006, 1: 37?44.

[10] YANG L, PENG X, ZHOU W, et al. Template-based 3D reconstruction of non-rigid deformable object from monocular video[J]. 3D Research, 2018, 9(2): 21?21.

[11] Hamzah R A, Kadmin A F, Hamid M S, et al. Improvement of stereo matching algorithm for 3D surface reconstruction[J]. Signal Processing: Image Communication, 2018, 65: 165?172.

[12] Avidan S, Shashua A. Trajectory triangulation: 3D reconstruction of moving points from a monocular image sequence[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(4): 348?357.

[13] 王泉東, 伍道樂, 楊岳, 等. 面向鐵路巡檢的無人機(jī)飛行路徑規(guī)劃方法[J]. 鐵路計(jì)算機(jī)應(yīng)用, 2019, 1(6): 73? 77.WANG Quandong, WU Daole, YANG Yue, et al. UAV flight path planning method for railway lines patrol inspection[J].Railway Computer Application, 2019, 1(6): 73?77.

[14] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330?1334.

[15] 郭保青, 余祖俊, 張楠, 等. 鐵路場(chǎng)景三維點(diǎn)云分割與分類識(shí)別算法[J]. 儀器儀表學(xué)報(bào), 2017, 38(9): 2103? 2111.GUO Baoqing, YU Zujun, ZHANG Nan, et al. 3D point cloud segmentation, classification and recognition algorithm of railway scene[J].Chinese Journal of Scientific Instrument, 2017, 38(9): 2103?2111.

[16] 吉長(zhǎng)東, 劉亞南, 廖世愉. 基于局部特征的四點(diǎn)一致集配準(zhǔn)算法研究[J]. 測(cè)繪與空間地理信息, 2020(5): 15?18 . JI Changdong, LIU Yanan, LIAO Shiyu. Research on four-point consensus set registration algorithm based on local features[J]. Surveying and Spatial Geographic Information, 2020(5): 15?18.

Research on detection method of freight train gauge-exceeding based on 3D reconstruction of monocular vision

DU Lunping1, ZHU Tianci1, LIU Qibai2, LIANG Lidong2, WANG Quandong1, FU Qinyi1, LIU Sisi1

(1. School of Traffic and Transportation Engineering, Central South University, Changsha 410075, China;2. Freight Department of China Railway Guangzhou Group Co., Ltd., Guangzhou 510088, China)

In view of the defects of the detection system of freight train gauge-exceeding based on radar and laser technology that the detection area is incomplete and can only be measured in the moving state of the train, a method of gauge-exceeding detection of freight train based on monocular visual 3D reconstruction was proposed. The 3D point cloud model of the target freight train was obtained by modeling and processing the acquired sequence images through the monocular visual 3D reconstruction algorithm. The global coordinate system conversion and slice projection were performed on the three-dimensional point cloud model to obtain two-dimensional point cloud graphics of several cross sections of the target freight train. Combined with the railway freight train gauge-exceeding detection standard, a standard limit graph was constructed. The obtained two-dimensional point cloud graphics were substituted into the standard boundary graphics for gauge-exceeding detection and discrimination. Experimental results show that the method has high detection accuracy and efficiency, and can meet the requirements of railway freight train gauge-exceeding detection.

freight train; gauge-exceeding detection; monocular vision; three-dimensional reconstruction; point cloud model processing

10.19713/j.cnki.43?1423/u.T20200583

TP29

A

1672 ? 7029(2021)04 ? 1009 ? 08

2020?06?24

廣州鐵路局科研項(xiàng)目(廣鐵合貨運(yùn)部(2019)0002)；國(guó)家自然科學(xué)基金青年基金資助項(xiàng)目((2018)61806222)

劉斯斯(1988?)，女，湖南長(zhǎng)沙人，講師，博士，從事計(jì)算機(jī)視覺、大數(shù)據(jù)挖掘技術(shù)研究；E?mail：scarlett.liu@csu.edu.cn

(編輯 陽麗霞)