王 凱

(中國鐵路設計集團有限公司，天津 300251)

隨著中國鐵路建設的快速發(fā)展，鐵路里程和覆蓋范圍不斷增加，截至2020年底中國鐵路營運里程超過14.6萬km。為了保障鐵路干線的正常運行，鐵路沿線兩側100 m范圍設置為鐵路周邊環(huán)境保護區(qū)，長期以來保護區(qū)內(nèi)存在著圍欄破壞、保護區(qū)內(nèi)建設違章建筑、傾倒工業(yè)和生活垃圾等現(xiàn)象。這些現(xiàn)象的存在使得鐵路的運行受到了極大的威脅，傳統(tǒng)的方式是通過人工進行巡線，進行鐵路周邊環(huán)境巡查。近年來，隨著無人機技術的飛速發(fā)展，傳統(tǒng)的人工巡線逐步被取代[1]。但是，由于無人機巡線視頻數(shù)據(jù)量大，在應用的過程中無法快速從海量視頻數(shù)據(jù)中查到對應空間位置的視頻信息，這嚴重影響了數(shù)據(jù)的使用效率[2]。國內(nèi)開展無人機視頻巡線的研究多集中在對視頻目標的檢測與跟蹤，以提取目標相對視頻場景的位置，對于視頻幀的地理信息表達和絕對定位研究較少[3]。本研究通過無人機飛行位置、姿態(tài)還原與視頻匹配等技術方法實現(xiàn)了鐵路巡線視頻的快速空間定位和鐵路里程信息定位，為高效利用巡線視頻提供一種有效方法。

1 鐵路線位空間-里程參考的建立

通過鐵路矢量線路按照一定的距離進行離散化，將矢量線位轉為坐標點，建立里程-坐標索引關系。根據(jù)工點里程表和里程坐標索引關系構建工點-里程-坐標的對應場景索引表。具體包括以下步驟：首先將矢量線按照一定的距離(本例按照0.2 m的間隔)進行離散化，將矢量線位轉化為離散的點，如圖1所示。將WGS84空間坐標系下的地理坐標轉化為UTM投影坐標系下的平面坐標。利用投影坐標計算離散點間距進行點位鐵路里程換算。

圖1 矢量線位離散化

2 視頻數(shù)據(jù)采集、關鍵幀地理信息編碼

沿鐵路線路進行視頻拍攝，均衡視頻地表分辨率和飛行安全，采用相對地表航高100～150 m仿地飛行拍攝，為了獲取更好的地表立體效果，無人云臺采用與地面拍攝平面25°～45°夾角進行拍攝，如圖2[4]所示。

圖2 線路拍攝示意圖

以100 m航高、設備采用大疆精靈4pro為例，以其相機參數(shù)進行計算得出其地表覆蓋范圍為120 m×150 m，單條航帶的帶幅可以覆蓋鐵路兩側的范圍。無人機相機相對于線路的拍攝角度，根據(jù)鐵路所處的不同階段和線路的不同類型采用不同角度進行拍攝。施工期，采用位于線位正上方拍攝，運維時期采用左、右側視角進行側方拍攝，以保證鐵路運行的安全。

視頻數(shù)據(jù)采集后，對無人機的飛行日志信息進行提取和分析，形成視頻地理信息編碼文件(POS數(shù)據(jù))。具體提取的信息包括：該時間段無人機的地理坐標(xUAV，yUAV，zUAV)(WGS84坐標)，飛機的相對行高H，無人機的航偏角yawUAV、側滾角度rollUAV、俯仰角度pitchUAV，相機云臺的航偏角yaw、俯仰角pitch、側滾roll，該點位無人機所處的日期date和時刻T。飛機和相機作為一個整體而言，其航偏角為YAW,俯仰角為PITCH，側滾角為ROLL，其值為無人機與相機的姿態(tài)之和,并進行取整[5]。

YAW=[yawuav+yaw]

(1)

PITCH=[pitchuav+pitch]

(2)

ROLL=[rolluav+roll]

(3)

無人機視頻文件創(chuàng)建的時刻為無人機視頻結束采集的時刻Tend，其視頻開始采集是時刻為Tstart，視頻的長度為TL，其三者之間的關系為

TL=Tend+Tstart

(4)

根據(jù)視頻是起始時刻，獲取對應時間段的飛行POS信息，并計算每一POS點位對應的視頻時刻Tfly，并將此時刻的視頻幀作為視頻關鍵幀，即

Tfly=T+Tstart

(5)

整理可得對應的視頻數(shù)據(jù)關鍵幀和POS數(shù)據(jù)，如圖3所示。

圖3 地理信息編碼文件(關鍵幀POS數(shù)據(jù))

3 巡線視頻空間、里程定位與同步

3.1 無人機視頻空間定位模型構建與視頻空間、里程定位

視頻拍攝時相機的主光軸與地面成一定夾角，這使得飛機的空間位置與獲取視頻的視場中心平臺坐標存在一定的偏差[6]。為了進行坐標和鐵路里程更加精準的匹配，建立飛行機位置與相機視角中心的關系。定義視頻視場投影中心點(物方)的地理坐標(WGS84)為(xA,yA,zA),對應的UTM投影投影坐標為(XA,YA,ZA),獲取無人機在空中攝站點坐標通常為大地坐標[WGS84，單位：(°)](xS，yS，zS)，其對應的UTM投影坐標為(XS，YS，ZS)(單位：m)，地理坐標與空間坐標轉換稱之為投影(轉換方法為通俗方法，此非本算法重點，不做詳細論述)[7]。無人機飛行時的外方位元素包括PITCH-φ(俯仰)、ROOL-ω(側滾)、YAW-κ(航偏)。相機參數(shù)：相機的焦距為f，其傳感器CCD的大小為a,傳感器對應的CCD陣列尺寸為CX×CY。首先利用共線方程[式(6)、式(7)]計算視頻投影中心點的空間坐標[8]，即

(6)

(7)

式中：x、y為像點的像平面坐標；x0、y0、f為影像的內(nèi)方位元素；XS、YS、ZS為無人機攝站點的物方空間坐標；XA、YA、ZA為地面物方點的物方空間坐標；ai、bi、ci(i=1,2,3)為無人機視頻影像的3個外方位角元素組成的旋轉矩陣[9]，即

(8)

式中：A1=cosφcosκ-sinφsinωsinκ；A2=-cosφsinκ-sinφsinωcosκ；A3=-sinφcosω,B1=cosωsinκ；B2=cosωcosκ；B3=-sinω；C1=sinφcosκ+cosφsinωsinκ；C2=-sinφsinκ+cosφsinωcosκ；C3=cosφcosω。

設λ為比例因子，即

(9)

式中：ZS為無人機飛行的海拔高度；ZA為拍攝地表投影點海拔高度(由既有衛(wèi)星遙感獲取的DEM數(shù)據(jù)獲取)。

經(jīng)過整理得到其反演公式[10]：

(10)

對于投影中心而言位于像坐標系的x0，y0位置，則視頻中心點投影坐標(XS，YS，ZS),計算公式[11]為

(11)

式中：H為飛機的絕對行高；h為設置無人機的相對航高。

視頻視場4個角點坐標為(Xlu,Ylu,Zlu)(左上)，(Xru,Yru,Zru)(右上)，(Xld,Yld,Zld)(左下)，(Xrd,Yrd,Zrd)(右下)，其對應的像平面坐標系的坐標分別為(0，0)、(CX，0)、(0，CY)、(CX，CY)，對應的計算公式為

(12)

(13)

(14)

(15)

利用視頻關鍵幀無人機POS數(shù)據(jù)，根據(jù)投影中心及視頻幀覆蓋范圍的計算公式計算得到關鍵的對應的空間位置信息，其格式見表1。

表1 視頻關鍵幀對應空間位置信息表結構

表1中X、Y、Z為該視頻幀投影中心坐標，LU、RU、LD、RD分別為對應視頻幀左上、右上、左下、右下的位置對應的空間坐標，T為該視頻關鍵幀對應的時間。

輸入的地表定位點的地理坐標為(x,y,z)，其對應的平面投影坐標為(X，Y，Z)，通過遍歷的方式分別計算與每一個視頻關鍵幀的中心點的投影坐標為(XAi,YAi,ZAi),對應一個視頻而言，i的取值為0～N。

計算定位點與視頻關鍵幀中心點投影坐標的歐式距離Di，即

(16)

取距離Di最小的關鍵幀作為匹配關鍵幀，其對應中心坐標為(XAj,YAj,ZAj),4個角點坐標為(Xluj,Yluj,Zluj)(左上)、(Xruj,Yruj,Zruj)(右上)、(Xldj,Yldj,Zldj)(左下)、(Xrdj,Yrdj,Zrdj)(右下)。計算(X,Y)的坐標是否位于圖幅范圍內(nèi)即滿足以下條件：

min(Xluj,Xldj)<=X<=max(Xruj,Xrdj)；min(Yluj,Yldj)<=Y<=max(Yruj,Yrdj)。

若滿足以上條件則檢索到對應視頻位置j及對應的視頻時間T，將視頻跳轉到時間T位置。

里程定位是利用坐標-里程索引文件匹配與無人機視頻空間定位綜合進行。輸入定位的里程位置為k，通過對里程-坐標索引文件進行遍歷找到距離k點最近的索引里程為Ki，其對應的點位地理坐標為(xk,yk,zk),通過投影變換計算其對應的平面投影坐標為(Xk,Yk,Zk)，對Ki作為空間定位點采用上述視頻空間定位方法進行定位，檢索到視頻關鍵幀對應的時間為T，將視頻跳轉到時間T位置，視頻具體定位效果如圖4所示。

圖4 視頻定位

3.2 空間地圖場景-視頻同步

假設在短時間內(nèi)無人機的位置和姿態(tài)的變化是隨時間均勻變化，利用線性插值法對無人機的關鍵幀POS數(shù)據(jù)進行插值加密得到每一幀視頻的POS數(shù)據(jù)，具體的插值方法[12]為

(17)

Tk的取值范圍為Tj到Ti，采樣間隔為(Tj-Ti)/num；其中，Aj、Ai、Ak分為Tj、Ti、Tk時刻的空間坐標或姿態(tài)值，num為視頻的幀速率。利用以上插值公式對無人機的空間位置和姿態(tài)等數(shù)據(jù)進行插值得到插值后的POS數(shù)據(jù)。進行視頻播放，根據(jù)視頻播放的視頻幀時刻位置獲取對的無人機POS信息，無人機在空中拍攝點的物方UTM投影坐標為(XS，YS，ZS),根據(jù)無人機該位置的相對高程H、相機的焦距f(相機為固定焦距),人機飛行時的外方位元素PITCH-φ(俯仰)，ROOL-ω(側滾)、YAW-κ(航偏)，利用無人機視頻空間視頻定位模型計算出該視頻幀位置視場中心投影坐標為(XA，YA，ZA)和關鍵幀對應的4個角點的坐標為：4個角點平面坐標為(Xluj,Yluj,Zluj)(左上)、(Xruj,Yruj,Zruj)(右上)、(Xldj,Yldj,Zldj)(左下)、(Xrdj，Yrdj,Zrdj)(右下)；通過投影反變換獲取對應的場景的中心地理坐標(xA，yA，zA)與角點坐標(xluj,yluj,zluj)(左上)、(xruj,yruj,zruj)(右上)、(xldj,yldj,zldj)(左下)、(xrdj,yrdj,zrdj)(右下)。根據(jù)場景中心坐標和場景的角點坐標進行場景定位和視場范圍的確定。依次進行視頻幀的播放，根據(jù)每一幀無人機POS信息進行動態(tài)計算，獲取場景中心點和角點坐標并賦值，實現(xiàn)場景與視頻的同步，效果如圖5所示。

圖5 場景、視頻同步

3.3 兩期視頻同步

利用插值公式對無人機的空間位置和姿態(tài)等數(shù)據(jù)進行插值，得到插值后的POS數(shù)據(jù)[13]。設定期次A對應視頻幀空中攝影中心坐標為(xA，yA，zA)，利用投影轉換獲取其對應的視頻幀的UTM坐標為(XA，YA，ZA)。利用無人機視頻空間點位模型計算出每一幀視頻中心點j空間投影坐標為(XAj，YAj，ZAj)[14]。以同樣的方式計算出期次B對應每一幀中心投影坐標為(XBj，YBj，ZBj)。

首先計算期次A視頻起始幀對應的投影中心點坐標為(XA1，YA1，ZA1)，分別計算該點坐標與期次B各個視頻幀的中心投影坐標(XBj，YBj，ZBj)的歐式距離Dj[15]，即

(18)

j的取值從1到num×TB，其中num為視頻B的幀速率，TB為視頻B的時間長度。通過遍歷的方式找到歐式距離最小的幀Dj，該幀的位置為第j幀，其對應的視頻時間為Tj，即

Tj=j×num

(19)

將視頻B跳轉到Tj。以此位置為匹配位置進行順序播放，并計算接下來的視頻A、視頻B的視頻幀對應的投影中心點坐標間的歐式距離D，例如視頻A的第2幀的歐式距離為D2，即

(20)

若D大于設定的閾值K,通常情況下K取15 m，則停止視頻A、B的播放，以A點該位置的中心投影坐標為基準，對期次B的無人機視頻幀中心坐標進行二次匹配獲取該點位對應的視頻時間為T1，期次B的視頻跳轉到T1時刻，繼續(xù)期次A、B視頻的播放，依次進行循環(huán)，若二次匹配后D仍大于限差退出視頻同步。視頻定位效果如圖6所示。

圖6 兩期視頻對比

3.4 定位精度驗證

利用鐵路里程-樁位表作為精度驗證的參考基準進行視頻定位精度驗證。以鹽通鐵路項目鐵路視頻巡線數(shù)據(jù)中按照10 km的間隔抽取16個里程位置作為視頻定位精度驗證樣本。以視頻視場中心的位置樁位里程與使用本定位方法實時計算得到里程進行對比驗證以驗證其里程定位精度。具體的定位精度見表2。其中平均誤差為7.231 m，中誤差為3.586 m。

表2 里程定位精度

選取施工過程中的鐵路中樁處點位作為精度驗證點，分別獲取場景地圖中的該中樁點位里程與視頻視場中心處的中樁里程進行對比精度分析。隨機指定起始里程，以10 km作為采樣間隔，獲取24個樣本點，并計算其平均誤差為8.45 m，中誤差為4.23 m。

獲取兩期視頻視場中的相同的中樁位置作為兩期視頻同步的精度驗證點。隨機指定起始里程，以10 km作為采樣間隔，獲取24個樣本點，并計算其平均誤差為7.68 m，中誤差為3.67 m。經(jīng)過實驗驗證視頻定位精度滿足工程應用需求。

4 結論

根據(jù)工程實際應用需求，通過理論研究、推導建立無人機飛行過程的空間位置姿態(tài)信息與無人機鐵路巡線視頻的關系，并結合鐵路里程與空間位置的關系建立一種無人機鐵路巡線視頻定位方法。基于無人機視頻定位方法實現(xiàn)了無人機視頻的鐵路里程快速定位、地圖場景與無人機視頻同步、兩期無人機視頻同步等功能。根據(jù)研究得出以下結論：

1)利用本鐵路無人機視頻定位方法可以快速實現(xiàn)無人機鐵路巡線視頻里程定位，提高了巡線視頻數(shù)據(jù)檢索的效率。

2)利用高精度的無人機空間定位和姿態(tài)信息建立視頻定位模型可以達到10 m級別的空間定位精度。

3)鐵路無人機視頻定位方法完成了無人機多媒體視頻數(shù)據(jù)的地理信息化，這種具有空間參考巡線視頻可以廣泛應用于鐵路勘察設計、施工管理、既有線周邊環(huán)境監(jiān)測等，大幅度提高了數(shù)據(jù)的利用率。