劉國(guó)光，武志瑋，劉 鑫，李海鵬

（中國(guó)民航大學(xué)機(jī)場(chǎng)學(xué)院，天津 300300）

基于三維坐標(biāo)轉(zhuǎn)換的道面圖像還原技術(shù)與試驗(yàn)

劉國(guó)光，武志瑋，劉 鑫，李海鵬

（中國(guó)民航大學(xué)機(jī)場(chǎng)學(xué)院，天津 300300）

機(jī)場(chǎng)道面圖像采集中存在數(shù)字圖像失真問題，造成道面圖像拼接和損傷識(shí)別困難。針對(duì)此問題，研究了相機(jī)小孔成像原理，將整體坐標(biāo)系原點(diǎn)設(shè)置在道面上、局部坐標(biāo)系原點(diǎn)設(shè)置在數(shù)字圖像上。通過三維坐標(biāo)轉(zhuǎn)換公式，將數(shù)字圖像關(guān)鍵角點(diǎn)在局部坐標(biāo)系中的坐標(biāo)轉(zhuǎn)換為整體坐標(biāo)系下的坐標(biāo)，從而得到真實(shí)道面板數(shù)字圖像，進(jìn)而將不同道面板數(shù)字圖像拼接得到更大范圍的真實(shí)道面數(shù)字圖像。為驗(yàn)證該理論可靠性，進(jìn)行了室外對(duì)比試驗(yàn)，將A0號(hào)白紙作為模擬道面板，白紙接縫處粘結(jié)并涂黑色模擬嵌縫料，模擬道面上設(shè)置若干道面損傷，利用相機(jī)進(jìn)行不同角度道面圖像采集。結(jié)果表明，該方法還原跑道道面圖像能力較好，有助于道面板損壞狀況的智能評(píng)價(jià)技術(shù)研究及應(yīng)用。

道路工程；圖像失真；圖像還原；坐標(biāo)轉(zhuǎn)換

道面圖像采集是進(jìn)行道面智能評(píng)價(jià)的重要技術(shù)手段。但實(shí)際工作中，檢測(cè)人員難以從道面板正上方拍攝得到道面板的正視圖。因而常通過某些隨機(jī)角度和高度對(duì)道面板損壞狀況進(jìn)行圖像采集，得到的數(shù)字圖像受相機(jī)成像機(jī)理限制往往存在圖像畸變，進(jìn)而造成了道面智能評(píng)價(jià)的困難。近年來，國(guó)內(nèi)多個(gè)行業(yè)均出現(xiàn)了圖像還原校正分析技術(shù)的應(yīng)用實(shí)例，然而對(duì)于機(jī)場(chǎng)道面、橋梁道面板、國(guó)家高級(jí)公路并未出現(xiàn)圖像還原校正分析的報(bào)道，而采用人工現(xiàn)場(chǎng)分析進(jìn)行道面板修復(fù)。

交通行業(yè)利用Radon變換實(shí)現(xiàn)了傾斜車牌圖像校正的應(yīng)用，實(shí)現(xiàn)了對(duì)傾斜、有污點(diǎn)、光照不均勻，車牌邊框不清晰等現(xiàn)象下的車牌校正[1]，利用擴(kuò)展兩步法實(shí)現(xiàn)針對(duì)交通事故視頻降低噪音影響，達(dá)到了交通事故快速處理的效果[2]。印刷行業(yè)針對(duì)PCB電路板圖像校正，提升了PCB彩色掃描機(jī)視覺系統(tǒng)的圖像質(zhì)量和系統(tǒng)穩(wěn)定性[3]。焊接行業(yè)利用圖像傅里葉變換實(shí)現(xiàn)了對(duì)熔池圖像的特征加強(qiáng)，并利用傅里葉逆變換實(shí)現(xiàn)了熔池圖像的圖像分割和邊緣檢測(cè)[4]。

土木行業(yè)利用混凝土CT圖像的幾何校正，實(shí)現(xiàn)了對(duì)混凝土內(nèi)細(xì)觀裂縫的提取[5]。曾吉勇提出了一種無需標(biāo)定相機(jī)的立體圖像校正方法，從基本矩陣計(jì)算初始透視投影、旋轉(zhuǎn)和豎直平移變換矩陣，然后以對(duì)應(yīng)點(diǎn)坐標(biāo)為基礎(chǔ)對(duì)這些變換矩陣進(jìn)行優(yōu)化計(jì)算[6]。然而由于道面尺寸的不規(guī)則性，使得圖像校正識(shí)別技術(shù)在道路工程領(lǐng)域研究尚不深入。

本文研究了基于三維坐標(biāo)轉(zhuǎn)換的圖像還原方法，結(jié)合機(jī)場(chǎng)跑道道面板尺寸規(guī)則的特性，進(jìn)行了室外模型試驗(yàn)，驗(yàn)證了理論方法的可行性和可靠性，為相關(guān)技術(shù)研究拋磚引玉。

1 數(shù)字圖像成像機(jī)理

1.1 模型假設(shè)

假設(shè)道面板為一平面，鏡頭組為凸透鏡、凹透鏡等鏡頭的組合。為簡(jiǎn)化模型，將鏡頭組簡(jiǎn)化為小孔，即將單反相機(jī)的成像原理簡(jiǎn)化為小孔成像原理，如圖1所示。

1.2 模型的算法

圖2為道面板的小孔成像原理圖。ABCO平面為道面板的實(shí)際平面，平面ABCO經(jīng)過小孔D成像，成像圖為面A′B′C′O′，則圖像還原的目的即是通過坐標(biāo)轉(zhuǎn)換將空間中平面A′B′C′O′還原為平面ABCO，因圖為四邊形，則取其角點(diǎn)為關(guān)鍵點(diǎn)進(jìn)行還原，最終目的為將空間中點(diǎn)A的坐標(biāo)轉(zhuǎn)換為點(diǎn)A′的坐標(biāo)，點(diǎn)B的坐標(biāo)轉(zhuǎn)換為點(diǎn)B′的坐標(biāo)，點(diǎn)C的坐標(biāo)轉(zhuǎn)換為點(diǎn)C′的坐標(biāo)，點(diǎn)O的坐標(biāo)轉(zhuǎn)換為點(diǎn)O′的坐標(biāo)，已知條件，D點(diǎn)在坐標(biāo)系XYZ中的坐標(biāo)，設(shè)其坐標(biāo)為（a，b，c），且已知點(diǎn)O′的坐標(biāo)為（a1，b1，c1）。

圖2 道面板圖像采集的小孔成像原理Fig.2 Pinhole imaging mechanism of pavement plate image capture

首先對(duì)所得圖片進(jìn)行處理，由于小孔成像中所稱像為倒立的，而實(shí)際中由于單反相機(jī)的成像原理所得的照片為正立的，因此在處理圖片之前，先將圖片進(jìn)行旋轉(zhuǎn)180°處理，處理之后建立局部坐標(biāo)系，如圖2道面板的小孔成像原理中，以坐標(biāo)系XYZ的原點(diǎn)O經(jīng)小孔成像所得的O′點(diǎn)為局部坐標(biāo)的坐標(biāo)原點(diǎn)，O′A′所在直線為O′Y′軸，C′O′所在直線為O′X′軸，經(jīng)過O′點(diǎn)且同時(shí)垂直于O′X′軸與O′Y′軸的直線為O′Z′軸。至此建立起圖片的局部坐標(biāo)，通過圖片處理工具可以分別得到圖片中A′、B′、C′、O′各點(diǎn)的坐標(biāo)，接下來研究局部坐標(biāo)系與整體坐標(biāo)系之間的轉(zhuǎn)化。

2 基于三維坐標(biāo)轉(zhuǎn)換的圖像還原技術(shù)

設(shè)有兩個(gè)空間直角坐標(biāo)系分別為OXYZ和O′X′Y′Z′，其坐標(biāo)系原點(diǎn)不一致，如圖3所示。存在3個(gè)平移參數(shù)ΔX、ΔY、ΔZ；它們間的坐標(biāo)軸也相互不平行，存在3個(gè)旋轉(zhuǎn)參數(shù)α、β、γ。同一點(diǎn)A在兩個(gè)坐標(biāo)系中的坐標(biāo)分別為（X，Y，Z）和（X′，Y′，Z′）。

若以坐標(biāo)系的3個(gè)坐標(biāo)軸XYZ分別作為旋轉(zhuǎn)軸，則點(diǎn)實(shí)際上只在垂直坐標(biāo)軸的平面上作二維旋轉(zhuǎn)。此時(shí)用二維旋轉(zhuǎn)公式就可以直接推出三維旋轉(zhuǎn)變換矩陣。規(guī)定在右手坐標(biāo)系中，物體旋轉(zhuǎn)的正方向是右手螺旋方向，即從該軸正半軸向原點(diǎn)看是逆時(shí)針方向。則這兩個(gè)坐標(biāo)通過坐標(biāo)軸的平移和旋轉(zhuǎn)變換可取為一致，坐標(biāo)間的轉(zhuǎn)換關(guān)系為

圖3 整體坐標(biāo)系和局部坐標(biāo)系Fig.3 Global and local coordinate systems

其中：λ為兩個(gè)坐標(biāo)系間的尺度比例因子，繞X軸旋轉(zhuǎn)α，繞Y軸旋轉(zhuǎn)β，繞Z軸旋轉(zhuǎn)γ則

其中：R為旋轉(zhuǎn)矩陣，[ΔX，ΔY，ΔZ]T為平移矩陣，于是，只要求出ΔX，ΔY，ΔZ，α、β、γ，λ這7個(gè)轉(zhuǎn)換參數(shù)，或者直接求出旋轉(zhuǎn)矩陣和平移矩陣，就可以實(shí)現(xiàn)兩個(gè)坐標(biāo)之間的轉(zhuǎn)換，對(duì)于實(shí)際情況，通過測(cè)量可以得到ΔX，ΔY，ΔZ，α、β、γ的值，但不是很精確，而對(duì)于λ的值，理論上圖片尺寸與實(shí)際道面板尺寸有比例關(guān)系，通過比例計(jì)算方法來得到道面的坐標(biāo)，故對(duì)于該論文中λ的值取1，初始狀態(tài)通過測(cè)定坐標(biāo)來確定坐標(biāo)轉(zhuǎn)換所需的數(shù)據(jù)。即（X，Y，Z）即為所得到的采集圖像中的點(diǎn)在整體直角坐標(biāo)系中的坐標(biāo)。

至此，已完成局部坐標(biāo)中圖片關(guān)鍵點(diǎn)坐標(biāo)轉(zhuǎn)換為整體坐標(biāo)中的坐標(biāo)。對(duì)于圖2中，已知點(diǎn)A′，B′，C′，O′，D在整體坐標(biāo)中的坐標(biāo)，根據(jù)空間直角坐標(biāo)系的知識(shí)可以解得點(diǎn)A，B，C，O在空間直角坐標(biāo)系中的坐標(biāo)，先根據(jù)坐標(biāo)可以分別計(jì)算出空間直線A′D，O′D， B′D，C′D的方程，通過分別計(jì)算直線A′D，O′D，B′D，C′D與平面XOY的交點(diǎn)，即可得到整體坐標(biāo)系下點(diǎn)A，B，C，O的坐標(biāo)。即實(shí)現(xiàn)了圖片A′B′C′O′向?qū)嶋H道面板ABCO的還原。

通過上述得到采集圖像的一點(diǎn)在空間直角坐標(biāo)系中的坐標(biāo)為（X，Y，Z），且已知小孔點(diǎn)D的坐標(biāo)為（a，b，c）。即可得經(jīng)過該兩點(diǎn)的空間直線的方程，即

利用MATLAB編程實(shí)現(xiàn)局部坐標(biāo)系中點(diǎn)的坐標(biāo)與整體坐標(biāo)系中點(diǎn)的坐標(biāo)的轉(zhuǎn)換，并求得采集圖像中點(diǎn)的坐標(biāo)向?qū)嶋H道面點(diǎn)的坐標(biāo)還原，即實(shí)現(xiàn)圖片斜視圖向俯視圖的轉(zhuǎn)換。

3 室外道面板采集實(shí)驗(yàn)

在室外進(jìn)行道面圖片的采集工作，由于該方法只是利用關(guān)鍵的角點(diǎn)對(duì)圖像進(jìn)行還原，相當(dāng)于采用線性拉伸的方法對(duì)圖片進(jìn)行處理，并未考慮相機(jī)的非線性等因素且在實(shí)際的應(yīng)用過程中，由于鏡頭的中心及圖像底片的位置很難精確的求出，故需要對(duì)假設(shè)中的小孔及局部坐標(biāo)系的原點(diǎn)在整體坐標(biāo)系中的坐標(biāo)進(jìn)行標(biāo)定。小孔的Y坐標(biāo)一般取0，故只需標(biāo)定X，Z坐標(biāo)。因標(biāo)定主要確定焦點(diǎn)與圖像底片的相對(duì)位置，故圖像底片在整體坐標(biāo)系的坐標(biāo)無需完全準(zhǔn)確，只要保證拍照焦距不變的情況下圖像底片固定的點(diǎn)相同即可，則感光元件下邊緣中點(diǎn)固定為局部坐標(biāo)系的坐標(biāo)原點(diǎn)，且將該點(diǎn)在整體坐標(biāo)系中的坐標(biāo)視為局部坐標(biāo)系下坐標(biāo)原點(diǎn)與之對(duì)應(yīng)的坐標(biāo)。所以通過測(cè)得多組圖像來標(biāo)定小孔D的坐標(biāo)。通過測(cè)得多組照片的數(shù)據(jù)來尋找其之間的規(guī)律，便于以后方便的通過相機(jī)拍照的方式得到真實(shí)的道面的損壞狀況，如圖4所示。

圖4 改變鏡頭和角度Fig.4 Changes of camera height and angle

取道面橫向邊緣中心點(diǎn)為整體坐標(biāo)的原點(diǎn)，邊緣橫向所在直線為整體坐標(biāo)的X軸，垂直于橫向的縱向?yàn)檎w坐標(biāo)Y軸，垂直XY平面的為Z軸，如圖5所示。根據(jù)小孔成像原理，所成像為倒立的像，而實(shí)際相機(jī)拍照過程中，由于相機(jī)的成像機(jī)理，所成像為正立的，所以在進(jìn)行還原前，將所得圖像旋轉(zhuǎn)180°。

圖5 道面整體圖像和局部坐標(biāo)系Fig.5 Global image and local coordinate of pavement

由圖4可知，改變相機(jī)的高度和采集角度可獲得道面板數(shù)字圖像，但圖像失真問題在圖5所示的道面整體圖像更顯著。利用前述坐標(biāo)轉(zhuǎn)換方法，可實(shí)現(xiàn)道面板圖像的幾何糾偏，如圖6～圖8所示。

圖6 道面板采集圖像1及其還原圖像Fig.6 CapturedimageandreproducedimageofpavementslabNo.1

圖7 道面板采集圖像2及其還原圖像Fig.7 CapturedimageandreproducedimageofpavementslabNo.2

圖8 道面板采集圖像3及其還原圖像Fig.8 CapturedimageandreproducedimageofpavementslabNo.3

可見，不同相機(jī)高度和角度采集到的不同道面板帶損傷圖像均存在不同程度的失真，經(jīng)坐標(biāo)轉(zhuǎn)換后均得到了較好的圖像還原結(jié)果。將所得各還原圖像拼接后，得到還原后的道面整體圖像，如圖9所示。

圖9 還原后的道面整體圖像Fig.9 Global pavement image after reproduction

4 結(jié)語(yǔ)

1）通過處理采集的道面圖片，得到圖像關(guān)鍵角點(diǎn)在局部坐標(biāo)系中的坐標(biāo)，標(biāo)定小孔及圖像底片的坐標(biāo)，可有效解決道面檢測(cè)過程中無法識(shí)別道面損壞狀況真實(shí)形狀的問題。

2）通過三維坐標(biāo)轉(zhuǎn)化方法，得到關(guān)鍵角點(diǎn)在整體坐標(biāo)系中的坐標(biāo)，最終求解空間直線與空間平面交點(diǎn)的坐標(biāo)，從而還原圖片中道面板在整體坐標(biāo)系下的真實(shí)形狀。

3）三維坐標(biāo)轉(zhuǎn)化方法能有效解決道面評(píng)價(jià)中對(duì)損壞狀況智能識(shí)別問題，有利于提高道面狀況評(píng)價(jià)效率。

[1]貢麗霞,白艷萍.Radon變換在傾斜車牌圖像校正中的應(yīng)用[J].測(cè)試技術(shù)學(xué)報(bào),2009,23(5):452-456.

[2]唐陽(yáng)山,李 江.交通事故攝影測(cè)量中相機(jī)標(biāo)定的擴(kuò)展兩步法[J].交通運(yùn)輸工程學(xué)報(bào),2007,7(1):81-84.

[3]陳鎮(zhèn)龍,葉玉堂.應(yīng)用于彩色線掃描機(jī)器視覺系統(tǒng)的圖像校正方法[J].光學(xué)學(xué)報(bào),2013,33(7):1-7.

[4]高向東,趙傳敏,白天翔,等.傅立葉變換在熔池圖像特征提取中的應(yīng)用[J].焊接學(xué)報(bào),2008,29(8):13-18.

[5]丁衛(wèi)華,雷 曼,郭 銳.混凝土CT圖像的幾何校正[J].CT理論與應(yīng)用研究,2012,21(2):255-261.

[6]曾吉勇,蘇顯渝.一種無相機(jī)標(biāo)定的立體圖像對(duì)校正新方法[J].光學(xué)學(xué)報(bào),2004,5(24):628-632.

（責(zé)任編輯：黃 月）

Theoretical and experimental investigation on road image reproduction based on 3D coordinate transformation

LIU Guoguang,WU Zhiwei,LIU Xin,LI Haipeng
（College of Airport Engineering,CAUC,Tianjin 300300,China）

Numerical image distortion is a significant problem during image capture of airport pavement,leading to difficulties in image connection and damage identification.To solve this problem,pinhole imaging theory of camera is studied,by which the original point of global coordinate system is set on pavement and the original point of local coordinate system is set on numerical image.By 3D coordinate transformation formula,the key corner point coordinates of numerical image in local coordinate system is transferred to the coordinates of global coordinate system,and then the actual numerical image of pavement plate could be achieved and the actual numerical image of pavement in larger scale could be obtained by connecting numerical images of different pavement plates.Outdoor test is conducted in order to evaluate the theoretical reliability.In the test,white pieces of paper in A0 size are used to simulate pavement plate,and the connections of them are painted in black to simulate sealing material. Different pavement damages are set on the simulated plate,and camera is used to capture pavement images from different angles.Results show that the image reproducting ability of runway pavement image is good by this method,which could be used in the application and research of intelligent evaluation technology of pavement damage condition.

road engineering;image distortion;image reproduction;coordinate transformation

V351

：A

：1674－5590（2016）06－0047－04

2015-10-18；

：2016-01-06

：國(guó)家自然科學(xué)基金項(xiàng)目（51178456）；中國(guó)民用航空局科技基金項(xiàng)目（MHRD201230）；中國(guó)民航大學(xué)青年骨干教師項(xiàng)目（10700222）；中國(guó)民航大學(xué)教育教學(xué)研究課題（CAUC-ETRN-2015-42）

劉國(guó)光（1980—），男，遼寧朝陽(yáng)人，講師，碩士，研究方向?yàn)闄C(jī)場(chǎng)工程.