王海濤，洪　亮，張露林，余曉敏

(1. 中國(guó)地質(zhì)大學(xué)(武漢)國(guó)家地理信息系統(tǒng)工程技術(shù)研究中心，湖北 武漢 430074；2. 湖北省基礎(chǔ)地理信息中心(湖北省北斗衛(wèi)星導(dǎo)航應(yīng)用技術(shù)研究院)，湖北 武漢 430074)

?

低空數(shù)字航空攝影成果質(zhì)量檢查

王海濤1，2，洪亮1，2，張露林2，余曉敏2

(1. 中國(guó)地質(zhì)大學(xué)(武漢)國(guó)家地理信息系統(tǒng)工程技術(shù)研究中心，湖北 武漢 430074；2. 湖北省基礎(chǔ)地理信息中心(湖北省北斗衛(wèi)星導(dǎo)航應(yīng)用技術(shù)研究院)，湖北 武漢 430074)

針對(duì)低空航空攝影的特點(diǎn)，提出了使用GPS數(shù)據(jù)及SIFT算法實(shí)現(xiàn)其飛行質(zhì)量成果的自動(dòng)化檢查。對(duì)匹配的特征點(diǎn)使用相關(guān)系數(shù)、相對(duì)定向模型、投影幾何模型剔除匹配錯(cuò)誤，提高了匹配點(diǎn)準(zhǔn)確率，使得自動(dòng)化檢查具有高可靠性。使用LRM模型窗口尺寸可調(diào)節(jié)特性和均值-方差規(guī)定化的方法有效處理了外部攝影條件造成的影像色彩差異，使得提取和匹配的特征點(diǎn)均勻分布。通過(guò)對(duì)SIFT算法的特征提取的優(yōu)化及使用距離查找表的方法計(jì)算SIFT特征距離并利用多線程、多核編程技術(shù)(OpenMP)實(shí)現(xiàn)了質(zhì)量評(píng)定的高效處理。并對(duì)質(zhì)量評(píng)定成果采用直觀的可視化表達(dá)。

低空數(shù)字航空攝影；質(zhì)量檢查；勻光；SIFT；LRM

低空航空攝影以其低成本、機(jī)動(dòng)靈活等特點(diǎn)，已在測(cè)繪、規(guī)劃、國(guó)土、鐵路、水利等行業(yè)得到了廣泛應(yīng)用[1-6]，已成為獲取地理空間數(shù)據(jù)的一項(xiàng)重要手段。由于低空航空攝影系統(tǒng)在拍攝時(shí)受外部環(huán)境影響大[1-2]，拍攝的影像在重疊度、旋偏角等方面變化大，特別是受風(fēng)速影響，航帶間影像的旁向重疊度變化大， 這要求對(duì)其成果的質(zhì)量開(kāi)展客觀的評(píng)定，以保障為后期提供合格的地理空間數(shù)據(jù)。一般情況下低空航空攝影攜帶小面幅數(shù)碼相機(jī)攝影，獲取的影像數(shù)量大，質(zhì)量評(píng)定需要采用快速自動(dòng)化的手段。

低空航空攝影測(cè)量系統(tǒng)獲取的影像為框幅式數(shù)碼影像，與傳統(tǒng)的框幅式航空影像的質(zhì)量評(píng)定工作一致[7-10]，包括飛行質(zhì)量、影像質(zhì)量、數(shù)據(jù)質(zhì)量、附件質(zhì)量。本文探索飛行質(zhì)量的像片重疊度(航向和旁向)、旋偏角、航跡等質(zhì)量高效的自動(dòng)化檢查和檢查成果直觀可視化表達(dá)。

進(jìn)入數(shù)碼航空攝影時(shí)代[11]，常規(guī)航空攝影已廣泛使用POS(GNSS+IMU)技術(shù)[11-12]，但是低空航空攝影一般使用導(dǎo)航型GNSS技術(shù)，其飛行質(zhì)量的評(píng)定自動(dòng)化處理可利用GNSS數(shù)據(jù)來(lái)開(kāi)展。飛行質(zhì)量評(píng)定的工作量最大的環(huán)節(jié)在重疊度、旋偏角等檢查，可通過(guò)影像匹配同名點(diǎn)來(lái)實(shí)現(xiàn)自動(dòng)化處理。由于外部環(huán)境影響，影像間易出現(xiàn)大旋角(特別是航帶間影像)，影像匹配可采用尺度不變特征[13-14]算法實(shí)現(xiàn)，該算法廣泛用于低空航空攝影數(shù)據(jù)處理中[15-18]，對(duì)匹配的同名點(diǎn)使用相關(guān)系數(shù)[19]、相對(duì)定向模型[20-21]、投影幾何模型等剔除匹配錯(cuò)誤，使得自動(dòng)化檢查具有高可靠性。

SIFT匹配采用計(jì)算特征點(diǎn)描述算子的距離比來(lái)評(píng)估，快速計(jì)算有很多種，如CPU多核技術(shù)、GPU加速、FPGA硬件加速等[22-24]?？紤]降低對(duì)計(jì)算機(jī)設(shè)備的要求，在此對(duì)SIFT特征提取算法進(jìn)行改進(jìn)，并采用OpenMP多核技術(shù)與距離查找表技術(shù)提高計(jì)算速度。

重疊度等質(zhì)量的客觀評(píng)定要求匹配的同名點(diǎn)分布均勻。由于外部攝影條件的復(fù)雜性，影像色彩差異較大，這要求在提取特征點(diǎn)前進(jìn)行勻色處理。很多成熟的勻色算法，一般用于制作正射影像[25-27]，本文影像勻色是為了突出影像細(xì)部特征，使得提取的特征點(diǎn)分布均勻。本文利用Schowengerdt提出的LRM(localrangemodification)[28]模型處理影像色彩差異，使用均值-方差規(guī)定化的方法來(lái)對(duì)影像勻色[26]，并通過(guò)調(diào)整LRM窗口的尺寸來(lái)增強(qiáng)影像細(xì)部特征，使得提取的特征分布均勻。

自動(dòng)化是快速、有效的飛行質(zhì)量評(píng)定手段，質(zhì)量評(píng)定成果更需要有效的直觀表達(dá)，以便對(duì)成果開(kāi)展復(fù)查，本文采用影像透明疊加、質(zhì)量分布曲線等有效手段對(duì)檢查成果進(jìn)行直觀的視覺(jué)表達(dá)，便于直觀評(píng)價(jià)低空數(shù)字航空攝影成果飛行質(zhì)量。

一、檢查的基礎(chǔ)工作

低空航空攝影由于外部攝影條件的復(fù)雜性，獲取的影像在色彩上存在不同程度的差異(如圖1(a)所示)，在特征提取前需消除影像色彩差異，即勻光處理。航空影像勻光，一般用于制作正射影像[25-27]。本文影像勻光是為了突出影像細(xì)部特征，使得提取的特征點(diǎn)均勻分布，本文采用LRM[28]模型處理影像色彩差異，其具體思想是將影像分塊處理，計(jì)算每塊內(nèi)的影像參數(shù)，每個(gè)像素對(duì)應(yīng)的參數(shù)采用雙線性插值，每一塊的參數(shù)在此計(jì)算均值和方差來(lái)調(diào)整影像色調(diào)差異[26]，其原理是使待處理影像經(jīng)過(guò)線性變換后和目標(biāo)影像在最小二乘意義上差異最小。通過(guò)調(diào)節(jié)分塊尺寸來(lái)調(diào)節(jié)細(xì)部特征，尺寸越小細(xì)部特征越豐富(如圖1(b)、(c)所示)。原始影像由于色彩的差異使提取的特征點(diǎn)分布不均勻，而勻色后的影像提取的特征點(diǎn)分布均勻(如圖1(d)、(e)所示)。

圖1　色彩差異較大的影像勻色效果對(duì)比分析

二、檢查工作的開(kāi)展

1. 航帶的自動(dòng)建立

常規(guī)框幅航空攝影一般采用定點(diǎn)曝光的方式拍攝，而低空航空攝影一般使用等距離曝光的方式拍攝，這樣可減少風(fēng)速對(duì)攝影的影響(如圖2所示)。影像拍攝時(shí)記錄曝光時(shí)的位置坐標(biāo)及姿態(tài)信息?？紤]到攝影外部環(huán)境的影響，為保障無(wú)攝影漏洞，一般采用較大重疊度拍攝，這樣航帶間影像距離小于航帶間影像距離，因此利用影像間距離和飛行姿態(tài)這兩個(gè)條件自動(dòng)建立航帶關(guān)系[29]。

2. 影像方向統(tǒng)一化

低空航空攝影攜帶數(shù)碼相機(jī)攝影，考慮設(shè)備設(shè)計(jì)和性能的要求，相機(jī)擺放位置如圖3所示的4種關(guān)系，圖3(b)是相機(jī)擺放90°時(shí)拍攝的影像按照航帶順序擺放示意圖，不適合人眼觀測(cè)，需要將其處理為如圖3(c)所示的效果。

圖2　無(wú)人機(jī)航空攝影拍攝軌跡特點(diǎn)(等距曝光航帶間影像隨機(jī)對(duì)齊)

圖3　低空拍攝影像原始數(shù)據(jù)及方向規(guī)定化后的示意圖

本文采用自動(dòng)化處理(如圖4所示)，計(jì)算方法為：①以3張影像為一個(gè)單元將航帶分段；②相鄰影像匹配同名點(diǎn)；③以中間影像為基準(zhǔn)，計(jì)算相鄰影像中心點(diǎn)基準(zhǔn)影像下的坐標(biāo)并擬合直線，計(jì)算擬合直線與X軸的夾角來(lái)估算影像旋轉(zhuǎn)角(0°、90°、180°、270°)；④統(tǒng)計(jì)各段的影像旋轉(zhuǎn)角來(lái)估算整條航帶的旋角。

(1)

圖4　自動(dòng)計(jì)算旋轉(zhuǎn)角原理

3. 自動(dòng)化檢查

1) 影像關(guān)系的建立。影像關(guān)系指相鄰航帶間的對(duì)應(yīng)影像關(guān)系，用于航帶間影像的旁向重疊度的檢查。①航帶順序自動(dòng)排列。以航帶方向?yàn)閄軸建立笛卡爾坐標(biāo)系，將航帶與Y軸的交點(diǎn)坐標(biāo)按照從大到小的順序排列完成航帶順序自動(dòng)排列(如圖5(a)所示)。②航帶影像間對(duì)應(yīng)關(guān)系的建立依據(jù)排列航帶順序，依次計(jì)算航帶間影像對(duì)應(yīng)關(guān)系。

圖5　航帶間影像關(guān)系

2) 特征自動(dòng)匹配及錯(cuò)誤剔除。低空航空攝影影像因相機(jī)擺放位置的不同，影像間存在0°、90°、180°、270°等旋轉(zhuǎn)關(guān)系，另外由于風(fēng)速的影響還造成影像間其他角度的旋轉(zhuǎn)(如圖6所示)，因此本文采用SIFT算法來(lái)實(shí)現(xiàn)影像間質(zhì)量的自動(dòng)化檢查。經(jīng)過(guò)匹配的特征點(diǎn)存在錯(cuò)誤，需要剔除。本文SIFT特征匹配錯(cuò)誤剔除采用RANSAC算法[30]和相對(duì)定向模型[20-21]、投影變換模型(見(jiàn)式(1))來(lái)剔除錯(cuò)誤，在此之前使用影像間相關(guān)技術(shù)[19]對(duì)錯(cuò)誤點(diǎn)進(jìn)行檢查。

圖6　大旋角影像

4. 高效的自動(dòng)化處理

低空航空攝影獲取的影像數(shù)量較大，對(duì)其飛行質(zhì)量的評(píng)定需要采用高效的自動(dòng)化處理方法，本文使用影像金字塔、SITF特征提取優(yōu)化、距離查找表、多線程、CPU多核等技術(shù)提高處理效率。本文對(duì)某測(cè)區(qū)佳能5DMarkⅡ獲取18條航線1146張影像進(jìn)行測(cè)試，重疊度、旋偏角自動(dòng)化檢查21min完成。

1) 金字塔影像策略。為提高SIFT特征提取的效率和滿足快速可視化的需要，對(duì)原始影像進(jìn)行降分辨率的方式處理，在此采用最大邊為1000像素的方式縮小影像(見(jiàn)表1)。低空航空攝影常用的數(shù)碼相機(jī)包括佳能、索尼、尼康等，相機(jī)參數(shù)見(jiàn)表1，可知降低影像分辨率對(duì)重疊計(jì)算的影像誤差為0.1%，不影響對(duì)飛行質(zhì)量的評(píng)定。

表1　常用數(shù)碼相機(jī)使用縮小影像檢查重疊度誤差分析

2) SIFT特征提取優(yōu)化。SIFT極值點(diǎn)檢測(cè)時(shí)每一個(gè)像素點(diǎn)要與其所有的相鄰點(diǎn)比較，判斷其是否比它的圖像域和尺度域的相鄰點(diǎn)大或者小。如圖7所示，中間的檢測(cè)點(diǎn)與它同尺度的8個(gè)相鄰點(diǎn)和上下相鄰尺度對(duì)應(yīng)的9×2個(gè)點(diǎn)共26個(gè)點(diǎn)比較，以確保在尺度空間和二維圖像空間都檢測(cè)到極值點(diǎn)[13]。這樣檢測(cè)的數(shù)量較多，影響SIFT特征描述和匹配效率，因此本文采用較大范圍檢測(cè)極值點(diǎn)，如圖7所示，對(duì)每個(gè)像素在一定半徑內(nèi)檢測(cè)同尺度的相鄰點(diǎn)和上下相鄰尺度鄰點(diǎn)大或者小。

圖7　SIFT特征提取范圍分析

3) 距離計(jì)算查找表。SIFT的特征匹配計(jì)算，用特征間距離比值的方式匹配同名點(diǎn)，本文采用距離計(jì)算查找表的方式提高SIFT特征的計(jì)算速度。距離計(jì)算表的方式要求對(duì)SIFT特征的描述采用整數(shù)描述， 設(shè)特征的描述范圍為N， 計(jì)算查找表記錄(N-1)2，則SIFT特征的距離計(jì)算

4) 多核計(jì)算、多線程技術(shù)。影像金字塔處理、影像勻色、SIFT特征點(diǎn)提取采用多線程實(shí)現(xiàn)，SIFT特征點(diǎn)的距離計(jì)算采用多核技術(shù)(OpenMP)實(shí)現(xiàn)[31]。

三、成果可視化

自動(dòng)化手段實(shí)現(xiàn)了低空航空攝影相鄰影像間的飛行質(zhì)量檢查，為滿足測(cè)區(qū)整體評(píng)定的需要將自動(dòng)化檢查成果用圖表等方式加以更直觀的視覺(jué)表達(dá)，本文對(duì)飛行質(zhì)量的航向重疊度、旁向重疊度、航線彎曲等使用直觀可視化表達(dá)，如圖8—圖11所示。

圖8　航帶內(nèi)飛行質(zhì)量成果的可視化表達(dá)

圖9　航帶間飛行質(zhì)量成果的可視化表達(dá)

圖10　相鄰航帶間影像圖面質(zhì)量檢查

圖11　航攝飛行軌跡的質(zhì)量檢查

四、結(jié)束語(yǔ)

本文在充分分析低空航空攝影特點(diǎn)的基礎(chǔ)上，利用影像中心點(diǎn)的位置信息自動(dòng)恢復(fù)航線關(guān)系和建立航帶間影像關(guān)系。使用LRM模型和均值-方差規(guī)定化的方法有效處理了攝影條件造成的影像色差的差異，使提取和匹配的特征點(diǎn)分布更均勻。使用特征不變的SIFT算法實(shí)現(xiàn)低空航空攝影間影像的自動(dòng)匹配，并使用SIFT特征點(diǎn)主方向的方式計(jì)算特征點(diǎn)的相關(guān)系數(shù)剔除錯(cuò)誤點(diǎn)，同時(shí)使用相對(duì)定向模型、投影幾何模型進(jìn)一步剔除錯(cuò)誤點(diǎn)，提高了匹配點(diǎn)準(zhǔn)確率，使得自動(dòng)化檢查具有高可靠性。對(duì)SIFT特征點(diǎn)提取優(yōu)化為控制半徑的方式控制特征點(diǎn)的數(shù)量及使用距離查找表的方式提高提取和匹配速度，同時(shí)利用多線程、多核編程技術(shù)實(shí)現(xiàn)質(zhì)量評(píng)定的高效處理。對(duì)自動(dòng)化的成果采用直觀的可視化表達(dá)。本文方法已經(jīng)實(shí)現(xiàn)軟件程序的開(kāi)發(fā)，并已用于低空攝影成果的質(zhì)量檢查實(shí)際工作中。

[1]李德仁,李明. 無(wú)人機(jī)遙感系統(tǒng)的研究進(jìn)展與應(yīng)用前景[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2014, 39(5): 505-513.

[2]畢凱,李英成,丁曉波,等. 輕小型無(wú)人機(jī)航攝技術(shù)現(xiàn)狀及發(fā)展趨勢(shì)[J]. 測(cè)繪通報(bào), 2015(3): 27-31,48.

[3]周高偉,李英成,任延旭,等. 低空無(wú)人機(jī)雙介質(zhì)水下礁盤深度測(cè)量試驗(yàn)與分析[J]. 測(cè)繪學(xué)報(bào), 2015, 44(5): 548-554.

[4]楊青山,范彬彬,魏顯龍,等. 無(wú)人機(jī)攝影測(cè)量技術(shù)在新疆礦山儲(chǔ)量動(dòng)態(tài)監(jiān)測(cè)中的應(yīng)用[J]. 測(cè)繪通報(bào), 2015(5): 91-94.

[5]呂立蕾,張衛(wèi)兵,胡樹(shù)林,等. 低空無(wú)人機(jī)航攝系統(tǒng)在長(zhǎng)距離輸油(氣)管道[J]. 測(cè)繪通報(bào), 2013(4): 42-45.

[6]史華林. 無(wú)人機(jī)航測(cè)系統(tǒng)在公路帶狀地形測(cè)量中的應(yīng)用[J]. 測(cè)繪通報(bào), 2014(6): 60-62.

[7]低空數(shù)字航空攝影規(guī)范：CH/Z 3005—2010[S].北京：測(cè)繪出版社,2010.

[8]測(cè)繪成果質(zhì)量檢查與驗(yàn)收：GB/T 24356—2009[S].北京：測(cè)繪出版社,2009.

[9]航空攝影成果質(zhì)量檢驗(yàn)技術(shù)規(guī)程·第2部分：框幅式數(shù)字航空攝影：CH/T 1029.2—2013[M].北京：測(cè)繪出版社,2013.

[10]洪亮，王海濤，曹金山，等. 數(shù)字航空攝影成果質(zhì)量檢驗(yàn)方案[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2013, 38(23): 1172-1174.

[11]劉先林,鄒友峰，郭增長(zhǎng). 大面陣數(shù)字航空攝影原理與技術(shù)[M].鄭州：河南科學(xué)技術(shù)出版社,2013.

[12]李學(xué)友. IMU/DGPS輔助航空攝影測(cè)量原理、方法及實(shí)踐[D].鄭州：解放軍信息工程大學(xué)，2005.

[13]LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J].Internation Journal of Computer Vision,2004,60(2):91-110.

[14]BAY H, TUYTELAARS T, VAN GOOL L. SURF: Speeded Up Robust Features[C]∥Computer Vision-ECCV 2006.Berlin:Springer-Verlag,2006：404-417.

[15]徐秋輝,佘江峰,宋曉群,等. 利用Harris-Laplace和SIFT描述子進(jìn)行低空遙感影像匹配[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2012, 37(12): 1443-1447.

[16]胡同喜,牛雪峰,譚洋,等. 基于SURF算法的無(wú)人機(jī)遙感影像拼接技術(shù)[J]. 測(cè)繪通報(bào), 2015(1): 55-58.

[17]劉如飛,盧秀山,劉冰,等. 無(wú)人機(jī)航攝影像快速拼接方法改進(jìn)[J]. 測(cè)繪通報(bào), 2014(2): 46-49.

[18]解斐斐,林宗堅(jiān),桂德竹.基于SIFT的UAV載組合寬角相機(jī)影像匹配方法[J].吉林大學(xué)學(xué)報(bào)(信息科學(xué)版), 2014, 32(1):56-63.

[19]賈博,姜挺,郭麗,等.SIFT和相關(guān)系數(shù)在嫦娥一號(hào)月球影像匹配中的應(yīng)用[J].測(cè)繪科學(xué)技術(shù)學(xué)報(bào)，2009,26(5):363-366.

[20]張永軍，張勇. 大重疊度影像的相對(duì)定向與前方交會(huì)精度分析[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2005, 30(2): 126-130.

[21]陸玨,陳義, 鄭波.多基線近景攝影測(cè)量連續(xù)像對(duì)相對(duì)定向[J]. 同濟(jì)大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,38(3):442-447.

[22]KIM J,PARK E,CUI Xuenan，et al.A Fast Feature Extraction in Object Recognition Using Parallel Processing on CPU and GPU[C]∥Proceedings of the 2009 IEEE International Conference on Systems, Man, and Cybernetics. San Antonio, TX：IEEE，2009.

[23]韓龍,郭立,李玉云.SIFT算法的并行實(shí)現(xiàn)及應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用, 2010,46(20):56-59.

[24]CHANGL,HERNNDEZ-PALANCARJ,SUCARLE，etal.FPGA-basedDetectionofSIFTInterestKeypoints[J].MachineVisionandApplications,2013(24):371-392.

[25]袁修孝,韓宇韜,方毅.改進(jìn)的航攝影像Mask勻光算法[J].遙感學(xué)報(bào),2014,18(3):630-641.

[26]DuY,CIHLARJ,BEAUBIENJ,etal.RadiometricNormalization,Compositing,andQualityControlforSatelliteHighResolutionImageMosaicsoverLargeAreas[J].IEEETransactionsonGeoscienceandRemoteSensing，2001，39(3), 623-634.

[27]李德仁，王密，潘俊. 光學(xué)遙感影像的自動(dòng)勻光處理及應(yīng)用[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2006, 31(9): 753-756.

[28]SCHOWENGERDTRA.RemoteSensing：ModelsandMethodsforImageProcessing[M].2ed.SanDiego：[s.n.]，1997:202-219.

[29]何海清. 低空攝影測(cè)量航帶重構(gòu)及數(shù)據(jù)處理方法研究[J].測(cè)繪學(xué)報(bào), 2014, 43(4): 440-440.

[30]FISCHLERMA，BOLLESRC.RandomSampleConsensus:AParadigmforModelFittingwithApplicationstoImageAnalysisandAutomatedCartography[J].CommunicationsoftheACM, 1981，24(6): 381-395.

[31]QUINNMJ.ParallelProgramminginCwithMPIandOpenMP[M].[S.l.]：McGraw-HillInc，2004.

Quality Inspection Technology for Low-altitude Digital Aerial Photography

WANG Haitao，HONG Liang，ZHANG Lulin，YU Xiaomin

2015-10-14；

2015-12-22

國(guó)家863計(jì)劃(2013AA122104)；測(cè)繪地理信息公益性行業(yè)科研專項(xiàng)(201512012)；地理國(guó)情監(jiān)測(cè)國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室2104年開(kāi)放基金(2014NGCM19)；數(shù)字制圖與國(guó)土信息應(yīng)用工程國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室開(kāi)放研究基金(GCWD201410)

王海濤(1976—)，男，博士生，高級(jí)工程師，主要研究方向攝影測(cè)量與計(jì)算機(jī)視覺(jué)。E-mail：306550575@qq.com

P237

B

0494-0911(2016)08-0010-05

引文格式：王海濤，洪亮，張露林，等.低空數(shù)字航空攝影成果質(zhì)量檢查[J].測(cè)繪通報(bào)，2016(8)：10-14.DOI:10.13474/j.cnki.11-2246.2016.0246.