林火鍛 張志林

摘要：在應(yīng)急救援中，需要快速了解和掌握搜救區(qū)域的實(shí)際情況。本研究提出了一套基于無(wú)人機(jī)系統(tǒng)快速獲取搜救區(qū)域正射影像的處理流程和方法，通過(guò)影像序貫平差、基于CPU-GPU異構(gòu)并行的正射糾正以及影像快速拼接，得到搜救區(qū)域無(wú)明顯拼接縫的正射影像。

關(guān)鍵詞：無(wú)人機(jī);序貫平差;正射糾正;影像拼接

中圖分類號(hào)：P231?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：0439-8114（2020）07-0204-03

DOI：10.14088/j.cnki.issn0439-8114.2020.07.042

Abstract： In the emergency rescue，it is necessary to quickly understand the actual situation of the search and rescue region. A fast approach for ortho image generation of the search and rescue region based on unmanned aerial vehicle system was put forward，through image sequential adjustment，ortho rectification based on CPU-GPU，and fast image mosaic，ortho image of the search and rescue region without-obvious seam-line was obtained.

Key words： unmanned aerial vehicle; sequential adjustment; ortho rectification; image mosaic

無(wú)人機(jī)系統(tǒng)具有實(shí)時(shí)性強(qiáng)、機(jī)動(dòng)靈活、受天氣影響小、使用成本低廉等優(yōu)點(diǎn)，且可以在高危地區(qū)作業(yè)，非常適合于各種自然災(zāi)害和傷員的救援工作。由于無(wú)人機(jī)搜救與傳統(tǒng)人力、通用有人航空飛機(jī)方式相比具有突出的優(yōu)勢(shì)，近年來(lái)國(guó)內(nèi)外出現(xiàn)了一些無(wú)人機(jī)搜救系統(tǒng)，并逐漸應(yīng)用于應(yīng)急救援中。美國(guó)的快速醫(yī)療兵“影子無(wú)人機(jī)”，采用交互式傷員搜尋模式，可對(duì)傷員進(jìn)行精確定位;韓國(guó)的Camcopter S-100無(wú)人機(jī)系統(tǒng)可以進(jìn)行實(shí)時(shí)空中監(jiān)測(cè)，獲取災(zāi)區(qū)的實(shí)景影像圖并搜尋傷員[1]，中國(guó)航天科工集團(tuán)研制的搜救機(jī)器人，可利用定位搜救，通過(guò)交互的方式搜索傷員。在應(yīng)急救援中，搜救區(qū)域?qū)嵕坝跋駡D的獲取能夠使救援人員迅速了解和掌握搜救區(qū)域的地形地貌，科學(xué)組織傷員的搜尋和運(yùn)送工作，這對(duì)復(fù)雜環(huán)境下的應(yīng)急救援工作具有重大意義?，F(xiàn)有的無(wú)人機(jī)搜救系統(tǒng)在這方面略顯不足，不能高效、及時(shí)地獲取具備地理定位信息的搜救區(qū)實(shí)景影像圖，影響了應(yīng)急救援指揮工作。針對(duì)這一問(wèn)題，本研究提出一套快速獲取搜救區(qū)域正射影像的處理流程和方法。

正射影像改正了由像片傾斜以及地形起伏引起的投影差，同時(shí)具有地圖的幾何精度和影像視覺(jué)特征，已成為地理信息系統(tǒng)數(shù)據(jù)庫(kù)中的重要組成部分[2]，廣泛應(yīng)用于地形測(cè)繪、環(huán)境保護(hù)、應(yīng)急救援、災(zāi)害監(jiān)測(cè)與災(zāi)情評(píng)估等眾多領(lǐng)域。通過(guò)無(wú)人機(jī)系統(tǒng)快速獲取具備定位信息的正射影像，可作為搜救工作的地理底圖，用于發(fā)現(xiàn)傷員并定位傷員地理位置。

1?無(wú)人機(jī)正射影像快速獲取基本框架

近年來(lái)，國(guó)內(nèi)外的一些商業(yè)軟件都支持無(wú)人機(jī)數(shù)據(jù)的快速處理，比較典型的有像素工廠（Pixel Factory）、INPHO、Pix4D Mapper和Pixel Grid。然而，這些系統(tǒng)所依賴的硬件平臺(tái)成本昂貴、軟件開(kāi)發(fā)過(guò)程復(fù)雜，無(wú)法滿足多數(shù)通用硬件平臺(tái)的要求，且無(wú)法滿足應(yīng)急測(cè)繪對(duì)移動(dòng)性的要求。本研究提出的無(wú)人機(jī)正射影像快速獲取系統(tǒng)的基本框架如圖1所示。

無(wú)人機(jī)正射影像快速獲取系統(tǒng)主要由無(wú)人機(jī)遙感平臺(tái)、無(wú)人機(jī)有效載荷和地面處理系統(tǒng)3個(gè)部分組成。利用無(wú)人機(jī)搭載光學(xué)成像設(shè)備、定位測(cè)姿系統(tǒng)（Position and Orientation System，POS）等，按照飛行路線規(guī)劃，對(duì)任務(wù)區(qū)域進(jìn)行序列成像，對(duì)獲取的數(shù)據(jù)進(jìn)行在線處理，或回傳至地面處理系統(tǒng)進(jìn)行處理;通過(guò)對(duì)影像連接點(diǎn)進(jìn)行提取與匹配，進(jìn)而實(shí)施光束法平差，求解拍攝時(shí)刻影像的外方位元素;利用已有的地面高程模型數(shù)據(jù)，或通過(guò)光束法平差時(shí)求解地面點(diǎn)進(jìn)行內(nèi)插得到地面高程模型，對(duì)影像進(jìn)行正射糾正，得到單張正射影像;對(duì)得到的正射影像進(jìn)行無(wú)縫拼接，獲取任務(wù)區(qū)域的正射影像。

2?無(wú)人機(jī)正射影像快速獲取的關(guān)鍵技術(shù)

從無(wú)人機(jī)影像的獲取到最后正射影像的輸出是一個(gè)連續(xù)緊密的過(guò)程，中間涉及影像空中三角測(cè)量、正射糾正、影像拼接等多個(gè)關(guān)鍵步驟。下面將對(duì)無(wú)人機(jī)正射影像快速獲取過(guò)程中的幾項(xiàng)關(guān)鍵技術(shù)進(jìn)行分析，并提出相應(yīng)的解決方案。

2.1?影像序貫平差

在應(yīng)急響應(yīng)情況下，需要無(wú)人機(jī)動(dòng)態(tài)獲取影像數(shù)據(jù)，同時(shí)對(duì)影像數(shù)據(jù)進(jìn)行實(shí)時(shí)或近實(shí)時(shí)處理，得到地球參考坐標(biāo)系下的DSM和正射影像[3，4]。而在災(zāi)害救援等情況下，依靠地面布設(shè)控制點(diǎn)的方法是行不通的，在無(wú)人機(jī)上安裝輕巧型POS系統(tǒng)獲取曝光時(shí)刻相機(jī)的空間位置和姿態(tài)數(shù)據(jù)進(jìn)行直接定位是一種解決方案。但已有試驗(yàn)表明，直接利用POS系統(tǒng)獲取的影像外方位元素進(jìn)行立體測(cè)繪，其精度特別是高程精度難以滿足大比例尺地形測(cè)圖的精度要求，因此需聯(lián)合POS系統(tǒng)測(cè)定的影像外方位元素和觀測(cè)值像點(diǎn)觀測(cè)值進(jìn)行平差計(jì)算（POS輔助光束法區(qū)域網(wǎng)平差）以提高精度[5]，這是一種數(shù)據(jù)后處理提高精度的方法，并不滿足應(yīng)急情況下的需求。為實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)或近實(shí)時(shí)的處理，就必須采用一種序貫處理的思路改進(jìn)POS輔助空中三角測(cè)量。無(wú)人機(jī)影像序貫平差以時(shí)間和精度的平衡為原則，解決了應(yīng)急條件下對(duì)動(dòng)態(tài)獲取無(wú)人機(jī)影像進(jìn)行快速平差的問(wèn)題。

圖2為無(wú)人機(jī)影像外方位元素高精度實(shí)時(shí)賦值的全過(guò)程。當(dāng)獲得新的影像后，采用序貫平差的方法進(jìn)行處理，不僅要更新當(dāng)前影像的外方位元素，還要更新之前影像的外方位元素。序貫平差處理憑借對(duì)數(shù)據(jù)間相關(guān)信息的挖掘和平差信息的重復(fù)利用[6]，實(shí)現(xiàn)了比POS輔助光束法區(qū)域網(wǎng)平差更快的速度。

無(wú)人機(jī)影像序貫實(shí)時(shí)平差的方案分為2個(gè)階段。首先是初始化階段，對(duì)一定數(shù)量的影像進(jìn)行POS輔助空中三角測(cè)量;然后是序貫平差階段，計(jì)算與新影像相關(guān)的已經(jīng)平差的影像，新影像與其相關(guān)影像一起序貫平差。

2.2?基于CPU-GPU異構(gòu)并行的影像正射糾正

在獲取影像的位置和姿態(tài)信息后，就可以利用數(shù)字高程模型對(duì)影像進(jìn)行糾正，獲取帶定位信息的正射影像。在應(yīng)急響應(yīng)條件下，數(shù)字高程模型可通過(guò)2個(gè)途徑來(lái)獲取，一是利用測(cè)區(qū)已有的數(shù)字高程模型;二是利用上述序貫平差時(shí)獲得的物方點(diǎn)坐標(biāo)進(jìn)行內(nèi)插，得到數(shù)字高程模型。目前，全國(guó)大部分地區(qū)已進(jìn)行了1∶500 00地形圖的覆蓋和定期更新，甚至更大比例尺的地形圖數(shù)據(jù)覆蓋。全球30 m甚至更高分辨率的數(shù)字高程模型也已公開(kāi)。通常，地球表面地形的變化不大，在應(yīng)急條件下，可調(diào)用這些數(shù)據(jù)進(jìn)行處理。

近年來(lái)，并行處理技術(shù)的出現(xiàn)使得計(jì)算機(jī)程序運(yùn)行效率大大提升。單單利用CPU并行，效率的提升并不顯著。隨著可編程GPU構(gòu)架的出現(xiàn)，充分發(fā)揮兩者特點(diǎn)的CPU-GPU異構(gòu)并行方式成為研究的熱點(diǎn)。GPU計(jì)算能力的不斷提升，使得CPU-GPU異構(gòu)并行的小型化系統(tǒng)具備與以往大規(guī)模集群系統(tǒng)相媲美的計(jì)算能力，非常適合于對(duì)小型化、移動(dòng)化要求高的應(yīng)急場(chǎng)合。

正射糾正的主要計(jì)算任務(wù)是坐標(biāo)變換系數(shù)的求解和灰度內(nèi)插2個(gè)部分。影像灰度內(nèi)插操作是典型的計(jì)算密集型模塊，其處理過(guò)程相對(duì)固定，對(duì)每一個(gè)像點(diǎn)的計(jì)算形式一致，像點(diǎn)之間相互獨(dú)立，具有內(nèi)在的并行性，因此非常適合GPU并行處理。由于遙感影像處理的數(shù)據(jù)量通常較大，與計(jì)算坐標(biāo)變換系數(shù)相比，灰度內(nèi)插所占據(jù)的時(shí)間更多，所以正射糾正并行優(yōu)化的重點(diǎn)應(yīng)該是灰度內(nèi)插操作的并行化。由以上正射糾正并行化分析可見(jiàn)，正射糾正中的灰度重采樣操作適合進(jìn)行GPU并行處理。利用反解法基于CPU-GPU異構(gòu)并行的正射糾正并行處理流程如圖3所示。其主要步驟包括①讀取影像與參數(shù);②進(jìn)行CUDA初始化;③分配設(shè)備端內(nèi)存及由主機(jī)內(nèi)存向設(shè)備端內(nèi)存進(jìn)行數(shù)據(jù)傳輸;④調(diào)用反解法數(shù)字微分糾正的內(nèi)核Kernel函數(shù)進(jìn)行并行計(jì)算;⑤設(shè)備端內(nèi)存向主機(jī)內(nèi)存?zhèn)鬏斢?jì)算結(jié)果;⑥重采樣影像保存。

2.3?影像拼接

在得到單張正射影像后，需要將這些單張正射影像進(jìn)行拼接以獲取大區(qū)域的正射影像。這就需要選擇合適的鑲嵌線，對(duì)于待拼接的影像，其具備一定重疊度，鑲嵌線就是在重疊區(qū)域內(nèi)生成的一條合理分割重疊區(qū)的全局最優(yōu)路徑，鑲嵌線應(yīng)能很好地繞開(kāi)建筑物等高出地面的物體[7，8]。拼接的主要任務(wù)就是消除拼縫，實(shí)現(xiàn)灰度融合，即使拼接后的影像灰度在接縫處光滑自然。然而在無(wú)人機(jī)低空遙感數(shù)據(jù)正射影像的無(wú)縫拼接上，其主要集中于重疊區(qū)影像鑲嵌線的自動(dòng)尋找上[9]。本研究采用一種數(shù)學(xué)形態(tài)學(xué)結(jié)合Dijkstra算法的最優(yōu)路徑搜索算法，其流程如圖4所示。

3?結(jié)果與分析

試驗(yàn)數(shù)據(jù)為2014年9月4日在南京某地區(qū)獲取的無(wú)人機(jī)遙感影像，共獲取了85張?jiān)加跋?。搭載的相機(jī)為索尼a7R，其像幅為7 360×4 912像素，像素大小為4.88 um，CCD大小為35.9 mm×24 mm，焦距為35.95 cm。飛行高度為300 m，測(cè)區(qū)地面起伏較小，包含部分建筑物。圖5是飛行獲取的原始影像。對(duì)傳輸回來(lái)的原始影像進(jìn)行連接點(diǎn)提取和匹配，在獲取一定數(shù)量的影像（10張以上）后，進(jìn)行序貫平差。后續(xù)的影像傳輸回來(lái)后，通過(guò)計(jì)算其與之前影像的相關(guān)程度。設(shè)定一個(gè)相關(guān)程度的閾值ε，相關(guān)程度大于閾值ε的影像將參與隨后的序貫平差，這樣就可以獲得與新獲取影像一同參與序貫平差的影像。之前獲取的相關(guān)程度小于閾值ε的影像則可以輸出至下一步正射糾正過(guò)程，這樣可以實(shí)現(xiàn)處理流程上的并行，進(jìn)一步提高系統(tǒng)效率。圖6是經(jīng)上述處理流程后獲得的測(cè)區(qū)正射影像。由圖6可見(jiàn)，通過(guò)無(wú)人機(jī)系統(tǒng)快速獲取的正射影像無(wú)明顯拼接縫，影像色彩較一致，能夠反映測(cè)區(qū)地形地貌的概況，可作為應(yīng)急救援的地理地圖，應(yīng)用于組織傷員的搜尋和運(yùn)送工作中。

4?小結(jié)

采用了兼顧測(cè)量精度與平差速度無(wú)人機(jī)影像序貫平差方法，在精度滿足應(yīng)急響應(yīng)要求的前提下，其平差速度得到了很大提升。正射糾正過(guò)程中的灰度內(nèi)插操作是密集計(jì)算區(qū)域，在分析了其并行性的基礎(chǔ)上，提出了一種基于CPU-GPU異構(gòu)并行的處理算法，實(shí)現(xiàn)了其并行化運(yùn)算，提高了算法的運(yùn)行效率。在正射影像拼接過(guò)程中，拼接線要避開(kāi)人工建筑物。本研究采用了一種數(shù)學(xué)形態(tài)學(xué)結(jié)合Dijkstra 算法的最優(yōu)路徑搜索算法，結(jié)果表明，該方法能避開(kāi)地面建筑物，獲得無(wú)明顯拼接的正射影像。該處理流程和方法在實(shí)際應(yīng)用中具有一定的參考意義。

參考文獻(xiàn)：

[1] CHOI K，LEE I. A UAV-based close-range rapid aerial monitoring system for emergency responses[J]. ISPRS-international archives of the photogrammetry，remote sensing and spatial information sciences，2012，XXXVIII-1/C22（1）：247-252.

[2] 朱?慶，于?杰. 城區(qū)真正射影像處理方法綜述[J]. 中國(guó)科技論文，2011，4（18）：1680-1685.

[3] 于?英. 無(wú)人機(jī)動(dòng)態(tài)攝影測(cè)量若干關(guān)鍵技術(shù)研究[D]. 鄭州：解放軍信息工程大學(xué)，2014.

[4] 薛?武. 無(wú)人機(jī)視頻地理信息定標(biāo)與直播處理技術(shù)[D]. 鄭州：解放軍信息工程大學(xué)，2014.

[5] 袁修孝. 當(dāng)代航空攝影測(cè)量加密的幾種方法[J]. 武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2007，32（11）：1001-1007.

[6] 馮永興. 論測(cè)量平差中的序貫平差[EB/OL]. 中國(guó)科技論文在線[2010-10-28]. http：// www.paper.edu.cn.

[7] 莫德林. 基于GPU的遙感影像真正射糾正技術(shù)研究[D]. 鄭州：解放軍信息工程大學(xué)，2014.

[8] 劉?彬，陳向?qū)?，郭連朋. 基于無(wú)人機(jī)遙感影像的三維戰(zhàn)場(chǎng)構(gòu)建技術(shù)研究[J]. 系統(tǒng)仿真學(xué)報(bào)，2015，27（6）：1268-1273.

[9] 馮圣峰. 無(wú)人機(jī)正射影像無(wú)縫拼接的研究[D]. 南昌：東華理工大學(xué)，2013.