張 麗，湯曉濤，李 綱

1.信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州，450052；2.西安測繪研究所，陜西 西安，710054；3.地理信息工程國家重點(diǎn)實(shí)驗(yàn)室，陜西 西安，710054

?

航空面陣數(shù)字影像多基線立體匹配及協(xié)同處理

張 麗1,2,3，湯曉濤2,3，李 綱1,2,3

1.信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州，450052；2.西安測繪研究所，陜西 西安，710054；3.地理信息工程國家重點(diǎn)實(shí)驗(yàn)室，陜西 西安，710054

多基線立體匹配技術(shù)是獲取可靠DSM產(chǎn)品的有效手段之一。本文針對面陣航空數(shù)字影像設(shè)計(jì)了多基線立體匹配的技術(shù)流程，根據(jù)算法特點(diǎn)提出了基于GPU-CPU的協(xié)同處理方案；利用構(gòu)建的專業(yè)級GPU并行計(jì)算平臺(tái)，對協(xié)同處理方案進(jìn)行了實(shí)驗(yàn)驗(yàn)證。結(jié)果表明，提出的方案在保證DSM產(chǎn)品高精度的同時(shí)，大幅提高了多基線立體匹配的計(jì)算效率和整體處理能力。

多基線立體匹配；GPU-CPU；協(xié)同處理；計(jì)算效率

1 引 言

多基線立體匹配技術(shù)由于增加了多余觀測量，較好地解決了影像的誤匹配問題[1,2]，從而成為提高DSM/DEM精度以及生產(chǎn)自動(dòng)化程度的有效手段之一。然而，多基線立體匹配在提高匹配可靠性的同時(shí)，由于影像數(shù)量的增加、多種匹配策略的應(yīng)用等也帶來了計(jì)算量的大幅增加，使其并行實(shí)現(xiàn)成為當(dāng)前一個(gè)重要的研究方向。其中，利用GPU處理平臺(tái)提高影像匹配的計(jì)算效率引起了廣大學(xué)者和研究人員的關(guān)注[3-7]。他們的研究實(shí)踐證明，利用GPU處理平臺(tái)對于提高多基線立體匹配這種數(shù)據(jù)密集型和計(jì)算密集型任務(wù)的效率，效果是非常明顯的。

為此，本文結(jié)合具體項(xiàng)目要求，重點(diǎn)對航空面陣數(shù)字影像多基線立體匹配技術(shù)進(jìn)行研究，設(shè)計(jì)了多基線立體匹配的技術(shù)流程，提出了基于GPU-CPU的協(xié)同處理技術(shù)方案，并利用構(gòu)建的高性能GPU并行計(jì)算平臺(tái)，驗(yàn)證了算法和方案的處理精度、計(jì)算效率和處理能力。

2 航空面陣影像的多基線立體匹配技術(shù)

2.1 多基線立體匹配的技術(shù)流程

利用航空面陣光學(xué)遙感影像多基線匹配進(jìn)行快速提取同名匹配點(diǎn)的技術(shù)流程如圖 1所示，主要包括預(yù)匹配處理、多基線立體匹配模型構(gòu)建、輔助約束算法的使用、GPU并行解算等四個(gè)部分。

①對影像進(jìn)行分析，為多基線立體匹配與DSM自動(dòng)提取過程提供數(shù)據(jù)支持、匹配初值支持。

②構(gòu)建多基線立體匹配模型，將不同視角下的多張目標(biāo)區(qū)重疊影像納入同一匹配系統(tǒng)，利用信息互補(bǔ)技術(shù)，減少信息盲區(qū)，降低誤匹配率，提高匹配可靠性；篩選重疊影像，降低計(jì)算冗余，提高匹配效率。

③充分利用輔助信息數(shù)據(jù)、多種約束策略和優(yōu)化措施，進(jìn)一步提高多基線立體匹配的可靠性和精度。

④根據(jù)GPU-CPU并行處理平臺(tái)，對多基線立體匹配任務(wù)和數(shù)據(jù)進(jìn)行劃分，實(shí)現(xiàn)粗粒度并行，縮短匹配處理的整體運(yùn)算周期；針對GPU硬件特性，對多基線立體匹配算法進(jìn)行并行化分析與集成，實(shí)現(xiàn)多基線立體匹配的GPU細(xì)粒度并行解算，提高多基線立體匹配的計(jì)算效率。

圖1 光學(xué)遙感影像多基線立體匹配流程圖

2.2 影像預(yù)匹配處理

影像預(yù)匹配處理內(nèi)容主要包括：航帶分析與排序、多基線匹配立體構(gòu)建、影像金字塔制作、SIFT特征點(diǎn)提取與匹配等四個(gè)過程。

①航帶分析與排序

一個(gè)測區(qū)由多個(gè)航帶構(gòu)成，由于影像分布于不同的航帶，且各張影像并非按順序讀取，因此，在多基線立體匹配提取DSM之前，需要對載入的影像數(shù)據(jù)進(jìn)行航帶分析與排序。具體步驟如下：

步驟一：根據(jù)影像的四個(gè)角點(diǎn)的像坐標(biāo)、測區(qū)平均高程、外方位參數(shù)，計(jì)算各張影像四個(gè)角點(diǎn)的地面坐標(biāo)；

步驟二：根據(jù)影像四個(gè)角點(diǎn)的地面坐標(biāo)，分析影像的航帶數(shù)目，并將載入的影像數(shù)據(jù)進(jìn)行排序。

②多基線匹配立體構(gòu)建

根據(jù)航帶分析與排序后的影像，分別以每一張影像為基準(zhǔn)(不包括航帶首張影像和末張影像)，計(jì)算相鄰影像的重疊度，創(chuàng)建多基線匹配立體系統(tǒng)；由于航空影像數(shù)據(jù)的航向重疊與旁向重疊一般較高，每一個(gè)影像立體中可能有10張以上的影像與基準(zhǔn)影像重疊，為了降低多基線立體匹配的計(jì)算量，匹配時(shí)使用重疊度最高的前5張重疊影像。

③影像金字塔制作

為了縮短匹配時(shí)間，匹配過程采用由粗到精的匹配策略，且從上層金字塔影像匹配獲得的高程信息用于約束和引導(dǎo)下一層金字塔影像的匹配。本文采用3像元平均的方式制作影像金字塔，金字塔層次包括最底層為4層。

④SIFT特征點(diǎn)提取與匹配

通過SIFT特征匹配，在基準(zhǔn)影像和搜索影像上提取空間尺度不變的特征點(diǎn)，建立基準(zhǔn)影像和搜索影像的相互關(guān)系，為多基線密集匹配提供初值。

2.3 航空面陣數(shù)字影像的多基線立體匹配模型及策略方法

針對航空面陣數(shù)字影像，普遍采用的立體匹配模型分為基于單立體匹配與融合的多視匹配模型和基于多立體整體匹配的多視匹配模型兩類。本文采用基于單立體匹配與融合的多視匹配模型，該模型的具體匹配過程如圖 2所示[8]。其基本思想是：在一組重疊影像中，取中央影像作為基準(zhǔn)影像，其余的待搜索影像分別與之構(gòu)成立體像對；先利用帶幾何約束條件的相關(guān)系數(shù)法對各立體像對進(jìn)行匹配；再利用松弛法整體影像匹配技術(shù)，進(jìn)一步確定基準(zhǔn)影像上的特征點(diǎn)在搜索影像上的同名點(diǎn)；然后通過帶選權(quán)迭代粗差檢測功能的多光線前方交會(huì)方法，實(shí)現(xiàn)各立體像對匹配結(jié)果在物方空間的融合，從而獲得準(zhǔn)確的高程信息。

圖2 基于單立體像對匹配結(jié)果的物方融合的流程圖[8]

文獻(xiàn)[3]把用來提高多基線匹配可靠性、精度和效率而利用的輔助數(shù)據(jù)、匹配策略和匹配方法等歸結(jié)為多基線匹配的策略方法體系，并研究構(gòu)建了多基線匹配的策略方法體系，給出了多光線前方交會(huì)的基本思想和解算方法。本文在多基線立體匹配過程中使用的策略與方法如圖3所示，各項(xiàng)措施的實(shí)施過程如下所述。

幾何約束Ⅰ：制作金字塔影像，利用特征點(diǎn)提取算子，在原始影像上提取特征點(diǎn)，進(jìn)行影像金字塔預(yù)匹配和多基線立體匹配，保留精確的匹配成果，構(gòu)建不規(guī)則三角網(wǎng)TIN；以每一個(gè)三角形為匹配面元，由該面元的三個(gè)頂點(diǎn)高程值，內(nèi)插每一個(gè)匹配基元的高程初值，確定匹配的搜索范圍。

輔助數(shù)據(jù)約束Ⅱ、幾何約束Ⅲ：利用GPS/IMU數(shù)據(jù)，根據(jù)影像的構(gòu)像方程，實(shí)時(shí)計(jì)算每一個(gè)匹配基元的核線影像，將多基線匹配從二維空間變?yōu)橐痪S搜索空間，提高匹配速度。

幾何約束Ⅳ：根據(jù)匹配基元的高程初值，變換匹配窗口的幾何屬性，包括大小、位置、形狀等，盡量保持匹配窗口內(nèi)容的一致性。

幾何約束Ⅴ、Ⅵ：通過概率松弛約束條件，對匹配結(jié)果進(jìn)行檢查；在多基線最小二乘匹配過程中，加入共線條件方程和直線匹配走向幾何約束，將匹配結(jié)果的精度提高到子像素級。

圖3 多基線立體匹配策略方法的使用

2.4 基于GPU-CPU的協(xié)同處理方案

GPU-CPU協(xié)同處理的關(guān)鍵是合理分配二者的計(jì)算任務(wù)。其中，流程控制等順序型任務(wù)由CPU來完成，而針對大數(shù)據(jù)量執(zhí)行的相同操作則交給GPU來并行執(zhí)行。對于處理算法中數(shù)據(jù)并行程度高且計(jì)算密集的部分，將其改寫為能夠在GPU上執(zhí)行的“核”函數(shù)；然后通過配置語句由CPU端主程序調(diào)用該“核”函數(shù)，從而實(shí)現(xiàn)GPU內(nèi)部的超多線程細(xì)粒度并行處理，充分發(fā)揮GPU的并行計(jì)算優(yōu)勢。對于多基線立體匹配任務(wù)，通過分析各個(gè)步驟的算法特點(diǎn)，確定其處理模式如圖4所示。其中，航帶分析與排序、多基線匹配立體構(gòu)建采用單CPU處理模式；影像金字塔制作，采用多CPU并行處理模式；SIFT特征點(diǎn)提取與匹配和多基線立體匹配過程中涉及到的匹配測度計(jì)算、像點(diǎn)灰度值內(nèi)插，最小二乘解算計(jì)算量最為集中，采用多CPU、多GPU協(xié)同處理模式。

圖5給出了多基線立體匹配過程的GPU-CPU整體處理模式，具體步驟包括：

①對于構(gòu)建的多個(gè)多基線匹配立體系統(tǒng)，采用粗粒度數(shù)據(jù)并行的方式，按照GPU節(jié)點(diǎn)(GPU卡)的數(shù)量對構(gòu)建的多基線立體系統(tǒng)進(jìn)行平均分配或近似平均分配。

②對于單個(gè)多基線匹配立體系統(tǒng)，把基準(zhǔn)影像中的所有像點(diǎn)對應(yīng)于一個(gè)GPU線程格網(wǎng)，而其中的多個(gè)像點(diǎn)組成一個(gè)線程塊，且每個(gè)線程塊中的像點(diǎn)利用一個(gè)線程來計(jì)算。該過程中單個(gè)像點(diǎn)的多基線匹配工作利用一個(gè)線程來完成，并且一個(gè)線程塊同時(shí)處理多個(gè)像點(diǎn)，整體上屬于細(xì)粒度算法并行計(jì)算模式，而對于GPU則屬于基于GPU的粗粒度并行模式。

圖4 多基線立體匹配處理的并行模式

圖5 多基線立體匹配GPU-CPU協(xié)同處理整體模式

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)采用兩套航空面陣影像數(shù)據(jù)來驗(yàn)證本技術(shù)方案的處理效率和精度。數(shù)據(jù)一為UCD面陣數(shù)字相機(jī)獲取的江蘇寶應(yīng)地區(qū)的航空影像，影像獲取時(shí)間為2006-11-06；數(shù)據(jù)二為Z/I DMC面陣數(shù)字相機(jī)獲取的河南某地區(qū)的航空影像，影像獲取時(shí)間為2009-12-19。具體參數(shù)見表 1。

表1 實(shí)驗(yàn)數(shù)據(jù)參數(shù)

3.2 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)平臺(tái)主要由1個(gè)管理/存儲(chǔ)節(jié)點(diǎn)、三個(gè)計(jì)算節(jié)點(diǎn)和相應(yīng)的網(wǎng)絡(luò)設(shè)備組成。其中，每個(gè)計(jì)算節(jié)點(diǎn)配置2塊專業(yè)級高性能GPU顯卡，形成6個(gè)計(jì)算節(jié)點(diǎn)，具體配置見表2。

表2 實(shí)驗(yàn)平臺(tái)硬件配置

序號功能型號配置數(shù)量1GPU計(jì)算節(jié)點(diǎn)Xr2201GE5-2620?2，8GB?8，K20?2，Intel240GBSSD?1，32管理/存儲(chǔ)節(jié)點(diǎn)Xr22301E5-2620?2，8GB?8，240GBSSD?2，Quadro2000?1，2TB?10134網(wǎng)絡(luò)部分H3CH1224RH3C24port千兆交換機(jī)1mellanxIS5023IB40GB18PortsSwtich15HCAcardmellanxMHQH19B-XTR1Port40Gb/sQSFPInfiniBandNetworkAda?ptorCard5

3.3 實(shí)驗(yàn)結(jié)果

①處理效果和精度

UCD影像和DMC影像生成的DSM局部放大圖分別如圖 6和圖 7所示，87個(gè)控制點(diǎn)統(tǒng)計(jì)的UCD影像、17個(gè)均勻分布的控制點(diǎn)統(tǒng)計(jì)的DMC影像的DSM點(diǎn)云精度結(jié)果見表3。從圖 6可以看出，雖然UCD影像中建筑物比較密集，但從影像中自動(dòng)提取的DSM點(diǎn)云較好地保持了實(shí)驗(yàn)區(qū)中實(shí)際地物的形狀；從圖 7可以看出，雖然實(shí)驗(yàn)區(qū)屬于山地、且山腳下建筑物比較密集，但從影像中自動(dòng)提取的DSM點(diǎn)云仍然較好地保持了實(shí)驗(yàn)測區(qū)中實(shí)際山地的地形地貌和建筑物的形狀。精度統(tǒng)計(jì)結(jié)果和直觀的影像處理結(jié)果表明了本文所采用技術(shù)方法的有效性。

圖6 UCD影像多基線立體匹配點(diǎn)云局部放大圖

圖7 DMC影像多基線立體匹配點(diǎn)云局部放大圖

表3 DSM點(diǎn)云精度分析表

影像類型最大殘差絕對值(m)最小殘差絕對值(m)中誤差(m)XYZXYZXY平面ZUCD0．320．260．530．0340．0320．0570．0710．0430．0830．092DMC0．830．711．060．120．090．160．170．140．220．27

②處理效率和能力

基于GPU-CPU的多基線立體匹配協(xié)同處理內(nèi)容及其處理時(shí)間如表 4所示。從表中可以看出，164張UCD影像構(gòu)建的154個(gè)、203張DMC影像構(gòu)建的189個(gè)多基線立體系統(tǒng)近乎平均地分配至6個(gè)GPU計(jì)算節(jié)點(diǎn)。

表4 多基線立體匹配協(xié)同處理內(nèi)容及時(shí)間

影像類型GPU節(jié)點(diǎn)編號計(jì)算硬件處理像對數(shù)重疊度(張)匹配點(diǎn)數(shù)(萬個(gè))內(nèi)插格網(wǎng)間距(m)DSM點(diǎn)云大小(MB)處理時(shí)間(s)UCD影像節(jié)點(diǎn)1GPU26≈202500×26×50．52．7×2662820節(jié)點(diǎn)2GPU26≈202500×26×50．52．7×2662820節(jié)點(diǎn)3GPU26≈202500×26×50．52．7×2662820節(jié)點(diǎn)4GPU26≈202500×26×50．52．7×2662820節(jié)點(diǎn)5GPU25≈202500×25×50．52．7×2560410節(jié)點(diǎn)6GPU25≈202500×25×50．52．7×2560410DMC影像節(jié)點(diǎn)1GPU32≈152600×32×51．057．0×3286025節(jié)點(diǎn)2GPU32≈152600×32×51．057．0×3286025節(jié)點(diǎn)3GPU32≈152600×32×51．057．0×3286025節(jié)點(diǎn)4GPU31≈152600×31×51．057．0×3183400節(jié)點(diǎn)5GPU31≈152600×31×51．057．0×3183400節(jié)點(diǎn)6GPU31≈152600×31×51．057．0×3183400

表5 遙感影像多基線立體匹配協(xié)同處理的處理能力

影像類型測區(qū)大小(km2)匹配時(shí)間(h)匹配點(diǎn)數(shù)(億)影像數(shù)量(張)協(xié)同處理平臺(tái)計(jì)算能力按面積計(jì)(km2/h)按點(diǎn)數(shù)計(jì)(108point/h)按影像計(jì)(image/h)UCD4．9517．45192．51640．2811．039．40DMC129．9523．90249．62035．4410．448．49

表 5為處理能力的統(tǒng)計(jì)結(jié)果：對于地面分辨率為0.1m的UCD面陣航空影像，每小時(shí)能夠處理9.40張影像上的11.03億個(gè)像點(diǎn)，獲取0.28km2范圍內(nèi)(整個(gè)測區(qū)長4.15km，寬1.91km)的地面DSM點(diǎn)云。對于地面分辨率為0.25m的DMC面陣航空影像，每小時(shí)能夠處理8.49張影像上的10.44億個(gè)像點(diǎn)，獲取5.44km2范圍內(nèi)(整個(gè)測區(qū)長11.5km，寬11.3km)的地面DSM點(diǎn)云。

表6 多基線立體匹配時(shí)間對比

影像類型匹配點(diǎn)數(shù)單GPU-CPU處理時(shí)間(s)單CPU處理時(shí)間(s)UCD影像4000×4000×5148030500DMC影像4000×4000×5156031220

表 6為GPU-CPU混合協(xié)同處理模式與單CPU處理模式下耗用時(shí)間的對比。可以看出，與單CPU相比，CPU-GPU協(xié)同處理的加速比達(dá)到了20倍以上。

4 結(jié) 論

本文對航空面陣數(shù)字影像的多基線立體匹配的技術(shù)流程和策略方法進(jìn)行了簡要闡述，重點(diǎn)給出了GPU-CPU協(xié)同處理方案，并通過實(shí)際數(shù)據(jù)驗(yàn)證了本文的技術(shù)方法、計(jì)算效率和整體處理能力。結(jié)果表明，本文提出的協(xié)同處理方案在保證DSM產(chǎn)品高精度的同時(shí)，能夠大幅提高多基線立體匹配的計(jì)算效率。與單CPU處理模式相比，采用專業(yè)級的單GPU，多基線立體匹配的計(jì)算加速比達(dá)到了20倍；采用3個(gè)計(jì)算節(jié)點(diǎn)的GPU-CPU混合集群遙感影像協(xié)同處理系統(tǒng)，多基線立體匹配的整體處理能力大大躍升。

[1]張力，張繼賢．基于多基線影像匹配的高分辨率遙感影像DEM的自動(dòng)生成[J]．武漢大學(xué)學(xué)報(bào)·信息科學(xué)版，2008，33(9)：943-946.

[2]張永生，范大昭，紀(jì)松．用于ADS40傳感器的多視覺立體匹配算法模型[J]．測繪科學(xué)技術(shù)學(xué)報(bào)，2007，24(2)：83-86．

[3]紀(jì)松．多視匹配策略與優(yōu)化方法研究[D]．鄭州：信息工程大學(xué)，2012．

[4]張麗，湯曉濤，戴晨光．多視匹配方法的計(jì)算任務(wù)分析及其GPU并行實(shí)現(xiàn)[J]．測繪科學(xué)技術(shù)學(xué)報(bào)，2013，30(5)：480-483．

[5]楊靖宇．?dāng)z影測量數(shù)據(jù)GPU并行處理若干關(guān)鍵技術(shù)研究[D]．鄭州：信息工程大學(xué)，2011．

[6]肖漢，張祖勛．基于GPGPU的并行影像匹配算法[J]．測繪學(xué)報(bào)，2010，39(1)：46-51．

[7]田斐，崔玉連.快速互信息匹配及GPU實(shí)現(xiàn)[J].電光與控制，2010，17(2)：63-67.

[8]袁修孝，明洋．一種綜合利用像方和物方信息的多影像匹配方法[J]．測繪學(xué)報(bào)，2009，38(3)：216-222．

Multi-baseline Stereo Matching and Cooperative Processing for the Digital Aerial Frame Image

Zhang Li1,2,3,Tang Xiaotao2,3, Li Gang1,2,3

1. Institute of Geospatial Information, Information Engineering University, Zhengzhou 450052, China 2. Xi’an Research Institute of Surveying and Mapping, Xi’an 710054, China 3. State Key Laboratory of Geo- information Engineering, Xi’an 710054, China

Multi-baseline stereo matching is one of the most effective methods to generate reliable DSM. This paper designs the multi-baseline stereo matching technique flow in view of the digital aerial frame image and proposes the cooperative processing scheme based on the characteristic of the multi-baseline stereo matching algorithm. Besides the paper tests and verifies the scheme by the professional GPU parallel computing platform. The results show that the scheme ensures DSM high accuracy and at the same time it greatly improves the computational efficiency and entirety processing capacity of multi-baseline stereo matching.

multi-baseline stereo matching； GPU-CPU；cooperative processing； computational efficiency

2014-12-24。

張麗(1973—)，女，副研究員，主要從事攝影測量方面的研究。

P231

A