唐 敏，楊 鋒，黃華平

（中國中鐵二院集團(tuán)有限責(zé)任公司，四川成都610031）

?

序列無人機(jī)影像拼接方法研究

唐 敏，楊 鋒，黃華平

（中國中鐵二院集團(tuán)有限責(zé)任公司，四川成都610031）

摘 要：無人機(jī)影像具有數(shù)量多、畸變大、POS數(shù)據(jù)不準(zhǔn)確等特點(diǎn)，導(dǎo)致其在拼接過程中會(huì)產(chǎn)生大量的累積誤差，要快速地獲得大范圍準(zhǔn)確的全景圖有一定的困難?；诖?，提出一種既精確又高效的無人機(jī)序列影像拼接方法。首先計(jì)算大致的影像匹配區(qū)域，減少特征搜索和匹配的時(shí)間，同時(shí)記錄匹配區(qū)域中心位置的特征點(diǎn)坐標(biāo)，引入平差理論，區(qū)分平地、丘陵、山區(qū)等不同區(qū)域加權(quán)糾正匹配特征點(diǎn)的坐標(biāo)位置。同時(shí)針對航帶間重疊率小、姿態(tài)差異大等特點(diǎn)，采用”先航帶間再航帶內(nèi)、旁邊航帶向中間航帶靠攏”的拼接方式，減少整體區(qū)域的累積誤差產(chǎn)生，最終完成全局影像的拼接。

關(guān)鍵詞：無人機(jī)影像；拼接；航帶；累積誤差；分區(qū)域加權(quán)

隨著遙感技術(shù)的不斷發(fā)展，作為方便、快捷、成本低的無人機(jī)遙感手段也越來越多地應(yīng)用到民用領(lǐng)域［1－3］。在抗災(zāi)救災(zāi)、遙感監(jiān)測等方面無人機(jī)相對于其它航空遙感具有一定的優(yōu)勢，它能夠快速地獲得災(zāi)區(qū)的高分辨率影像，但是無人機(jī)影像的質(zhì)量與外界條件有著非常密切的關(guān)系，當(dāng)拍攝的影像質(zhì)量不高時(shí)，就會(huì)給后續(xù)的影像處理帶來極大的困難。特別是在獲取災(zāi)區(qū)影像方面，如何快速準(zhǔn)確地拼接出全景圖對救災(zāi)管理、規(guī)劃、調(diào)配救援等工作具有重要意義［4－7］。目前國內(nèi)外學(xué)者在影像拼接方面進(jìn)行了大量的研究，獲得許多研究成果［8－11］。

本文針對無人機(jī)影像的數(shù)量多、畸變大，在影像拼接過程中會(huì)產(chǎn)生大量的累積誤差等特點(diǎn)，提出記錄影像匹配中心點(diǎn)（兩幅影像重疊區(qū)域的中心點(diǎn)），利用它計(jì)算大致的匹配區(qū)域，為后面拼接過程中的平差做好前期準(zhǔn)備。并根據(jù)序列無人機(jī)影像航帶間重疊度低且飛行姿態(tài)差異大等特點(diǎn)，提出使用先航帶間匹配再航帶內(nèi)匹配、旁邊航帶向中間航帶靠攏的策略。由于地勢起伏越大的區(qū)域，其影像變形及匹配特征點(diǎn)的位置偏移也會(huì)大，通過兩兩影像間獲得的匹配同名點(diǎn)數(shù)目近似的把影像分為平地、丘陵、山區(qū)等不同區(qū)域，分別對它們的匹配中心點(diǎn)進(jìn)行加權(quán)平差，完成影像拼接。

1　序列無人機(jī)影像的相交區(qū)域估計(jì)

無人機(jī)獲取影像前，根據(jù)設(shè)計(jì)的航高和航線確定航向及旁向重疊度，主要是通過航高、航線間距及飛行速度計(jì)算出來的。但是在后期的拼接過程中，為了節(jié)省拼接時(shí)間、減少拼接難度，經(jīng)常會(huì)對獲取的影像做一些預(yù)處理，例如刪除一些轉(zhuǎn)彎處畸變大的影像，把影像周圍畸變大的部分裁剪掉等。所以不能直接按照飛行設(shè)計(jì)的影像重疊度來判斷立體像對的相交區(qū)域。本文通過記錄匹配特征點(diǎn)集中心點(diǎn)（每張影像匹配特征點(diǎn)集合的最中心點(diǎn)）的位置來計(jì)算大致的相交區(qū)域，便于進(jìn)行后續(xù)平差。

設(shè)第k次拼接的兩幅影像為Mi和Mj，Tk為Mi和Mj的間距，它近似等于影像Mi和Mj的匹配中心點(diǎn)的距離。當(dāng)飛行在只有輕微振動(dòng)和偏移的情況下，航拍序列影像中待拼接的影像對的匹配區(qū)域基本相同，下一次用于拼接的兩幅影像Mj和Mm之間的間距Tk＋1近似等于Tk，影像Mm的匹配中心點(diǎn)可以通過Mj的匹配中心點(diǎn)近似求出，這樣，匹配范圍也能夠近似得到，同時(shí)記錄這些匹配中心點(diǎn)坐標(biāo)的位置。一旦找到大概的匹配范圍就足夠拼接所用，當(dāng)預(yù)測區(qū)域失敗時(shí)，再利用兩幅鄰近影像全圖匹配的方式進(jìn)行，匹配中心點(diǎn)設(shè)為整個(gè)影像的中心點(diǎn)位置。具體計(jì)算過程如下：

設(shè)第k次拼接結(jié)果為RMk，它是由上一次的拼接結(jié)果RMk－1和影像Mj拼接而成，（ck，x，ck，y）為RMk－1的匹配特征點(diǎn)集中心點(diǎn)在影像中的坐標(biāo)位置，（c′k，x，c′k，y）為Mj的匹配特征點(diǎn)集中心點(diǎn)在影像中的坐標(biāo)位置，那么在第k＋1次拼接過程中，待拼接圖像為RMk和Mm，則特征查詢區(qū)域的中心區(qū)可以近似由匹配特征的中心點(diǎn)來表示，即（ck＋1，x，ck＋1，y）為RMk的匹配特征點(diǎn)集中心點(diǎn)在影像中的坐標(biāo)位置，（c′k＋1，x，c′k＋1，y）為Mm的匹配特征點(diǎn)集中心點(diǎn)在影像中的坐標(biāo)位置，（vk＋1，x，vk＋1，y）為Mj和Mm之間的飛行速度，則可以得到

式中：vk，x，vk，y分別為飛機(jī)在影像的x軸和y軸上的分速度；Δt＝Tk＋1－Tk；wx和wy分別為飛機(jī)側(cè)擺、振動(dòng)引起的噪聲。由此分別記錄每個(gè)匹配特征點(diǎn)集中心點(diǎn)在影像中的坐標(biāo)，X＝（ck，x，ck，y，c′k，x，c′k，y，ck＋1，x，ck＋1，y，c′k＋1，x，c′k＋1，y，…），預(yù)測下一個(gè)參加拼接的影像的匹配區(qū)域，利用SIFT［11］特征搜索進(jìn)行匹配。利用以上方法對影像匹配區(qū)域進(jìn)行預(yù)測可以使得匹配時(shí)間大大降低，如果搜索區(qū)域?yàn)樵跋竦?／n，則該方法的特征搜索時(shí)間為對整幅影像進(jìn)行搜索的時(shí)間的1／n。圖1中綠色矩形框?yàn)榇_定的搜索窗口。

圖1　搜索窗口的確定

對立體影像的恢復(fù)，難點(diǎn)是匹配兩圖中的對應(yīng)點(diǎn)。首先要確定搜索窗口，當(dāng)從待糾正影像上的特征點(diǎn)出發(fā)，到參考影像上去搜索它的同名點(diǎn)時(shí)，搜索范圍的大小很大程度上影響著匹配的效率。搜索范圍大，需要的計(jì)算時(shí)間就大；搜索范圍小，搜索的時(shí)間就少。因此，合理確定正確的搜索范圍對匹配效果起著非常重要的作用。

2　匹配中心點(diǎn)分區(qū)域加權(quán)平差

尋找到匹配區(qū)域，并記錄每個(gè)匹配特征點(diǎn)集中心點(diǎn)在影像中的坐標(biāo)：X＝（ck，x，ck，y，c′k，x，c′k，y，ck＋1，x，ck＋1，y，c′k＋1，x，c′k＋1，y．．．．．．），利用這些坐標(biāo)進(jìn)行分區(qū)域加權(quán)平差，具體的方法如下所述。

2．1 平差方法

對于匹配得到的同名點(diǎn)P，在左影像中的影像坐標(biāo)為（x1，y1），在右影像中的影像坐標(biāo)為（x2，y2），由于正行變換能夠保持變換前后任意空間曲線之間的夾角不變，因此用正行變換多項(xiàng)式來模擬幾何變形，在（x2，y2）上加上變形改正

δx＝a1＋a3x2－a4y2＋a5［x22－y22］－2a6x2y2，（5）

則對P點(diǎn)有

式中：θx，θy表示點(diǎn)（x2，y2）的誤差。同理，對所有的同名點(diǎn)可以列出

其中

它的最小二乘解為

2．2 平差過程

根據(jù)式（11）解算出X后，則可以計(jì)算出右影像中每個(gè)像素的新坐標(biāo)為（x2＋δx，y2＋δy），然后進(jìn)行影像拼接，具體的平差過程如圖2所示。

首先進(jìn)行區(qū)域網(wǎng)概算，為區(qū)域網(wǎng)平差提供較好的初值，剔除觀測數(shù)據(jù)和控制數(shù)據(jù)中的粗差。其實(shí)質(zhì)是建立自由比例尺的航帶網(wǎng)，并確定每一航帶在區(qū)域中的概略位置，以拼成一個(gè)松散的區(qū)域網(wǎng)。先要建立區(qū)域的地輔坐標(biāo)系，確定全區(qū)的中心即原點(diǎn)，一般選擇中間航帶的中心處。然后確定X軸，可設(shè)定第一條航帶為X軸。利用第一航帶的首末兩端的平面控制點(diǎn)，計(jì)算兩點(diǎn)變換的參數(shù)，將區(qū)域中所有控制點(diǎn)的坐標(biāo)按兩點(diǎn)變換參數(shù)均變換到該地輔坐標(biāo)系中。

如果航帶中沒有合適的控制點(diǎn)，可利用與該航帶接邊的上一條航帶中適當(dāng)?shù)倪B接點(diǎn)作為空間相似變換的依據(jù)。另外要保持各航帶模型坐標(biāo)的獨(dú)立性，不能將相鄰航帶的連接點(diǎn)的坐標(biāo)取中數(shù)，這樣會(huì)使得平差結(jié)果不夠理想，如圖3所示為區(qū)域網(wǎng)概算的示意圖。

圖2　平差流程

圖3　區(qū)域網(wǎng)概算示意圖

區(qū)域網(wǎng)概算之后，充分利用相鄰航帶間的公共連接點(diǎn)及控制點(diǎn)，列出誤差方程，進(jìn)行整體平差運(yùn)算，確定各航帶的模型變形改正參數(shù)，分別按航帶改正模型變形，計(jì)算出各加密點(diǎn)的坐標(biāo)。

由于平地控制點(diǎn)相對精確，而山區(qū)地形畸變相對較大，很多點(diǎn)位不夠精確，則需要針對不同地域的控制點(diǎn)賦予不同的權(quán)值。根據(jù)控制點(diǎn)的位置，把它們分成不同區(qū)域作為具有一定權(quán)值的觀測值，有利于提高定位精度和減少控制點(diǎn)的粗差。圖4為記錄匹配中心點(diǎn)位置參與區(qū)域網(wǎng)平差的示意圖。

2．3 分區(qū)域加權(quán)平差

由于無人機(jī)影像本身畸變較大，其不同區(qū)域?qū)ζ唇泳鹊挠绊懚疾幌嗤?，所以為了使平差結(jié)果更加準(zhǔn)確，需要分不同區(qū)域進(jìn)行加權(quán)平差。平地區(qū)域點(diǎn)位坐標(biāo)更準(zhǔn)確應(yīng)賦予更高的權(quán)重，山地區(qū)域賦予相對較小的權(quán)重。通過大量實(shí)驗(yàn)發(fā)現(xiàn)一般山地區(qū)域?qū)で蟮降耐c(diǎn)較少，而平地會(huì)獲得更多的同名點(diǎn)，這是由于山區(qū)畸變大、影像特征少導(dǎo)致。因此，采用直接計(jì)算獲得的特征點(diǎn)數(shù)目來確定每張影像所包含區(qū)域的特征情況來確定它的權(quán)重，這樣能夠減少計(jì)算時(shí)間，而且比較精確，把所有影像的匹配同名點(diǎn)數(shù)目單獨(dú)記錄，以中間數(shù)同名點(diǎn)的權(quán)重為1，其它的根據(jù)同名點(diǎn)數(shù)目賦予相應(yīng)權(quán)重，參與區(qū)域網(wǎng)平差。通過大量實(shí)驗(yàn)總結(jié)，能匹配較多同名點(diǎn)的區(qū)域一般為平地或者影像質(zhì)量好的影像，在拼接過程中如果能充分利用這些影像的優(yōu)勢對影像拼接具有重要作用，

圖4　匹配中心點(diǎn)參與區(qū)域網(wǎng)平差示意圖

3　計(jì)算步驟

設(shè)無人機(jī)飛行獲得的序列影像為M，RMk－1為第（k－1）次拼接的結(jié)果，Mi為第（k－1）次拼接的圖像，當(dāng)前第k次拼接的兩幅圖像為RMk－1和Mj，設(shè)PMSk－1（x，y）和PMk（x，y）分別為第k次拼接時(shí)RMk－1和Mj中匹配特征集的中心點(diǎn)。主要計(jì)算步驟如下：

1）為了使得相互約束條件較差的航帶間獲得更多的連接點(diǎn)，采用先航帶間再航帶內(nèi)的方式進(jìn)行拼接，并確定具體的拼接順序。

2）依據(jù)拼接順序獲得第k次拼接的影像Mj。

3）根據(jù)PMSk－2（x，y）和PMSk－1（x，y）預(yù)測第k次拼接的兩幅影像RMk－1和Mj的匹配特征點(diǎn)集的中心點(diǎn)PMSk－1（x，y）和PMk（x，y），并進(jìn)行記錄。

4）以PMSk－1（x，y）為中心點(diǎn)的矩形區(qū)域和以PMk（x，y）為中心的矩形區(qū)域進(jìn)行特征匹配和誤匹配點(diǎn)刪除，得到最終的匹配點(diǎn)集。

5）利用記錄的這些特征點(diǎn)集中心點(diǎn)坐標(biāo)，根據(jù)它們的所在地是平地、丘陵或山地的情況對它們分別賦權(quán)，同時(shí)，以中間航帶為基準(zhǔn)、旁邊航帶向它們靠攏的方式進(jìn)行拼接，并對它們中心點(diǎn)集也賦予相對較高的權(quán)重。然后進(jìn)行區(qū)域網(wǎng)平差計(jì)算，得到所有特征點(diǎn)的誤差模型并進(jìn)行改正。

6）完成圖像的拼接過程。由于現(xiàn)行拼接方法主要為增量式拼接，因此本文方法相較于其他方法的效率從根本上區(qū)別不大，同時(shí)，本文拼接方法能根據(jù)飛行速度及姿態(tài)來調(diào)整提取特征區(qū)域，能在不同情況下在待匹配圖像上搜索到足夠的匹配特征，在拼接之前首先對影像拼接區(qū)域進(jìn)行預(yù)測，能夠節(jié)省特征搜索和匹配的時(shí)間，如果搜索區(qū)域?yàn)樵跋竦?／n則特征搜索時(shí)間為整幅影像搜索時(shí)間的1／n。

4　實(shí)驗(yàn)及分析

實(shí)驗(yàn)影像為四川某地區(qū)無人機(jī)拍攝下來的序列影像，航拍高度為相對高度500m，地面分辨率為0．2m，包含15個(gè)航帶，但由于該次飛行時(shí)風(fēng)力較大，飛機(jī)的姿態(tài)不夠穩(wěn)定，左右擺動(dòng)明顯，特別是相鄰航帶間拍攝時(shí)飛機(jī)的航行方向相反，而風(fēng)向基本不變就導(dǎo)致相鄰航帶間拍攝出的影像差異更大。為了證明本文方法的有效性，利用同樣的影像做兩組實(shí)驗(yàn)，對比它們的拼接效果。

由于每條單獨(dú)航帶的重疊度較高，拼接起來更加容易，也能通過各條航帶的拼接圖了解飛行作業(yè)時(shí)候的風(fēng)向影響及各航帶影像的畸變特征。實(shí)驗(yàn)利用三條航帶的影像數(shù)據(jù)，先單獨(dú)對它們進(jìn)行拼接，最后的效果圖如圖5～圖7所示。通過分析可知：由于第一航帶和第三航帶飛行方向相同，形成往上凸的現(xiàn)象，而第二航帶是相反飛行方向就形成了向下凹的現(xiàn)象，體現(xiàn)飛行軌跡及影像畸變的特征。同時(shí)，第一條航帶與第二條航帶之間相同區(qū)域部分，越是往圖5下方和圖6上方的重疊區(qū)域它們之間的差異越大，如果僅通過同名點(diǎn)匹配進(jìn)行拼接，則難以滿足所有同名點(diǎn)的配對、拼接，因?yàn)槿绻麧M足圖5上方區(qū)域的拼接，則會(huì)在滿足該區(qū)域拼接的同時(shí)把影像強(qiáng)行的定位到該區(qū)域，圖5下方區(qū)域與圖6上方區(qū)域的拼接將會(huì)特別困難，如果強(qiáng)行拼接的話將會(huì)產(chǎn)生大量的影像變形和畸變，直接影響拼接效果。

圖5　第一條航帶拼接圖

圖6　第二條航帶拼接圖

圖7　第三條航帶拼接圖

通過上面三條航帶的單獨(dú)拼接效果圖可以發(fā)現(xiàn)影像拼接過程中會(huì)產(chǎn)生誤差累積現(xiàn)象，如果不考慮這點(diǎn)則會(huì)產(chǎn)生扭曲、錯(cuò)位、重疊等現(xiàn)象，以至于不能繼續(xù)拼接下去。本文提出的首先記錄每個(gè)拼接影像匹配中心點(diǎn)集合，對它們進(jìn)行區(qū)域網(wǎng)平差糾正每個(gè)影像的位置，同時(shí)采用先航帶間再航帶內(nèi)、旁邊航帶向中間航帶靠攏的方式進(jìn)行拼接能夠明顯地減少拼接結(jié)果錯(cuò)位、重疊的情況。圖8為直接拼接效果圖，存在三個(gè)明顯的錯(cuò)位、重疊處，這是由于新影像往已拼接的影像上拼接時(shí)，能找到一些拼接同名點(diǎn)，但是已拼接影像已經(jīng)累積了大量畸變，導(dǎo)致拼接影像重疊、錯(cuò)位。圖9為直接拼接3個(gè)區(qū)域放大效果圖。

圖8　直接拼接效果圖

圖9　直接拼接法中3個(gè)區(qū)域放大圖

圖10　本文方法拼接結(jié)果圖

如圖10所示為利用本文方法對同樣的影像進(jìn)行拼接后的效果圖，在圖8中的相同3個(gè)區(qū)域最終的拼接效果可以通過圖11的放大圖進(jìn)行對比，基本沒有出現(xiàn)重疊、錯(cuò)位的情況。同時(shí)對比圖8和圖10可以發(fā)現(xiàn)，本文方法拼接出的影像能充分利用已有影像，拼接的范圍也更大，圖8中很多邊緣區(qū)域都不能顯示，這是因?yàn)橛跋衿唇舆^程中的累積誤差過大導(dǎo)致邊緣影像不能拼接上。對比圖8與本文方法拼接的圖10三塊區(qū)域，再選取部分特征點(diǎn)位，總結(jié)出兩種方法的精度誤差如表1所示。

表1　部分點(diǎn)位誤差統(tǒng)計(jì)　m

圖11　本文方法拼接圖中3個(gè)區(qū)域放大圖

5　結(jié) 論

由于無人機(jī)受風(fēng)力影響較大，其不同航帶的影像會(huì)形成各自的畸變及軌跡，對它們進(jìn)行直接拼接會(huì)形成大量的累積誤差，出現(xiàn)重疊、錯(cuò)位等現(xiàn)象，難以拼接出全景圖。本文方法能夠較好地解決這個(gè)問題，利用所有影像拼接出質(zhì)量較高的全景圖。今后需要繼續(xù)深入研究的問題是進(jìn)行區(qū)域網(wǎng)平差會(huì)增加處理時(shí)間，需要進(jìn)一步優(yōu)化算法及計(jì)算軟件。

參考文獻(xiàn)：

［1］ 何敬，李永樹，徐京華，等．無人機(jī)影像制作大比例尺地形圖實(shí)驗(yàn)分析［J］．測繪通報(bào)，2009（8）：24－27．

［2］ 張萬強(qiáng)，趙俊三，唐敏．無人機(jī)影像構(gòu)建三維地形研究［J］．測繪工程，2014，23（3）：36－41

［3］ 劉軍，許志華，劉小陽，等．基于無人機(jī)遙感影像拓?fù)浞治龅娜S重建［J］．測繪工程，2014，23（8）：32－35．

［4］ 臧克，孫永華，李京，等．微型無人機(jī)遙感系統(tǒng)在汶川地震中的應(yīng)用［J］．自然災(zāi)害學(xué)報(bào)，2010，19（3）：162－166．

［5］ 魯恒，李永樹，李何超，等．無人機(jī)影像數(shù)字處理及在地震災(zāi)區(qū)重建中的應(yīng)用［J］．西南交通大學(xué)學(xué)報(bào)，2010，45 （4）：533－538．

［6］ 魯恒，李永樹．無人機(jī)低空遙感影像數(shù)據(jù)的獲取與處理［J］．測繪工程，2011，20（1）：51－54．

［7］ 樊慶文，王小龍．基于等距序列圖像的快速拼接技術(shù)［J］．四川大學(xué)學(xué)報(bào)（工程科學(xué)版），2005，37（1）：139－142．

［8］ 張珍梅．無人飛行器遙感影像飛行質(zhì)量檢查及影像快速拼接方法研究［D］．北京：首都師范大學(xué)，2011．

［9］ 李勝睿，李翠華．基于梯度濾波的彩色圖像快速拼接與實(shí)現(xiàn)技術(shù)［J］．廈門大學(xué)學(xué)報(bào)，2003，42（1）：29－34．

［10］ZHOU Guoqing．Near real time ortho rectification and mosaic of small UAV video flow for time critical event response［J］．IEEE Transactions on Geoscience and Remote Sensing，2009，47（3）：739－747．

［11］LOWE D G．Distinctive image features from scale－invariant key points［J］．International Journal of Computer Vision，2004，60（2）：91－110．

［責(zé)任編輯：張德福］

Sequence UAV image mosaic method

TANG Min，YANG Feng，HUANG Huaping

（China Railway Eryuan Engineering Group Co．Ltd，Chengdu 610031，China）

Abstract：UAV images have large number of quantities，big distortion and other characteristic，which makes a large amount of accumulated errors in the splicing process．The access to a wide range of accurate panorama will face certain difficulties．Based on this，this paper presents an accurate and efficient method of UAV image sequence stitching．Firstly，it calculates the approximate area of image matching，reduces the time of feature search and matching，and at the same time，records the coordinates of feature point，which is at the location of regional centers．

Key words：UAV image；stitching；flight strips；cumulative error；sub regional weighted

作者簡介：唐 敏（1986－），男，工程師，博士研究生．

收稿日期：2015－04－28

中圖分類號：P231

文獻(xiàn)標(biāo)識碼：A

文章編號：1006－7949（2016）01－0010－07