曾國(guó)奇，牛子凡，鄭麗麗，*，李杰，郝得霖

1.北京航空航天大學(xué) 無(wú)人系統(tǒng)研究院，北京 100191

2.北京航空航天大學(xué) 電子信息工程學(xué)院，北京 100191

隨著無(wú)人機(jī)技術(shù)的發(fā)展，無(wú)人機(jī)已廣泛應(yīng)用于測(cè)繪、貨運(yùn)、監(jiān)控、軍事等各個(gè)領(lǐng)域，特別是在應(yīng)急測(cè)繪、工業(yè)檢測(cè)［1］、自然災(zāi)害監(jiān)測(cè)［2］、綠地植被監(jiān)測(cè)［3］、城市安全［4］等方面，無(wú)人機(jī)起著至關(guān)重要的作用。隨著5G 通信的發(fā)展，無(wú)人機(jī)通信鏈路的峰值速度可達(dá)10～20 Gbit/s，空中接口延遲低至1 ms，無(wú)線通信實(shí)時(shí)性大大提高，使得高清無(wú)人機(jī)的實(shí)時(shí)圖像傳輸成為可能。

在某些場(chǎng)景中，無(wú)人機(jī)需要拍攝并獲取某一區(qū)域的圖像信息，然后形成該區(qū)域的整體地形圖，如野外測(cè)繪、自然災(zāi)害態(tài)勢(shì)觀測(cè)、城市建設(shè)管理和控制等。傳統(tǒng)的態(tài)勢(shì)獲取方法，需要無(wú)人機(jī)按照特定的航線進(jìn)行重復(fù)往返飛行，在飛行結(jié)束后，需要手動(dòng)從機(jī)載相機(jī)上獲得原始的拍照?qǐng)D片，進(jìn)行圖像矯正等預(yù)處理操作，并根據(jù)拍攝時(shí)的相機(jī)參數(shù)信息，進(jìn)行事后拼接，形成拍攝圖像的拼接圖，從拍攝到形成拼接圖像需要數(shù)小時(shí)，該方法適用時(shí)效性不高的測(cè)繪領(lǐng)域。然而，在一些時(shí)敏性要求較高的場(chǎng)合，例如火災(zāi)態(tài)勢(shì)監(jiān)測(cè)、地震救援指揮、公路交通疏導(dǎo)等場(chǎng)景下，指揮現(xiàn)場(chǎng)需要實(shí)時(shí)獲取目標(biāo)區(qū)的現(xiàn)場(chǎng)全局態(tài)勢(shì)信息，并根據(jù)現(xiàn)場(chǎng)情況判斷是否進(jìn)行下一步?jīng)Q策。無(wú)人機(jī)一般不會(huì)按照特定的路線進(jìn)行飛行，現(xiàn)場(chǎng)需要獲取無(wú)人機(jī)視頻圖像的同時(shí)獲得已飛行區(qū)域的現(xiàn)場(chǎng)態(tài)勢(shì)。由于無(wú)人機(jī)飛行時(shí)大角度和非規(guī)則航線，傳統(tǒng)的圖像拼接方法無(wú)法形成穩(wěn)定、快速的圖像。因此本文提出了一種基于球形變換的無(wú)人機(jī)實(shí)時(shí)圖像拼接方法，改進(jìn)無(wú)人機(jī)圖像拼接的穩(wěn)定性和時(shí)效性，提高了拼接算法的實(shí)用性。

圖像拼接是根據(jù)2 張具有重疊區(qū)域的圖像中的匹配關(guān)系進(jìn)行配準(zhǔn)，形成一張更大的圖像的過(guò)程。從流程上可以分解為圖像的畸變預(yù)處理、匹配和配準(zhǔn)、拼接融合幾步［5］，其中圖像配準(zhǔn)是最為關(guān)鍵的一步。關(guān)于圖像拼接的研究通常主要圍繞提升圖像配準(zhǔn)的精度和效率展開，圖像配準(zhǔn)的算法大體可以分為2 類，第1 類是基于特征的圖像配準(zhǔn)方法，另外一類是非特征的圖像配準(zhǔn)，主要有基于變換域以及基于灰度信息的圖像配準(zhǔn)方法。在無(wú)人機(jī)圖像拼接領(lǐng)域，基于特征的圖像拼接方法綜合表現(xiàn)較好，在算法的精度、效率、魯棒性上全面超過(guò)非特征的拼接算法［6］，是目前主流的配準(zhǔn)方法，下面著重介紹基于特征匹配的圖像拼接算法。

Lowe［7］提出了SIFT（Scale Invariant Feature Transform）算子，該方法可以得到對(duì)圖像尺度、旋轉(zhuǎn)、縮放具有不變性的特征描述，隨后Bay等［8］對(duì)SIFT 算法進(jìn)行了改進(jìn)，提出了SURF 算法，使用小波變換構(gòu)造特征向量提高了運(yùn)算速度，Dosovitskiy 等［9］在進(jìn)行特征提取時(shí)通過(guò)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)創(chuàng)建特征，改善了相似特征的提取情況；Nguyen 等［10］提出通過(guò)卷積神經(jīng)網(wǎng)絡(luò)直接創(chuàng)建特征描述子，簡(jiǎn)化了特征提取算法。

基于特征的拼接方法中存在單應(yīng)性變換誤差積累的問(wèn)題，很多學(xué)者在消除單應(yīng)性變換誤差積累上做了研究，例如使用光束平差法［11］優(yōu)化單應(yīng)性矩陣的計(jì)算誤差，或者直接對(duì)單應(yīng)性誤差積累問(wèn)題進(jìn)行消除，例如APAP（As-Projective-As-Possible）算法［12］使用局部單應(yīng)性矩陣進(jìn)行圖像拼接，SPHP（Shape-Preserving Half-Projective）算法［13］使用附加項(xiàng)優(yōu)化網(wǎng)格化單應(yīng)性矩陣，使用透射變換和相似變換結(jié)合的方式增加拼接的全局相似性，Chen 等［14］提出了一種基于全局相似性先驗(yàn)校正方法，但是線性結(jié)構(gòu)沒(méi)有得到很好的保護(hù)，Zhang 等［15］通過(guò)設(shè)置一系列預(yù)約束來(lái)實(shí)現(xiàn)更好的性能，Lin 等［16］考慮了像素強(qiáng)度的差異，這在低紋理圖像中效果良好，Lee 等［17］將圖像分割，并根據(jù)視差的扭曲殘差計(jì)算出的特征匹配進(jìn)行扭曲，但是這些方法大都需要計(jì)算多個(gè)單應(yīng)性矩陣，通過(guò)改進(jìn)附加項(xiàng)優(yōu)化拼接效果，或使用多張圖像間的匹配關(guān)系進(jìn)行計(jì)算，通常計(jì)算效率比較低。

本文主要針對(duì)全局單應(yīng)性誤差校正的問(wèn)題，在不建立局部單應(yīng)性的前提下允許拼接圖像之間出現(xiàn)角度變化，通過(guò)球形校正算法提高圖像拼接算法的效率和穩(wěn)定性，可以解決大角度下視頻圖像的快速、穩(wěn)定、持久拼接的難題。

1 基于特征的圖像拼接方法流程

基于特征的圖像拼接的通用方法一般包括數(shù)據(jù)清洗、特征提取、特征匹配、單應(yīng)性變換以及最終圖像融合。數(shù)據(jù)清洗主要對(duì)圖像的幾何畸變和色差畸變進(jìn)行校正，特征提取主要使用特征描述算法計(jì)算圖像中的特征信息，特征匹配對(duì)特征點(diǎn)進(jìn)行匹配、篩選，并計(jì)算圖像之間的幾何變換模型參數(shù)，隨后使用單應(yīng)性變換完成拼接，使用融合算法進(jìn)行融合。

在傳統(tǒng)的拼接流程中，單應(yīng)性誤差積累問(wèn)題使算法對(duì)視角不具有魯棒性，因此本文主要改進(jìn)了傳統(tǒng)的透射變換模型參數(shù)計(jì)算，通過(guò)球形校正增加單應(yīng)性變換對(duì)視角的魯棒性，從而提升圖像拼接算法的穩(wěn)定性和效率，增加圖像拼接算法的實(shí)用性，圖像拼接流程如圖1 所示。

圖1 圖像拼接流程圖Fig.1 Image stitching flow chart

2 單應(yīng)性誤差校正

2.1 透射誤差積累

單應(yīng)性變換時(shí)產(chǎn)生誤差，在進(jìn)行基于特征匹配的圖像拼接時(shí)，圖像間的幾何變換可以用單應(yīng)性變換表示，因此需要基于局部特征進(jìn)行單應(yīng)性變換完成拼接過(guò)程，在連續(xù)2 張圖像的重疊部分完成圖像的配準(zhǔn)，然而在非重疊區(qū)域的圖像則會(huì)發(fā)生拉伸或壓縮形變，在下一次拼接時(shí)基于已形變的特征進(jìn)行配準(zhǔn)，會(huì)使單應(yīng)性誤差不斷積累，形變誤差逐步放大，最終過(guò)度形變導(dǎo)致特征提取無(wú)法完成，從而失去匹配關(guān)系，如圖2 所示。

圖2 由于單應(yīng)性變換誤差累積而引起的圖像失真Fig.2 Image distortion caused by accumulation of homography transformation errors

本文使用SIFT 特征提取算法、窮舉法完成圖像匹配，RANSAC（RANdom SAmple Consensus）算法完成匹配篩選，并最終計(jì)算得到透射變換模型，對(duì)68 張連續(xù)幀圖像進(jìn)行的一段圖像拼接如圖3 所示。在拼接之初效果較好，然而隨著拼接次數(shù)增多失真逐漸嚴(yán)重，最后無(wú)法進(jìn)行拼接。

圖3 透射變換拼接效果Fig.3 Transmission transformation stitching effect

如果無(wú)人機(jī)處于平穩(wěn)飛行狀態(tài)，即不存在俯仰角和滾轉(zhuǎn)角的變化，那么采集的圖像數(shù)據(jù)在世界坐標(biāo)系中處于同一平面上，因此圖2 中的單應(yīng)性誤差大部分來(lái)源于計(jì)算誤差，因此可以使用光束平差法對(duì)單應(yīng)性誤差進(jìn)行消除，優(yōu)化拼接效果。但如果對(duì)圖像添加光束平差約束，圖像之間需要具有相對(duì)較高的重疊率［11］，同時(shí)需要以組為單位對(duì)圖像進(jìn)行計(jì)算，無(wú)法對(duì)2 張圖像進(jìn)行實(shí)時(shí)拼接。除此之外，無(wú)人機(jī)不可能處于絕對(duì)正射狀態(tài)，實(shí)際場(chǎng)景中會(huì)引入角度變換，尤其是在應(yīng)急場(chǎng)景中，因此算法需要考慮在無(wú)人機(jī)大角度下的拼接性能。

2.2 球形校正模型

設(shè)定首張拼接圖像所在平面為基準(zhǔn)平面ST，圖像坐標(biāo)系中特征點(diǎn)坐標(biāo)為(x，y)，相機(jī)坐標(biāo)系中特征點(diǎn)坐標(biāo)為(m，n，h)，則拼接的全局相似性條件為在所有拼接圖像在單次拼接后，端邊界處的像素點(diǎn)集必須收斂到基準(zhǔn)平面ST上，使2 張圖像的像素點(diǎn)集X、Y滿足：

式中：fx、fy分別為相機(jī)在x軸方向和y軸方向焦距的像素長(zhǎng)度；cx、cy分別為相機(jī)主點(diǎn)的實(shí)際位置；rij、ti分別為旋轉(zhuǎn)參數(shù)和平移參數(shù)，點(diǎn)集M、N為

式中：(mi，ni，hi)為相機(jī)坐標(biāo)系中的特征點(diǎn)坐標(biāo)；dwidth為相機(jī)在x方向上的最大像素距離；dheight為相機(jī)在y方向上的最大像素距離。

當(dāng)拼接過(guò)程滿足該約束時(shí)，能夠保證拼接完成時(shí)視角距離位于初始水平，為了滿足這一條件，本文使用球形對(duì)圖像進(jìn)行投射變換。圖4 展示了p1～p5在進(jìn)行拼接時(shí)發(fā)生了α1～α4的透射偏移，在經(jīng)過(guò)不同半徑的球形透射變換后，p2～p5圖像變換為pc2～pc5，使得圖像拼接后的邊緣像素點(diǎn)收束到了ST平面，原本的單應(yīng)性視角距離改變轉(zhuǎn)化為了像素的波浪狀形變。

圖4 球形變換Fig.4 Spherical transformation

2.3 球參數(shù)計(jì)算

以圖4 中首張圖像幀p1所在的直線為基準(zhǔn)線，記為L(zhǎng)base，在隨后的拼接中對(duì)其他圖像做球形投影變換，第i幀圖像pi球形投影變換后的圖像記為pci，球半徑記為r，使得每次變換后的圖像進(jìn)行配準(zhǔn)時(shí)，保持右側(cè)端點(diǎn)始終落在Lbase上。

在此方法下，設(shè)pi和pi-1之間的夾角為ai，pi和pi-1在y方向上的相對(duì)位移為di個(gè)像素，設(shè)pi的寬度為wi，則可以求解得出pci所在的球半徑ri為

式中：Xi為相機(jī)位移在Lbase上的投影；αi為相機(jī)在Lbase方向的偏轉(zhuǎn)角度，使用迭代法求解此超越方程，計(jì)算得到校正球半徑ri。

對(duì)于相機(jī)位姿變化參數(shù)Xi和αi，可以通過(guò)無(wú)人機(jī)采集圖像時(shí)的POS 信息直接得到，除此之外也可以使用PnP（Perspective-n-Point）算法對(duì)相機(jī)位姿進(jìn)行大體估計(jì)計(jì)算。對(duì)于投影矩陣為

消去s后，可以得到2 個(gè)約束

假設(shè)有N個(gè)特征點(diǎn)，可以求線性方程組

式中：Pn為第n個(gè)像素點(diǎn)的齊次坐標(biāo)；t1、t2、t3為[R T]的行向量，由于其為12 維度，所以6 對(duì)匹配點(diǎn)即可完成線性求解，獲得相機(jī)位姿參數(shù)。當(dāng)匹配點(diǎn)＞6 對(duì)時(shí)，可以使用SVD（Singular Value Decomposition）方法求最小二乘解［18］。

2.4 球面投影

對(duì)pi進(jìn)行以ri為半徑的球形投影，如圖5 所示，假設(shè)圖像pi位于半徑為ri球面上，此時(shí)pi上任意一點(diǎn)P2的像素坐標(biāo)值記為(x，y，z)，在(0，0，h)處設(shè)置一個(gè)光源點(diǎn)P，通過(guò)點(diǎn)P向z=0 的平面進(jìn)行投影，設(shè)投影比例系數(shù)為k，從P通過(guò)P2投影到P3，則有

圖5 球形投影示意圖Fig.5 Schematic diagram of spherical projection

最終可得到pci的橫坐標(biāo)px=kx，縱坐標(biāo)py=ky，式中：

球形投影的效果如圖6 所示，可以看到右圖為球形變換后的扭曲圖像。

圖6 球形投影效果圖Fig.6 Spherical projection rendering

2.5 球形變換的效果分析

當(dāng)圖像進(jìn)行球形變換后再進(jìn)行單應(yīng)性變換時(shí)，拼接后像素點(diǎn)集X、Y收斂到了基準(zhǔn)平面ST上，使得圖像間特征像素尺度向最初的特征像素尺度收斂，避免了次級(jí)拼接時(shí)的特征尺度變化的擴(kuò)大。

建立幾何失真函數(shù)G，以圖像單應(yīng)性變化后的非剛體形變程度作為特征尺度均勻性的度量，即

式中：w1、w2為原始圖像的兩對(duì)邊寬為變換后圖像的兩對(duì)邊寬分別為變換前后圖像的高，αi為圖像的第i個(gè)內(nèi)角的角度。求取臨邊比和對(duì)邊比偏離初始值的程度，以及各個(gè)角偏離初始角度的程度，相乘后作為特征尺度均勻性函數(shù)，分別對(duì)98 張匹配圖像進(jìn)行49 次單應(yīng)性拼接，以及將其中的49 張配準(zhǔn)圖像進(jìn)行球形變換后再次單應(yīng)性拼接進(jìn)行對(duì)比，結(jié)果如圖7 所示?？梢钥闯?，經(jīng)過(guò)球形校正的單應(yīng)性拼接，降低了單應(yīng)性變化帶來(lái)的特征尺度不均勻性，因此在后續(xù)的拼接時(shí)降低了特征尺度不均勻帶來(lái)的誤差積累。

圖7 單應(yīng)性拼接和球形校正拼接后一系列拼接圖像的幾何失真變化Fig.7 Geometric distortion change between spherical correction and homography transformation on a series of images

而對(duì)于同一次拼接，分別計(jì)算單應(yīng)性變換和球形校正單應(yīng)性變換得到的拼接圖像后，拼接圖各個(gè)特征變換后與相鄰特征距離的值的變化比例，如圖8 所示?？梢钥吹?，由于在800 個(gè)特征之前（沿拼接方向）為參考圖像，特征間的距離與拼接前后保持不變，而在拼接圖像加入后，單應(yīng)性變換產(chǎn)生的特征尺度變化迅速積累，在球形校正后的尺度變換被均勻的分散為整張圖像的球面扭曲，從而降低了特征的尺度變化。相對(duì)于單應(yīng)性變換來(lái)說(shuō)，在拼接縫隙處增加了一些尺度不連續(xù)性，但是特征尺度的縮小將大幅降低單應(yīng)性變換的誤差積累。

圖8 單應(yīng)性拼接和球形校正拼接后單張拼接圖像的特征尺度變化Fig.8 Features scale change between spherical correction and homography transformation on single image

3 基于球形校正的圖像拼接效果

3.1 特征提取

圖像特征描述符是描述關(guān)鍵點(diǎn)周圍像素信息的向量，由于無(wú)人機(jī)圖像之間可能存在旋轉(zhuǎn)、平移、縮放等變換，特征描述也需要具有平移、旋轉(zhuǎn)、縮放和傳輸?shù)牟蛔冃?。目前，SURF 和ORB（Oriented FAST and Rotated BRIEF）是計(jì)算速度較快的特征描述子。Li 等分析了2 種算法的性能比較［19］，如表1 所示。

表1 SURF 和ORB 的性能比較［19］Table 1 Comparison of performance of SURF and ORB［19］

雖然ORB 算法較快，但有效特征點(diǎn)數(shù)量不及SURF 的1/2，為了保證拼接質(zhì)量，本文采用了SURF 特征描述符。對(duì)圖9 左圖提取SURF 特征點(diǎn)，特征如圖9 右圖所示，可以清晰地反映圖像特征。

圖9 利用SURF 算法提取特征點(diǎn)Fig.9 Using SURF algorithm to extract feature points

3.2 特征匹配

遍歷每個(gè)特征點(diǎn)描述子與所有其他特征點(diǎn)描述子之間的距離，然后取最近的一個(gè)作為匹配點(diǎn)，這樣可以獲得最高的匹配精度，以特征點(diǎn)之間的最小歐氏距離建立最優(yōu)解，即

式中：n為特征點(diǎn)的數(shù)量；xk、yk分別為該特征點(diǎn)在x方向和y方向上距離第k個(gè)特征點(diǎn)的像素距離。

如圖10 所示，使用窮舉法對(duì)2 幅部分重疊的圖像進(jìn)行特征匹配，并將匹配成功的特征點(diǎn)連接起來(lái)。

圖10 SURF 特征點(diǎn)粗匹配Fig.10 Rough matching of SURF feature points

本文采用RANSAC（Random Sample Consensus）算法［20］對(duì)匹配點(diǎn)進(jìn)行濾波。在濾波過(guò)程中，以最佳單應(yīng)矩陣為目標(biāo)，即尋找一個(gè)能滿足單應(yīng)變換且數(shù)據(jù)量最大的單應(yīng)矩陣。單應(yīng)變換滿足

式中：hij為單應(yīng)性矩陣的構(gòu)造參數(shù)。

從匹配數(shù)據(jù)集中隨機(jī)選擇4 個(gè)樣本，并通過(guò)確保4 個(gè)樣本不共線來(lái)計(jì)算單應(yīng)性矩陣。然后利用該模型對(duì)所有數(shù)據(jù)進(jìn)行檢驗(yàn)，計(jì)算出滿足該模型的數(shù)據(jù)點(diǎn)數(shù)和投影誤差，使相應(yīng)的代價(jià)函數(shù)最小化。代價(jià)函數(shù)為

經(jīng)過(guò)RANSAC 濾波匹配后，錯(cuò)誤匹配明顯減少，匹配質(zhì)量大大提高，如圖11 所示。

圖11 RANSAC 精匹配Fig.11 RANSAC fine matching

4 試驗(yàn)結(jié)果分析

4.1 穩(wěn)定正射圖像的拼接效果

在無(wú)人機(jī)飛行較穩(wěn)定、區(qū)域特征清晰時(shí)，對(duì)57 張連續(xù)幀圖像進(jìn)行傳統(tǒng)的透射變換拼接，效果如圖12 所示，可以看出拼接末端產(chǎn)生了一點(diǎn)失真，但整體失真情況較小。

圖12 穩(wěn)定正射圖像的拼接效果Fig.12 Stitching effect of stable orthophoto images

在無(wú)人機(jī)飛行較不平穩(wěn)、存在些許抖動(dòng)時(shí)，對(duì)68 張連續(xù)幀圖像進(jìn)行傳統(tǒng)的透射變換效果如圖13 所示，可看出在拼接末端的失真明顯。

圖13 由于單應(yīng)性變換誤差累積而引起的圖像失真Fig.13 Image distortion caused by accumulation of homography transformation errors

在加入球形校正的全局相似性約束后，對(duì)拼接圖13 使用的68 張連續(xù)幀圖像進(jìn)行透射變換拼接的效果如圖14 所示。可以看出，經(jīng)球形校正后大大改善了單應(yīng)性誤差積累形變的問(wèn)題，在拼接末端的像素比例基本與初始圖像保持一致。如圖15 所示，圖中統(tǒng)計(jì)了拼接時(shí)圖像形變引起的重投影誤差，在基礎(chǔ)拼接第70 次左右時(shí)誤差快速放大積累，到達(dá)了視覺(jué)明顯可見的失真后停止拼接，而加入球形校正后拼接第220 次時(shí)仍然能夠保持視覺(jué)允許的失真程度進(jìn)行拼接。

圖14 經(jīng)球形校正模型約束后的拼接效果Fig.14 Stitching effect constrained by spherical correction model

圖15 校正算法優(yōu)化前后的累積透射誤差對(duì)比Fig.15 Comparison of cumulative transmission error before and after optimization of correction algorithm

4.2 大角度圖像的拼接效果

如圖16 左圖所示，無(wú)人機(jī)在俯仰角存在較大變化的情況下采集到2 張圖像，通過(guò)傳統(tǒng)的透射變換進(jìn)行拼接，效果如圖16 右圖所示。

圖16 基于透射變換模型和特征匹配的大視角圖像拼接效果Fig.16 Effect of large view image stitching based on transmission transformation model and feature matching

使用傳統(tǒng)拼接和球形校正拼接算法對(duì)這2 張大角度變化圖像進(jìn)行拼接，如圖17 所示，球形校正算法的拼接具有全局一致性，拼接邊緣的像素比例與參考圖像基本保持一致，沒(méi)有出現(xiàn)圖17（a）中出現(xiàn)的拉伸形變，這使得圖像拼接途中允許一定的視角變化，不會(huì)由于誤差和視角變化的干擾過(guò)早出現(xiàn)拼接失真，大大增強(qiáng)了算法的魯棒性，更適用于實(shí)時(shí)應(yīng)急拼接場(chǎng)景，代價(jià)則是在重疊處的接縫變得相對(duì)明顯。

圖17 傳統(tǒng)拼接和球形校正拼接的效果對(duì)比Fig.17 Effect comparison between traditional splicing and spherical correction splicing

圖18 為分別使用SPHP 算法和本文提出的球形校正拼接算法進(jìn)行的校正結(jié)果，可以看到SPHP 算法和球形校正拼接算法都優(yōu)化了拼接邊緣的形變問(wèn)題，SPHP 算法在拼接縫隙處的形變相對(duì)較大，在拼接邊緣處正常收斂到了標(biāo)準(zhǔn)的全局像素比例；而球形校正拼接算法的形變則是均勻分散到了整張圖，重疊區(qū)域?qū)R性較好，在拼接遠(yuǎn)處呈輕微過(guò)度收斂趨勢(shì)，總體上都為圖像增加了全局相似性。

圖18 SPHP 拼接和球形校正拼接的效果對(duì)比Fig.18 Comparison of SPHP splicing and spherical correction splicing

4.3 大視差圖像的拼接效果

圖像拼接在采集具有視角差的物體時(shí)往往配準(zhǔn)效果較差，拼接時(shí)具有明顯的拼接縫隙，融合后容易產(chǎn)生鬼影，本文測(cè)試了具有視角差的高樓建筑地形的圖像拼接。如圖19 所示，對(duì)75 張連續(xù)幀圖像進(jìn)行拼接，由于無(wú)人機(jī)在飛行時(shí)建筑物表現(xiàn)出了視差，在基礎(chǔ)拼接時(shí)很快產(chǎn)生了失真趨勢(shì)，右圖使用了本文的球形透射約束，能夠看到降低了視差變換帶來(lái)的單應(yīng)性誤差積累。

圖19 存在視差圖像的球形校正前后效果對(duì)比Fig.19 Effect comparison before and after spherical correction of parallax images

在圖20 中對(duì)101 張連續(xù)幀圖像進(jìn)行了拼接，圖20（a）展示了由視差變化引起的嚴(yán)重失真的一種情況，圖20（b）采用了本模型的誤差校正算法進(jìn)行了預(yù)處理，提升了拼接的全局一致性，但仍然存在一定的視差導(dǎo)致的拼接誤差。

圖20 存在較大視差圖像的球形校正前后效果對(duì)比Fig.20 Effect comparison before and after spherical correction for images with large parallax

4.4 算法效率分析

通過(guò)對(duì)同一地區(qū)連續(xù)采集的150 張圖像使用不同算法進(jìn)行拼接測(cè)試，算法的耗時(shí)情況如表2 所示，對(duì)比了ODM（Original Design Manufacture）、SPHP、和本文的球形校正算法（Ball）拼接耗時(shí)，由于不需要網(wǎng)格化計(jì)算多個(gè)單應(yīng)性矩陣，球形校正算法在拼接效率方面有著較好的發(fā)揮。

表2 SPHP、ODM、球形校正算法耗時(shí)對(duì)比Table 2 Comparison of time consumption of SPHP，ODM，and Ball

在計(jì)算校正球參數(shù)時(shí)，相機(jī)位姿信息可以直接從POS 信息中獲取，從而省去位姿估計(jì)耗時(shí)，當(dāng)使用POS 信息輔助時(shí)，算法耗時(shí)情況如表3 所示。與SPHP 算法相比，平均每2 張拼接時(shí)間從2 345.25 ms 減少到1 528.6 ms，算法效率提升了34.8%

表3 SPHP、ODM、基于POS 的球形校正算法耗時(shí)對(duì)比Table 3 Comparison of time consumption of SPHP，ODM，and Ball based on POS

5 結(jié)論

通過(guò)球形校正算法，顯著提高了基礎(chǔ)拼接算法對(duì)相機(jī)角度變化的魯棒性，從而使拼接算法在應(yīng)急場(chǎng)景中更具穩(wěn)定性；除此之外相對(duì)傳統(tǒng)的單應(yīng)性誤差消除算法，球形校正算法提高了誤差的校正效率，從而使拼接算法在實(shí)時(shí)性場(chǎng)景中更具實(shí)用性。

本文提出的球形校正算法將單應(yīng)性誤差積累問(wèn)題轉(zhuǎn)化為全圖的波動(dòng)形變，將誤差分散到全圖的模式相比于重疊區(qū)形變過(guò)濾、非重疊區(qū)進(jìn)行相似變換的方法具有更好的拼接精度，但是會(huì)將單次拼接產(chǎn)生的波形誤差向后傳遞。雖然這種傳遞不會(huì)像單應(yīng)性誤差一樣積累，但是誤差大小取決于全局中角度差最大的2 張圖像，因此設(shè)計(jì)在平穩(wěn)階段逐漸將球參數(shù)調(diào)節(jié)回平面投影是有必要的，因此對(duì)于穩(wěn)定時(shí)的波動(dòng)消除也是我們下一步的研究方向。

除此之外，圖像的POS 信息是非常重要的信息，在本文中已經(jīng)直接使用POS 信息代替相機(jī)位姿的計(jì)算，實(shí)驗(yàn)表明能夠顯著加速球參數(shù)的計(jì)算過(guò)程，在此基礎(chǔ)之上，研究如何通過(guò)原始相機(jī)位姿參數(shù)直接計(jì)算校正后圖像的單應(yīng)性矩陣也是非常有意義的研究方向，能夠進(jìn)一步對(duì)算法進(jìn)行加速。