孟靜，王鳳，李玉琳，李娟

(1.山東省國土測繪院，濟南 250000；2.61206部隊，北京 100043)

0 引言

應急測繪作為測繪地理信息未來發(fā)展的三大方向之一，是國家突發(fā)事件應急救援體系的重要組成部分。尤其是近年來各類自然災害、突發(fā)事件頻發(fā)，給應急測繪工作提出了新要求，帶來了新挑戰(zhàn)。應急測繪為各類突發(fā)公共事件提供地理信息和現(xiàn)代測繪技術的基礎支撐，是指揮決策和搶險救災的保障和依據(jù)。應急測繪保障工作主要包括數(shù)據(jù)獲取、數(shù)據(jù)快速處理以及信息服務，其中數(shù)據(jù)獲取與快速處理對獲取應急測繪第一張圖至關重要[1]。

近年來，輕小型無人機遙感系統(tǒng)憑借機動靈活、快速響應、分辨率高等特點，在地震災害、福建漳州PX項目區(qū)爆燃、天津濱海新區(qū)危險品倉庫爆炸等多次重大自然災害和突發(fā)事件應急處置中發(fā)揮了重要作用，為國家有關部門指揮決策、搶險救災及恢復重建提供了有力的地理信息支持。

現(xiàn)階段的輕小型無人機遙感系統(tǒng)其傳感器多為數(shù)碼相機，由于數(shù)據(jù)量以及鏈路帶寬等問題難以做到第一時間將獲取的圖像傳輸?shù)街笓]部門，而視頻傳感器與無線圖傳設備的結(jié)合使得視頻數(shù)據(jù)的實時傳輸成為可能。為提高視頻應急數(shù)據(jù)使用效率，必須對視頻數(shù)據(jù)開展實時處理，從而提高應急處置效率。

視頻數(shù)據(jù)實時下傳以后，必須與三維地理信息平臺中的底圖影像數(shù)據(jù)開展數(shù)據(jù)融合，方能實現(xiàn)視頻數(shù)據(jù)有效利用，從而為指揮決策部門提供對比分析以及數(shù)據(jù)所處位置情況。而三維地理信息平臺中的底圖影像數(shù)據(jù)由于分辨率與視頻幀影像數(shù)據(jù)不一致、GNSS/IMU精度差、時相不一致等原因，基于已有的匹配方式會出現(xiàn)匹配錯位、定位精度差等問題[2-4]。基于以上原因，為提高視頻幀影像與三維地理信息平臺的實時融合效果，本文開展視頻關鍵幀與底圖數(shù)據(jù)庫影像數(shù)據(jù)匹配技術研究。

1 總體思路研究

本文以無人機載視頻流數(shù)據(jù)為實驗數(shù)據(jù)，首先實時接收無人機載視頻流以及GNSS/IMU數(shù)據(jù)。實時接收數(shù)據(jù)的過程中，在PC端實現(xiàn)視頻幀影像與GNSS/IMU數(shù)據(jù)的時間同步，從而為每一幀視頻影像附上GNSS/IMU信息。之后，根據(jù)GNSS/IMU精度情況、三維地理信息平臺的底圖數(shù)據(jù)庫影像分辨率情況，通過對不同情況分析，研究多種算法，最終根據(jù)不同數(shù)據(jù)源情況形成較好的解決方案。

根據(jù)數(shù)據(jù)源情況，將算法研究分為以下兩個方面：一是GNSS/IMU精度較好時，直接采用現(xiàn)有技術對幀影像實時正射糾正貼入三維地理信息平臺；二是GNSS/IMU精度較差但三維地理信息平臺有高清底圖時，采用幀影像與底圖實時匹配方法貼入三維地理信息平臺，其中若底圖數(shù)據(jù)庫為航空影像，則視頻幀影像與底圖直接匹配，若底圖數(shù)據(jù)庫為衛(wèi)星影像，則采用幾何糾正與幀影像兩兩匹配相結(jié)合的實驗思路。總體流程如圖1所示。

圖1 視頻幀影像與底圖數(shù)據(jù)庫匹配實驗流程圖

2 視頻流幀影像提取與時間同步技術研究

2.1 視頻幀影像實時提取

傳統(tǒng)航空攝影測量中一般要求影像航向重疊度為60%～70%，視頻幀影像的提取有兩種方法[5]，一種是按照固定時間間隔提取，一種是按照幀影像重疊度提取。

按照固定時間間隔提取需要考慮、航高、飛行速度和傳感器參數(shù)等先驗知識，再依據(jù)任務所需航向重疊度，即可計算出相鄰幀影像之間的時間間隔。

時間間隔t的計算如式(1)所示。

(1)

式中：f為攝像機焦距；H為航高；fps為攝像機幀率；p為航向重疊度；v為飛行速度；W、μw分別為視頻幀航向像素個數(shù)和像素物理尺寸。

按固定時間間隔提取幀影像，算法簡單，但容易受飛行速度和地形起伏的影響導致幀影像重疊度分布不均衡。

按重疊度提取幀影像可基于地形起伏、飛行速度以及重疊度要求等參數(shù)自動自適應提取幀影像，重疊度提取誤差不超過±10%，避免等時、等距受地形、風速等因素影響，以及幀影像影像重疊度差異大、出現(xiàn)絕對漏洞等情況，有利于影像的拼接處理[6]。

相鄰視頻幀之間的航向重疊度可采用式(2)進行。

(2)

式中：S為相鄰視頻幀中心點之間的地面距離，通過GNSS/IMU信息中的坐標計算；f為傳感器焦距；W、μw分別為視頻幀航向像素個數(shù)和像素物理尺寸；H為視頻幀獲取時刻的相對航高，通過實時獲取的飛行高度與DEM對比獲取。

2.2 視頻幀影像與GNSS/IMU數(shù)據(jù)的實時同步

視頻幀影像數(shù)據(jù)和GNSS/IMU數(shù)據(jù)是由不同設備獲取的，且通過無線鏈路實時同步下傳，本文假設兩路數(shù)據(jù)傳輸過程中無時間差。

為實現(xiàn)視頻幀影像與GNSS/IMU數(shù)據(jù)時間同步，通過電腦時間對獲取的每一幀視頻數(shù)據(jù)標記高精度時間戳，在提取第一幀關鍵幀時，實時記錄其時間戳和此刻的電腦系統(tǒng)時間。串口接收到一包GNSS/IMU數(shù)據(jù)，系統(tǒng)記錄此刻的電腦系統(tǒng)時間，由于GNSS/IMU數(shù)據(jù)頻率低于幀影像數(shù)據(jù)頻率，因此需要對GNSS/IMU數(shù)據(jù)插值計算。通過相鄰兩兩GNSS/IMU數(shù)據(jù)插值得到關于電腦系統(tǒng)時間的GNSS/IMU信息數(shù)據(jù)。任意關鍵幀的電腦系統(tǒng)時間為第一幀的電腦系統(tǒng)時間+(任意一幀時間戳-第一幀時間戳)，將任意一幀的電腦系統(tǒng)時間代入相應的插值方程就能獲得相關的GNSS/IMU信息，從而實現(xiàn)視頻關鍵幀與GNSS/IMU信息數(shù)據(jù)的時間同步。

3 視頻幀影像與地理信息平臺融合

完成視頻關鍵幀與GNSS/IMU信息數(shù)據(jù)的時間同步后，即消除了由于時間不同步帶來的誤差，為每一幀視頻影像附上了相對準確的外方位元素，下一步為實現(xiàn)視頻幀影像與地理信息平臺的融合，需要開展視頻幀影像與地理信息平臺底圖數(shù)據(jù)匹配技術研究。該研究根據(jù)GNSS/IMU精度情況分為兩種情況進行。

3.1 高精度GNSS/IMU數(shù)據(jù)下的視頻幀影像與底圖數(shù)據(jù)匹配

實驗采用的高精度數(shù)據(jù)為GNSS/IMU AV610數(shù)據(jù)。將視頻幀影像與GNSS/IMU數(shù)據(jù)實時同步，對視頻幀影像數(shù)據(jù)以及獲取的GNSS/IMU數(shù)據(jù)通過正射糾正后，利用坐標直接與底圖數(shù)據(jù)開展匹配。本文用到的視頻幀影像數(shù)據(jù)為1 920像素×1 080像素，一條航線有72張影像，另一條航線有69張影像。圖2、圖3為兩條航線的視頻幀影像航攝測試數(shù)據(jù)，從整體上看，兩條航線數(shù)據(jù)較好，看不出明顯錯位，與拼接后影像差異不大；從細節(jié)上看，相鄰的影像相對位置較好且與天地圖底圖數(shù)據(jù)對應較好。

圖2 高精度GNSS/IMU數(shù)據(jù)下的幀影像與底圖數(shù)據(jù)匹配效果圖

圖3 高精度GNSS/IMU數(shù)據(jù)下的視頻幀影像與底圖數(shù)據(jù)匹配細節(jié)效果圖

通過上述實驗得出，針對GNSS/IMU精度較高的數(shù)據(jù)，通過利用其GNSS/IMU數(shù)據(jù)以及傳感器內(nèi)方位參數(shù)開展正射糾正后直接利用坐標匹配底圖的效果較好。

3.2 低精度GNSS/IMU數(shù)據(jù)下視頻幀影像與底圖數(shù)據(jù)匹配

1)幀影像直接與天地圖瓦片匹配技術研究。實驗采用的地圖數(shù)據(jù)為天地圖數(shù)據(jù)，通過在線實時獲取天地圖瓦片地圖，將天地圖瓦片地圖存入本地硬盤，為幀影像粗略定位到瓦片地圖并與之匹配提供可能。

利用視頻幀影像所對應的粗略GNSS/IMU數(shù)據(jù)能夠找到同一范圍所對應的某一層級下天地圖瓦片。本次實驗選取一次飛行過程中獲取的兩張航片，原始影像分辨率為0.05 m，利用該處的GNSS/IMU信息獲取的天地圖瓦片最高級別為16級，即瓦片分辨率為2.388 657 m。通過計算獲取原始影像對應的瓦片地圖。

將原始測試數(shù)據(jù)分別放入PhotoScan、Pix4DMapper、AutoStitch快拼軟件、OpenCV匹配算法進行匹配，所有匹配均已失敗告終。為此，將視頻幀影像在原始影像基礎上壓縮4倍，分辨率變?yōu)?.2 m，匹配依然失?。辉谠加跋竦幕A上壓縮8倍，分辨率變?yōu)?.4 m，匹配依然失??；在原始影像的基礎上壓縮40倍，分辨率變?yōu)? m，與天地圖16級瓦片2.39 m分辨率接近，但匹配依然失敗。通過本次實驗得出，根據(jù)幀影像所對應的經(jīng)緯度坐標能夠很容易找到同一區(qū)域不同級別對應的天地圖瓦片數(shù)據(jù)，但無論是利用現(xiàn)有商業(yè)軟件還是開源匹配算法，均無法完成不同分辨率的相機數(shù)據(jù)與天地圖瓦片數(shù)據(jù)的匹配。

2)幾何糾正與幀影像兩兩匹配相結(jié)合技術研究。視頻幀影像與天地圖瓦片不能進行匹配，但可以借助天地圖瓦片坐標對幀影像進行幾何糾正。采用開源的特征匹配算法能夠獲取任意相鄰兩張具有明顯地物特征的影像的較好匹配結(jié)果。受此啟發(fā)，本次實驗將兩種方法結(jié)合在一起，實現(xiàn)幀影像的實時定位。具體實現(xiàn)過程如下。

步驟1：根據(jù)GNSS/IMU數(shù)據(jù)對第一幀幀影像進行初始定位，接著在天地圖底圖和幀影像上選取5個同名像點，進行幾何糾正，采用最小二乘法計算多項式方程系數(shù)并存儲。

步驟2：將第二幀幀影像與第一幀原始影像(非幾何糾正后幀影像)進行SURF特征匹配并多次剔除粗差[7-8]，遵循匹配點分布均勻和匹配點較優(yōu)原則選取5對匹配點。

步驟3：將第一幀的5個匹配點帶入初始定位中求出的多項式方程，計算其對應的地面點坐標，這些地面點坐標也與第二幀的5個匹配點一一對應，因此再對第二幀進行幾何糾正，并存儲最小二乘法求出的多項式方程系數(shù)。

步驟4：接下來的幀影像采用同樣的方法進行匹配與幾何糾正，完成一條航線上的所有幀影像。

編程實現(xiàn)上述方法，只需第一幀手動獲取5個同名像點，之后為自動匹配與幾何糾正。實驗采用無人機飛行獲取的視頻幀數(shù)據(jù)，1 920像素×1 080像素，共72張。從細節(jié)上來看，效果大大優(yōu)于利用飛控數(shù)據(jù)正射糾正后的幀影像(圖4、圖5)。

圖4 視頻幀影像數(shù)據(jù)兩兩匹配與幾何糾正效果圖

圖5 飛控數(shù)據(jù)直接正射糾正效果圖

從圖4、圖5的比較可以看出，相鄰幀影像兩兩匹配和幾何糾正相結(jié)合的方法明顯優(yōu)于粗略GNSS/IMU直接正射糾正的效果，相鄰幀影像之間相對位置較準確。

但這種方法也有明顯的缺點，隨著匹配影像的增多，雖相鄰幀影像的相對位置關系依然準確，但其與底圖數(shù)據(jù)庫的對應絕對位置偏差越來越大(圖6)。

圖6 絕對位置偏差效果圖

針對隨著影像增多，絕對位置偏差越大的問題，本次實驗從匹配點盡可能均勻分布且匹配點最優(yōu)原則出發(fā)，經(jīng)過多次實驗，采用將所有匹配點按坐標分為4塊，再從中選出較優(yōu)匹配點且離圖像中心較遠的點作為最優(yōu)選出的匹配點。改進后的方法依然會出現(xiàn)隨著影像增多絕對位置偏差越大的問題，且兩條航線效果較差(圖7、圖8、圖9)。

圖7 寧夏中衛(wèi)兩條航線飛思數(shù)據(jù)處理效果圖

圖8 大興一條航線視頻數(shù)據(jù)處理效果圖

圖9 大興兩條航線視頻數(shù)據(jù)處理效果圖

從本次實驗可以看出，對于單條航線來說，在沒有高精度GNSS/IMU數(shù)據(jù)輔助的情況下，采用相鄰幀影像兩兩匹配和幾何糾正相結(jié)合的方法能夠獲取較好的效果，但隨著影像的增多，幀影像的絕對位置偏差會越來越大；對于多條航線來說，用相鄰幀影像兩兩匹配和幾何糾正相結(jié)合的方法獲取的效果依然較差。為改善以上方案，受幾何糾正可改進匹配效果的方法影響，本文提出多處增加幾何糾正的改進匹配方法開展實驗，為視頻流應急測繪提供解決方案。

3.3 多處增加幾何糾正的改進匹配方法研究

1)增加對每條航線的最后一張手動幾何糾正。針對單條航線隨著影像的增多，位置偏差越來越明顯的問題，首先對航線最后一張影像手動幾何糾正，接著建立多項式方程描述手動幾何糾正影像與自動匹配幾何糾正影像之間的變換關系，再按等差數(shù)列為每一幀自動匹配幾何糾正影像分配變換關系，最后對自動匹配幾何糾正影像進行多項式變換生成新的影像，實驗結(jié)果如圖10所示，長度較短的影像為算法改進后結(jié)果。從圖中可以看出算法改進后整體定位效果較好，相鄰影像位置幾乎無偏差，首尾絕對定位最準，但航線中間影像絕對定位有明顯偏差(圖11紅框)。

圖10 算法改進后與改進前效果圖

圖11 算法改進后視頻幀與底圖融合效果圖

從圖12可以看出，算法改進后兩條航線定位效果有明顯改善，但依然存在航線中間影像定位效果差的問題。為改進該問題，提高手動幾何糾正的次數(shù)。

圖12 算法改進后兩條航線定位效果圖

2)每隔三分之一航線進行手動幾何糾正。事先根據(jù)飛行參數(shù)預估單條航線的總影像數(shù)，以其幀影像總量的三分之一作為手動幾何糾正間隔。以視頻幀影像數(shù)據(jù)為例(1 920像素×1 080像素)，單條航線總影像數(shù)目為66張，即每隔22張進行一次手動幾何糾正。第1張手動幾何糾正后，其后影像兩兩匹配并自動幾何糾正，直到完成第23張；接著再對第23張原始影像手動幾何糾正，并建立其與自動幾何糾正影像之間的多項式關系，再用該多項式去微調(diào)從第2張到第22張自動幾何糾正后的影像。最后以第手動幾何糾正后的第23張影像作為開始，匹配糾正其后的影像，重復上述過程直到完成航線內(nèi)的所有影像。圖13體現(xiàn)了單條航線經(jīng)過該方式改進后的匹配效果，圖14為該條航線局部放大匹配效果圖。實驗結(jié)果表明，該算法匹配效果較好。

圖13 算法改進后單條航線匹配效果圖

圖14 算法改進后單條航線局部匹配效果圖

4 結(jié)束語

綜合考慮是否有高精度GNSS/IMU數(shù)據(jù)以及是否有高清底圖，本文采用不同方法實現(xiàn)視頻幀影像與三維地理信息平臺底圖數(shù)據(jù)實時匹配，通過對實驗結(jié)果的分析，針對不同情況選擇最優(yōu)算法。綜上所述，本次實驗得出的主要結(jié)論如下。

1)當有高精度GNSS/IMU數(shù)據(jù)時，直接采用單幀正射糾正算法，算法速度快，精度高，接近實時。對具備高精度GNSS/IMU數(shù)據(jù)的視頻幀影像與三維地理信息底圖數(shù)據(jù)的實時效果較好。

2)當?shù)讏D數(shù)據(jù)與視頻幀影像分辨率差異過大時，以天地圖瓦片為例，目前三維地理信息平臺能免費獲取大部分區(qū)域高清衛(wèi)星影像，根據(jù)粗略GNSS/IMU數(shù)據(jù)幀影像能定位到所在的瓦片，但航空像片與天地圖瓦片不能直接匹配，經(jīng)過多次實驗發(fā)現(xiàn)，隨著影像的增多，誤差積累明顯，因此考慮對單條航線采用每隔一定幀數(shù)就進行手動選點幾何糾正，所得效果較好，但人工干預增多，處理速度和實時性降低。盡管如此，對于GNSS/IMU精度不高甚至無GNSS/IMU數(shù)據(jù)視頻幀來說，這種方法能夠準實時實現(xiàn)視頻幀的定位。以上研究表明，該方法可以用于視頻應急測繪中，在發(fā)生應急災害時間實現(xiàn)視頻實時下傳觀看的同時，也能夠?qū)Ρ确治鲈嫉讏D數(shù)據(jù)，同時為視頻的實時定位提供技術依據(jù)，為決策指揮提供實時數(shù)據(jù)支撐[9-10]。

由于研究視頻設備與GNSS/IMU設備數(shù)據(jù)時鐘同步時未考慮兩者空中時鐘對準以及圖的傳輸是否同步，采用的是在PC端進行的接收電腦時間同步，而以上兩者是匹配精度較差的根本原因，尤其是對于精度較差、頻率低的GNSS/IMU設備而言。筆者希望后期在空中時鐘對準以及傳輸延遲誤差較小情況下，對該問題進行進一步研究。