孫光靈 朱慶生 李茜茹

（安徽建筑大學(xué) 信息網(wǎng)絡(luò)中心，安徽 合肥 230601）

0 引言

圖像處理在各領(lǐng)域得到廣泛應(yīng)用，在建筑行業(yè)也不例外，廣泛應(yīng)用于生產(chǎn)力分析[1]、安全管理[2]、設(shè)備狀況評估[3]和施工進(jìn)度監(jiān)測等方面[4]。相比較而言，大型施工現(xiàn)場設(shè)備的運(yùn)動狀態(tài)分析、進(jìn)度監(jiān)測或材料跟蹤相對復(fù)雜，因此，需要一種方法來生成高分辨率的全景圖像。通常情況下，自動生成一個大型建筑工地的全景圖像，需要分批次捕獲整個站點(diǎn)或其中的大部分重要建筑物的相對位置，如材料堆體、重型設(shè)備和各種臨時結(jié)構(gòu)，只有在獲得整個工地或其中大部分場景圖像情況下才能進(jìn)行有效的全景圖像拼接。

圖像拼接在計(jì)算機(jī)視覺領(lǐng)域發(fā)展了幾十年，產(chǎn)生了多種優(yōu)秀成果，如圖像合成編輯器（ICE），照片標(biāo)題[5]和自動標(biāo)題[6]，自動創(chuàng)建個由用戶輸入多張圖片的全景圖。雖然這些軟件可以方便地進(jìn)行圖像拼接與合成，但生成的全景圖像質(zhì)量有待提高。因全景圖像的質(zhì)量取決于圖像之間的重疊率、鏡頭畸變以及輸入圖像的質(zhì)量水平等，需要對原始圖像進(jìn)行多種處理，使其成為高質(zhì)量的全景圖。

無人駕駛飛行器（UAV）可以有效地收集建筑工地的圖像信息[7]。與有線閉路攝像機(jī)不同，加裝了攝像頭的無人機(jī)可以從不同角度采集圖像。圖像獲取雖然簡單，但是利用無人機(jī)圖像進(jìn)行施工現(xiàn)場監(jiān)測卻相對困難，主要表現(xiàn)在三個方面：第一，必須及時處理建筑工地上大量的圖像；第二，無人機(jī)因風(fēng)向風(fēng)速和飛機(jī)控制不穩(wěn)定而產(chǎn)生的振動會導(dǎo)致所獲取的圖像質(zhì)量下降，增加了圖像處理的難度；第三，無人機(jī)的連續(xù)位移變化使相機(jī)的定標(biāo)計(jì)算變得更加困難。

圖1 無人機(jī)圖像拼接方法的概要圖

1 實(shí)施方案

1.1 方案概述

針對上述問題，文章提出了一種基于無人機(jī)視頻的高分辨率全景圖像自動生成方法，自動處理被無人機(jī)捕獲的建筑工地的視頻，生成高質(zhì)量的全景圖，展現(xiàn)整個施工場全貌。該方法主要由模糊濾波、關(guān)鍵幀選擇和攝像機(jī)校正三個模塊組成。第一個模塊識別并移除相對幀模糊的幀。該方法參照Crete等的研究[8]，濾除在某一特定閾值以上的幀。第二模塊選擇與相鄰幀之間有一定的重疊比的關(guān)鍵幀。通過無人機(jī)的高度和速度參數(shù)，統(tǒng)一表達(dá)整個區(qū)域。第三個模塊用于修正前一模塊所選關(guān)鍵幀的鏡頭畸變，利用攝像機(jī)的固有參數(shù)和無人機(jī)的攝像機(jī)標(biāo)定對關(guān)鍵幀的鏡頭畸變進(jìn)行校正。預(yù)處理后的圖像采用圖像拼接程序來創(chuàng)建高質(zhì)量的施工現(xiàn)場全景圖。

1.2 模糊幀去除

無人機(jī)的振動和控制系統(tǒng)不穩(wěn)定是導(dǎo)致模糊圖像的產(chǎn)生的原因之一，拍攝過程中目標(biāo)物體的運(yùn)動同樣會導(dǎo)致模糊圖像的產(chǎn)生，造成圖像拼接質(zhì)量變差，因此在預(yù)處理環(huán)節(jié)對無人機(jī)視頻中提取的幀間模糊圖像進(jìn)行判定和去除[9]。

Crete等提出的“無參模糊度量法”[8]，在不參考其他圖像的情況下，對每個圖像的模糊程度進(jìn)行量化。模糊度量法是基于模糊圖像丟失了圖像高頻分量，因而采用低通濾波器對原始圖像進(jìn)行模糊操作，并比較濾波前后圖像的強(qiáng)度變化。如原始圖像和模糊圖像之間的強(qiáng)度差別較大意味著原始圖像是清晰的。如果偏差很小，則認(rèn)為原始圖像是模糊的。

然而，從同一個圖像裁剪的子圖像會因所裁剪對象不同而有不同的模糊度量值。圖2（b）、（c）和（d）顯示圖像出現(xiàn)在同一分辨率201×201的原始圖像顯示在圖 2（a）。 雖然圖 2（b）、（c）和（d）都是相同的原始圖像，但它們都有不同的模糊度量值（0.3147，0.4600，和 0.4871）。在此引入移動平均概念，計(jì)算并比較相鄰幀的模糊度，確定模糊度比相鄰幀大的圖像為模糊圖像。（a）原始圖像，（b）裁剪圖像為0.3147 BV，（c）裁剪圖像為0.4600 BV，（d）裁剪圖像為 0.4871 BV。

濾波方法如式（1）和式（2）所示。 式（1）表示每個幀的模糊度的計(jì)算過程。為了正確識別移動平均濾波器的幀，根據(jù)幀（k）的位置和濾波器（n）的長度之間的三種關(guān)系分別計(jì)算。

圖2 裁剪位置對模糊度量值影響

式（1）中Xk是第k幀的模糊度，為第k幀圖像模糊度均值，n為相鄰幀數(shù)目，m為視頻幀總數(shù)。式（1）計(jì)算得的模糊值以后，利用模糊度量值Xk減去所獲得的移動平均模糊值，其差值如超過閾值（α），這個幀被認(rèn)為是模糊幀。如式（2）所示。

1.3 關(guān)鍵幀選擇

從視頻中提取的幀直接進(jìn)行拼接時間復(fù)雜度相對較大，特殊情況下還難以生成全景圖。在無人機(jī)視頻中，由于飛行速度和飛行高度不恒定，當(dāng)對某一特定區(qū)域拍攝較多視頻幀時，其它區(qū)域視頻幀拍攝數(shù)量則相對減少，幀間的重疊率變化較大，圖像拼接過程中可能出現(xiàn)偏差，為此必須選擇具有重疊率恒定的關(guān)鍵幀進(jìn)行拼接。

實(shí)驗(yàn)中利用三角剖分原理解決關(guān)鍵幀的選取過程。式（3）表示每單位時間選擇的關(guān)鍵幀數(shù)，并利用瞬時水平速度、瞬時有效水平距離和無人機(jī)單位時間的概念。瞬時有效水平距離是無人機(jī)視距和交疊區(qū)域之差，因此相應(yīng)的關(guān)鍵幀和它相鄰的關(guān)鍵幀擁有恒的重疊率（圖3）。在本研究中，假設(shè)瞬時有效水平距離是同一無人機(jī)在不同位置拍下了兩個幀之間的差集，同時也是兩個相鄰關(guān)鍵幀中心點(diǎn)的實(shí)際距離。單位時間是指無人機(jī)記錄的水平速度的具體時間間隔。

圖3 無人機(jī)拍攝示意圖

如圖3所示，無人機(jī)移動所需單位時間是通過無人機(jī)的實(shí)時水平速度和無人機(jī)視離，得到無人機(jī)瞬時有效水平距離，然后將結(jié)果乘以轉(zhuǎn)換因子（dt/1（s）），將時間秒的單位時間轉(zhuǎn)換為無人機(jī)的單位時間。再適當(dāng)?shù)剡x擇交疊率，則產(chǎn)生單位時間的關(guān)鍵幀數(shù)。

式（4）表明，f（t）是到時刻 t時所選的幀的數(shù)量，其中NKFUT是單位時間內(nèi)的關(guān)鍵幀的數(shù)量。f函數(shù)的最大值是不超過f（T）最大的整數(shù)（T=視頻的總時間），即關(guān)鍵幀的數(shù)目（N）。 實(shí)際求解時 f（t）的值根據(jù)t值的變化取多個實(shí)數(shù)，從所求實(shí)數(shù)中選擇最接近自然數(shù)的值為關(guān)鍵幀。

圖4顯示了使用f（t）選擇關(guān)鍵幀的過程的一個例子?？v軸NKF為關(guān)鍵幀，橫軸為無人機(jī)飛行數(shù)據(jù)的時間（單位為0.1s），視頻幀率為30。在視頻播放時，捕獲了37.6～37.7 s之間的幀數(shù)分別是9.075和9.335，取最接近的整數(shù)幀為第9幀。隨著秒到幀的轉(zhuǎn)換，第9個關(guān)鍵幀位于視頻的1125和1129幀之間。

圖4 關(guān)鍵幀選擇例子

使用兩個點(diǎn)1125和1129，對應(yīng)的值為f（t）的9.075和9.335，根據(jù)插值方法選擇最接近自然數(shù)字9的1125幀作為關(guān)鍵幀。如果第1125幀被確定為一個模糊的圖像并被刪除，第1126幀，這是第二個最接近自然數(shù)字9的幀，被選擇為關(guān)鍵幀。算法1總結(jié)了選擇關(guān)鍵幀的步驟。根據(jù)這一過程，無論無人機(jī)的位置如何變化，都可以從視頻中選擇保持恒定重疊率的幀。

1.4 相機(jī)校正

當(dāng)一個三維目標(biāo)通過攝像機(jī)拍攝成二維圖像時，由于相機(jī)鏡頭原因會產(chǎn)生兩種類型畸變[10]：凸透鏡的折射率引起徑向畸變，這種畸變在使用廣角鏡頭拍攝寬幅圖像時表現(xiàn)尤為突出；存在切線失真，主要原因是因?yàn)橄鄼C(jī)鏡頭偏離中心，或是因?yàn)殓R頭與圖像傳感器不平行造成的偏離。這兩種畸變導(dǎo)致圖像拼接過程中無法完整對齊，降低了全景圖的質(zhì)量[11]。為了校正攝像機(jī)的徑向畸變和切線畸變，必須通過標(biāo)定攝像機(jī)的固有參數(shù)（焦距、主點(diǎn)、傾斜系數(shù)、畸變系數(shù)）加以解決。

1.5 圖像拼接

圖像拼接過程包括特征提取、特征匹配、光束調(diào)整、圖像融合等，根據(jù)輸入圖像構(gòu)建全景圖像。首先，根據(jù)相機(jī)的姿態(tài)，從每幅圖像中提取特征點(diǎn)。在圖像拼接中，基于特征的方法更優(yōu)先于基于所有像素的直接法，因這種方法在尺度、方向和透視縮放有較強(qiáng)的魯棒性[12]。第二，從每幅圖像中提取的特征點(diǎn)與從其他圖像中相同位置特征點(diǎn)相匹配。隨后，利用隨機(jī)絕對一致性（RANSAC）技術(shù)改進(jìn)了特征點(diǎn)匹配的精度[13]，因RANSAC能有效處理噪音和遮擋等問題。第三，束調(diào)整[14]估計(jì)相機(jī)的姿態(tài)和輸入圖像的三維點(diǎn)坐標(biāo)，以便正確地將配準(zhǔn)誤差分配給圖像連接處。L-M算法[15]是一種非線性優(yōu)化方法，用于最小化兩幅圖像中匹配特征點(diǎn)位置之間的差值。近來的圖像拼接技術(shù)，利用Lourakis和Argyros[16]提出的雅可比矩陣的稀疏結(jié)構(gòu)，有效地進(jìn)行束調(diào)整，以減少L-M算法的計(jì)算時間。通過這種方式，將輸入圖像合并到具有同一坐標(biāo)系統(tǒng)的圖像中。最后，圖像融合平滑了兩幅圖像之間的邊界。合并后的圖像由于出現(xiàn)位置偏移、透鏡失真和亮度差異，可能缺乏清晰的圖像邊界。如果用像素值的加權(quán)平均值來處理平滑處理，由于高頻組件（例如邊緣）的丟失，會造成模糊效果，從而降低了全景圖的質(zhì)量。文章借鑒LOURAKIS的圖像拼接技術(shù)[17]，將合并后的圖像分解成不同頻率尺度的圖像。包含低頻分量的圖像在相對較寬的范圍內(nèi)平滑，而高頻分量則在相對較小的范圍內(nèi)平滑。

2 實(shí)驗(yàn)

本方法在某地鐵施工現(xiàn)場進(jìn)行了測試，實(shí)驗(yàn)表明，由此方法產(chǎn)生的建筑工地可見光全景圖像覆蓋了大部分建筑工地，并提供了高質(zhì)量的細(xì)節(jié)，完成了現(xiàn)場所需圖片的有效拼接。

2.1 實(shí)驗(yàn)環(huán)境

提出的方法是用MATLAB編程語言實(shí)現(xiàn)的。本實(shí)驗(yàn)中使用的無人機(jī)是DJI公司的MavicPro高清專業(yè)航拍無人機(jī)。UAV攝像頭的fps最大為30，視頻最大分辨率為3840×2160。攝像機(jī)標(biāo)定是使用MATLAB的攝像應(yīng)用程序進(jìn)行的。在一個地鐵建筑工地測試地點(diǎn)。拍攝的視頻時長84 s的播放時間。

2.2 結(jié)果

圖5顯示的視頻所有幀的模糊測量過程，結(jié)果表明幀的模糊測量存在較大的變化。如前所述，每幅圖像的模糊度與移動平均相比較。如果差異大于0.01的閾值，則確定該幀為模糊圖像。在本研究中使用的2540幀中，總共有176幀被認(rèn)為是模糊的，被刪除，導(dǎo)致使用2364幀。

圖5 所有幀的模糊性和移動平均濾波器

為了找到合適的重疊比，測試了一系列比率，包括50%、60%、70%、80%和90%。在以往的研究中[18-19]，圖像拼接的重疊比設(shè)置為50%，因此本研究的重疊率至少設(shè)置為50%。

圖6顯示了不同重疊率的全景圖，以及所選關(guān)鍵幀的數(shù)量。由于重疊率較低[20-21]，在結(jié)果全景圖中出現(xiàn)了更多的缺失部分；圖 6（c）、（d）和（e）顯示了圖 6（a）和（b）中不存在的部分，主要有幾個方面原因。首先，UAV的實(shí)際FOV達(dá)不到標(biāo)稱的那樣寬。在這個實(shí)驗(yàn)中，檢測到一個小于94°視角的FOV。第二，與之前的研究不同，UAV在三維空間內(nèi)不斷發(fā)生了位置的變化，很難以靜止不變的方式捕獲目標(biāo)對象。

圖7顯示了無人機(jī)在95米高度和相應(yīng)全景圖拍攝的航空照片。圖7（a）和（b）的分辨率分別為 3840×2160 和 8345×10531。

綜合考慮圖像拼接的質(zhì)量和效率后將重疊率設(shè)為70%，如果視頻對象中有更高的關(guān)鍵幀數(shù)，重疊率就應(yīng)設(shè)為80%或90%以上，因而圖像拼接時需要消耗更多時間，產(chǎn)生更大偏差，所以重疊率的確定必須綜合考慮各種因素。

圖7（b）顯示了由16個圖像幀組成的全景圖，重疊率為70%。與航拍照片比較表明，全景圖中物體的錯位或角位移并不顯著，論文所提出的方法產(chǎn)生的全景具有足夠的準(zhǔn)確性，可以適用于施工現(xiàn)場監(jiān)測。

3 總結(jié)

圖6 不同重疊比率（OR）的全景圖，以及選定的關(guān)鍵幀數(shù)（NKF）

圖7 航空照片與生成全景圖的比較

論文提出了一種快速提取關(guān)鍵幀的圖像拼接方法，重點(diǎn)介紹了從無人機(jī)采集的圖像預(yù)處理部分。預(yù)處理方法由模糊幀處理、關(guān)鍵幀選擇和相機(jī)校正三個模塊組成；模糊幀處理模塊采用相鄰圖像模糊值的移動平均，選取了清晰圖像，消除模糊圖像；而關(guān)鍵幀選擇模塊在相鄰幀之間保持了恒定的重疊率，利用無人機(jī)高度信息和水平速度信息來選擇關(guān)鍵幀；相機(jī)校正模塊，處理相機(jī)透鏡和飛行器運(yùn)動等因素產(chǎn)生的鏡頭畸變。經(jīng)三個模塊處理后，最后拼接為高質(zhì)量的建筑工地全景，實(shí)驗(yàn)表明該方法得到的合影圖像滿足建筑工地施工現(xiàn)場監(jiān)控需求。