周方圓，楊鵬舉

（延安大學(xué)物理與電子信息學(xué)院，陜西延安，716000）

0 引言

無人駕駛飛行器（UAV）是一類使用自動駕駛儀或遠程控制技術(shù)控制的飛行裝置機。無人機的首次使用是在軍事任務(wù)中，例如目標區(qū)域的偵察和實時航拍，以及低空飛行時的精確打擊。然后應(yīng)用逐步擴展到民用目的，例如農(nóng)業(yè)應(yīng)用、消防監(jiān)視、交通監(jiān)控、災(zāi)害損害評估和核反應(yīng)堆安全檢查[1]。二十一世紀的今天，隨著無人機技術(shù)的成熟和普及，其已成為各個領(lǐng)域數(shù)據(jù)采集常用工具之一，為小區(qū)域和大比例尺地形圖或詳細3D表面信息的經(jīng)典航空攝影測量，提供了一種低成本的替代方案。然而，受限于無人機的固有局限，很多時候需要對無人機航拍圖像進行拼接，以獲取更高質(zhì)量的圖片[2]。為此，探究無人機航拍圖像拼接技術(shù)與實現(xiàn)，是相關(guān)從業(yè)人員所必須進行的研究，有助于提升無人機航拍圖像的質(zhì)量，為依靠無人機航拍進行的決策提供更加科學(xué)且完善的數(shù)據(jù)支撐。

1 無人機航拍圖像拼接的必要和技術(shù)現(xiàn)狀

1.1 無人機航拍圖像特征和拼接必要

近年來，無人機在軍事、科學(xué)和民用領(lǐng)域的使用急劇增加，以獲得最接近和最真實的現(xiàn)場圖像，進而為軍事、科學(xué)和民用領(lǐng)域的正確決策提供數(shù)據(jù)和圖像支持。然而，由于無人機航拍圖像受到來自不同高度級別的捕獲幀，例如照明、陰影、遮擋等各種環(huán)境約束，從圖像中提取制圖對象是一項艱巨的任務(wù)，因為航拍圖像本質(zhì)上是分散、嘈雜、復(fù)雜和模糊的[3]。雖然現(xiàn)代技術(shù)已經(jīng)支持無人機搭載高倍率的廣角鏡頭進行圖像獲取，但是，這類專業(yè)設(shè)備不僅價格昂貴，而且所獲取的圖像失真嚴重。在此背景下，圖像拼接是一種無人機航拍獲取的圖像的處理方法，旨在將覆蓋同一場景不同部分的多張圖像組合起來，以形成一張更加精確的廣角圖像。在無人機航拍圖像處理中，圖像拼接是一項非常具有挑戰(zhàn)性的任務(wù)，在過去的幾十年里，已經(jīng)為此開發(fā)了許多算法，旨在無人機航拍圖像拼接的處理過程中，通過不相交的圖合并進行結(jié)果聚合，進而允許拼接后的圖像不受圖像融合中固有的測量和幾何校正的影響。

1.2 無人機航拍圖像拼接技術(shù)的現(xiàn)狀

傳統(tǒng)的無人機航拍圖像拼接是使用無人機自帶的全球?qū)Ш叫l(wèi)星系統(tǒng)的相機位置信息，實現(xiàn)直接地理參考。該信息由無人機飛行期間機載接收器記錄，然后使用SIFT算法檢測大量特征，這些特征可用作相鄰圖像之間重疊區(qū)域內(nèi)的連接點，以改進地理參考解決方案。這種圖像拼接是通過GNSS標簽或使用數(shù)據(jù)集中的已知特征來獲得估計位置來完成，幀矩陣必須包含以下信息：行數(shù)、列數(shù)和總幀數(shù)[4]。假設(shè)幀數(shù)據(jù)在行數(shù)和列數(shù)方面具有一致的大小。其他兩個矩陣，即第一幀的x和y位置，也必須具有相同的大小。例如，初始幀的位置數(shù)據(jù)將是一系列x和y坐標對。這樣，一個像素將具有位置（X1，Y1），和像素 ?，即直接像素旁邊，將具有位置（X2，Y2）。在這種情況下，這兩個相鄰像素之間的間距是y2-y1和x2-x1。因此，這些位置必須位于基于真實的坐標系中。雖然這種方法更快、更經(jīng)濟，但它提供的拼接圖像質(zhì)量較低，無法適用于一些高精度圖像需求，例如歷史建筑或工業(yè)應(yīng)用。

相比之下，另一種的無人機航拍圖像拼接使用了間接地理參考方法，以某些目標的坐標作為地面坐標點(GCP)，進而實現(xiàn)圖像拼接。在這種方法中，在x和y方向的每個像素處估計一維流向量，然后使用迭代最小二乘法從一維流估計全局仿射參數(shù)。準確的參數(shù)是通過在x和y方向上迭代重復(fù)優(yōu)化獲得，因此這些目標必須在圖像中清晰可見且可區(qū)分，以便在數(shù)據(jù)處理步驟中手動選擇其中心。這種方法應(yīng)該適用于大多數(shù)無人機的圖像數(shù)據(jù)，然而，應(yīng)該注意的是，這種方法依賴于數(shù)據(jù)中明顯的不均勻性。例如，在分析野火強度差異特征（特定火災(zāi)像素之間的大溫度對比度）時，諸如建筑物或河流之類的圖像也會在圖像中提供對比鮮明的邊緣，從而限制配準過程。為此，可以在固定的環(huán)境中使用任何現(xiàn)有的人工特征，例如角落、井蓋或道路標記。雖然這種方法能夠提供相對傳統(tǒng)圖像拼接更加高精度的圖像，但是，這種方法需要準備和測量GCP的位置，這一過程需要消耗較多的時間和精力[5]。

2 無人機航拍圖像拼接的關(guān)鍵技術(shù)與實現(xiàn)

2.1 無人機航拍圖像拼接的關(guān)鍵技術(shù)

在實現(xiàn)高質(zhì)量的無人機航拍圖像拼接中，圖像的特征點提取算法是十分關(guān)鍵的部分。如前文所述，SIFT算法是傳統(tǒng)無人機航拍圖像拼接的常用算法。但是，該算法運算復(fù)雜且容易產(chǎn)生大量的系統(tǒng)冗沉，導(dǎo)致圖像拼接速度較慢且需要較好大量的系統(tǒng)內(nèi)存。相比之下，無論是SUSAN算法還是SURF算法，無論是MORAVEC算法還是HARRIS算法，都更加的簡單、易實現(xiàn)。尤其是HARRIS算法，魯棒性好、穩(wěn)定性高、提取精確且算法簡單，是現(xiàn)階段無人機航拍圖像拼接中十分關(guān)鍵的算法，對于實現(xiàn)高質(zhì)量的圖像拼接有重要的作用。

HARRIS算法是Heidari等人在2019年受到哈里斯鷹的集體行為和追逐方式的啟發(fā)，進而提出的基于種群的HHO算法。該算法基于以下原則：首先，根據(jù)其他家庭成員的位置和獵物（例如兔子）的位置（q<0.5）確定自己的位置；其次，鷹的位置完全隨機（q≥0.5）。從數(shù)學(xué)的角度來看：

式（1）中，iter表示迭代，X（iter+1）是下一次迭代中鷹的位置向量，Xrobit(iter)和X(iter)分別是兔子和鷹的位置，Xrand(iter)代表從種群中隨機選擇的鷹，LB和UB分別代表變量的下限和上限。在這種情況下，哈里斯鷹采用軟圍攻（|E|≥0.5）和硬圍攻（|E|<0.5）策略來消耗和輕松獵殺獵物。

依據(jù)上述原則，在無人機航拍圖像特征點提取中，HARRIS算法使用局部加權(quán)散點圖平滑來對齊圖像之間的光譜響應(yīng)函數(shù)，以局部方式調(diào)整擬合，保留一般趨勢，同時減輕異常值的影響，使其更靈活地將線擬合到數(shù)據(jù)。為此，HARRIS算法通常使用拋物線或高階多項式而不是直線來擬合數(shù)據(jù)，因為目標是確定數(shù)據(jù)段的最佳擬合，以改進預(yù)測而不是通用性。在這里，HARRIS算法選擇了二次多項式，以便在點內(nèi)進行比直線擬合有時可能更平滑的擬合。例如，將局部近似中要考慮的點的分數(shù)設(shè)置為0.15，使用Python loess函數(shù)中的默認權(quán)重函數(shù)、三方函數(shù)和迭代次數(shù)10自動提取像素子集，用于從跨越重疊區(qū)域的兩條樣線中提取像素，并從模型訓(xùn)練中排除。

此處假設(shè)位置信息是由用戶通過GNSS或從數(shù)據(jù)中的地理已知點生成。如果數(shù)據(jù)包含GNSS，用戶可以通過假設(shè)位置在幀的直接中心，并根據(jù)傳感器的鏡頭信息和飛機高度推斷所有其他位置。另一種選擇是在圖像中找到一個包含清晰地標的位置（從基于地面的GNSS標記或從其他地理校正圖像中找到），并使用它來推斷圖像中所有數(shù)據(jù)的x和y信息，即行號和列號。

2.2 無人機航拍圖像拼接技術(shù)的實現(xiàn)

對無人機獲得的航拍圖像進行拼接，首先，要對影像數(shù)據(jù)進行預(yù)處理，包括單個圖像的拼接、感興趣區(qū)域(ROI)的識別，然后是地理配準和ROI的矢量處理。其中，原始數(shù)據(jù)集使用攝影測量軟件Pix4D Mapper中的“3D地圖”模板進行拼接。輸出坐標系選擇為WGS 84/UTM zone 11N(EGM96)。獲得的輸出是RGB和DSM。之后，使用QGIS中的“Georeferencer”工具執(zhí)行地理參考過程將圖像數(shù)據(jù)的確切位置匹配，對DSM進行地理校正。使用AutoCAD中的“矩形”命令創(chuàng)建ROIs，要求每個ROI都有與標記板的中心重合，以實現(xiàn)精確匹配。其中，第一幀矩陣中的每個單元格都必須有一些位置信息，此信息與所有幀數(shù)據(jù)一起傳遞給第一個函數(shù)，該函數(shù)為每個幀中的每個像素提供x和y位置信息。此函數(shù)的輸出是兩個與輸入frame_data矩陣大小相同的矩陣，包含每個幀的x和y位置。

其次，應(yīng)用HARRIS算法對可以進行像素到像素比較的重疊區(qū)域進行定量分析。其中，一個圖像被選為“參考圖像”，另一個圖像被選為“待拼接圖像”。以便在目標圖像中，生成一系列獨特的特征點（如圖1）。

圖1 特征點圖例

如圖1所示，要在左側(cè)進行標準化的目標圖像中識別出唯一的特征點。然后，對于每個唯一特征點，識別參考圖像（右）中的對應(yīng)特征點。在此示例中，目標特征點“175”對應(yīng)于參考特征點的171、173、175，平均（四舍五入）為173。將參考圖像的特征點與目標圖像的特征點進行比較，并獲得每個目標圖像唯一特征點的對應(yīng)參考特征點列表。其中目標唯一特征點175具有包括171、173和175的對應(yīng)參考特征點的列表。具有小于6個值的對應(yīng)參考特征點列表的任何目標特征點由于采樣率低的實例而被省略，以最大限度地減少模型偏斜。每個目標特征點的相應(yīng)參考值被平均并四舍五入到最接近的整數(shù)，僅使用給定目標值的中間95%的參考值。這樣做是為了減少異常值的影響。

最后，根據(jù)匹配點對估算出待拼接圖像的變換矩陣后，還需要利用圖像融合技術(shù)完成圖像拼接[6]。在實際的應(yīng)用中，采集的圖像會受到多方面因素影響，如光照變化、幾何變形或者動態(tài)場景等等，這些都可能造成融合圖像在色彩或者亮度上不連續(xù)的問題，圖像融合技術(shù)就是用來消除這些問題的。圖像融合就是將配準后的圖像每一個像素點運用融合算法重新分配坐標和灰度信息的過程，從而使拼接圖像在重疊區(qū)域能夠自然平滑的過渡，消除拼接痕跡和模糊現(xiàn)象，獲得準確度和精度較高的全量圖像。具體來說，在應(yīng)用HARRIS算法從無人機航拍圖像中生成點云后，使用Agisoft Metashape或者Pix4dmapper軟件包處理捕獲的圖像。處理步驟分為三個主要部分：（1）圖像對齊，（2）點云和網(wǎng)格的構(gòu)建，以及（3）DSM和正射影像的構(gòu)建。由于所使用的兩個軟件包都是完全自動化的，用戶只需添加圖像、放置標記并定義一些可選的輸入?yún)?shù)，例如項目基準和投影、GCP和CP以及最終分辨率。

3 結(jié)論

作為重要的信息傳遞媒介，無人機航拍圖像拼接是將無人機獲得的特定場景的多幅圖像，拼接在單個幀中的過程。與單獨的圖像相比，拼接后的圖像提供了更大量的信息，是無人機實踐應(yīng)用中一種十分重要的技術(shù)。在本次研究中，基于無人機圖像拼接的必要性和技術(shù)現(xiàn)狀，提出了一種新的圖像拼接方法。該方法基于HARRIS算法校正圖像之間的尺度差異，以減少異常值和對齊誤差。所述方法對于優(yōu)化現(xiàn)有無人機航拍圖像拼接，實現(xiàn)無人機航拍圖像的無縫拼接，有著重要的實踐意義，建議在實際應(yīng)用中推廣使用。