郭榮，李士心

天津職業(yè)技術(shù)師范大學(xué)

無人機(jī)采集數(shù)據(jù)圖像后，及時(shí)有效地分析圖像數(shù)據(jù)尤其重要。本文重點(diǎn)介紹圖像配準(zhǔn)技術(shù)的相關(guān)方法，分析基于不同類型的圖像配準(zhǔn)技術(shù)的差別和優(yōu)勢(shì)，同時(shí)闡述圖像配準(zhǔn)技術(shù)在無人機(jī)領(lǐng)域的應(yīng)用。最后，分析無人機(jī)圖像配準(zhǔn)技術(shù)面臨的挑戰(zhàn)，并展望未來圖像配準(zhǔn)技術(shù)在無人機(jī)領(lǐng)域的應(yīng)用前景。

無人機(jī)具有操控簡(jiǎn)單，可以替代人員完成復(fù)雜任務(wù)等多種優(yōu)勢(shì)，在不同領(lǐng)域的應(yīng)用越來越廣。無人機(jī)最初被應(yīng)用于軍事，并取得突出成效，目前在民用領(lǐng)域也擁有廣闊前景。小型無人機(jī)體積小、重量輕，可以接近被檢測(cè)的物體，從而獲得很高分辨率的圖像，對(duì)傳輸回來的圖像或數(shù)據(jù)進(jìn)行分析處理，能得到滿意的圖像成果。無人機(jī)在安防監(jiān)控、輸電線路巡檢、智慧農(nóng)業(yè)等領(lǐng)域不斷拓展應(yīng)用。

圖像配準(zhǔn)技術(shù)是對(duì)基準(zhǔn)圖像與待匹配圖像進(jìn)行圖像映射，實(shí)現(xiàn)兩幅圖像在空間上的特征匹配，從而達(dá)到圖像配準(zhǔn)的目的。圖像配準(zhǔn)技術(shù)是目前圖像處理相關(guān)技術(shù)研究的重點(diǎn)，是進(jìn)行圖像拼接、融合的基礎(chǔ)。在不同圖像之間，進(jìn)行圖像配準(zhǔn)是常用的手段，旨在分析圖像的基本信息和識(shí)別圖像之間的關(guān)聯(lián)，從而獲取目標(biāo)信息。圖像配準(zhǔn)技術(shù)的發(fā)展融合了諸多學(xué)科知識(shí)和理論研究成果，尤其是人工智能技術(shù)的發(fā)展，給圖像配準(zhǔn)技術(shù)帶來了更加廣闊的應(yīng)用前景。

如何提高圖像配準(zhǔn)速度和準(zhǔn)確率成為學(xué)者們研究的重點(diǎn)，特別是針對(duì)圖像數(shù)量大、有陰影遮擋等情況的圖像配準(zhǔn)，需要開展諸多研究。在實(shí)際應(yīng)用中，圖像配準(zhǔn)技術(shù)也涉及各個(gè)領(lǐng)域。例如，在醫(yī)學(xué)圖像配準(zhǔn)方面，為分析患者的狀況，常常需要采集患者的掃描影像，如通過X射線、MRI、CT和超聲等影像來判斷病情。通常情況是，獨(dú)立影像中的信息不明顯，需通過圖像配準(zhǔn)技術(shù)，采用單?；蛘叨嗄５姆椒▉慝@得額外的信息加以判斷病情。

本文分析了圖像配準(zhǔn)的相關(guān)技術(shù)，并闡述無人機(jī)在相關(guān)領(lǐng)域的應(yīng)用前景。最后，探討圖像配準(zhǔn)技術(shù)在無人機(jī)領(lǐng)域的應(yīng)用和展望。

圖像配準(zhǔn)技術(shù)

根據(jù)不同的圖像信息處理方法，對(duì)圖像配準(zhǔn)技術(shù)進(jìn)行分類，對(duì)信息的識(shí)別獲取和分析來進(jìn)行圖像配準(zhǔn)。本節(jié)簡(jiǎn)要介紹圖像配準(zhǔn)的方法。

基于圖像灰度信息的配準(zhǔn)方法

基于圖像的灰度信息作為匹配依據(jù)，找到基準(zhǔn)圖像和待配準(zhǔn)圖像之間對(duì)應(yīng)點(diǎn)及周邊區(qū)域的相似度，在相似的基礎(chǔ)上進(jìn)行定義，通過度量函數(shù)及相互匹配進(jìn)行查找，最終找到一組或近似最優(yōu)的參數(shù)實(shí)現(xiàn)圖像配準(zhǔn)，這種配準(zhǔn)方法也稱直接配準(zhǔn)法。典型方法有互相關(guān)法和相關(guān)信息度量的方法，此類方法計(jì)算相對(duì)簡(jiǎn)單，準(zhǔn)確性依靠相似度量函數(shù)，運(yùn)算量大，效率低，對(duì)基準(zhǔn)圖像和待配準(zhǔn)圖像的相似度要求較高。

基于圖像變換域內(nèi)信息的配準(zhǔn)方法

圖1 圖像配準(zhǔn)技術(shù)是目前圖像處理相關(guān)技術(shù)研究的重點(diǎn)。

圖2 人工智能技術(shù)給圖像配準(zhǔn)技術(shù)帶來了廣闊應(yīng)用前景。

傅里葉變換的方法是圖像變換域配準(zhǔn)的主要方法，在傅里葉變換中主要依靠圖像之中的相位變化，將圖像映射到頻率域中，再進(jìn)行配準(zhǔn)。該方法對(duì)于經(jīng)過縮放、旋轉(zhuǎn)、平移過的圖像有較好的配準(zhǔn)效果，而傅里葉變換法也是基于這些變換而實(shí)現(xiàn)。在實(shí)際應(yīng)用中，此方法計(jì)算較為簡(jiǎn)單且比較成熟，相較灰度信息的配準(zhǔn)方法有一定的優(yōu)勢(shì)。

基于圖像特征信息的配準(zhǔn)方法

基于圖像特征的配準(zhǔn)方法是目前較為常用的圖像配準(zhǔn)方法，該方法利用計(jì)算機(jī)視覺及相關(guān)技術(shù)，提取圖像中的信息，然后判斷提取的點(diǎn)是否為圖像的特征點(diǎn)，再利用有效的特征點(diǎn)實(shí)現(xiàn)圖像配準(zhǔn)。在圖像匹配中，可作為匹配特征的量有很多種，可以是點(diǎn)特征，區(qū)域特征或者線特征，對(duì)于有些圖像還可以通過紋理特征進(jìn)行分析配準(zhǔn)，在實(shí)際應(yīng)用中較為廣泛，且準(zhǔn)確率較高。

（1）基于特征點(diǎn)的匹配

特征點(diǎn)就是圖像中重要的節(jié)點(diǎn)、角點(diǎn)或極值點(diǎn)等，通過篩選有效的特征點(diǎn)可以對(duì)圖像中的信息進(jìn)行充分的認(rèn)識(shí)，從而進(jìn)行圖像特征匹配。通常，使用特征點(diǎn)匹配得到的結(jié)果配準(zhǔn)效率較高，準(zhǔn)確度也更好。在圖像中較容易提取到特征點(diǎn)，但是所反映的相關(guān)信息量較少，所以在提取特征點(diǎn)時(shí)應(yīng)尋找到可匹配的特征點(diǎn)。

（2）基于特征區(qū)域的匹配

基于特征區(qū)域的配準(zhǔn)是以某像素點(diǎn)為中心，給定半徑來選取相應(yīng)明顯的特征區(qū)域進(jìn)行圖像配準(zhǔn)。在實(shí)際應(yīng)用中大多采用形心點(diǎn)，通常對(duì)特征區(qū)域的提取精度有較高要求。

（3）基于特征邊緣的匹配

兩幅圖像的邊界像素點(diǎn)的集合稱之為邊緣，一般邊緣的像素點(diǎn)存在較大梯度變化。邊緣像素點(diǎn)形狀各異，也可以將某些元素之間的交叉點(diǎn)看作邊緣?；谔卣鬟吘壍钠ヅ涫菍D像中梯度變化較大的邊緣特征點(diǎn)提取出來，通過具體的算法描述因子對(duì)邊緣像素點(diǎn)進(jìn)行處理?；谔卣鬟吘壍钠ヅ浞椒敯粜暂^好，但對(duì)邊緣提取特征的要求較高，用數(shù)學(xué)方式表達(dá)和實(shí)際應(yīng)用較為困難。

圖像配準(zhǔn)技術(shù)在無人機(jī)領(lǐng)域的應(yīng)用

無人機(jī)遙感配準(zhǔn)技術(shù)是無人機(jī)監(jiān)測(cè)的重要手段，是眾多應(yīng)用的基礎(chǔ)。使用無人機(jī)采集圖像，然后利用圖像配準(zhǔn)技術(shù)對(duì)拍攝的相關(guān)圖片及視頻進(jìn)行分析處理，從而得到有效信息。目前，無人機(jī)遙感配準(zhǔn)技術(shù)在國內(nèi)外均被廣泛應(yīng)用，發(fā)展迅速。

輸電線路巡檢應(yīng)用

我國每年在電力行業(yè)投資巨大，而輸電設(shè)備的比重也在增加。傳統(tǒng)人工巡檢工作效率低，影響受損線路快速修復(fù)和正常運(yùn)行。目前，無人機(jī)在輸電線路巡檢領(lǐng)域發(fā)揮了重要作用，使用人機(jī)配合的模式來巡檢輸電線路的運(yùn)行情況，能及時(shí)有效處理線路故障。

數(shù)據(jù)的應(yīng)用是遙感的最終目的，無人機(jī)采集圖像數(shù)據(jù)時(shí)，因?yàn)轱w行高度較高且攝像頭拍攝的圖像數(shù)量較多，有些圖像像幅較小、重疊度高，導(dǎo)致圖像之間可能存在灰度、分辨率、位移和旋轉(zhuǎn)角度不同等問題。為充分準(zhǔn)確利用采集到的圖像，可采用變化檢測(cè)，信息融合等方法，完成圖像在同一坐標(biāo)系內(nèi)對(duì)齊。因此，圖像配準(zhǔn)是處理遙感圖像必不可少的技術(shù)。

當(dāng)輸電線路發(fā)生較為嚴(yán)重的災(zāi)情，通過無人機(jī)航拍采集圖像，如復(fù)雜交錯(cuò)的輸電網(wǎng)和在不規(guī)則地形處的電纜容易產(chǎn)生非剛性畸變等圖像，容易造成技術(shù)人員對(duì)災(zāi)情現(xiàn)場(chǎng)情況的誤判。為獲得更為準(zhǔn)確的大范圍圖像，對(duì)整個(gè)災(zāi)情有更加清楚的認(rèn)識(shí)，使用無人機(jī)對(duì)災(zāi)區(qū)進(jìn)行大量的拍照和攝像，并實(shí)時(shí)將數(shù)據(jù)信息回傳給工作人員。通過相關(guān)軟件對(duì)圖像進(jìn)行處理，利用圖像配準(zhǔn)技術(shù)對(duì)輸電線路進(jìn)行匹配分析，再進(jìn)行圖像融合，得到整個(gè)災(zāi)區(qū)的影像圖。工作人員分析無人機(jī)回傳的影像資料，利用圖像配準(zhǔn)技術(shù)及時(shí)發(fā)現(xiàn)和處理潛在隱患，可以有效保障電力線路的維修和正常運(yùn)行。

測(cè)繪工程應(yīng)用

隨著經(jīng)濟(jì)發(fā)展，城市建設(shè)取得了巨大成就，人民生活水平逐漸提高，城市地表時(shí)刻在發(fā)生變化，加快城市建設(shè)的測(cè)繪工作勢(shì)在必行。傳統(tǒng)的測(cè)繪作業(yè)，測(cè)繪問題復(fù)雜，耗時(shí)久，精度低等問題，影響測(cè)繪工作開展，且資源浪費(fèi)較多。隨著遙感技術(shù)的發(fā)展，無人機(jī)測(cè)繪可以極大提高測(cè)量精度，不僅應(yīng)用在城市建設(shè)的測(cè)繪，還在海岸地形、礦山、林業(yè)及災(zāi)后重建等領(lǐng)域發(fā)揮了十分重要的作用。

圖3 傳統(tǒng)圖像配準(zhǔn)技術(shù)的基本步驟實(shí)現(xiàn)圖像匹配。

圖4 圖像配準(zhǔn)技術(shù)對(duì)不同信息進(jìn)行識(shí)別獲取和分析。

無人機(jī)遙感技術(shù)是無人機(jī)搭載任務(wù)設(shè)備，到指定地點(diǎn)開展測(cè)繪作業(yè)，完成整個(gè)區(qū)域的數(shù)據(jù)采集和精準(zhǔn)測(cè)量。利用無人機(jī)采集地面圖像時(shí)，由于地理環(huán)境較為復(fù)雜，且受外界環(huán)境如風(fēng)力的影響，采集的圖像往往會(huì)出現(xiàn)噪聲、旋轉(zhuǎn)和尺度變化等現(xiàn)象。另外，無人機(jī)在不同時(shí)間點(diǎn)獲取同一地點(diǎn)的圖像時(shí)，其采集圖像的路線很難保證與前一次完全相同，拍攝的圖像會(huì)產(chǎn)生角度變化，且容易受光照強(qiáng)度的影響。因此，這類圖像不能直接進(jìn)行區(qū)域的識(shí)別和提取，必須先采用圖像配準(zhǔn)技術(shù)進(jìn)行預(yù)處理，即進(jìn)行同一坐標(biāo)系的尺度變換。

在實(shí)際應(yīng)用中，還可以對(duì)地表物體和空間進(jìn)行實(shí)時(shí)監(jiān)測(cè)，極大減少測(cè)繪工作人員的工作量。一般來說，無人機(jī)實(shí)時(shí)傳回的影像資料，還需要運(yùn)用圖像特征表示、圖像配準(zhǔn)及圖像融合等相關(guān)技術(shù)進(jìn)行分析處理。無人機(jī)進(jìn)行實(shí)地監(jiān)測(cè)拍攝的圖像具有極高的真實(shí)性和準(zhǔn)確性，避免因環(huán)境復(fù)雜危險(xiǎn)而造成測(cè)繪人員難以測(cè)量的問題。

農(nóng)業(yè)遙感應(yīng)用

我國是農(nóng)業(yè)大國，傳統(tǒng)的農(nóng)田管理消耗較多的人力資源。從播種到收獲，農(nóng)作物實(shí)時(shí)監(jiān)測(cè)、施肥和澆水等農(nóng)業(yè)活動(dòng)需要消耗大量的人力物力。無人機(jī)技術(shù)不斷發(fā)展，其在農(nóng)業(yè)領(lǐng)域的應(yīng)用越來越廣泛。無人機(jī)圖像配準(zhǔn)技術(shù)是圖像處理的基礎(chǔ)，涉及變化檢測(cè)、圖像融合和圖像拼接等技術(shù)，在農(nóng)業(yè)遙感領(lǐng)域發(fā)揮著巨大作用。

在農(nóng)業(yè)監(jiān)測(cè)領(lǐng)域，利用無人機(jī)對(duì)農(nóng)作物長勢(shì)、植被覆蓋率、病蟲害的發(fā)生和土壤溫濕度等進(jìn)行圖像采集。無人機(jī)搭載攝像機(jī)和光譜成像儀等設(shè)備，可采集大范圍圖像信息。由于無人機(jī)在航拍過程中容受風(fēng)力等環(huán)境變化的影響，導(dǎo)致獲取的圖像成像范圍較小，為保證測(cè)繪區(qū)域的完整性，需回傳的圖像往往要達(dá)上千幅之多。要獲取整個(gè)目標(biāo)區(qū)域的信息就必須將多張遙感圖像進(jìn)行融合與拼接，合成一幅完整的全景圖像。在進(jìn)行圖像融合與拼接時(shí)，必須對(duì)圖像進(jìn)行精確的圖像配準(zhǔn)，刪除誤匹配點(diǎn)。以航拍方式獲得的農(nóng)作物圖像，能從一定程度上反映農(nóng)作物的生長狀況，進(jìn)而做出后續(xù)的工作安排。同時(shí)，也能預(yù)估其產(chǎn)量。因此，無人機(jī)遙感技術(shù)對(duì)農(nóng)作物種植信息的監(jiān)測(cè)具有重要意義。

挑戰(zhàn)與展望

雖然無人機(jī)圖像配準(zhǔn)技術(shù)的理論和方法比較成熟，但實(shí)際應(yīng)用中仍存在較多問題與挑戰(zhàn)。無人機(jī)拍攝圖像和視頻時(shí)，因?yàn)橄袼胤直媛矢咔也杉瘮?shù)據(jù)量大，對(duì)圖像處理技術(shù)提出了更高的要求。目前，無人機(jī)遙感圖像配準(zhǔn)技術(shù)存在以下問題。

圖5 無人機(jī)電力巡檢紅外熱成像圖及時(shí)發(fā)現(xiàn)故障。

圖6 無人機(jī)測(cè)繪圖像具有極高的真實(shí)性和準(zhǔn)確性。

圖7 無人機(jī)采集農(nóng)作物長勢(shì)、植被覆蓋率、病蟲害等圖像。

圖8 基于神經(jīng)網(wǎng)絡(luò)的圖像配準(zhǔn)回歸網(wǎng)絡(luò)可以有效減少匹配步驟。

首先，圖像配準(zhǔn)技術(shù)雖取得較快發(fā)展，但一種算法只對(duì)某種圖像適用，不能對(duì)所有圖像進(jìn)行高效處理，且遙感圖像的配準(zhǔn)算法更加復(fù)雜。目前幾乎所有的圖像配準(zhǔn)算法只能配準(zhǔn)一種或者幾種特定類型的圖像對(duì)，還沒有一種圖像配準(zhǔn)算法能夠配準(zhǔn)各種不同類型的圖像對(duì)。較多圖像匹配算法還需要人為干預(yù)進(jìn)行參數(shù)設(shè)定，易受噪聲及人工選擇精度的影響。目前，國內(nèi)外專家均通過改進(jìn)現(xiàn)有算法來實(shí)現(xiàn)精度的提高，但實(shí)際應(yīng)用中卻任重而道遠(yuǎn)。

其次，利用小型無人機(jī)采集圖像時(shí)，如精度不高、搭載設(shè)備多和容易造成抖動(dòng)等問題，在復(fù)雜環(huán)境下容易受空間區(qū)域分布及航拍視角的影響。無人機(jī)應(yīng)向重量更輕、多樣化任務(wù)載荷和高度自動(dòng)化的方向發(fā)展。

圖9 基于強(qiáng)化學(xué)習(xí)的圖像配準(zhǔn)算法可以實(shí)現(xiàn)更加復(fù)雜的圖像匹配。

目前，很多學(xué)者將深度學(xué)習(xí)與無人機(jī)遙感技術(shù)相結(jié)合，在遙感圖像處理方面取得了突出成果。利用深度學(xué)習(xí)處理無人機(jī)目標(biāo)識(shí)別數(shù)據(jù)的難點(diǎn)，對(duì)監(jiān)測(cè)的樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)和增強(qiáng)等，可以極大地改善數(shù)據(jù)量大和分析不準(zhǔn)確的問題，使無人機(jī)做出更有效的判斷，從而提高監(jiān)測(cè)效率。無人機(jī)遙感技術(shù)融合深度學(xué)習(xí)是未來發(fā)展的趨勢(shì)，深度學(xué)習(xí)可以使機(jī)器更加智能，從而更好地判斷目標(biāo)，獲得更加可靠的信息。

圖像配準(zhǔn)技術(shù)的發(fā)展日新月異，無人機(jī)與圖像配準(zhǔn)技術(shù)的密切結(jié)合，使無人機(jī)在更多領(lǐng)域大放異彩，應(yīng)用更加成熟。