陸健強(qiáng)，李旺枝，蘭玉彬，何秉鴻，林佳翰

·農(nóng)業(yè)航空工程·

基于點(diǎn)特征檢測的農(nóng)業(yè)航空遙感圖像配準(zhǔn)算法

陸健強(qiáng)1,2，李旺枝1，蘭玉彬1,2※，何秉鴻1，林佳翰1

（1. 華南農(nóng)業(yè)大學(xué)電子工程學(xué)院，廣州 510642； 2.國家精準(zhǔn)農(nóng)業(yè)航空施藥技術(shù)國際聯(lián)合研究中心，廣州 510642）

針對當(dāng)前無人機(jī)遙感圖像配準(zhǔn)算法普遍存在匹配精度差與配準(zhǔn)速度慢等問題，該文以點(diǎn)特征檢測方法為基礎(chǔ)，結(jié)合矩陣降維處理方法，提出一種適用于農(nóng)業(yè)航空遙感圖像配準(zhǔn)的改進(jìn)算法—SNS（scale-invariant feature transform and singular value decomposition）算法。SNS算法以高斯函數(shù)同步檢測尺度空間極值點(diǎn)的坐標(biāo)和特征尺度，利用海森矩陣消除偽特征點(diǎn)，獲取特征點(diǎn)精準(zhǔn)定位，在求取特征點(diǎn)的模值與方向基礎(chǔ)上，采用奇異值分解方法進(jìn)行矩陣優(yōu)化，實(shí)現(xiàn)數(shù)據(jù)降維再重構(gòu)。試驗(yàn)結(jié)果表明，SNS算法與經(jīng)典算法相比，配準(zhǔn)速度平均提高5.01%，配準(zhǔn)精度均方根誤差平均降低10.48%，說明SNS算法在壓縮數(shù)據(jù)量的同時(shí)，提高了整體配準(zhǔn)精度，具有配準(zhǔn)速度較快和魯棒性較好的特點(diǎn)。研究結(jié)果可為農(nóng)業(yè)航空遙感圖像快速配準(zhǔn)提供參考。

遙感；圖像處理；算法；圖像配準(zhǔn)；點(diǎn)特征檢測；數(shù)據(jù)降維

0 引 言

無人機(jī)遙感技術(shù)具有使用成本低、獲取速度快、機(jī)動(dòng)靈活等優(yōu)點(diǎn)[1-2]，在精準(zhǔn)農(nóng)業(yè)航空領(lǐng)域上發(fā)揮著重要作用。受現(xiàn)有無人機(jī)航空遙感成像系統(tǒng)性能所限，目前仍無法單次獲取大面積、高分辨率的遙感圖像。因此，針對獲取的序列遙感圖像進(jìn)行配準(zhǔn)，以提高遙感圖像的信息獲取能力十分必要。傳統(tǒng)圖像配準(zhǔn)[3-4]算法存在計(jì)算量大、效率低、配準(zhǔn)效果不佳等缺陷[5]，如何實(shí)現(xiàn)快速、精準(zhǔn)的圖像配準(zhǔn)，是當(dāng)前圖像配準(zhǔn)算法研究領(lǐng)域的一個(gè)關(guān)鍵問題。

Smith等提出了一種利用圖像鄰域灰度差的特征點(diǎn)檢測法來實(shí)現(xiàn)圖像配準(zhǔn)[6]，但該算法易受旋轉(zhuǎn)及噪聲的影響；隨后有學(xué)者提出Harris算法[7]，一定程度上克服了Moravec算法在旋轉(zhuǎn)不變性與噪聲上的不足，但受尺度變化的影響較大；Lowe等[8-9]提出的SIFT（scale-invariant feature transform）算法在灰度與仿射變換方面具有不變性，同時(shí)檢測出的SIFT特征點(diǎn)具有很好的穩(wěn)定性。

近年來，Bay等[10]在SIFT算法基礎(chǔ)上提出了SURF（speed up robust feature）加速算法，特征點(diǎn)只用了64維向量，提升算法速度的同時(shí)有效減少了計(jì)算量。許越等[11]提出以特征點(diǎn)匹配的殘余誤差為目標(biāo)函數(shù)，但該方法只適用于高分辨率遙感常規(guī)對地成像任務(wù)的一般要求；同年周微碩等[12]針對配準(zhǔn)中存在的幾何變形問題提出了一種基于幾何不變性局部相似特征的配準(zhǔn)算法，但對粗匹配依賴過高，且存在剔除正確匹配點(diǎn)的情況。

針對精準(zhǔn)農(nóng)業(yè)航空采集的遙感圖像具有圖像尺寸變化大，采集角度多變，重疊區(qū)域大，重疊區(qū)域內(nèi)可檢測特征點(diǎn)豐富的特點(diǎn)[13-15]，本研究以點(diǎn)特征檢測方法為設(shè)計(jì)基礎(chǔ)，結(jié)合矩陣降維處理方法[16]，提出一種適用于精準(zhǔn)農(nóng)業(yè)航空遙感圖像配準(zhǔn)的改進(jìn)算法—SNS算法，并通過與經(jīng)典算法的配準(zhǔn)比較實(shí)驗(yàn)進(jìn)行驗(yàn)證，以期農(nóng)業(yè)航空獲取高分辨率的大面積遙感圖像提供有益參考。

1 SNS算法設(shè)計(jì)

SNS算法在SIFT算法[17-18]與SVD（singular value decomposition）算法[19]的基礎(chǔ)上，根據(jù)農(nóng)業(yè)航空高分辨率大面積遙感圖像的特點(diǎn)，以減少特征提取、壓縮圖像數(shù)據(jù)量[20]為方向進(jìn)行改進(jìn)。

1.1 SNS算法流程

SNS算法的主要工作原理：

1）對待配準(zhǔn)圖像以函數(shù)求取圖像矩陣的2個(gè)正交矩陣、和一個(gè)對角陣。對角線上從大到小依次排列待配準(zhǔn)圖像矩陣的奇異值；

2）按照已定奇異值個(gè)數(shù)，取和的前列分別組成新矩陣1和1，重構(gòu)矩陣1；再利用int8函數(shù)將數(shù)字矩陣1轉(zhuǎn)換為圖像矩陣2；

3）對參考圖像矩陣重復(fù)步驟1）~2），獲得圖像矩陣2；

4）對2和2進(jìn)行特征提取，獲得128維的特征點(diǎn)集合；

5）對特征點(diǎn)進(jìn)行粗匹配（歐式距離法）與精匹配（RANSAC算法），得到特征匹配對。依據(jù)特征匹配對估測正確投影變換模型；

6）將待配準(zhǔn)圖像矩陣按照投影變換模型進(jìn)行空間變換，得到配準(zhǔn)后圖像矩陣3；

7）配準(zhǔn)后圖像矩陣3與參考圖像矩陣進(jìn)行圖像融合，最終獲得拼接圖像矩陣。

SNS算法流程圖如圖1a所示，其中圖像配準(zhǔn)是整個(gè)算法的核心關(guān)鍵模塊，采用與SIFT算法相類似的點(diǎn)特征檢測方法，具體流程如圖1b所示。

圖1 SNS算法及其圖像配準(zhǔn)流程

1.2 點(diǎn)特征檢測算法改進(jìn)

1.2.1 SIFT點(diǎn)特征檢測原理

SIFT點(diǎn)特征檢測方法[21-22]在灰度與仿射變換方面具有不變性，通過高斯函數(shù)和原圖像卷積對尺度空間極值點(diǎn)進(jìn)行檢測，得到特征點(diǎn)坐標(biāo)和特征尺度，再以這些特征點(diǎn)為中心各建立一個(gè)8×8的特征向量生成域，在生成域的4個(gè)小塊里各形成1個(gè)種子點(diǎn)。SIFT點(diǎn)特征檢測方法在描述一個(gè)特征點(diǎn)時(shí)會(huì)選擇16個(gè)種子點(diǎn)，故最終得到的是含有128維向量信息的特征點(diǎn)。

SIFT點(diǎn)特征檢測方法在處理特征點(diǎn)描述與特征點(diǎn)粗匹配時(shí)運(yùn)算量大，耗時(shí)較多，因此，本文針對這2個(gè)環(huán)節(jié)進(jìn)行優(yōu)化，以提高配準(zhǔn)算法速度。

1.2.2 算法改進(jìn)

SNS算法的核心處理模塊包括：尺度空間極值點(diǎn)檢測；特征點(diǎn)精準(zhǔn)定位；特征點(diǎn)主方向確定；數(shù)據(jù)降維重構(gòu)。進(jìn)行尺度空間極值點(diǎn)檢測，設(shè)圖像為(,)，由高斯函數(shù)和原圖像卷積得到圖像的尺度空間(,,)：

式中為二維高斯函數(shù)，為尺度因子，*為卷積運(yùn)算符。尺度因子不同，尺度空間也不同。算法中檢測到的極值點(diǎn)所在尺度為該特征點(diǎn)的特征尺度，因此，SNS算法可同時(shí)檢測出特征點(diǎn)的坐標(biāo)和特征尺度。

算法利用海森矩陣[23]消除偽特征點(diǎn)，精準(zhǔn)定位特征點(diǎn)。海森矩陣的定義式如式（3）所示，矩陣的跡和行列式的定義式如式（4）、式（5）所示。

式中D、D、D分別為圖像在、、方向上的二階導(dǎo)數(shù)；設(shè)為較大特征值與較小特征值之比。當(dāng)接近1時(shí)，說明2個(gè)曲率很接近，此時(shí)可以認(rèn)為該極值點(diǎn)為一個(gè)特征點(diǎn)。

特征點(diǎn)主方向確定，主要為求解特征點(diǎn)的梯度，包括模值與方向。設(shè)梯度的模值為(,)，方向?yàn)?,)，分別由式（6）和式（7）計(jì)算。

式中(,)表示圖像中特征點(diǎn)所在的坐標(biāo)，表示特征點(diǎn)所在的尺度。在實(shí)際操作中，則取鄰域內(nèi)像素最大模值的方向作為特征點(diǎn)的主方向。

2 結(jié)果與分析

2.1 不同仿射變換的圖像配準(zhǔn)試驗(yàn)

為進(jìn)行SNS算法與3種經(jīng)典配準(zhǔn)算法（SIFT、SURF[24]和Harris[25]）的性能比較，進(jìn)行不同仿射變換圖像的配準(zhǔn)試驗(yàn)（圖2）。試驗(yàn)硬件環(huán)境為：CPU為Intel Core i5-7200U 2.50 GHz，內(nèi)存12 GB，顯存2 GB，操作系統(tǒng)為Windows10，編程環(huán)境為Matlab2015b。試驗(yàn)圖片為無人機(jī)拍攝的紅外遙感圖像，無人機(jī)型號為大疆精靈4四旋翼無人機(jī)，有效載荷約為1 380 g，飛行時(shí)間約為28 min，搭載熱紅外成像相機(jī)，最大分辨率為640×512像素；采集地點(diǎn)為華南農(nóng)業(yè)大學(xué)院士亭附近園林，采集區(qū)域面積大小約為22 m2。分別對SIFT、SNS、SURF和Harris算法的配準(zhǔn)速度和配準(zhǔn)精度進(jìn)行試驗(yàn)分析，建立經(jīng)過仿射變換后的待配準(zhǔn)圖像（圖2）：試驗(yàn)原圖分辨率為640×512；尺度放大圖分辨率為950×760；尺度縮小圖分辨率為400×320；旋轉(zhuǎn)30°圖分辨率為811×764；旋轉(zhuǎn)30°尺度放大圖分辨率為1 000×942；旋轉(zhuǎn)30°尺度縮小圖分辨率為500×471。每組試驗(yàn)各運(yùn)行100次，取配準(zhǔn)總時(shí)間與均方根誤差的平均值作為評價(jià)指標(biāo)，SNS算法取前50個(gè)奇異值[26]重構(gòu)圖像。配準(zhǔn)總時(shí)間越小，說明配準(zhǔn)效率越高；均方根誤差以待配準(zhǔn)圖像與融合圖像匹配度為標(biāo)準(zhǔn)，數(shù)值越小，說明配準(zhǔn)效果越好。

圖2 不同仿射變換的待配準(zhǔn)圖像

圖3a～3d是參考圖像與原圖進(jìn)行配準(zhǔn)的效果，參考表1和表2的第1列數(shù)據(jù)可知，在配準(zhǔn)速度相差不大的情況下，SNS算法的配準(zhǔn)誤差降低了33.34%，表明SNS算法在進(jìn)行原圖配準(zhǔn)與拼接時(shí)有更好的配準(zhǔn)效果。其原因在于SNS算法使用了SVD數(shù)據(jù)降維方法[27-28]，壓縮了數(shù)據(jù)量，提高了整體的配準(zhǔn)準(zhǔn)確率。針對本組試驗(yàn)，SURF和Harris算法的效率較高，處理速度較快。

圖3e～3g是參考圖像與尺度縮小圖的配準(zhǔn)效果，根據(jù)表1及表2的第2列數(shù)據(jù)可知，在尺度縮小情況下，SNS算法的配準(zhǔn)速度比SIFT算法提高4.12%，SIFT算法的配準(zhǔn)效果優(yōu)于SNS算法13.32%。這是因?yàn)樵诔叨瓤s小圖中，SIFT特征點(diǎn)檢測法檢測的特征點(diǎn)數(shù)量比原圖少，可用于配準(zhǔn)的特征點(diǎn)對少；而SIFT算法和SNS算法在特征點(diǎn)數(shù)量減少的情形下檢測到的特征點(diǎn)對數(shù)量相近，因此配準(zhǔn)時(shí)間相差不大。SNS算法的配準(zhǔn)誤差略大是因?yàn)檫M(jìn)行空間變換時(shí)所用的投影變換矩陣未如理想。Harris算法不具備尺度不變性，無法進(jìn)行有尺度變換的配準(zhǔn)拼接。SURF算法的均方根誤差比SIFT算法大83.51%，比SNS算法大80.98%，表明SURF的空間變換模型誤差較大，配準(zhǔn)拼接效果不理想。

圖3 不同算法的參考圖像與6種仿射變換圖像的配準(zhǔn)效果

圖3h～3j是參考圖像與尺度放大圖的配準(zhǔn)效果，參考表1與表2的第3列數(shù)據(jù)可知，在尺度放大的情況下，SNS算法的配準(zhǔn)時(shí)間和配準(zhǔn)精度[29-30]分別優(yōu)于SIFT算法1.56%和2.80%。這是因?yàn)樵诔叨确糯髨D中SIFT特征點(diǎn)檢測算法檢測的特征點(diǎn)增多，即使壓縮了部分最不重要的特征點(diǎn)后仍有許多無法構(gòu)成特征匹配對的特征點(diǎn)，從而降低了整體配準(zhǔn)與拼接的速度。SNS算法的優(yōu)勢在于對圖像進(jìn)行奇異值分解再重構(gòu)，重構(gòu)圖像特征點(diǎn)會(huì)有所減少，尤其是不重要不明顯的特征點(diǎn)大幅減少，從而減少不必要的尋找特征匹配對的計(jì)算量，提高了配準(zhǔn)速度與配準(zhǔn)精度，因此SNS算法在配準(zhǔn)時(shí)間和配準(zhǔn)精度上略有優(yōu)勢。Harris算法不具備尺度不變性，無法進(jìn)行有尺度變換的配準(zhǔn)拼接。SURF算法則是犧牲配準(zhǔn)精度來換取配準(zhǔn)速度。

圖3k～3m是參考圖像與旋轉(zhuǎn)30°圖的配準(zhǔn)效果，參考表1與表2的第4列數(shù)據(jù)可知，在旋轉(zhuǎn)30°的情況下，SNS算法的配準(zhǔn)時(shí)間比SIFT算法快8.22%，配準(zhǔn)誤差小2.85%。Harris算法的旋轉(zhuǎn)不變性沒有充分體現(xiàn)，是因?yàn)樾D(zhuǎn)角度剛好不是在水平方向和垂直方向上，因此原本已經(jīng)檢測到的特征點(diǎn)消失，無法完成配準(zhǔn)。SURF算法的配準(zhǔn)誤差與SIFT算法相近，配準(zhǔn)速度比SIFT算法提高68.22%，比SNS算法提高65.38%。

圖3n～3q是參考圖像與旋轉(zhuǎn)30°尺度放大圖的配準(zhǔn)效果，參考表1與表2的數(shù)據(jù)可知，在旋轉(zhuǎn)30°尺度放大的情況下，SNS算法的配準(zhǔn)時(shí)間比SIFT算法減少4.66%，配準(zhǔn)誤差減少7.27%。在旋轉(zhuǎn)30°后尺度放大圖中，可檢測特征點(diǎn)多于30°旋轉(zhuǎn)的圖像，因此在特征點(diǎn)數(shù)量增多的情況下，SNS算法具有速度優(yōu)勢。SURF算法和Harris算法也得益于特征點(diǎn)數(shù)量增加，配準(zhǔn)效果較為理想。

表1 4種算法的配準(zhǔn)時(shí)間

注：“—”表示算法無法完成圖像配準(zhǔn)。下同。

Note: “—” indicates that the algorithm cannot complete image registration. Same as below.

表2 4種算法的均方根誤差

圖3r～3s是參考圖像與旋轉(zhuǎn)30°尺度縮小圖的配準(zhǔn)效果，由于SURF算法和Harris算法配準(zhǔn)過程中特征匹配對不足4對，不能滿足估計(jì)投影變換模型的最低要求，無法實(shí)現(xiàn)配準(zhǔn)與拼接，因此本次試驗(yàn)無SURF算法和Harris算法的配準(zhǔn)效果對比圖。參考表1與表2數(shù)據(jù)可知，SNS算法在配準(zhǔn)時(shí)間上減少6.83%，配準(zhǔn)誤差減少32.02%。其原因在于圖像旋轉(zhuǎn)30°再進(jìn)行尺度縮小，特征點(diǎn)數(shù)量比只旋轉(zhuǎn)30°時(shí)更少，SNS算法利用SVD對圖像進(jìn)行壓縮，獲取足以進(jìn)行配準(zhǔn)與拼接的特征匹配對數(shù)量，提升了整體的配準(zhǔn)精度。

2.2 多幅遙感圖像配準(zhǔn)效率測試試驗(yàn)

為進(jìn)一步比較SIFT算法與SNS算法的處理效率，進(jìn)行多幅遙感圖像測試試驗(yàn)。試驗(yàn)環(huán)境如下：CPU核心數(shù)為16個(gè)，型號為Intel(R) Xeon(R) Gold 6130 CPU @ 2.10 GHz，內(nèi)存為32 GB，顯存為8 G，操作系統(tǒng)為Windows10,編程環(huán)境為Matlab2015b；無人機(jī)型號為大疆（DJI）精靈4四旋翼無人機(jī)，有效載荷約為1 380 g，飛行時(shí)間約為28 min，搭載可見光相機(jī)最大分辨率為4 000× 3 000像素。試驗(yàn)圖像由160張無人機(jī)50 m低空遙感圖像組成，每幅圖像的分辨率為437×800，采集地點(diǎn)為惠州市博羅縣楊村鎮(zhèn)井水龍村柑橘試驗(yàn)基地，采集區(qū)域面積大小約為3.13 hm2。每個(gè)算法各運(yùn)行50次，取試驗(yàn)圖像數(shù)據(jù)集配準(zhǔn)總時(shí)間作為比較指標(biāo)，配準(zhǔn)總時(shí)間越短，說明配準(zhǔn)效率越高速度越快。

圖4a為待配準(zhǔn)試驗(yàn)圖像數(shù)據(jù)集；圖4b為SIFT算法配準(zhǔn)效果圖，分辨率為1 282×3 116；圖4c為SNS算法配準(zhǔn)效果圖，分辨率為1 337×2 949。試驗(yàn)結(jié)果表明，SNS算法的總配準(zhǔn)時(shí)間相較于SIFT算法減少了10.34%，表明本次試驗(yàn)中SNS算法的配準(zhǔn)處理效率和速度明顯優(yōu)于SIFT算法。

圖4 多幅遙感圖像配準(zhǔn)效果圖

綜上試驗(yàn)表明，Harris算法適合尺度變化不大，旋轉(zhuǎn)角度較小的圖像配準(zhǔn)，但是在有尺度變化的或者是重疊區(qū)域較小的情況下，無法完成配準(zhǔn)，因此在農(nóng)業(yè)航空遙感圖像配準(zhǔn)中受限；SURF算法結(jié)合積分圖像與窗型濾波器的特點(diǎn)，具有配準(zhǔn)速度快的優(yōu)點(diǎn)，但由于使用近似高斯濾波和近似梯度的方法，以犧牲配準(zhǔn)精度為代價(jià)提高配準(zhǔn)速度，在重視配準(zhǔn)精度的農(nóng)業(yè)航空遙感圖像配準(zhǔn)中適用性不強(qiáng)；SIFT算法可用于各種情況下的圖像配準(zhǔn)；SNS算法在重疊區(qū)域大，重疊區(qū)域內(nèi)特征點(diǎn)較多的情況時(shí)表現(xiàn)最佳，在多幅遙感圖像測試實(shí)驗(yàn)中處理效率明顯優(yōu)于SIFT算法。

圖像配準(zhǔn)是遙感圖像處理中的重要一環(huán)[31]，如何實(shí)現(xiàn)SNS算法求解更準(zhǔn)確的空間變換模型，進(jìn)而快速提取適量穩(wěn)定的特征點(diǎn)，是該算法進(jìn)一步應(yīng)用于農(nóng)業(yè)、地質(zhì)檢測、城市規(guī)劃等[32]領(lǐng)域的探索重點(diǎn)。

3 結(jié) 論

SNS算法針對農(nóng)業(yè)航空遙感圖像尺寸變化大，采集角度多變，重疊區(qū)域大，重疊區(qū)域內(nèi)可檢測特征點(diǎn)豐富的特點(diǎn)進(jìn)行優(yōu)化設(shè)計(jì)，與SIFT算法相比，配準(zhǔn)速度平均提高5.01%，配準(zhǔn)精度均方根誤差平均降低10.48%；在多幅遙感圖像配準(zhǔn)效率測試試驗(yàn)中，總配準(zhǔn)時(shí)間相較于SIFT算法減少10.34%?？梢?，SNS算法在農(nóng)業(yè)航空遙感圖像的配準(zhǔn)處理上具有速度較快、精度較高的優(yōu)勢，可為智慧農(nóng)業(yè)快速、精準(zhǔn)獲取大面積農(nóng)田區(qū)域圖像進(jìn)行田塊管理、作物管理、病蟲害管理、產(chǎn)量預(yù)測等應(yīng)用提供有益指導(dǎo)。

[1]汪沛，羅錫文，周志艷，等. 基于微小型無人機(jī)的遙感信息獲取關(guān)鍵技術(shù)綜述[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2014，30(18)：1－12.

Wang Pei, Luo Xiwen, Zhou Zhiyan, et al. A review of key technologies for remote sensing information acquisition based on micro-miniature UAVs[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(18): 1－12. (in Chinese with English abstract)

[2]劉建剛，趙春江，楊貴軍，等. 無人機(jī)遙感解析田間作物表型信息研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(24)：98－106.

Liu Jiangang, Zhao Chunjiang, Yang Guijun, et al. Research progress of remote sensing analysis of field crop phenotypic information by UAV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(24): 98－106. (in Chinese with English abstract)

[3]沈躍，朱嘉慧，劉慧，等. 基于彩色和深度信息結(jié)合K-means聚類算法快速拼接植株圖像[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(23)：134－141.

Shen Yue, Zhu Jiahui, Liu Hui, et al. Rapidly splicing plant images based on color and depth information combined with K-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(23): 134－141. (in Chinese with English abstract)

[4]周薇，馮娟，劉剛，等. 蘋果采摘機(jī)器人中的圖像配準(zhǔn)技術(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(11)：20－26，293.

Zhou Wei, Feng Juan, Liu Gang, et al. Image registration technology in apple picking robots[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(11): 20－26, 293. (in Chinese with English abstract)

[5]余先川，呂中華，胡丹. 遙感圖像配準(zhǔn)技術(shù)遙感圖像述[J].光學(xué)精密工程，2013，21(11)：2960－2972.

Yu Xianchuan, Lü Zhonghua, Hu Dan. Review of remote sensing image registration technology[J]. Optics and Precision Engineering, 2013, 21(11): 2960－2972. (in Chinese with English abstract)

[6]Smith S M, Brady J M. SUSAN-A New Approach to Low Level Image Processing[J]. International Journal of Computer Vision, 1997, 23(1): 45－78.

[7]賈瑩. 基于Harris角點(diǎn)檢測算法的圖像拼接技術(shù)研究[D].長春：吉林大學(xué)，2010.

Jia Ying. Research on Image Stitching Technology Based on Harris Corner Detection Algorithm[D]. Changchun: Jilin University, 2010. (in Chinese with English abstract)

[8]Lowe D G. Object recognition from local scale-invariant features[C]//International Journal on Computer Vision, 1999: 1150－1157.

[9]孫偉曄. 基于SIFT算法的快速圖像配準(zhǔn)技術(shù)[D]. 長春：吉林大學(xué)，2017.

Sun Weiwei. Fast Image Registration Technology Based on SIFT Algorithm[D]. Changchun: Jilin University, 2017. (in Chinese with English abstract)

[10]Bay H, Tuytelaars T, Gool L V. SURF: Speeded up robust features[C]//Proceedings of the 9th European conference on Computer Vision-Volume Part I: Springer, Berlin, Heidelberg, 2006.

[11]許越，徐之海，馮華君，等. 雙場景類型遙感圖像的配準(zhǔn)拼接優(yōu)化[J]. 浙江大學(xué)學(xué)報(bào)：工學(xué)版，2019，53(1)：107－114.

Xu Yue, Xu Zhihai, Feng Huajun, et al. Optimization of registration and splicing of remote sensing images with dual scene types[J]. Journal of Zhejiang University : Engineering Science, 2019, 53(1): 107－114. (in Chinese with English abstract)

[12]周微碩，安博文，趙明，等. 基于幾何不變性和局部相似特征的異源遙感圖像配準(zhǔn)算法[J]. 紅外技術(shù)，2019，41(6)：561－571.

Zhou Weishuo, An Bowen, Zhao Ming, et al. Heterologous remote sensing image registration algorithm based on geometric invariance and local similarity features[J]. Infrared Technology, 2019, 41(6): 561—571. (in Chinese with English abstract)

[13]楊占龍. 基于特征點(diǎn)的圖像配準(zhǔn)與拼接技術(shù)研究[D]. 西安：西安電子科技大學(xué)，2008.

Yang Zhanlong. Research on Image Registration and Splicing Technology Based on Feature Points[D]. Xi'an: Xi'an University of Electronic Science and Technology, 2008. (in Chinese with English abstract)

[14]李思湉. 基于特征的遙感圖像自動(dòng)配準(zhǔn)與變化檢測研究[D]. 西安：西安電子科技大學(xué)，2017.

Li Siwei. Research on Automatic Registration and Change Detection of Remote Sensing Image Based on Feature[D]. Xi'an: Xi'an University of Electronic Science and Technology, 2017. (in Chinese with English abstract)

[15]吳丹力. 基于特征點(diǎn)與互信息的遙感圖像配準(zhǔn)方法研究[D]. 福州：福州大學(xué)，2016.

Wu Danli. Research on Remote Sensing Image Registration Based on Feature Points and Mutual Information[D]. Fuzhou: Fuzhou University, 2016. (in Chinese with English abstract)

[16]王振，雷田田，范麗亞，等. PDEs對四種圖像降噪降維方法的影響[J/OL]. 聊城大學(xué)學(xué)報(bào)：自然科學(xué)版：[2019-10-15] http://kns.cnki.net/kcms/detail/31.1690.TN.20191015.0934. 006.html

Wang Zhen, Lei Tiantian, Fan Liya, Yang Jing. Effects of PDEs on four image denoising and dimensional reduction methods[J/OL]. Journal of Liaocheng University: Natural Science Edition: [2019-10-15] http://kns.cnki.net/kcms/ detail/31.1690.TN.20191015.0934.006.html (in Chinese with English abstract)

[17]徐杰，胡越黎，郁懷波. 一種基于SIFT的圖像拼接算法及其FPGA實(shí)現(xiàn)[J]. 儀表技術(shù)，2019(9)：15－18，48.

Xu Jie, Hu Yueli, Yu Huaibo. An Image Stitching Algorithm Based on SIFT and Its FPGA Implementation[J]. Instrument Technology, 2019(9): 15－18, 48. (in Chinese with English abstract)

[18]陳裕. 基于SIFT算法的無人機(jī)遙感圖像配準(zhǔn)[D]. 長沙：中南大學(xué)，2009.

Chen Yu. Remote Sensing Image Registration of UAV Based on SIFT Algorithm[D]. Changsha: Central South University, 2009. (in Chinese with English abstract)

[19]馬愛華. 基于拓?fù)渲X和SVD配準(zhǔn)算法的圖像拼接技術(shù)[D]. 蘭州：蘭州理工大學(xué)，2012.

Ma Aihua. Image Mosaic Technology Based on Topology Perception and SVD Registration Algorithm[D]. Lanzhou: Lanzhou University of Technology, 2012. (in Chinese with English abstract)

[20]覃鳳清. 數(shù)字圖像壓縮綜述[J]. 宜賓學(xué)院學(xué)報(bào)，2006(6)：88－90.

Qi Fengqing. Overview of digital image compression[J]. Journal of Yibin University, 2006(6): 88－90. (in Chinese with English abstract)

[21]寇冬晨，韓瑜，顧浩. 基于Hessian矩陣的角點(diǎn)自動(dòng)檢測算法[J]. 指揮控制與仿真，2018，40(2)：118－122.

Cou Dongchen, Han Yu, Gu Hao. Automatic detection algorithm of corner points based on Hessian matrix[J]. Command Control & Simulation, 2018, 40(2): 118－122. (in Chinese with English abstract)

[22]聞澤聯(lián). 基于點(diǎn)特征的遙感圖像配準(zhǔn)方法研究[D]. 西安：西安電子科技大學(xué)，2017.

Wen Zelian. Research on Remote Sensing Image Registration Method Based on Point Feature[D]. Xi'an: Xi'an University of Electronic Science and Technology, 2017. (in Chinese with English abstract)

[23]余婷. 基于特征的遙感圖像自動(dòng)配準(zhǔn)技術(shù)研究[D]. 杭州：浙江大學(xué)，2013.

Yu Ting. Research on Automatic Registration Technology of Remote Sensing Image Based on Feature[D]. Hangzhou: Zhejiang University, 2013. (in Chinese with English abstract)

[24]吳如夢，方挺，李文欽. 基于SURF特征的無人機(jī)航拍圖像拼接方法[J]. 現(xiàn)代制造技術(shù)與裝備，2019(8)：34－36.

Wu Rumeng, Fang Ting, Li Wenqin. Surrounding method of aerial image of drone based on SURF feature[J]. Modern Manufacturing Technology and Equipment, 2019(8): 34－36.(in Chinese with English abstract)

[25]周志艷，閆夢璐，陳盛德，等. Harris角點(diǎn)自適檢測的水稻低空遙感圖像配準(zhǔn)與拼接算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(14)：186－193.

Zhou Zhiyan, Yan Mengxi, Chen Shengde, et al. Registration and splicing algorithm of low-altitude remote sensing image of rice with Harris corner adaptive detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(14): 186－193. (in Chinese with English abstract)

[26]趙夫群，耿國華. 基于圖像特征和奇異值分解的點(diǎn)云配準(zhǔn)算法[J/OL]. 激光與光電子學(xué)進(jìn)展，[2019-10-20]. http://kns.cnki.net/kcms/detail/31.1690.TN.20191015.0934. 006.html.

Zhao Fuqun, Yan Guohua. Point cloud registration algorithm based on image feature and singular value decomposition[J/OL]. Progress in Laser and optoelectronics. [2019-10-20]. http://kns.cnki.net/Kcms/detail/31.1690.TN. 20191015.0934. 006.html. (in Chinese with English abstract)

[27]凌程，耿修瑞，楊煒暾，等. 一種改進(jìn)的基于奇異值分解的亞像素級圖像配準(zhǔn)算法[J]. 中國科學(xué)院大學(xué)學(xué)報(bào)，2019，36(1)：101－108.

Ling Cheng, Gen Xiurui, Yang Weidun, et al. An improved sub-pixel image registration algorithm based on singular value decomposition[J]. Journal of the Chinese Academy of Sciences, 2019, 36(1): 101－108. (in Chinese with English abstract)

[28]黃帥，吳克偉，蘇菱. 基于Harris尺度不變特征的圖像匹配方法[J]. 合肥工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，34(3)：379－382.

Huang Shuai, Wu Kewei, Su Ling. Image matching method based on harris scale invariant features[J]. Journal of Hefei University of Technology: Natural Science, 2011, 34(3): 379－382. (in Chinese with English abstract)

[29]陳顯毅. 圖像配準(zhǔn)技術(shù)及其MATLAB編程實(shí)現(xiàn)[M]. 北京：電子工業(yè)出版社，2009.

[30]曹聞. 遙感圖像配準(zhǔn)與融合技術(shù)研究[D]. 鄭州：解放軍信息工程大學(xué)，2004.

Cao Wen. Research on Remote Sensing Image Registrationand Fusion Technology[D]. Zhengzhou: PLA Information Engineering University, 2004. (in Chinese with English abstract)

[31]賈銀江. 無人機(jī)遙感圖像處理關(guān)鍵技術(shù)研究[D]. 哈爾濱：東北農(nóng)業(yè)大學(xué)，2016.

Jia Yinjiang. Research on Key Technologies of Remote Sensing Image Processing of Drones[D]. Harbin: Northeast Agricultural University, 2016. (in Chinese with English abstract)

[32]夏綏丹. 數(shù)字圖像處理技術(shù)在遙感圖像分類中的應(yīng)用[J].中國新通信，2019，21(15)：162.

Xia Yudan. Application of digital image processing technology in remote sensing image classification[J]. China New Communications, 2019, 21(15): 162. (in Chinese with English abstract)

Registration algorithm for agricultural aviation remote sensing image based on point feature detection

Lu Jianqiang1,2, Li Wangzhi1, Lan Yubin1,2※, He Binghong1, Lin Jiahan1

(1,510642,;2510642,)

How to achieve fast and accurate image stitching to obtain large-area, high-resolution aerial remote sensing images is a key problem in the field of image mosaic research. Aiming at the problems of poor matching accuracy and slow registration speed in the current UAV (unmanned aerial vehicle) remote sensing image registration algorithm, based on the point feature detection method and the matrix dimensionality reduction processing method, an improved algorithm SNS (scale-invariant feature transform and singular value decomposition) algorithm, which is suitable for the registration of agricultural aviation remote sensing images was proposed in this paper. SNS algorithm detects the extreme value point of scale, the characteristics of the scale for the feature points, use hessian matrix to eliminate the false feature points to precise positioning feature points. Therefore, SNS algorithm can simultaneously detect the coordinates of feature points and feature dimension. The advantage of SNS algorithm lies in the singular value decomposition and reconstruction of the image, which will reduce the feature points of the reconstructed image, especially the feature points that are not important or obvious, so as to reduce the unnecessary calculation amount of finding feature matching pairs and improve the registration speed and accuracy. SNS algorithm uses SVD method for matrix decomposition, realizing data dimensionality re-reconstruction, compressing data volume, and the overall registration accuracy is improved as well. The experimental image consists of the reference image of infrared remote sensing image collected by UAV, the original image, and five images which is registered after affine transformation from the original image, the reference image resolution is 640 × 512, the original image resolution is 640 × 512, scale-up image resolution is 950 × 760, scale-down image resolution is 400 × 320, the resolution of rotated original image by 30° is 811 × 764, rotated by 30° and scale-up image resolution is 1000 × 942, rotated by 30° and scale-down image resolution is 500 × 471. SIFT, SNS, SURF (speed-up robust features) and Harris algorithms are selected to run 100 times for comparison and analysis. The results show that harris algorithm is suitable for image registration with little scale change and small rotation angle, but cannot complete registration in the case of small scale change or overlap area, so it is limited in the registration of agricultural aerial remote sensing images. SURF algorithm combines the characteristics of integral image and window filter, and has the advantage of fast registration speed, however, because of using approximate Gaussian filter and approximate gradient method to improve the registration speed at the expense of registration accuracy, it is not suitable in agricultural aviation remote sensing image registration with attention to registration accuracy. SNS and SIFT algorithm can be used for image registration in various cases. And the registration speed of SNS algorithm is 5.01% faster than SIFT algorithm, and the RMSE ( root mean squared error )of SNS algorithm is reduced by 10.48%. In order to further compare the processing efficiency of SIFT algorithm and SNS algorithm, multiple remote sensing images test is carried out. The test image data set consists of 160 drone 50 m low-altitude remote sensing images, each with a resolution of 437 × 800. The collection area is about 3.13 hm2. Each algorithm runs 50 times and record the registration time. The experimental results show that the total registration time of SNS algorithm is 10.34% less than that of SIFT algorithm, which shows that the registration speed of SNS algorithm in this experiment is better than SIFT algorithm. Obviously, SNS algorithm has the advantages of fast speed and high precision in the registration of agricultural aerial remote sensing images, which can provide useful guidance for intelligent agriculture to obtain large-area agricultural regional images quickly and accurately for field management, crop management, pest management, yield prediction and other applications.

remote sensing; image processing; algorithm; image registration; point feature detection; dimensionality reduction

10.11975/j.issn.1002-6819.2020.03.009

TP368.1

A

1002-6819(2020)-03-0071-07

陸健強(qiáng)，李旺枝，蘭玉彬，何秉鴻，林佳翰. 基于點(diǎn)特征檢測的農(nóng)業(yè)航空遙感圖像配準(zhǔn)算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(3)：71－77.doi：10.11975/j.issn.1002-6819.2020.03.009 http://www.tcsae.org

Lu Jianqiang, Li Wangzhi, Lan Yubin, He Binghong, Lin Jiahan. Registration algorithm for agricultural aviation remote sensing image based on point feature detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(3): 71－77. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.03.009 http://www.tcsae.org

2019-10-30

2020-01-07

廣東省重點(diǎn)領(lǐng)域研發(fā)計(jì)劃資助（2019B020214003）

陸健強(qiáng)，博士，高級實(shí)驗(yàn)師，主要從事農(nóng)業(yè)物聯(lián)網(wǎng)與無人機(jī)遙感圖像技術(shù)研究。Email：ljq@scau.edu.cn。

蘭玉彬，教授，主要從事精準(zhǔn)農(nóng)業(yè)航空方向研究。Email：ylan@scau.edu.cn

中國農(nóng)業(yè)工程學(xué)會(huì)高級會(huì)員：蘭玉彬(E041200725S)。