汪強(qiáng) 郭來功

摘要：針對Harris角點(diǎn)檢測器響應(yīng)值R的閾值選擇而導(dǎo)致角點(diǎn)失真問題，文章提出了一種基于現(xiàn)場可編程門陣列（FPGA）的自適應(yīng)Harris角點(diǎn)檢測器實(shí)現(xiàn)遙感圖像的配準(zhǔn)方式。該方式依據(jù)非最大值抑制（NMS）處理后的響應(yīng)值對閾值進(jìn)行實(shí)時(shí)變化。實(shí)驗(yàn)結(jié)果顯示，優(yōu)化架構(gòu)在硬件資源僅增加2.76%的情況下，準(zhǔn)確率相應(yīng)提升了8.31%。因此，文章提出的遙感圖像配準(zhǔn)架構(gòu)適用于硬件資源有限的平臺(tái)。

關(guān)鍵詞：Harris角點(diǎn)檢測器；FPGA；非最大值抑制（NMS）；遙感圖像配準(zhǔn)

中圖分類號：TP391? 文獻(xiàn)標(biāo)志碼：A

0 引言

在眾多的計(jì)算機(jī)視覺應(yīng)用中，Harris角點(diǎn)檢測被視為關(guān)鍵的預(yù)處理技術(shù)，例如特征識別、動(dòng)態(tài)追蹤、圖像配準(zhǔn)、3D模型構(gòu)建等。在眾多常用的計(jì)算方法中，選擇合適的閾值通常會(huì)對最終結(jié)果產(chǎn)生長遠(yuǎn)和深刻的影響。但是，在Harris算法的應(yīng)用中，閾值的選擇只能依賴于個(gè)體的經(jīng)驗(yàn)判斷［1］。過高的閾值不僅可能導(dǎo)致角點(diǎn)信息的丟失，還可能引發(fā)偽角點(diǎn)的出現(xiàn)；較低的閾值不僅導(dǎo)致角點(diǎn)質(zhì)量的下降，還會(huì)提高其對噪聲的敏感性［2］。潘聰?shù)龋?］通過消除偽角點(diǎn)的方法，成功地實(shí)施了基于FPGA的Harris角點(diǎn)自適應(yīng)閾值檢測。本研究在其基礎(chǔ)上，對自適應(yīng)閾值算法進(jìn)行了優(yōu)化，并利用FPGA將其成功應(yīng)用于遙感圖像配準(zhǔn)技術(shù)中。

2 硬件實(shí)現(xiàn)架構(gòu)

遙感圖像配準(zhǔn)的硬件實(shí)現(xiàn)架構(gòu)如圖1所示，依次通過導(dǎo)數(shù)生成模塊、高斯濾波模塊、角點(diǎn)獲得模塊（角點(diǎn)提取和非最大值抑制）和優(yōu)化后的自適應(yīng)閾值模??? 塊，以實(shí)現(xiàn)遙感圖像角點(diǎn)的提取。至于圖像配準(zhǔn)部分，本次實(shí)驗(yàn)選擇了特征法和區(qū)域法。

2.1 導(dǎo)數(shù)生成模塊

導(dǎo)數(shù)生成器分別計(jì)算每一個(gè)像素水平方向和垂直方向的導(dǎo)數(shù)及其乘積［3］。先讀取SDRAM存儲(chǔ)器中圖像灰度數(shù)據(jù)，再用IP核的加法器、減法器和乘法器來實(shí)現(xiàn)I2x、I2y和IxIy值的計(jì)算。其中，設(shè)置這3個(gè)數(shù)值的輸出位寬為32。

2.2 高斯濾波模塊

對上一步計(jì)算得到的3幅梯度圖像進(jìn)行高斯平滑處理，得到3個(gè)高斯值。高斯濾波模塊窗口大小設(shè)置為3×3，主要由X方向和Y方向進(jìn)行。其中，圖像在FPGA中是逐行輸出的，因此需要通過延遲的方式來獲得3×3窗口內(nèi)的9個(gè)圖像像素值。其中實(shí)驗(yàn)輸入的遙感圖像大小為128×128，對圖像的第一二行分別進(jìn)行128延遲和256延遲［5］。

2.3 角點(diǎn)獲得模塊

將高斯濾波得到的3個(gè)高斯值代入公式（7），得到遙感圖像中每一個(gè)像素的Harris角點(diǎn)響應(yīng)函數(shù)值R，其中R為該局部區(qū)域的最大值［6］。其計(jì)算需要完成3個(gè)乘法計(jì)算，并保存至寄存器中，其中乘以參數(shù)k（設(shè)k = 0.06）的計(jì)算，使用算數(shù)右移來完成。同時(shí)避免造成角點(diǎn)團(tuán)簇現(xiàn)象，R需要非最大值抑制（NMS），即去除一些較小值，將其中一些大于閾值的R輸出進(jìn)行后一級的角點(diǎn)配準(zhǔn)功能［5］。

2.4 自適應(yīng)閾值模塊

閾值的選擇對圖像候選角點(diǎn)的質(zhì)量也有很大影響。尋找理想閾值需要在未檢測到的真角和檢測到的假角之間進(jìn)行權(quán)衡比較，這個(gè)閾值因圖像而異［7］。本文設(shè)計(jì)的自適應(yīng)模塊結(jié)構(gòu)如圖2所示，依據(jù)NMS后角點(diǎn)數(shù)量值N，分3個(gè)區(qū)間對閾值進(jìn)行調(diào)節(jié)，同時(shí)利用簡單地左右移1個(gè)單位以實(shí)現(xiàn)P值的乘除法，其中P取2.2×10-7。

2.5 遙感圖像配準(zhǔn)模塊

特征法是通過圖像中的特征點(diǎn)來進(jìn)行圖像的配準(zhǔn)操作。核心的步驟包括：首先從2張圖片中抽取特征點(diǎn)或描述特征的子項(xiàng)。再對2張圖片中的特征點(diǎn)或描述子項(xiàng)進(jìn)行匹配，以確定它們之間的匹配關(guān)系。依據(jù)所識別的相應(yīng)關(guān)聯(lián)，進(jìn)行圖像變換矩陣的計(jì)算。最后，對其中一張圖像執(zhí)行變換操作，確保2張圖像在空間維度上達(dá)到配準(zhǔn)狀態(tài)。至于后2步通常采用最小二乘法來進(jìn)行問題的解決，這樣就可以達(dá)到圖像的精確配準(zhǔn)。

3 仿真驗(yàn)證與分析

該部分采用FPGA和MATLAB對比的方式進(jìn)行。其中，F(xiàn)PGA采用Intel（Altera）公司Cyclone Ⅳ E系列的EP4CE15F23C6型開發(fā)平臺(tái)，開發(fā)環(huán)境為Quartus II 18.0，使用Verilog HDL完成數(shù)據(jù)流的描述。遙感圖像配準(zhǔn)仿真對比結(jié)果如圖3—5所示。

4 結(jié)語

本文提出的基于FPGA的自適應(yīng)閾值Harris特征提取和遙感圖像配準(zhǔn)架構(gòu)，以NMS為載體，改進(jìn)自適應(yīng)閾值模塊，在FPGA占用資源增加2.76%的情況下，適度提高了遙感圖像角點(diǎn)檢測速度和配準(zhǔn)精度。

參考文獻(xiàn)

［1］孫萬春.基于視頻的公共場所人數(shù)統(tǒng)計(jì)研究［D］.重慶：重慶理工大學(xué)，2018.

［2］孫萬春，張建勛，朱佳寶，等.S-Harris：一種改進(jìn)的角點(diǎn)檢測算法［J］.重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)），2018（10）：156-161.

［3］潘聰，黃魯.基于FPGA的自適應(yīng)閾值Harris角點(diǎn)檢測硬件實(shí)現(xiàn)［J］.微型機(jī)與應(yīng)用，2016（19）：44-46，49.

［4］SIKKA P，ASATI A R，SHEKHAR C.Real time FPGA implementation of a high speed and area optimized Harris corner detection algorithm［J］.Microprocessors and Microsystems，2021（2）：1-6.

［5］王躍霖.基于FPGA的動(dòng)態(tài)目標(biāo)檢測與跟蹤系統(tǒng)的研究［D］.蘭州：蘭州交通大學(xué)，2018.

［6］閆小盼，敖磊，楊新.Harris角點(diǎn)檢測的FPGA快速實(shí)現(xiàn)方法［J］.計(jì)算機(jī)應(yīng)用研究，2017（12）：3848-3851.

［7］MAURYA S，CHOUDHURY Z，PURINI S.Accuracy configurable FPGA implementation of Harris corner detection［C］.2022 IEEE Computer Society Annual Symposium on VLSI （ISVLSI）.Nicosia，2022：422-427.

（編輯 沈 強(qiáng)編輯）

FPGA implementation of adaptive threshold Harris algorithm for remote sensing image registrationWang? Qiang， Guo? Laigong

（School of Electrical and Information Engineering， Anhui University of Technology， Huainan 232001， China）

Abstract：? Aiming at the problem of corner distortion caused by the threshold selection of the response value R of Harris corner detector， an adaptive Harris corner detector based on FPGA is proposed to achieve remote sensing image registration. This method changes the threshold in real-time based on the response value after Non Maximum Suppression （NMS） processing. The experimental results show that the optimized architecture achieved an accuracy improvement of 8.31% with only a 2.76% increase in hardware resources. Therefore， the remote sensing image registration architecture proposed in this article is suitable for computing on platforms with limited hardware resources.

Key words： Harris corner detector; FPGA; Non Maximum Suppression （NMS）; remote sensing image registration