李國(guó)旺，李英，馬韻琪，夏晨旭

（長(zhǎng)春理工大學(xué) 光電工程學(xué)院，長(zhǎng)春 130022）

消音壁領(lǐng)域中頂點(diǎn)檢測(cè)是關(guān)鍵任務(wù)之一，其頂點(diǎn)在圖像處理中可認(rèn)為是角點(diǎn)，而角點(diǎn)一般定義為兩條邊的交點(diǎn)，是圖像中重要的結(jié)構(gòu)信息之一，在圖像處理領(lǐng)域中有著關(guān)鍵性作用。目前對(duì)角點(diǎn)定義的數(shù)學(xué)公式不具有普遍性，根據(jù)不同領(lǐng)域內(nèi)針對(duì)檢測(cè)的角點(diǎn)需求不同，其表達(dá)方式也不一樣，例如圖像亮度變化劇烈的點(diǎn)和圖像邊緣曲線的曲率局部極大值點(diǎn)等。目前角點(diǎn)檢測(cè)的方法主要分為兩種：基于灰度強(qiáng)度變化檢測(cè)和基于邊緣輪廓檢測(cè)[1]。由于基于灰度強(qiáng)度變化的檢測(cè)算法簡(jiǎn)單、實(shí)時(shí)和穩(wěn)定性高，因此被廣泛應(yīng)用。

基于灰度強(qiáng)度變化的角點(diǎn)檢測(cè)主要通過(guò)圖像局部灰度值的變化判斷角點(diǎn)。在1977 年，Moravec[2]提出Moravec 角點(diǎn)檢測(cè)，在圖像上通過(guò)二值矩形窗口滑動(dòng)尋找最小灰度值變化的最大值；1988年受Moravec思想啟發(fā)，Harris和Stephens[3]提出Harris 角點(diǎn)檢測(cè)，利用自相關(guān)矩陣求出特征值，來(lái)確 定 響 應(yīng) 函數(shù)；1997 年Smith 和Brady[4]提出SUSAN（Smallest Univalue Segment Assimilating Nucleus）角點(diǎn)檢測(cè)，利用像素領(lǐng)域的圓形模板，判斷此點(diǎn)是否屬于USAN 區(qū)域，進(jìn)而判斷是否為角點(diǎn)；1998 年Trajkovic 和Hedley[5]提 出FAST 角點(diǎn)檢測(cè)，觀察某點(diǎn)領(lǐng)域內(nèi)經(jīng)過(guò)該點(diǎn)的任意直線上的灰度變化情況，計(jì)算出水平和垂直方向灰度變化值，構(gòu)建角點(diǎn)度量函數(shù)判斷是否為角點(diǎn)。近年來(lái)，國(guó)內(nèi)外科研人員也基于上述方法作出了一些改進(jìn)，例如：2006 年Rosten 和Drummond[6]提出了高速角點(diǎn)檢測(cè)算子，利用機(jī)器學(xué)習(xí)加速角點(diǎn)檢測(cè)；2012 年Bongjoep 等人[7]利用自適應(yīng)于圖像的結(jié)構(gòu)張量檢測(cè)角點(diǎn)，提高Harris 算法的檢測(cè)準(zhǔn)確率；2013 年He 等人[8]在SUSAN 算法的基礎(chǔ)上，提出角點(diǎn)預(yù)檢測(cè)減少偽角點(diǎn)，減少計(jì)算量；2014 年Qiao 等人[9]提出了一種改進(jìn)的Harris亞像素點(diǎn)檢測(cè)算法，提高了對(duì)含有噪聲圖像角點(diǎn)檢測(cè)的準(zhǔn)確性；2017 年盧偉家等人[10]提出在Harris 算法中加入一種加權(quán)系數(shù)自適應(yīng)的均值濾波，提高精確度和檢測(cè)速度的同時(shí)減少偽角點(diǎn)的檢測(cè)；2016 年王冠群等人[11]提出一種基于高斯變換的多尺度SUSAN 角點(diǎn)檢測(cè)方法，解決了傳統(tǒng)SUSAN 算法在單一尺度下檢測(cè)角點(diǎn)的缺陷；2017 年Wang 等 人[12]針 對(duì)Harris 算 法 選 取 合適閾值的問(wèn)題，提出一種迭代閾值的自適應(yīng)Harris 角點(diǎn)檢測(cè)方法；2017 年劉妍等人[13]提出一種基于SAR-FAST 角點(diǎn)檢測(cè)算法，以檢測(cè)點(diǎn)為圓心，選擇合適半徑，根據(jù)圓周上進(jìn)行滑動(dòng)窗口檢測(cè)，檢測(cè)出的角點(diǎn)穩(wěn)定性和重復(fù)性好；2020 年周偉等人[14]提出一種改進(jìn)的Harris 角點(diǎn)檢測(cè)，結(jié)合多邊形逼近方法提取目標(biāo)輪廓拐角頂點(diǎn)；2021年 苗 榮 慧 等 人[15]利 用Harris 算 法 和RANSAC 去除誤匹配點(diǎn)，實(shí)現(xiàn)圖像精準(zhǔn)匹配。

綜上所述，對(duì)圖像檢測(cè)角點(diǎn)的方法眾多，都是對(duì)其檢測(cè)角點(diǎn)坐標(biāo)準(zhǔn)確率、精準(zhǔn)性、去偽角點(diǎn)或適應(yīng)性進(jìn)行改進(jìn)。但是，這些方法大多數(shù)適應(yīng)自身領(lǐng)域，對(duì)其他領(lǐng)域并沒(méi)有較好的普遍適應(yīng)性，目前消音壁毀傷評(píng)估還處于人工評(píng)估階段，并沒(méi)有對(duì)其頂點(diǎn)檢測(cè)的方法。由于毀傷后造成消音壁邊緣產(chǎn)生畸變，上述方法并不適用消音壁的頂點(diǎn)檢測(cè)。因此，本文提出一種基于Hough-Harris 的消音壁頂點(diǎn)檢測(cè)方法。首先，對(duì)圖像進(jìn)行霍夫直線檢測(cè)，以擬合直線后得到的角點(diǎn)作為基點(diǎn)；然后，再通過(guò)Harris 算法檢測(cè)出消音壁邊緣上存在的角點(diǎn)；最后，利用基點(diǎn)以及基點(diǎn)步長(zhǎng)為10 領(lǐng)域內(nèi)的角點(diǎn)構(gòu)建回歸方程，采用基于高斯的最小二乘法求出最小誤差，進(jìn)行消音壁頂點(diǎn)預(yù)測(cè)。將Hough 算法、Harris 算法檢測(cè)出的角點(diǎn)以及本文算法預(yù)測(cè)出的角點(diǎn)與真實(shí)角點(diǎn)進(jìn)行對(duì)比分析，計(jì)算坐標(biāo)偏差，同時(shí)計(jì)算IoU（Intersection over Union）指標(biāo)，驗(yàn)證本文提出的算法檢測(cè)角點(diǎn)更符合真實(shí)角點(diǎn)，能提高角點(diǎn)檢測(cè)準(zhǔn)確性，減少后續(xù)毀傷評(píng)估、三維重建等工作任務(wù)中計(jì)算的誤差。

1 消音壁頂點(diǎn)檢測(cè)

無(wú)人機(jī)拍攝消音壁獲取圖像時(shí)，因?yàn)榕臄z時(shí)會(huì)產(chǎn)生抖動(dòng)，獲取的圖像也并不是一副單獨(dú)消音壁塊，周圍還有其他部分消音壁塊。消音壁后續(xù)的毀傷評(píng)估不是對(duì)整體結(jié)構(gòu)進(jìn)行打包式評(píng)估，而是對(duì)具體的毀傷部分進(jìn)行局部毀傷評(píng)估。因此，需要對(duì)圖像進(jìn)行頂點(diǎn)檢測(cè)，通過(guò)檢測(cè)出的頂點(diǎn)進(jìn)行幾何校正，將消音壁塊從圖像中分離出來(lái)。

1.1 霍夫直線檢測(cè)

霍夫變換（Hough Transform）由Hough[16]于1962年首次提出，1972 年Duda 和Hart[17]將 此 方法推廣使用。到目前為止，霍夫變換是圖像檢測(cè)幾何形狀的基本方法之一，其變換思想是兩個(gè)不同坐標(biāo)空間之間的相互轉(zhuǎn)化，將一個(gè)空間中相同的曲線或直線一一映射到另一個(gè)空間的一個(gè)點(diǎn)上形成峰值?；舴蛑本€檢測(cè)（Hough Line Detection）具有連接不連續(xù)線段的特點(diǎn)，可以用于消音壁塊的邊框檢測(cè)，坐標(biāo)轉(zhuǎn)換過(guò)程如圖1 所示。

圖1 坐標(biāo)轉(zhuǎn)換過(guò)程

其中，直角坐標(biāo)系中的直線表示為：

式中，k是直線的斜率；b是直線的偏置。而直角坐標(biāo)系中點(diǎn)A的坐標(biāo)為(x0,y0)，經(jīng)過(guò)點(diǎn)A的直線有無(wú)數(shù)條，這些經(jīng)過(guò)該點(diǎn)的直線稱為一簇直線，該簇直線表示為：

因?yàn)閤0和y0為固定值，不同取值的k和b代表經(jīng)過(guò)點(diǎn)(x0,y0)的不同直線，可以將方程變換為：

此時(shí)，可以將x-y空間中過(guò)點(diǎn)A(x0,y0)的一簇直線轉(zhuǎn)換為參數(shù)空間k-b中的一條直線。同理，再在x-y空間內(nèi)增加點(diǎn)B(x1,y1)，映射為參數(shù)空間中另一條直線，兩條直線的交點(diǎn)反映射到x-y空間中為經(jīng)過(guò)A和B的一條直線，如圖2 所示。

圖2 多參數(shù)轉(zhuǎn)換圖

由此看出，經(jīng)過(guò)上述轉(zhuǎn)換后，直角坐標(biāo)系中x和y變?yōu)閰?shù)空間中斜率和偏置，此時(shí)的直線也轉(zhuǎn)換為過(guò)點(diǎn)(b0,k0)的直線簇。但是當(dāng)直角坐標(biāo)系x-y中的直線垂直于x軸，其參數(shù)k為無(wú)窮大，參數(shù)空間將不能表示直角坐標(biāo)系x-y中的直線。因此，將直角坐標(biāo)系x-y轉(zhuǎn)換為極坐標(biāo)系，此時(shí)包含表示直線的所有范圍，極坐標(biāo)形式如式（4）所示：

其中，r為原點(diǎn)到直線的距離；θ為原點(diǎn)到直線垂直距離的交點(diǎn)與橫軸的夾角。此時(shí)圖像空間上的每一個(gè)點(diǎn)對(duì)應(yīng)極坐標(biāo)系上的一條正弦曲線。直角坐標(biāo)系轉(zhuǎn)換到極坐標(biāo)的過(guò)程如圖3 所示。

圖3 轉(zhuǎn)換過(guò)程

霍夫直線檢測(cè)就將圖像中的直線轉(zhuǎn)換到參數(shù)空間（極坐標(biāo)系）中的點(diǎn)，通過(guò)參數(shù)空間中曲線的交點(diǎn)反過(guò)來(lái)求出圖像空間的直線。將圖像灰度化后進(jìn)行Canny 邊緣檢測(cè)和形態(tài)學(xué)處理，由于消音壁邊框產(chǎn)生了畸變，利用霍夫直線檢測(cè)邊框?yàn)橐恍┻B續(xù)線段，檢測(cè)線段映射到原圖上的結(jié)果如圖4 所示，其中圖4（a）和圖4（b）為消音壁樣圖。

圖4 霍夫直線檢測(cè)消音壁

檢測(cè)出消音壁四周邊框上的線段后，由于線段僅為部分邊框且不連續(xù)，需要對(duì)邊框上的線段進(jìn)行直線擬合，將擬合后的直線兩兩相交的交點(diǎn)作為消音壁頂點(diǎn)，交點(diǎn)坐標(biāo)映射到原圖的結(jié)果如圖5 所示。

圖5 擬合直線后的角點(diǎn)

1.2 Harris 角點(diǎn)檢測(cè)

Harris 角點(diǎn)檢測(cè)算法的思想即用一個(gè)滑動(dòng)窗口在圖像上進(jìn)行滑動(dòng)時(shí)，會(huì)產(chǎn)生三種情況，在平坦區(qū)域、在邊緣區(qū)域和在角點(diǎn)區(qū)域，如圖6 所示。在平坦區(qū)域滑動(dòng)時(shí)，窗口內(nèi)灰度值變化相對(duì)平緩；在邊緣區(qū)域滑動(dòng)時(shí)，窗口內(nèi)灰度值會(huì)沿某一方向（X軸或者Y軸）產(chǎn)生相對(duì)較大的波動(dòng)；窗口在角點(diǎn)區(qū)域滑動(dòng)時(shí)，X軸和Y軸方向都會(huì)產(chǎn)生較大波動(dòng)。

圖6 窗口在不同區(qū)域上的移動(dòng)

滑動(dòng)窗口在圖像上平移后產(chǎn)生灰度變化的相關(guān)性用SSD（Sum of Squared Difference）計(jì)算，SSD 越大，相關(guān)性越差，中心點(diǎn)越有可能為角點(diǎn)，其數(shù)學(xué)表達(dá)式為：

其中，u和v為窗口偏移量；x和y為窗口內(nèi)像素坐標(biāo)位置；I(x,y)為在(x,y)坐標(biāo)下的像素值。對(duì)I(x+u,y+v)進(jìn)行一階泰勒展開(kāi)為：

代入式（5）中，由于局部移動(dòng)量[u,v]較小，變化矩陣形式近似為：

其中，自相關(guān)矩陣M表達(dá)式為：

通過(guò)自相關(guān)矩陣M可以求出該矩陣特征值λ1和λ2，利用這兩個(gè)特征值確定角點(diǎn)檢測(cè)響應(yīng)函數(shù)R為：

式中，k為錯(cuò)誤角點(diǎn)響應(yīng)抑制常數(shù)，取值范圍一般為0.04～0.06。本文Harris 角點(diǎn)檢測(cè)采用核大小為5 × 5 的滑動(dòng)窗口進(jìn)行檢測(cè)特征值λ1和λ2，計(jì)算出角點(diǎn)響應(yīng)函數(shù)R來(lái)判斷該點(diǎn)是否是角點(diǎn)，檢測(cè)出消音壁的角點(diǎn)結(jié)果如圖7 所示。

圖7 Harris 檢測(cè)的角點(diǎn)

1.3 Hough-Harris 角點(diǎn)檢測(cè)

霍夫直線檢測(cè)消音壁，能快速定位消音壁四周邊緣直線，擬合直線后求得的四個(gè)交點(diǎn)為消音壁大致的四個(gè)頂點(diǎn)。但是，由于消音壁經(jīng)過(guò)毀傷后四周邊框產(chǎn)生了畸變，霍夫直線檢測(cè)的直線并不能準(zhǔn)確地表達(dá)消音壁四周邊緣，而產(chǎn)生畸變后的邊緣也不能被一條直線完整的檢測(cè)到，本文霍夫直線檢測(cè)后擬合的直線是通過(guò)消音壁與消音壁之間的距離產(chǎn)生的縫隙，擴(kuò)大了直線檢測(cè)的范圍，所以，通過(guò)霍夫直線檢測(cè)出的角點(diǎn)進(jìn)行透射變換后，消音壁圖像四周存在大量縫隙，較為嚴(yán)重的影響后續(xù)對(duì)消音壁毀傷評(píng)估等操作。Harris 算法能相對(duì)準(zhǔn)確地檢測(cè)出消音壁四個(gè)頂點(diǎn)，能有效避免大量縫隙并行透射到消音壁圖中，但是，檢測(cè)出的角點(diǎn)中存在大量偽角點(diǎn)，這些偽角點(diǎn)并不是需要的，而且計(jì)算機(jī)也無(wú)法自主判斷。

綜上所述，霍夫直線檢測(cè)和Harris 角點(diǎn)檢測(cè)針對(duì)消音壁頂點(diǎn)檢測(cè)時(shí)，不能滿足精度和準(zhǔn)確需求。因此，本文提出了一種Hough-Harris 角點(diǎn)檢測(cè)方法，以霍夫直線檢測(cè)的交點(diǎn)PL為基點(diǎn)，Harris 檢測(cè)的角點(diǎn)PH為自變量，建立回歸模型，構(gòu)建回歸方程，基于高斯提出的最小二乘法求參數(shù)，其PL與PH關(guān)系表達(dá)式為：

其中，Py為PH與PL縱坐標(biāo)差值；Px為PH與PL橫坐標(biāo)差值；β0為偏置；β1為斜率；ε為Px與Py之間的線性關(guān)系外的隨機(jī)因素，即誤差項(xiàng)?；貧w方程表達(dá)式為：

對(duì)于每個(gè)角點(diǎn)PH：

由于誤差服從高斯分布，則：

將式（12）代入式（13）可得：

則似然函數(shù)為：

對(duì)似然函數(shù)取對(duì)數(shù)后：

化簡(jiǎn)后，求出最佳公式為：

將式（17）代入回歸方程（11）中，求偏導(dǎo)后求解可得：

獲取回歸方程后，以霍夫直線檢測(cè)的交點(diǎn)為原點(diǎn)，相鄰的兩個(gè)交點(diǎn)方向?yàn)樽鴺?biāo)方向，構(gòu)建參數(shù)空間，原點(diǎn)到對(duì)角交點(diǎn)的方向?yàn)轭A(yù)測(cè)真實(shí)角點(diǎn)的方向。為方便計(jì)算，將參數(shù)空間映射到直角坐標(biāo)系中，與回歸方程的交匯處為預(yù)測(cè)的角點(diǎn)?；貧w方程的計(jì)算選取距離原點(diǎn)步長(zhǎng)不超過(guò)10 個(gè)像素點(diǎn)的Harris 檢測(cè)出的角點(diǎn)，而且在參數(shù)空間一、三象限內(nèi)的角點(diǎn)。

2 實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)硬件環(huán)境為：Intel Core i7-7700H CPU；內(nèi)存為16 GB；64 位Windows10 操作系統(tǒng)。軟件實(shí)施平臺(tái)為Visual Studio 2019，消音壁部分全景圖如圖8 所示。

圖8 消音壁部分全景圖

選取圖4 驗(yàn)證本文Hough-Harris 角點(diǎn)檢測(cè)算法性能，其中，圖4（a）和圖4（b）為消音壁樣圖，圖5（a）和圖5（b）為霍夫直線檢測(cè)的角點(diǎn)圖，圖7（a）和圖7（b）為Harris 角點(diǎn)檢測(cè)圖，分別求出Hough、Harris 和Hough-Harris 算法檢測(cè)出的角點(diǎn)坐標(biāo)，與真實(shí)值進(jìn)行對(duì)比。結(jié)果如表1、表2 所示。

表1 樣圖一檢測(cè)角點(diǎn)坐標(biāo)（單位：像素）

表2 樣圖二檢測(cè)角點(diǎn)坐標(biāo)（單位：像素）

根據(jù)表1 和表2 可知，圖像中Harris 檢測(cè)出的角點(diǎn)個(gè)數(shù)根據(jù)響應(yīng)函數(shù)選取的閾值T變化而不同：閾值T越小，角點(diǎn)響應(yīng)越強(qiáng)烈，獲取的角點(diǎn)也越多；閾值T越大，角點(diǎn)響應(yīng)越微弱，檢測(cè)出的角點(diǎn)也越少。閾值T大小的選取影響角點(diǎn)檢測(cè)個(gè)數(shù)，同時(shí)，也影響計(jì)算機(jī)運(yùn)算時(shí)間，每個(gè)角點(diǎn)響應(yīng)都需要計(jì)算，閾值選取過(guò)小時(shí)，會(huì)產(chǎn)生大量偽角點(diǎn)，大量增加了計(jì)算機(jī)運(yùn)算負(fù)荷。因此，本文選取閾值T為85，在能檢測(cè)出角點(diǎn)的同時(shí)，減少偽角點(diǎn)的出現(xiàn)，提高計(jì)算機(jī)計(jì)算性能。樣圖二的Harris 檢測(cè)出的角點(diǎn)較多，本文僅選取離基點(diǎn)歐氏距離最近的前8 個(gè)角點(diǎn)進(jìn)行驗(yàn)證。霍夫直線檢測(cè)角點(diǎn)、Harris 檢測(cè)角點(diǎn)和本文算法檢測(cè)角點(diǎn)與真實(shí)角點(diǎn)偏差對(duì)比分析，本文算法檢測(cè)的角點(diǎn)普遍靠近原點(diǎn)，結(jié)果如圖9 所示。

圖9 角點(diǎn)偏差分析

從表3 可以看出，Hough 算法的PLx和PLy偏差最大，本文算法的PLHx和PLHy偏差最小。然后，利用各種算法檢測(cè)出的角點(diǎn)，計(jì)算四邊形面積，通過(guò)IoU 計(jì)算評(píng)估算法，IoU 計(jì)算的是“預(yù)測(cè)的邊框”和“真實(shí)的邊框”的交疊率，即他們的交集和并集的比值。理想情況下比值為1，即完全重疊。IoU 計(jì)算過(guò)程如圖10 所示，計(jì)算結(jié)果如表3所示。

圖10 IoU 原理

表3 IoU 結(jié)果對(duì)比分析

由表3 可知，樣圖一和樣圖二通過(guò)Hough 算法檢測(cè)角點(diǎn)形成面積的IoU 為93.37%和96.02%；通過(guò)Harris 算法檢測(cè)角點(diǎn)形成面積的IoU 為95.82%和96.51%；而本文算法檢測(cè)形成的IoU 能達(dá)到98.13%和98.71%。本文算法檢測(cè)的IoU 比Hough 算法和Harris 算法檢測(cè)的IoU 分別高4.76%、2.69% 和2.31%、2.20%。因此，本文算法檢測(cè)消音壁角點(diǎn)更接近真實(shí)值，透射變換后圖像如圖11 所示。

圖11 校正后的消音壁

3 結(jié)論

為了更精確地檢測(cè)出消音壁四個(gè)頂點(diǎn)，本文提出一種基于Hough-Harris 的消音壁頂點(diǎn)檢測(cè)算法。本文算法以Hough 算法檢測(cè)的角點(diǎn)為基點(diǎn)，以基點(diǎn)自身步長(zhǎng)在10 以內(nèi)Harris 算法檢測(cè)的角點(diǎn)為樣本點(diǎn)，構(gòu)建回歸方程，基于高斯提出的最小二乘法求解最小誤差，能有效去除Harris 算法檢測(cè)的偽角點(diǎn)，預(yù)測(cè)出消音壁四個(gè)頂點(diǎn)坐標(biāo)。實(shí)驗(yàn)結(jié)果表明，本文算法預(yù)測(cè)頂點(diǎn)坐標(biāo)與真實(shí)頂點(diǎn)坐標(biāo)偏差量都小于Hough 算法和Harris 算法檢測(cè)出的角點(diǎn)；本文算法的IoU 評(píng)估指標(biāo)高達(dá)98%以上，高于Hough 算法和Harris 算法的IoU 指標(biāo)。因此，本文算法能較精確地檢測(cè)出消音壁頂點(diǎn)的同時(shí)，也有助于提高后續(xù)對(duì)消音壁毀傷評(píng)估、三維重建等工作任務(wù)的精度。