武旭娟

(遼寧省交通規(guī)劃設(shè)計院有限責任公司公路養(yǎng)護技術(shù)研發(fā)中心 沈陽市 110111)

1 概述

橋梁在經(jīng)過長時間的服役之后，會產(chǎn)生很多病害，其中一些病害會對橋梁長期運行產(chǎn)生致命的影響，所以需要定期對橋梁進行檢測。橋梁病害比如長度比較長的裂縫，單個相機的視野并不能看到完整的病害信息，所以需要對單個相機采集到的圖像進行拼接，去除圖像中的重疊區(qū)域，形成一幅完整的、視角更大的全景圖，使圖像能夠更加全面、直觀地顯示橋梁情況。

當今社會，科學技術(shù)的發(fā)展日新月異，圖像配準技術(shù)作為數(shù)字圖像處理的一部分已成為圖像信息處理、模式識別領(lǐng)域中的一項非常重要的技術(shù)，并在立體視覺、航空攝影測量、資源分析、醫(yī)學圖像配準、光學和雷達跟蹤、檢測等領(lǐng)域得到了廣泛的應(yīng)用[1]。

圖像配準是計算機視覺領(lǐng)域的一個經(jīng)典問題，因此現(xiàn)有的圖像配準方法有很多。從選擇的配準基元和配準方式的不同出發(fā)，常用的圖像配準算法大體有：基于區(qū)域的配準算法[2]、基于特征的配準算法[3]和基于相位的配準算法[4]。基于區(qū)域的配準算法直接對圖像像素進行配準，配準結(jié)果不受特征檢測精度的影響，可得到比較好的定位精度，但是該方法對光照條件、對比度的變化和圖像的旋轉(zhuǎn)比較敏感，而且當兩幅圖像相關(guān)像素鄰域內(nèi)存在遮擋和有重復(fù)的紋理特征時，會引起匹配的混淆，從而得到錯誤的匹配結(jié)果，再加上配準基元的數(shù)目很多會使得計算量很大，處理速度慢，并且容易受到噪聲干擾，魯棒性差。相位配準法有相位相關(guān)法和相位差頻率法。由于配準基元是相位，本身就是信號的結(jié)構(gòu)信息，對圖像的高頻噪聲有很好的抑制作用，但存在相位奇點和相位卷繞，隨著視差范圍的增大，其精度下降。然而基于特征的配準算法利用圖像中的拐點、直線、圓弧、自由曲線和邊緣的朝向等幾何特征信息，配準速度快，精度高，對光照變化、噪聲等不敏感，解決了測量環(huán)境變換這一因素帶來的問題，所以選擇基于特征的配準方法。

2 基于特征點的配準方法

基于特征點的圖像匹準算法，需要先在基準圖像中選擇特征區(qū)域，應(yīng)用角點檢測算法提取角點，通過從檢測出的角點中選擇其中三個點作為特征點，然后在待配準圖像中找到與之相匹配的特征點，根據(jù)這三對特征點的坐標構(gòu)成的矩陣計算出從基準圖像到待配準圖像的仿射變換矩陣，最后對待配準圖像運用仿射變換得到定位后的結(jié)果圖像。整個流程如圖1所示。

圖1 匹配流程

考慮獲取特征的便捷性，通常以閉合區(qū)域、物體邊緣、輪廓、線的交叉點和角點等作為特征。為了便于進一步處理，常用控制點(CPs)(質(zhì)心、端點、突出點)來表征這些特征。在理想的情況下，好的檢測算法不管圖像出現(xiàn)何種畸變，都應(yīng)具有在兩幅圖像中檢測出相同特征的能力。由于選擇的控制點的精度、數(shù)量以及它們在圖像上分布情況會影響幾何校正和配準的精度，所以控制點一般應(yīng)選擇較為明確、穩(wěn)定，并且在參考圖像和待配準圖像上容易辨認、目標較小的突出特征點；控制點需分布均勻，否則在控制點較為密集的區(qū)域內(nèi)匹配的準確度較好，而在控制點分布稀疏的地方，配準的精確度就差，而且需注意控制點的數(shù)量要適當，控制點過多計算機處理的時間加長，控制點過少不利于精確配準。

特征選取之后，需要建立參考圖像與待配準圖像特征之間的對應(yīng)關(guān)系，按上述流程圖來進行。

3 基于特征點匹配算法的實現(xiàn)

圖像采集過程中由于受到光照、拍攝時間、拍攝角度等的不同，兩幅圖像重疊區(qū)域中的同一個點拍攝效果可能并不完全一樣。特征點匹配就是把兩幅重合圖像中提取出的特征點匹配起來，找到正確的匹配點對。每一個匹配點對中的兩個點雖然是來自兩幅圖像，但是他們對應(yīng)的卻是圖像中的同一個點。特征點匹配采用knnMatch算法，這是一種蠻力匹配，基本原理是將待匹配圖片的SURF特征與目標圖片中的全部SURF特征一對n的全量遍歷，找出相似度最高的前2個點。

為了排除因為圖像遮擋或背景混亂而產(chǎn)生的無匹配關(guān)系的關(guān)鍵點，Lowe提出了比較最近鄰距離與次近鄰距離的匹配方式：取一幅圖像中的一個SURF關(guān)鍵點，并找出其與另一幅圖像中歐式距離最近的前兩個關(guān)鍵點，在這兩個關(guān)鍵點中，如果最近的距離除以次近的距離得到的比率少于某個閾值T，則接受這一對匹配點。

應(yīng)用halcon中的proj_match_points_ransac(Image1,Image2：：Rows1，Cols1,Rows2,Cols2,GrayMatchMethod,MaskSize,RowMove,ColMove,RowTolerance,ColTolerance,Rotation,MatchThreshold,EstimationMethod,DistanceThreshold,RandSeed：：HomMat2D,Points1,Points2) 算子來實現(xiàn)特征點的正確匹配。halcon中，函數(shù)參數(shù)包括四部分：圖像數(shù)據(jù)輸入、圖像數(shù)據(jù)輸出、控制輸入和控制輸出，每一個函數(shù)并不一定都包括這四部分。此算法中，沒有圖像數(shù)據(jù)輸出，其中[Image1,Image2]代表左右兩幅圖像，[Rows1,Cols1,Rows2,Cols2,]為左右兩幅圖像中提取的特征點的橫縱坐標。

整個匹配過程分兩步：首先，確定兩幅圖像中特征點周圍掩模窗口的灰度相關(guān)性，特征點之間的初始匹配由兩幅圖像窗口的相似性來生成。然后應(yīng)用RANSAC算法確定極限約束下的對應(yīng)關(guān)系。掩模窗口為MaskSize×MaskSize，灰度相似性度量方法(GrayMatchMethod)有三種，且最簡單的計算相似度量的方法是SAD(sum of absolute gray value difference)和SSD(sum of squared gray value difference)，這兩種相似測量方法的運算速度非常快。不幸的是，這兩個方法有一個缺點，就是光照變化對算法影響比較大。而在本試驗中，由于兩個相機的視角不同，光線是有變化的，所以選擇使用歸一化互相關(guān)方法(NCC-normalied cross-correlation)計算相似度量。使用歸一化互相關(guān)系數(shù)的優(yōu)點就是線性的光照變化不會導致該系數(shù)發(fā)生變化，這個不變性是通過直接減去平均灰度值消除加法對圖像的影響，用灰度值的標準方差消除乘法對圖像的影響，然而此方法計算過程比較耗時。

為了提高算法的速度，搜索區(qū)域可以限制，這就需要標定得到的平移與旋轉(zhuǎn)參數(shù)，即[RowMove,ColMove,Rotation]，最重要的便是旋轉(zhuǎn)參數(shù)，此參數(shù)的精確性關(guān)系到匹配的準確度。

參數(shù)EstimationMethod表示根據(jù)攝像機之間的位置來選擇應(yīng)用那種方法，如果攝像機之間既有平移又有旋轉(zhuǎn)，則設(shè)置為“normalized_dlt”或者“gold_standard”；如果攝像機之間只有平移，則設(shè)置為“trans_normalized_dlt”或“trans_gold_standard”。

參數(shù)error是控制輸出參數(shù)，是對整個匹配過程中精度的一個評價，是點到核線的平均歐式距離，用像素值來表示。

[Points1,Points2]也是控制輸出參數(shù)，是應(yīng)用此算法匹配成功的特征點。

整個匹配過程流程圖如圖2所示。

圖2 配準流程圖

4 實驗過程及分析

由于橋梁病害識別系統(tǒng)采集到的圖像像素尺寸較大，特征點較多，在尋找特征點時耗時久，為了提高拼接效率，先對感興趣區(qū)域進行提取。為了盡可能多地獲得重疊區(qū)域，選取一定的感興趣區(qū)域進行特征點提取。

圖3 原圖

圖4 感興趣區(qū)域提取

特征點匹配結(jié)果如圖5所示，為了清晰展示匹配結(jié)果，圖5所展示的是部分區(qū)域放大圖像?？梢钥闯觯捎谙舜蟛糠植缓细竦奶卣鼽c，能夠得到比較精準的匹配效果。

圖5 配準結(jié)果

通過上述過程可以得到兩幅待拼接圖像的匹配點集，根據(jù)匹配點集對圖像進行配準，即將兩張圖像轉(zhuǎn)換到同一坐標下，并通過兩個匹配點集求得變換矩陣，找出特征點之間的映射關(guān)系。由于系統(tǒng)采集到的橋梁圖像尺寸較大，拼接多幅圖像對硬件要求高、耗時長，為了加快計算速度，本算法采用縮略圖進行拼接，拼接圖像長、寬各縮小到原圖的1/16。根據(jù)匹配點集計算出拼接圖像區(qū)域大小，用變換矩陣對右圖進行仿射變換，并對左圖進行拷貝。仿射變換結(jié)果如圖6所示，拼接結(jié)果如圖7所示。

圖6 仿射變換結(jié)果

圖7 拼接結(jié)果

從圖7可以看出，拼接效果并不自然，造成這一問題的主要原因是兩幅圖像的光照條件不同，色調(diào)也不相同，因此使用加權(quán)融合來降低這一影響，即在重疊部分由前一幅圖像慢慢過渡到第二幅圖像，將圖像的重疊區(qū)域的像素值按一定的權(quán)值相加合成新的圖像，融合效果如圖8所示。

圖8 圖像融合結(jié)果

多幅圖像拼接結(jié)果如圖9所示。

5 結(jié)束語

對單反相機采集的圖像，應(yīng)用基于特征點的配準方法，實現(xiàn)了圖像的拼接。經(jīng)過多次實驗驗證，此配準方法切實可行，改善了單個相機不能拍攝大視場圖像、不能完整查看病害信息的情況。

圖9 多幅圖像拼接結(jié)果