劉常杰,黃東曉,楊凌輝

(天津大學(xué)精密測試技術(shù)及儀器國家重點實驗室,天津 300072)

?

新型三維形貌測量系統(tǒng)SIFT算法改進(jìn)研究*

劉常杰,黃東曉,楊凌輝*

(天津大學(xué)精密測試技術(shù)及儀器國家重點實驗室,天津 300072)

將測繪領(lǐng)域的三線陣攝影測量原理應(yīng)用于運(yùn)動物體三維形貌測量,提出一種基于三線陣CCD的新型三維形貌測量方法。針對新型測量系統(tǒng)獲取的三線陣CCD影像同名點匹配問題,研究了常用的影像匹配算法,并選用SIFT匹配算法。由于傳統(tǒng)SIFT匹配算法處理大尺寸圖像耗時長、提取匹配點數(shù)少等不足,對算法進(jìn)行優(yōu)化,并提出基于新型大尺寸三維形貌測量系統(tǒng)的匹配搜索策略,確定最優(yōu)匹配閾值,最后通過對比實驗進(jìn)行驗證。實驗表明,改進(jìn)的算法能夠解決匹配影像視角變化等問題,縮短算法處理時間,增加匹配點數(shù),提高算法性能。

三維形貌測量;三線陣CCD;SIFT算法;影像匹配

連續(xù)運(yùn)動物體三維形貌檢測問題在隧道施工維護(hù)、高速列車安全檢測等方面廣泛存在[1]。在二維圖像分析基礎(chǔ)上引入三維形貌信息,是該領(lǐng)域研究最具吸引力的思路,三維信息和二維信息的相互補(bǔ)充和校核,可以確保檢測信息完整性、結(jié)果可靠,但其對測量提出大尺度、高動態(tài)、高分辨率、實時性好等特殊測量要求[2-4]。目前關(guān)于運(yùn)動物體三維形貌及表面檢測的研究相對較少。德國Otto Hofmann博士[5]提出三線陣CCD傳感器攝影測量原理,常應(yīng)用于遙感測繪領(lǐng)域,但該系統(tǒng)復(fù)雜度高、對數(shù)據(jù)無法進(jìn)行在線處理。本文借鑒該思想通過運(yùn)動信息將傳感器輸出的連續(xù)時間圖像序列與空間相對姿態(tài)關(guān)聯(lián)融合,創(chuàng)新一種大尺寸運(yùn)動物體三維形貌測量方法,并設(shè)計了相關(guān)測量系統(tǒng)。

測量中三個不同拍攝視角的線陣CCD勻速運(yùn)動獲取線陣影像。由于存在遮擋、光照變化等干擾因素,而灰度匹配易受其影響,圖像理解匹配算法不成熟,故選用SIFT尺度不變特征變換(Scale-Invariant Feature Transform)點特征匹配算法[6-8]。該算法對光照變化、尺度變化、視角變化和旋轉(zhuǎn)等具有一定的不變性,同時具有魯棒性強(qiáng)、獨特性好、多量性、可擴(kuò)展性等優(yōu)點。目前常用于遙感測繪領(lǐng)域,但其匹配速度慢、效率低,不能直接應(yīng)用于實時性高的場合,需對算法進(jìn)行改進(jìn),實現(xiàn)對圖像的高效匹配處理[9]。

對SIFT算法的改進(jìn)一般是通過降維、結(jié)合圖像其他特征等進(jìn)行,陳文宇[10]使用圓區(qū)域描述特征子,具有較好的旋轉(zhuǎn)不變性;馮嘉[11]使用PCA技術(shù)降低特征向量維度,減小算法計算量;王軍鐸等[12]將SIFT與小波金字塔進(jìn)行結(jié)合,提高匹配正確率;張卡等[13]提出基于SIFT特征和灰度特征的綜合匹配相似性測度計算方法,提高匹配精確度等等。改進(jìn)算法一般僅在SIFT基礎(chǔ)上進(jìn)行,沒有針對具體系統(tǒng)及應(yīng)用場合進(jìn)行優(yōu)化,同時無法實現(xiàn)實時處理。

此外為確保本系統(tǒng)檢測的可靠性,若獲取的單幅影像大小為5 734×4 096像素,其要求匹配算法能夠提取大量同名點、實時性好(百秒級)等,而傳統(tǒng)SIFT算法耗時較長(千秒級)、提取同名點數(shù)量較少[14]。

針對上述問題及需求,本文依據(jù)前人對SIFT算法的改進(jìn)思想,結(jié)合系統(tǒng)應(yīng)用背景,對SIFT算法的三個耗時環(huán)節(jié)進(jìn)行改進(jìn):優(yōu)化尺度空間建立;簡化特征描述子;采用基于系統(tǒng)的匹配搜索策略,從而降低SIFT算法的運(yùn)算復(fù)雜度及計算量,提高匹配速度。此外選擇合適匹配閾值,最終提高基于本系統(tǒng)的SIFT算法的匹配性能。

1 新型運(yùn)動物體三維形貌測量系統(tǒng)

新型大尺寸三維形貌測量系統(tǒng)由計算機(jī)、三線陣CCD圖像傳感器、機(jī)械結(jié)構(gòu)部分、電氣驅(qū)動部分等組成。

針對測量成像要求,選用線陣CCD作為系統(tǒng)的成像單元,具有成本低、掃描精度高、分辨率高、視場大、易于實現(xiàn)動態(tài)測量等優(yōu)點,能夠克服面陣CCD像元數(shù)多、幀幅率受限等缺點。

線陣CCD數(shù)量選擇及結(jié)構(gòu)方面,選用三線陣CCD并采用相互平行且具有一定交會角的結(jié)構(gòu),掃描拍攝方向與CCD垂直。該結(jié)構(gòu)能夠解決單線陣CCD信息獲取不完整、雙線陣CCD易受表面遮擋影響等問題,實現(xiàn)被測量對象三維表面形貌的完整成像,滿足測量要求。

圖1 新型大尺寸三維形貌測量原理

運(yùn)動物體三維形貌測量原理與高分辨率遙感衛(wèi)星測量基本原理相同,但是成像影像因素更多,對實時性要求更高。

測量時,三線陣CCD傳感器載體在高精度直線導(dǎo)軌以垂直線陣CCD方向勻速運(yùn)動,每個CCD以同步掃描周期對測量目標(biāo)表面進(jìn)行掃描拍攝,得到同一物體形貌不同透視中心的三個重疊影像[15]。如圖1所示,A為前視傳感器,B為正視傳感器,C為后視傳感器。三線陣CCD傳感器以速度v勻速直線運(yùn)動時間t后,分別掃描得到不同視角下的As、Bs、Cs三幅影像。

此后對所獲取不同視角下重疊的CCD影像進(jìn)行特征提取、匹配等,確定不同影像對應(yīng)同名像點坐標(biāo);又三線陣CCD相機(jī)的內(nèi)外方位元素可通過實驗室標(biāo)定確定,依據(jù)攝影測量前方交會公式,便能求出被測量對象表面物點的空間三維坐標(biāo),進(jìn)而構(gòu)建出被測物表面三維形貌。

2 SIFT算法原理

SIFT算法最早由Lowe D G于1999年提出的[16]。2004年,Lowe D G對其進(jìn)行改進(jìn)并正式提出[17]。SIFT特征匹配算法是目前國內(nèi)外特征點匹配研究領(lǐng)域的熱點和難點,其匹配能力強(qiáng),可以處理兩幅圖像之間存在平移、旋轉(zhuǎn)、視角變化、仿射變換、光照變化、噪聲情況下的匹配問題。

SIFT算法實現(xiàn)影像匹配的主要有以下六個步驟:尺度空間的構(gòu)造、尺度空間極值檢測、特征點精確確定、特征點方向分配、生成特征點描述子、特征點匹配。

①尺度空間的構(gòu)建。首先對圖像I(x,y)構(gòu)建高斯尺度空間,如式(1)所示;其次為有效在尺度空間檢測到穩(wěn)定的關(guān)鍵點,也為縮短時間和空間的復(fù)雜度,在構(gòu)建高斯尺度空間的基礎(chǔ)上構(gòu)建高斯差分尺度空間如式(2)所示。

L(x,y,σ)=G(x,y,σ)×I(x,y)

(1)

D(x,y,σ)=[G(x,y,kσ)-G(x,y,σ)]×I(x,y)=L(x,y,kσ)-L(x,y,σ)

(2)

其中:G(x,y,σ)為變尺度的高斯函數(shù),k為兩相鄰尺度空間倍數(shù)的常數(shù)。

②尺度空間極值點檢測。尺度空間中極值點的尋找是在高斯差分金字塔中進(jìn)行,對于圖像中的每個采樣點必須與同一尺度及相鄰兩尺度的相鄰的26個采樣點進(jìn)行比較,如果該采樣點小于或大于這26個相鄰點,則該點為一個局部極值點。

③特征點精確定位。由于檢測極值點是在離散空間進(jìn)行,其并非真正意義上的極值點,因而需要通過Taylor二次多項式曲面擬合方法以精確確定特征點的位置和尺度坐標(biāo),同時去除對比度低的極值點和不穩(wěn)定的邊緣響應(yīng)點,以增強(qiáng)匹配穩(wěn)定性、提高抗噪能力。

④特征點方向分配。為了實現(xiàn)圖像旋轉(zhuǎn)不變性,采用直方圖統(tǒng)計方法,利用特征點的局部圖像梯度方向特性,為特征點指定方向參數(shù)。

M(x,y)=√{[L(x+1,y)-L(x-1,y)]2+[L(x,y+1)-L(x,y-1)]2}

(3)

θ(x,y)=arctan{[L(x+1,y)-L(x-1,y)]/[L(x,y+1)-L(x,y-1)]}

(4)

式(3)和式(4)為(x,y)處為梯度的模和方向;L所用的尺度為每個特征點各自所在的尺度。

⑤特征點描述子生成。為確保旋轉(zhuǎn)不變性,首先將坐標(biāo)軸旋轉(zhuǎn)為特征點的方向;之后以特征點為中心取大小為16×16的像素區(qū)域,并將其等間隔分為4×4大小的子區(qū)域,每個子區(qū)域生成有8個方向的梯度強(qiáng)度信息的種子點,因此每個特征點有4×4共16個種子點組成,即共有4×4×8個數(shù)據(jù),最終形成128維SIFT特征向量。

⑥特征點匹配。為獲得兩幅圖像間的同名點對,采用歐式距離法,取左影像中某個特征點,通過遍歷找出其與右影像中所有特征點的歐式距離最近的前兩個特征點,若距離的比值小于某個比例閾值,則接受這一對匹配點。

3 算法改進(jìn)

新型大尺寸三維形貌測量系統(tǒng)獲取的影像數(shù)據(jù)量大,而傳統(tǒng)SIFT算法處理大尺寸影像時耗時長、性能低,需要對算法進(jìn)行改進(jìn),提高實時性。

通過對大量影像的SIFT匹配試驗及分析[18],統(tǒng)計SIFT匹配算法各個階段所需要的時間占總時間的百分比,如表1所示。

表1 SIFT匹配算法各階段所需時間

從表1我們可以發(fā)現(xiàn),尺度空間構(gòu)造及特征描述符的生成耗時比例大,特征點匹配則與搜索策略和圖像匹配區(qū)域有關(guān)。因而下文在將從這幾方面對SIFT算法進(jìn)行優(yōu)化。

3.1 優(yōu)化尺度空間構(gòu)建

傳統(tǒng)的SIFT算法對高斯金字塔一般會構(gòu)建8組以上,每組有3～5層。組數(shù)和層數(shù)的選擇直接影響到整個算法的精準(zhǔn)性和復(fù)雜程度。通過試驗發(fā)現(xiàn),80%以上的特征點分布在金字塔的第一組和第一層,15%以上的特征點分布在金字塔第一組第二層。此外高分辨率三線陣CCD獲取的影像尺寸較大,在保證能提取足夠特征點的前提下,將構(gòu)建的高斯金字塔進(jìn)行簡化,采取圖像組數(shù)為3組,每組為5層。

3.2 簡化特征點描述子

傳統(tǒng)SIFT算法采用128維特征點描述子,雖能增強(qiáng)匹配穩(wěn)健性,但與此同時也耗費了大量的時間,維度與耗時成正比;此外三線陣影像尺寸隨掃描時間的增加,影像尺寸增大,提取的特征點數(shù)量增多,匹配的時間成本增加[19]。因此需要對特征點描述子的生成進(jìn)行簡化。

本文對特征點描述子的簡化主要是通過減少種子點數(shù)、降低其特征向量維度實現(xiàn)。取窗口為以特征點為中心的8×8的像素區(qū)域,每4×4的窗口內(nèi)計算出8個方向直方圖,獲得4×8共32維特征點描述子來表示特征點,如圖2所示。

圖2 特征點描述子的生成

3.3 基于三線陣CCD的匹配搜索策略

影像匹配算法的性能主要體現(xiàn)在速度、精度和可靠性三個方面。為加快匹配速度,可通過縮小匹配搜索窗口來提高搜索效率,減少非匹配點上的相關(guān)計算,即算法計算量,縮短運(yùn)算時間,提高匹配效率。搜索窗口確定方法如下:

三線陣CCD以掃描方式對測量工件表面某一點P的成像過程如圖3所示。前視與正視線陣CCD光學(xué)中心在y軸方向偏差為σ,兩線陣CCD之間的垂直距離為s。在t1時刻,前視CCD(A)對物點P成像,當(dāng)三線陣CCD在高精度平行導(dǎo)軌上直線運(yùn)動時間t后,正視CCD(B)對物點P成像。取正視影像特征點(x1,y1)為已知,假設(shè)其前視影像匹配點為(x2,y2),則根據(jù)三線陣CCD成像特點,有:

x2=[x1-(l-s)×ε]∈[x1-((H+δ)tanα-s)×ε,
x1-((H-δ)tanα-s)×ε]

(5)

y2∈[y1-σ,y1+σ]

(6)

其中:H為三線陣CCD的工作距離;δ為物體表面物點最低點與最高點垂直距離;ε為CCD相機(jī)單位掃描距離對應(yīng)像面空間的像元數(shù),通過相機(jī)標(biāo)定獲得。

圖3 三線陣CCD對P點成像過程

即利用三線陣CCD的結(jié)構(gòu)及成像特點等,由式(5)、式(6)確定動態(tài)搜索窗口,從而使得進(jìn)行影像匹配運(yùn)算時,盡量減少無關(guān)計算量參與,提高匹配效率。正視與后視、前視與后視影像匹配搜索策略,同前視與正視的相似,不再贅述。

4 實驗

為驗證傳統(tǒng)SIFT算法改進(jìn)后的實時性及性能等,本文設(shè)計并采用基于三線陣CCD的新型三維形貌測量系統(tǒng)進(jìn)行動態(tài)測量,獲取三線陣影像,其成像部分如圖4所示。

圖4 三線陣CCD三維形貌測量示意圖

其中,線陣相機(jī)選用Spyder3 SG-14,線陣CCD為2×4 096像素,相機(jī)焦距為50 mm,交會角為15°,工作距為650 mm。三線陣影像為三線陣傳感器在高精度平行直線導(dǎo)軌上勻速運(yùn)動(50 mm/s)對靜止測試靶標(biāo)掃描拍攝獲得,影像大小為5 734×4 096像素。如圖5所示。

將所獲取的三幅影像進(jìn)行分組匹配對比實驗。實驗一為改進(jìn)SIFT算法和傳統(tǒng)SIFT算法的對比試驗;實驗二為不同閾值下改進(jìn)算法的對比試驗;通過RANSAC進(jìn)行提純,確定正確率。

①實驗一,SIFT算法進(jìn)行影像匹配主要有六個步驟,本文對其中的尺度空間構(gòu)建、特征點描述子生成、影像匹配三個步驟進(jìn)行改進(jìn),目的是在匹配點數(shù)、正確率與算法處理時間進(jìn)行權(quán)衡,驗證改進(jìn)算法的性能。匹配比例閾值選用0.6,實驗結(jié)果如表2和表3所示。

圖5 三線陣CCD前/正/后視影像

表2 SIFT算法耗時比較

表3 算法改進(jìn)前后匹配結(jié)果比較

實驗結(jié)果表明,改進(jìn)的SIFT算法縮短了尺度空間建立時間,同時也大大縮短了特征點描述子生成時間和匹配時間,并提高了匹配點數(shù)和正確率,解決不同視角下匹配問題,如前正視夾角為15°,前后視夾角為30°。改進(jìn)的SIFT算法能夠有效提高三線陣CCD影像的匹配效率和實時性。

②實驗二,為了驗證不同匹配閾值對于改進(jìn)的SIFT算法在三線陣影像匹配中的影響,并選用合適的比例閾值,本文選用比例閾值為0.3/0.4/0.5/0.6/0.7,并對其進(jìn)行實驗對比,實驗結(jié)果如表4和圖6所示。

表4 不同閾值下的改進(jìn)算法匹配結(jié)果

實驗結(jié)果表明,閾值越大,影像匹配點數(shù)越多,同時誤匹配情況也增多,但總體正確匹配點數(shù)也增多;閾值越小,影像匹配越穩(wěn)定,但匹配點數(shù)量不足。而后續(xù)測量工件三維形貌重建,要求正確的匹配點多且穩(wěn)定,因此,需要在匹配點數(shù)與穩(wěn)定性間進(jìn)行權(quán)衡,選擇合適的閾值。經(jīng)匹配對比實驗,比例閾值選用0.6,可以在保證足夠匹配點數(shù)的同時,得到較穩(wěn)定的匹配結(jié)果,其部分匹配同名點連線圖如圖6所示。

圖6 三組影像匹配結(jié)果(閾值為0.6)

5 結(jié)束語

本文提出新型的動態(tài)物體三維形貌測量方法,并針對系統(tǒng)改進(jìn)了SIFT匹配算法,通過對比實驗進(jìn)行驗證。實驗結(jié)果表明,改進(jìn)算法解決了不同視角匹配問題,提高了算法的實時性,匹配效率提高了一個數(shù)量級;匹配閾值與匹配點數(shù)及誤匹配數(shù)成正比,在權(quán)衡匹配點數(shù)及正確率后,選用適合本系統(tǒng)的匹配閾值為0.6。因此,該匹配方法能夠應(yīng)用于對實時性、高分辨率等具有一定要求的運(yùn)動物體三維形貌測量。

[1] 文強(qiáng). 國內(nèi)外高速列車檢修制度綜述[J]. 國外鐵道車輛,2014,51(2):1-3.

[2]何華武. 高速鐵路運(yùn)行安全檢測監(jiān)測與監(jiān)控技術(shù)[J]. 中國鐵路,2013(3):1-7.

[3]Peisen S,Huang,Zhan Chenping,et al. High-Speed 3-D Shape Measurement Based on Digital Fringe Projection[J]. Opt Eng,2003,42(1):163-168.

[4]劉常杰,劉洋,劉邈,等. 光柵投影測量系統(tǒng)三維形貌拼接技術(shù)研究[J]. 傳感技術(shù)學(xué)報,2014,27(7):870-875.

[5]王任享. 三線陣CCD影像衛(wèi)星測量原理[M]. 北京:測繪出版社,2006.

[6]張會章,張利霞,郭雷. 圖像理解[J]. 計算機(jī)工程,2003,29(11):23-24,71.

[7]趙斐,胡莘,關(guān)澤群,等. 三線陣CCD影像的像點自動匹配技術(shù)研究[J]. 測繪科學(xué),2008,33(4):12-14,44.

[8]鄧傳斌,郭雷,李維. 基于SIFT的遙感圖像配準(zhǔn)方法[J]. 傳感技術(shù)學(xué)報,2009,22(12):1742-1747.

[9]薛順瑞,高原,唐湘成,等. 基于FPGA并行處理SIFT算法特征點檢測[J]. 電視技術(shù),2012,36(23):188-192.

[10]Chen Wenyu,Zhao Yanli,Xie Wenzhi,等. An Improved SIFT Algorithm for Image Feature-Matching,Multimedia Technology(ICMT)[J]. 2011 International Conference,2011,197(200):26-28.

[11]馮嘉. SIFT算法的研究和改進(jìn)[D]. 吉林:吉林大學(xué),2010.

[12]王君鐸. 基于CCD影像數(shù)據(jù)構(gòu)建DEM關(guān)鍵技術(shù)的研究[D]. 天津:天津理工大學(xué),2012.

[13]張卡,盛業(yè)華,葉春. 基于數(shù)字視差模型和改進(jìn)SIFT特征的數(shù)字近景立體影像匹配[J]. 測繪學(xué)報,2012,39(6):624-630.

[14]Yoneyama S,Morimoto Y,Fujigaki M. Phase-Measuring Profilometry of Moving Object without Phase-Shifting Device[J]. Optics and Lasers in Engineering,2003,40(3):153-161.

[15]田鐵印,王紅,谷鳳安,等. 三線陣立體測繪相機(jī)光學(xué)系統(tǒng)設(shè)計[J]. 光學(xué)精密工程,2009,17(11):2692-2698.

[16]Lowe,David G. Object Recognition from Local Scale-Invariant Features[C]//Computer Vision,Corfu,Greece,1999:1150-1157.

[17]Lowe,David G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision,2004,60(2):91-110.

[18]李芳芳,肖本林,賈永紅,等. SIFT算法優(yōu)化及其用于遙感影像自動配準(zhǔn)[J]. 武漢大學(xué)學(xué)報(信息科學(xué)版),2009,34(10):1245-1249.

[19]汪松. 基于SIFT算法的圖像匹配方法研究[D]. 西安:西安電子科技大學(xué),2013.

劉常杰(1973-),男,山東人,副教授,碩士生導(dǎo)師,1996年、1999年、2002年于天津大學(xué)分別獲得學(xué)士、碩士、博士學(xué)位,主要從事視覺檢測技術(shù)方面的研究,liuchangjie@tju.edu.cn;

黃東曉(1987-),男,福建泉州人,碩士研究生,2011年于天津大學(xué)獲得學(xué)士學(xué)位,主要從事視覺檢測技術(shù)方面研究,huangdx89@tju.edu.cn;

楊凌輝(1981-),男,天津人,博士,主要從事激光視覺檢測技術(shù)及應(yīng)用研究,icelinker@tju.edu.cn。

ImprovedSIFTAlgorithmBasedonaNewMeasurementSystemofLargeScale3DShape*

LIUChangjie,HUANGDongxiao,YANGLinghui*

(State Key Laboratory of Precision Measuring Technology and Instruments,Tianjin University,Tianjin 300072,China)

The tri-linear CCDs photogrammetry using in surveying was applied to large scale 3-D shape measurement. To pick out the homologous image points from tri-linear CCDs images,SIFT algorithm was used finally. In order to against deficiencies of traditional SIFT,such as time consuming,a new improved SIFT algorithm was proposed. A searching strategy and threshold based on new system were given to meet“real-time”,verified by the experiments. The experiments show that the improved SIFT can cut down the time-consuming and increase the number of matching point-pair and performance of algorithm.

3-D surface measurement;tri-linear CCDs;SIFT;image matching

項目來源:國家863計劃項目(2012AA041205)

2014-05-21修改日期:2014-09-11

10.3969/j.issn.1004-1699.2014.11.011

TP391;TH741

:A

:1004-1699(2014)11-1500-06