任靖福 王瀚波 胡曉光

摘? 要：針對車輛在高速運動情況下，各種噪聲、干擾、周圍環(huán)境等影響圖像匹配結(jié)果的速度、精度以及可靠性的難題，以核線影像數(shù)據(jù)匹配為研究重點，探討了關(guān)于核線的匹配方法、核線影像數(shù)據(jù)中特征點提取和匹配的方法，提出了兩種基于特征段相似度的核線匹配算法，通過對三組距離不同的高速公路立體影像、不同的同名核線位置下的影像匹配結(jié)果的研究，驗證了基于相鄰特征段相似度的核線匹配算法匹配的可靠性和優(yōu)越性。

關(guān)鍵詞：圖像匹配;高速公路;核線匹配;特征點;特征段

中圖分類號：TP391.41? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）03-0068-05

Abstract：In view of the problems of noise，interference and surrounding environment that affect the speed，accuracy and reliability of image matching results when the vehicle is moving at high speed，this paper focuses on the epipolar line image data matching，discusses the epipolar line matching method，the feature point extraction and matching method in the epipolar line image data，and proposes two epipolar line matching algorithms based on the similarity of feature segments. Through the research on the matching results of three groups of expressway stereo images with different distances and different locations of the same name epipolar line，the reliability and superiority of the epipolar line matching algorithm based on the similarity of adjacent feature segments are verified.

Keywords：image matching;expressway;epipolar line matching;feature point;feature segment

0? 引? 言

為了實現(xiàn)視頻圖像監(jiān)控的自動化，快速準確地提取左右圖像中的同名像點是計算機視覺的關(guān)鍵技術(shù)。圖像匹配即通過一定的匹配算法在兩幅或多幅影像之間識別同名點的過程[1]，圖像匹配技術(shù)應用廣泛，有著光明的發(fā)展前景，但是同時也存在著許多技術(shù)問題和難點。在圖像匹配過程中，由于各種噪聲、干擾等的影響，一般的匹配方法中對非匹配點也會同時進行搜索，在匹配的結(jié)果中特征不易正確匹配，對匹配結(jié)果的速度、精度以及可靠性都有很大的影響。

本文根據(jù)高速公路交通異常的檢測問題，重點闡述關(guān)于核線的匹配方法，提出了兩種基于特征段相似度的核線匹配算法。經(jīng)過實驗比較得出基于相鄰特征段相似度的核線匹配方法效果較好。

1? 核線匹配的相關(guān)概念

1.1? 核線相關(guān)概念

在進行二維影像相關(guān)時，為了在右像片上搜索到同名像點，必須在給定的搜索區(qū)內(nèi)沿x、y兩個方向搜索同名像點，因此，搜索區(qū)是一個二維影像窗口，在這樣的二維影像窗口里進行相關(guān)計算，顯而易見，其計算量是相當大的。由攝影測量的基本知識可知，核面與兩像片面的交線即為同名核線，同名像點必然位于同名核線上。沿核線尋找同名像點，即為核線相關(guān)。這樣，利用核線相關(guān)的概念就能將沿x、y方向搜索同名像點的二維相關(guān)問題轉(zhuǎn)化為沿同名核線搜索同名像點的一維相關(guān)問題，從而大大減少計算量[2]。

由此可知，核線相關(guān)是一種一維相關(guān)，是利用立體像對在左、右同名核線上的灰度序列進行的影像相關(guān)，其目標區(qū)和搜索區(qū)分別位于左、右同名核線上，均為一維影像窗口。

1.2? 核線模型

S和S′分別為立體像對左像投影中心和右像投影中心;S和S′的連線為攝影基線B;地面點P的投影射線PS和PS′是同名光線;同名光線分別與兩像平面的交點p、p′為同名像點，q與q′為任一組像點，不一定是同名像點。攝影基線與地面任意點P構(gòu)成的平面，稱為核面;核面與像平面的交線稱為核線;L和L′是通過同名像點p和p′的一對同名核線[3]。圖1為中心投影影像的核線模型。

由核線的幾何定義我們可以知道，重疊影像上的同名像點必然位于同名核線上[4]。圖2為某一時刻視頻監(jiān)控圖像，圖3為圖2某一條同名核線上其中一部分的左、右核線灰度曲線，曲線上的“*”表示同名像點，其同名像點的點號同時列在表1中，表中NL、NR分別表示在左、右核線上同名點的點號。從這一實例中，我們可以直觀地體會到在同名核線上自動搜索同名像點的可能性。

1.3? 同名核線確定

實現(xiàn)核線匹配的首要任務是確定同名核線，確定同名核線的方法有很多，基本上可以分為兩類：一是基于數(shù)字影像的幾何糾正;二是基于共面條件[5]。在本文中，我們采用第二種基于共面條件的方法確定同名核線，這一方法是直接從核線的定義出發(fā)。于是，同名核線的確定可以描述為：要確定過左片上任意一個像點p（xp，yp）的核線L和右片同名核線L′，由于核線在像片上是直線，因此上述問題可以轉(zhuǎn)化為確定左核線上的另外一個點[6]，如圖1中的q（x，y），與右同名核線上的兩個點p′、q′，注意，這里并不要求p與p′或q與q′是同名點。

2? 基于特征段相似度的核線匹配算法

2.1? 核線特征點提取

對于一幅數(shù)字影像來說，最感興趣的是那些非常明顯的目標，而要識別這些目標，必須借助于影像去構(gòu)成這些目標的所謂影像的特征。特征提取是影像分析和影像匹配的基礎，也是單張影像處理的最重要的任務。特征提取的主要任務是提取核線上的特征點，點狀特征主要是指明顯點，如角點、圓點等，在某些鄰域變化較大，通常是指圖像的灰度變化。點特征是圖像最基本的特征之一，它易于表示和操作，在一些匹配應用中使用點特征進行處理，可以減少計算的數(shù)據(jù)量，同時又不損失圖像重要的灰度信息，在匹配運算中能夠較大地提高計算速度。點狀特征應用廣泛、表達精細，所以，點狀特征的研究是計算機視覺以及數(shù)字攝影測量的重點和難點。

提取點特征的算子成為興趣算子或有利算子，也就是運用某種算法從影像中提取我們所感興趣的，即有利于某種目的的點。本文將Moravec算子進行改進，然后對核線上的點特征進行提取，提取精度和數(shù)量可以用閾值來加以控制。這種算法過程簡單，適合本文影像數(shù)據(jù)，而且計算速度較快。

2.2? 核線特征段提取

在進行影像匹配之前，特征提取是非常重要的一項工作，而對于特征的描述方式也是多種多樣的。本文所用實驗數(shù)據(jù)為高速公路影像數(shù)據(jù)，感興趣處理的是一維核線影像或灰度曲線。在一維核線影像的情況下，將特征段定義為一個影像段，它由三個特征點組成：一個灰度梯度最大點Z，兩個突出點（梯度很?。㏒1、S2[7]。如圖4所示。

在提取特征段時，首先提取出核線上灰度梯度最大的特征點Z，記錄其像點點號以及灰度值g（Z），然后對每個特征點Z的鄰域窗口分別向前和向后進行一次差分運算，當參與差分運算的兩相鄰像素點所對應的灰度值相差小于3時，則停止運算，并取出前、后差分所對應的像素點點號和灰度值，此時提取出的像素點即為Z點所對應的一對突出點S1、S2。

特征段（實際上是依次提取出上述的三個特征點）將一條核線的影像分成若干個影像段，因而每一段影像均由一個特征段所組成。如圖5所示，曲線上的“*”表示同名像點。影像匹配的實質(zhì)就是特征段的匹配，從而確定它們在另一幅影像上對應的位置。

在提取特征段時，我們提取出了兩個突出點S1、S2的灰度差Δg=g（S2）-g（S1），同時設置一個標簽flag=0。

將三個特征點的像素號與標簽flag作為描述此特征的四個參數(shù)——特征參數(shù)。這對于特征段匹配十分有用，比如，一個flag=1的特征段就不可能與flag=2的特征段相匹配，只有flag值相同的特征才予以匹配。

2.3? 基于特征段相似度的核線匹配

從本質(zhì)上說，影像匹配是一種評價灰度分布相似性的手段，而提取特征的最終目的是要對特征進行匹配，從中得到圖像間的相互關(guān)系等有用信息。針對本文所用的核線影像數(shù)據(jù)，首先嘗試采用基于特征段相似度的核線匹配方法，具體過程描述如下：

（1）設在左像片核線上提取共有的n個未匹配特征段，依次分別為F1、F2、F3、…、Fn，將提出的F1構(gòu)成目標匹配窗口。

（2）在右像片核線上同樣提取共有的m個待匹配特征段，依次為F1′、F2′、F3′、…、Fm′，分別將F1′、F2′、F3′、…、Fm-1′、Fm′構(gòu)成待匹配窗口。

（3）預先運用上述所提到的標簽flag加以約束，遍歷計算目標窗口與所有待匹配窗口的相關(guān)系數(shù)，按最大相關(guān)系數(shù)的準則確定F1匹配窗口中特征的同名特征。

（4）遍歷將F2、F3、…、Fn-1、Fn構(gòu)成目標匹配窗口，重復（2）、（3）過程。表2列出某一條核線上所提取的特征段。

從表2中可以看出，匹配過程首先判斷flag值是否相同，當flag值相同才予以匹配，例如，表中F1特征段的flag=1，在右核線上只能依次與F1′、F3′、F6′特征段匹配，然后再計算F1中的目標灰度窗口g[280，281，282，283，284]分別與右核線待匹配窗口g′[584，585，586，587，588，589]、g′[1 584，1 585，1 586]、g′[1 717，1 718，1 719，1 720]計算相關(guān)系數(shù)，與F1相關(guān)系數(shù)最大的特征即為F1窗口中的同名特征。

2.4? 基于相鄰特征段相似度的核線匹配

采用的基于特征段相似度的核線匹配方法，有時候使用最大相關(guān)系數(shù)準則往往不夠，會出現(xiàn)一定的誤匹配，接下來采用基于相鄰特征段相似度的核線匹配方法。匹配方法過程如圖6所示，1、2構(gòu)成一個匹配窗口，2、3構(gòu)成匹配窗口，3、4也構(gòu)成匹配窗口，兩個特征可以均是待匹配特征，待匹配的特征始終位于窗口的邊緣。分別將左、右兩像片相鄰的兩個特征連接起來，形成大小不一的匹配窗口。

基于相鄰特征段相似度的核線匹配過程：

（1）設在左像片核線上提取共有的n個待匹配特征段，依次分別為F1、F2、F3、…、Fn，先將F1與F2構(gòu)成目標匹配窗口。

（2）在右像片核線上同樣提取共有的m個待匹配特征段，依次為F1′、F2′、F3′、…、Fm′，分別將F1′與F2′、F2′與F3′、…、Fm-1′與Fm′構(gòu)成待匹配窗口。

（3）預先運用上述所提到的標簽flag約束，遍歷計算目標窗口與所有待匹配窗口的相關(guān)系數(shù)，按最大相關(guān)系數(shù)的準則確定F1、F2匹配窗口中特征的同名特征。

（4）遍歷將F2與F3、…、Fn、與Fn-1構(gòu)成目標匹配窗口，重復（2）（3）過程。

同樣如表2所示，將左核線F1、F2構(gòu)成目標窗口，首先判斷右核線特征段窗口的flag組合是否與F1、F2相同，當flag組合相同才予以匹配，例如，表中F1、F2匹配窗口的flag為1、2，在右核線上只能依次和F1′、F2′以及F3′、F4′窗口匹配，然后再計算F1、F2中的目標灰度窗口g[280，281，282，283，284，285，286，287，288，289，290，291，292，293，294，295]分別與右核線待匹配窗口g′[584，585，586，587，588，589，590，591，592，593，594，595，596，597]、g′[1 584，1 585，1 586，1 587，1 588，1 589，1 590，1 591，1 592，1 593，1 594，1 595，1 596]計算相關(guān)系數(shù)，與F1、F2相關(guān)系數(shù)最大的兩段特征即為F1、F2窗口中的同名特征。

同名點的確定是以匹配測度為基礎的，因而如何定義匹配測度，則是影像匹配最首要的任務，基于不同的理論或不同的思想可以定義各種不同的匹配測度。在本文中，由于采用的是核線影像數(shù)據(jù)源，在像對中利用改進的Moravec算子提取一定數(shù)量的特征點，進行特征點連接組成特征段，利用特征匹配的兩種方案形成匹配窗口，然后只需逐對計算位于同名核線上匹配窗口之間的相關(guān)系數(shù)，利用相關(guān)系數(shù)作為相似性度量可以使計算量更小，簡單易行，且其匹配精度高。

2.5? 特征匹配評價

對特征匹配評價就是建立一個特征點匹配好壞的標準，參數(shù)評價法是利用表征特征點匹配效果的參數(shù)進行評價，比較常用的兩個參數(shù)是檢測率和錯配率。

檢測率=正確的匹配數(shù)目/所有可能匹配的數(shù)目;

錯配率=錯誤的匹配數(shù)目/檢測到的所有的匹配數(shù)。

從上面檢測率和錯配率的定義我們可以看出，所希望匹配結(jié)果中檢測率越高越好，而錯配率越低越好。匹配算法應盡可能提高檢測率和降低錯配率，但是在實際的匹配過程中，很少可以同時把這兩方面都做到最優(yōu)。需要根據(jù)所提出算法的思想和實際情況來優(yōu)先優(yōu)化其中一個參數(shù)。對于本文中實驗，由于針對的是立體交通視頻的高速公路影像，對于提取特征點數(shù)目的要求沒有必要太高，只需要提取出道路上關(guān)鍵特征點即可，所以應盡量提高匹配的正確率，即降低錯配率。

3? 核線匹配實驗分析

將核線匹配的基本原理應用到高速公路智能檢測中，提取高速公路上突出的特征點信息，并且找到特征點的對應點，實現(xiàn)特征點匹配。

3.1? 實驗過程

根據(jù)上述實驗思路做了如下實驗，拍攝一組照片，確定任一點的同名核線，進行核線特征匹配，比較相關(guān)系數(shù)，驗證我們算法的有效性。實驗具體步驟如下：

（1）本次實驗的照片均為立體交通視頻圖像，拍攝場景都是高速公路，在道路上停放車輛以及放置輪胎等障礙物，分別拍攝3組不同距離的高速公路圖像。

（2）對每組圖像進行畸變改正，在任一點位置確定同名核線，然后提取同名核線的一維灰度值數(shù)組，并對其進行中值濾波除噪以及灰度拉伸。

（3）分別在左、右兩條同名核線上提取特征點，進一步提取對應的特征段，并標記每一特征段所對應的灰度曲線類型，即標記flag。

（4）利用透視投影變換與基于相鄰特征段相似度的核線匹配方法相結(jié)合，方案一中將左核線上所提取的特征段形成目標窗口，右核線每一個特征段形成待匹配窗口，方案二中將左核線兩兩組合的相鄰特征段形成目標窗口，右核線兩兩相鄰特征段形成待匹配窗口，兩種方案都計算兩窗口之間的相關(guān)系數(shù)，以此達到匹配的目的。

（5）分別用兩種匹配方案對同一幅立體交通視頻圖像根據(jù)同名核線上的匹配點對分析評價匹配效果。

拍攝3組不同距離的高速公路異物圖像，如圖7所示，每組圖像的大小均為1 080×1 920。

（a）照片組1

（b）照片組2

（c）照片組3

3.2? 確定經(jīng)過任意一點的同名核線

以圖7（a）照片組為例，選擇無障礙物處P1（905，264）、輪胎處P2（1 485，400）以及汽車處P3（1 378，336）三個代表性位置，提取同名核線以及核線上的特征點，每條核線計算范圍為1×1 920，分別對上述3條同名核線上的特征點進行匹配。

3.3? 實驗結(jié)果

在圖7（a）組圖像上的無障礙處P1、輪胎處P2以及汽車處P3分別任意取經(jīng)過不同位置的5條同名核線，并記錄經(jīng)過點的坐標。然后分別對圖7（b）和圖7（c）圖像重復（a）組圖像做的工作，記錄經(jīng)過點坐標并同時計算匹配時間。通過兩種方案進行實驗：基于特征段相似度的核線匹配方法和基于相鄰特征段相似度的核線匹配方法。為比較匹配精度，我們在每組圖像上分別選取了15條不同位置的同名核線。道路上特征點數(shù)目提取并不是很多，但提取的特征點都是道路上的關(guān)鍵特征點。

從匹配情況上看，對于方案一，即基于特征段相似度的核線匹配方法的匹配結(jié)果圖像，特征點檢測率效果較好，尤其是在無障礙物或者輪胎處，檢測率甚至達到了100%，3組圖像的平均檢測率分別為90.00%、78.68%、89.68%;對于錯配率，在3組圖像中都可以看到，特征點在無障礙物處錯配率較低，但是對于汽車處，錯配率相對更高，3組圖像平均錯配率分別為41.58%、24.62%、8.00%;從匹配時間上看，3組圖像平均所耗費時間分別為127.28 ms、128.64 ms、118.92 ms。

對于方案二，即基于相鄰特征段相似度的核線匹配方法的匹配結(jié)果圖像，特征點檢測率一般，3組圖像的平均檢測率分別為73.01%、72.00%、74.10%，相對于方案一中來說檢測率更低;對于錯配率，在3組圖像中都可以看到，特征點在無障礙物處和輪胎小型障礙物處錯配率較低，幾乎可以達到0，匹配效果令人滿意，但是對于汽車處，錯配率相對更高，3組圖像平均錯配率分別為9.52%、12.38%、14.84%，而且通過匹配的圖像可以發(fā)現(xiàn)，在經(jīng)過汽車的核線上的特征點成功匹配的基本上是道路上的點，汽車上的特征點成功匹配率比較低，本文提出的匹配算法在針對這方面有些不足;從匹配時間上看，3組圖像平均所耗費時間分別為111.10 ms、109.16 ms、107.09 ms，匹配速度較快。

相比較兩種匹配方法，方案二中的檢測率較方案一更低，但是其錯配率和匹配所耗時間都是更小的，匹配精度和速度均優(yōu)于第一種方案。從整體看，因為一對特征點匹配成功就已經(jīng)對應了兩對突出點成功匹配，這無形中提高了檢測率并降低了錯配率，匹配精度和匹配時間都令人滿意，說明本文所提出的基于相鄰特征段相似度的核線匹配算法是有效的，可以應用在交通道路圖像特征匹配當中。

實驗證明基于相鄰特征段相似度的核線匹配方法是一種高效率、穩(wěn)定、高精度的方法，實現(xiàn)對影像的全自動匹配，取得了滿意的效果。

4? 結(jié)? 論

基于相鄰特征段相似度的核線匹配方法，在匹配過程中首先將提取出的特征點連接成特征段，然后將相鄰兩特征段組合成匹配窗口，匹配窗口大小是不固定的，然后利用相關(guān)系數(shù)作為匹配測度檢測匹配窗口中灰度相似性，最終達到特征點自動匹配的目的，同時一對特征點所對應的兩對突出點也對應匹配，匹配點對數(shù)無形中增多了，提高了匹配正確率。本文所提出的基于相鄰特征段相似度的核線匹配算法對高速公路影像匹配有一定的精度和可靠性，有一定的實用性和研究價值。

參考文獻：

[1] 馬宗方，張少坤，宋琳，等.一種基于顏色尺度不變和FANN搜索的圖像匹配算法 [J].紅外技術(shù)，2018，40（5）：468-472.

[2] 徐芳，鄧非.數(shù)字攝影測量學基礎 [M].武漢：武漢大學出版社，2017.

[3] 陳春華.基于POS觀測值的立體匹配 [D].北京：中國地質(zhì)大學（北京），2006.

[4] 張靖.物探飛行模式下的機載LiDAR數(shù)據(jù)與影像配準研究 [D].武漢：武漢大學，2011.

[5] 常津，李浩，楊彪.一種適用于近景數(shù)碼影像的概率松弛匹配方法 [J].科學技術(shù)與工程，2013，13（7）：1713-1717.

[6] 王刃.基于視頻全站儀的視覺相關(guān)問題研究 [D].鄭州：解放軍信息工程大學，2004.

[7] 劉德利.基于數(shù)字攝影測量的城市三維景觀建模 [D].長春：吉林大學，2006.

。