藍(lán)章禮，李 戰(zhàn)，李 偉

(重慶交通大學(xué) 信息科學(xué)與工程學(xué)院，重慶 400074)

0 引 言

近年來，國家不斷加大智能交通設(shè)施建設(shè)力度，在交通行業(yè)引入了大量的智能技術(shù)，減輕了工作壓力、提高了工作效率。目前不少地區(qū)使用的道路違章車輛智能抓拍系統(tǒng)仍存在一定不足。該系統(tǒng)使用車道攝像機(jī)和數(shù)碼相機(jī)相結(jié)合方式對違規(guī)車輛進(jìn)行抓拍取證，違章證據(jù)包括3張圖像：① 車輛違章的瞬間圖像；② 違章車輛的車牌圖像；③ 違章車輛周邊環(huán)境圖像。車道攝像機(jī)拍攝的區(qū)域小、分辨率高，用于拍攝前兩張圖像；數(shù)碼相機(jī)拍攝的區(qū)域廣、分辨率低，用于拍攝第3張圖像。這種方式可以滿足一般情況下車輛的違章取證，但對特殊情況仍有一定缺陷，例如：車輛故意壓線行駛或發(fā)生交通事故占用多個(gè)車道的情況。這時(shí)車道攝像機(jī)往往不能拍攝完整的車輛違章瞬間圖；或者無法獲得完整、分辨率較高的多車道圖像；亦或?qū)赡茉斐墒鹿孰y以評估等。針對這些問題，筆者提出車道圖像拼接技術(shù)予以解決。

圖像拼接是將相互具有重疊部分的同一目標(biāo)圖像序列合成為一張包含全部目標(biāo)信息、廣視野圖像的技術(shù)[1]。該技術(shù)廣泛應(yīng)用在計(jì)算機(jī)圖像學(xué)、計(jì)算機(jī)視覺、虛擬現(xiàn)實(shí)技術(shù)、醫(yī)學(xué)圖像分析等領(lǐng)域[2-5]。圖像拼接的核心為圖像配準(zhǔn)和圖像融合；圖像配準(zhǔn)又分為基于灰度區(qū)域、基于變換域和基于特征的配準(zhǔn)。湯敏[6]和GE Peng等[7]均認(rèn)為：基于灰度區(qū)域的配準(zhǔn)和基于變換域的配準(zhǔn)都不適合存在投影變換和移動物體的車道圖像的配準(zhǔn)；WEI Lisheng等[8]和HUANG Liqin等[9]分別證明了：基于特征點(diǎn)的配準(zhǔn)可較好地解決存在投影變換和移動物體的車道圖像的配準(zhǔn)問題。圖像融合包括直接融合、加權(quán)融合和最佳縫合線等融合方法[10-12]。直接融合算法會出現(xiàn)拼接裂縫和丟失局部車道信息；楊秋芬等[13]認(rèn)為：加權(quán)融合算法可以消除拼接裂縫，但會出現(xiàn)重影、鬼影問題；秦緒佳等[14]提出：最佳縫合線算法可消除重影、鬼影問題，但縫合線會經(jīng)過運(yùn)動車輛而造成拼接圖像局部出現(xiàn)不完整的運(yùn)動車輛；谷雨等[15]提出基于動態(tài)規(guī)劃思想來改進(jìn)最佳縫合線搜索，該方法可減少縫合線經(jīng)過運(yùn)動車輛，但仍難以避免縫合線經(jīng)過運(yùn)動車輛。鑒于此，筆者提出了一種尋找最優(yōu)對應(yīng)圖像的算法與之互補(bǔ)，在圖像預(yù)處理中篩選出近似同步拍攝圖像，減少圖像重疊部分中運(yùn)動車輛的面積，避免縫合線經(jīng)過運(yùn)動車輛，合成了質(zhì)量較高的多車道圖像。

1 車道圖像序列拼接算法

筆者提出基于SURF算法和最佳縫合線的車道圖像序列拼接算法流程如圖1。該算法主要應(yīng)用于相同設(shè)備異步采集且具有快速移動區(qū)域的圖像序列。首先提出尋找最優(yōu)對應(yīng)圖像算法，用于篩選出近似同步拍攝圖像序列；然后利用SURF算法和RANSAC算法對拼接圖像提取特征點(diǎn)并進(jìn)一步提純；之后利用正確的匹配點(diǎn)對計(jì)算出變換矩陣；最后利用最佳縫合線算法對近似同步拍攝圖像分別進(jìn)行拼接，引入加權(quán)融合算法消除拼接裂縫，合成多車道圖像序列。

圖1 拼接算法流程Fig. 1 Flow chart of image mosaic algorithm

2 尋找最優(yōu)對應(yīng)圖像算法

最優(yōu)對應(yīng)圖像算法如圖2。

圖2 尋找最優(yōu)對應(yīng)圖像算法流程Fig. 2 Flow chart of finding the best corresponding image algorithm

尋找最優(yōu)對應(yīng)圖像算法的原理是從一路圖像序列中選取一張圖像作為尋優(yōu)圖像，將另一路圖像序列作為待尋優(yōu)圖像序列。從尋優(yōu)圖像和待尋優(yōu)圖像序列中提取同一個(gè)目標(biāo)車輛，以車輛形成連通域的質(zhì)心坐標(biāo)代替車輛位置。分別計(jì)算尋優(yōu)圖像與待尋優(yōu)圖像序列中車輛之間的距離，距離越小則拍攝時(shí)間越近，篩選出最小距離對應(yīng)的圖像，該圖像即為尋優(yōu)圖像的最優(yōu)對應(yīng)圖像(近似同步拍攝圖像)[16-17]，如圖2。

在圖2中：A、B圖像序列分別表示由A、B攝像機(jī)采集的圖像序列；i表示第i幀；j表示第j個(gè)連通域；k為第i幀中第k個(gè)連通域；Sr為連通域面積；Sm為連通域最小外接矩形的面積；Hm為連通域的高；Wm為連通域的寬；D1、D2分別為所設(shè)閾值；Si為B圖像序列第i幀和A圖像序列第1幀質(zhì)心之間的距離。

3 SURF特征提取

SURF(speeded up robust features)是一種穩(wěn)健的局部特征點(diǎn)檢測和描述算法，具有尺度和旋轉(zhuǎn)不變性。SURF特征匹配主要流程如下。

3.1 構(gòu)建Hessian矩陣

給定圖像I的一個(gè)點(diǎn)x(x,y)，在點(diǎn)x處，尺度為σ的Hessian矩陣H(x,σ)定義如式(1)：

(1)

式中：Lxx(x,σ)為高斯二階微分?2/?x2g(σ)在點(diǎn)x處于圖像I的卷積，其中：g(σ)=1/2πσe-(x2+y2)/2σ2；Lxy(x,σ)和Lyy(x,σ)具有同樣的含義。

通常Hessian矩陣的特征值用H矩陣的近似判別式表示，如式(2)：

Det(Happrox)=DxxDyy-(αDxx)2

(2)

式中：α為權(quán)系數(shù)，根據(jù)計(jì)算取α=0.9，則可根據(jù)此特征值符號將所有點(diǎn)分類。

3.2 構(gòu)建尺度空間

SURF的尺寸空間包括兩部分：組和層。不同組間使用相同尺寸，不同之處是使用的盒式濾波器模板尺寸逐漸增大；同一組間不同層間使用相同尺寸濾波器，不同之處是濾波器模糊系數(shù)逐漸增大。

3.3 特征點(diǎn)定位

將經(jīng)過Hessian矩陣處理的每個(gè)像素點(diǎn)與二維圖像空間和尺度空間鄰域內(nèi)的26個(gè)點(diǎn)逐一進(jìn)行比較，初步定位出關(guān)鍵點(diǎn)，再經(jīng)過除去能量比較弱的及錯(cuò)誤定位的關(guān)鍵點(diǎn)，篩選出最終的穩(wěn)定特征點(diǎn)。

3.4 主方向分配

SURF采用的是統(tǒng)計(jì)特征點(diǎn)圓形鄰域內(nèi)的Haar小波特征。即在特征點(diǎn)的圓形鄰域內(nèi)，統(tǒng)計(jì)60°扇形內(nèi)所有點(diǎn)的水平、垂直Haar小波特征總和，然后扇形以0.2弧度大小的間隔進(jìn)行旋轉(zhuǎn)并再次統(tǒng)計(jì)該區(qū)域內(nèi)Haar小波特征值，最后將值最大的那個(gè)扇形方向作為該特征點(diǎn)主方向。

3.5 特征描述算子生成

SURF算法沿著特征點(diǎn)的主方向在特征點(diǎn)周圍取一個(gè)4×4的矩形區(qū)域塊。相對主方向而言，在每個(gè)子區(qū)域內(nèi)統(tǒng)計(jì)25個(gè)像素的水平與垂直方向上Haar小波特征，即得到Haar小波特征的水平方向值之和為∑dx、垂直方向值之和為∑dy、水平方向絕對值之和為∑|dx|以及垂直方向絕對值之和為∑|dy|，如圖3。

圖3 特征描述算子Fig. 3 Feature description operator

3.6 特征點(diǎn)匹配

通過計(jì)算兩個(gè)特征點(diǎn)間的歐式距離來確定特征匹配對，如果次近距離除以最近距離小于一定閾值，則判定為匹配點(diǎn)對。歐式距離的計(jì)算如式(3)：

(3)

式中：n=64；xi1表示第一個(gè)點(diǎn)的第i維坐標(biāo)；xi2表示第二個(gè)點(diǎn)的第i維坐標(biāo)。

由以上方法可提取車道圖像SURF特征點(diǎn)并進(jìn)行配準(zhǔn)，但會存在部分錯(cuò)誤匹配，需使用RANSAC算法除去誤匹配點(diǎn)，實(shí)現(xiàn)圖像的精配準(zhǔn)。

4 最佳縫合線算法

當(dāng)圖像重疊區(qū)域存在快速運(yùn)動物體、配準(zhǔn)不準(zhǔn)確等情況時(shí)，融合圖像容易出現(xiàn)重影問題。解決該問題的有效方法是最佳縫合線。一條理想的最佳縫合線應(yīng)滿足以下兩個(gè)要求：

1)顏色強(qiáng)度上，縫合線兩側(cè)顏色差異最??；

2)結(jié)構(gòu)強(qiáng)度上，兩幅圖像的結(jié)構(gòu)差異最小。

最佳縫合線計(jì)算準(zhǔn)則計(jì)算如式(4)：

(4)

式中：Ec(x,y)表示圖像的顏色差異強(qiáng)度值；Eg(x,y)表示圖像結(jié)構(gòu)差異強(qiáng)度值[15]。

Eg(x,y)的計(jì)算如式(5)：

Eg(x,y)=Sx×[I1(x,y)-I2(x,y)]2+Sy×

[I1(x,y)-I2(x,y)]2

(5)

式中：Sx、Sy分別表示3×3的Sobel算子模板。

最佳縫合線算法實(shí)現(xiàn)流程如下：

1)以第1行的每一列對應(yīng)一條縫合線，其準(zhǔn)則值初始化為準(zhǔn)則值圖像對應(yīng)的像素點(diǎn)的值；

2)將每一條縫合線當(dāng)前點(diǎn)緊鄰下一行中3個(gè)點(diǎn)的準(zhǔn)則值及當(dāng)前點(diǎn)左右兩個(gè)相鄰的點(diǎn)的準(zhǔn)則值進(jìn)行比較，選擇準(zhǔn)則值最小點(diǎn)為擴(kuò)展點(diǎn)，若準(zhǔn)則值點(diǎn)已是縫合線上的點(diǎn)，則選擇次最小值點(diǎn)；如果縫合線當(dāng)前點(diǎn)為重疊圖像最后一行點(diǎn)，則進(jìn)行步驟3)，否則進(jìn)行下一次擴(kuò)展；

3)選擇平均準(zhǔn)則值最小的作為最佳縫合線。

由以上方法可計(jì)算出最佳縫合線上所有點(diǎn)的位置，減少縫合線經(jīng)過運(yùn)動區(qū)域，實(shí)現(xiàn)最佳圖像拼接。

5 實(shí)驗(yàn)結(jié)果分析

筆者使用兩臺完全相同且?guī)в腥侵Ъ艿南鄼C(jī)以固定方式異步采集城市車道圖像序列。將左、右兩臺攝像機(jī)分別命名為A攝像機(jī)、B攝像機(jī)，采集的圖像尺寸為1 080×1 920。實(shí)驗(yàn)測試平臺為Inter(R) Core(TM) i5-2450M CPU @ 2.5 GHz，內(nèi)存為8 GB，軟件平臺為MATLAB 2016a。

在圖像配準(zhǔn)方面，筆者將文獻(xiàn)[9]中SURF算法+RANSAC算法(以下稱文獻(xiàn)[9]算法)與文中尋找最優(yōu)對于圖像算法+SURF算法+RANSAC算法(以下稱文中算法)進(jìn)行實(shí)驗(yàn)對比；在圖像融合方面，筆者將文獻(xiàn)[15]中SURF算法+RANSAC算法+最佳縫合線(以下稱文獻(xiàn)[15]算法)和尋找最優(yōu)對于圖像算法+SURF算法+RANSAC算法+最佳縫合線(以下稱文中算法)進(jìn)行實(shí)驗(yàn)對比。

為驗(yàn)證尋找最優(yōu)對應(yīng)圖像算法提取目標(biāo)車輛以及車輛坐標(biāo)的有效性，將A攝像機(jī)采集的圖像序列簡稱為A序列，將B攝像機(jī)采集的圖像序列簡稱為B序列，從兩路圖像序列中各選取前50幀圖像進(jìn)行實(shí)驗(yàn)。筆者選擇A序列中第10幀圖像(以下簡稱A_10)給予說明。

圖4為提取A_10中目標(biāo)車輛坐標(biāo)的各個(gè)過程。其中：圖4(a)為A_10灰度圖像；圖4(b)為A圖像序列背景模板灰度圖像；圖4(c)為通過背景差分法提取的運(yùn)動目標(biāo)區(qū)域，含有大量噪點(diǎn)以及柵欄等干擾；圖4(d)為通過中值濾波和形態(tài)學(xué)處理消除了噪聲點(diǎn)和面積較小的連通區(qū)域，仍存在面積較大連通區(qū)域的干擾；圖4(e)為根據(jù)車輛形成連通域具有的特征(車輛形成連通域的面積與該連通域最小外接矩形面積之比較大、該連通域的寬與高之比較小)去除非車輛目標(biāo)干擾，再對連通域中的空洞進(jìn)行填充，計(jì)算出連通域質(zhì)心坐標(biāo)。

圖4 車輛坐標(biāo)的提取過程Fig. 4 Extraction process of vehicle coordinates

經(jīng)過尋找最優(yōu)對應(yīng)圖像算法計(jì)算，得到近似同步拍攝圖像開始幀為A序列第1幀和B序列第18幀，逐個(gè)向后取幀得到近似同步拍攝圖像序列。

為驗(yàn)證文中算法在圖像配準(zhǔn)方面的有效性，筆者選擇文獻(xiàn)[9]算法和文中算法進(jìn)行實(shí)驗(yàn)對比。其中，文獻(xiàn)[9]算法未計(jì)算近似同步拍攝圖像，采用的是同序號幀配準(zhǔn)(例如：A序列第1幀和B序列第1幀為同序號幀)。結(jié)果表明：使用文中算法得到的配準(zhǔn)點(diǎn)數(shù)多且配準(zhǔn)正確率高，正確率能達(dá)到94%。圖像配準(zhǔn)的結(jié)果分析如表1。

表1 圖像配準(zhǔn)的結(jié)果分析Table 1 Analysis of image registration results

圖5(a)、(b)中：A_1表示A序列第1幀，B_1表示B序列第1幀，B_18表示B序列第18幀，其中A_1和B_18為近似同步拍攝圖像。圖5(c)、(d)中：A_10表示A序列第10幀，B_10表示B序列第10幀，B_27表示B序列第27幀，其中A_10和B_27為近似同步拍攝圖像。

為驗(yàn)證文中算法在圖像融合方面的有效性，筆者選擇直接融合算法、加權(quán)融合算法、文獻(xiàn)[15]中的最佳縫合線算法和文中算法進(jìn)行實(shí)驗(yàn)對比。其中，文獻(xiàn)[15]算法未計(jì)算近似同步拍攝圖像，采用的是同序號幀融合(例如：A序列第1幀和B序列第1幀進(jìn)行融合)。結(jié)果表明：① 文中算法可解決錯(cuò)位、重影和拼接裂縫等問題；② 文中算法可減少縫合線經(jīng)過運(yùn)動區(qū)域；③ 文中算法可合成質(zhì)量較高的多車道圖像。

圖5 圖像特征點(diǎn)匹配Fig. 5 Images feature points matching

圖6(a)中利用直接融合算法出現(xiàn)拼接圖像錯(cuò)位和丟失局部信息；圖6(b)中利用加權(quán)融合算法出現(xiàn)局部重影問題；圖6(c)中利用最佳縫合線算法出現(xiàn)縫合線經(jīng)過運(yùn)動區(qū)域的問題，其中黑色裂縫為縫合線；圖6(d)中使用了文中提出的尋找最優(yōu)對應(yīng)圖像算法和最佳縫合線算法相結(jié)合的方法，避免了縫合線經(jīng)過運(yùn)動區(qū)域，其中黑色裂縫為縫合線；圖6(e)為圖6(d)不顯示縫合線的圖像，可看到存在拼接裂縫；圖6(f)為在圖6(e)中引入加權(quán)融合算法消除拼接裂縫后的圖像。

圖6 拼接圖分析Fig. 6 Mosaic analysis

6 結(jié) 語

針對車道攝像機(jī)不能采集到完整的車輛壓線圖像，筆者提出一種基于SURF和最佳縫合線的車輛圖像序列拼接方法。在圖像配準(zhǔn)方面，該方法特征點(diǎn)匹配正確率可達(dá)到94%；在圖像融合方面，該方法解決了融合過程中出現(xiàn)的重影、錯(cuò)位和拼接裂縫等問題，合成了質(zhì)量較高的多車道圖像。但在尋找近似拍攝圖像序列時(shí)增加了運(yùn)算時(shí)間，在圖像配準(zhǔn)時(shí)仍存在一定誤匹配，如何優(yōu)化尋找最優(yōu)對應(yīng)圖像算法和提高圖像配準(zhǔn)的精度是筆者下一步需要解決的問題。