向 征，趙歆波，曹師好，張寶尚

(1.西北工業(yè)大學(xué) 軟件學(xué)院，西安 710129；2.西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，西安 710129；3.光電控制技術(shù)重點(diǎn)實(shí)驗(yàn)室，洛陽(yáng) 471009)

0 引言

近年來(lái)，鐵路運(yùn)輸在世界范圍內(nèi)呈現(xiàn)高速發(fā)展的趨勢(shì)。由于鐵路運(yùn)輸存在一定的危險(xiǎn)性，一旦列車存在潛在的安全風(fēng)險(xiǎn)，引起后果將不堪設(shè)想[1-3]。為了確保列車的行車安全，一系列保證列車行車安全的技術(shù)手段應(yīng)運(yùn)而生[4-5]。列車視頻監(jiān)控就是其中之一，如圖1所示。列車視頻監(jiān)控借助于多個(gè)攝像頭的協(xié)作拍攝，能夠有效捕捉整個(gè)車身的實(shí)時(shí)視覺(jué)信息。但由于多個(gè)攝像頭的鏡頭存在一定的拍攝誤差，難以判斷多個(gè)攝像頭之間的差異和聯(lián)系，借助人力判斷費(fèi)事、費(fèi)力且存在較大的誤差，易引起安全隱患[6]。因此，有效配準(zhǔn)多個(gè)攝像頭的信息，形成完整的列車圖像，對(duì)于列車的安全監(jiān)控是十分有意義的[7-8]。

圖1 列車圖像采集示意圖

圖像配準(zhǔn)是一種解決攝像頭信息整合問(wèn)題的有效手段。圖像配準(zhǔn)(Image registration)即將不同時(shí)間、不同傳感器(成像設(shè)備)或不同攝像條件下獲取的兩張及以上圖像進(jìn)行匹配，疊加的過(guò)程[9-10]。圖像配準(zhǔn)是許多應(yīng)用問(wèn)題的基本預(yù)處理步驟，如多源圖像信息融合[11]。圖像配準(zhǔn)也被廣泛應(yīng)用于軍事、醫(yī)學(xué)、航空等多項(xiàng)重要科研領(lǐng)域。通過(guò)使用圖像配準(zhǔn)技術(shù)，我們能夠獲得質(zhì)量更高、清晰度更好、信息更準(zhǔn)確的圖像信息。

對(duì)于不同類型的圖像數(shù)據(jù)，配準(zhǔn)方法也不相同。常見的圖像配準(zhǔn)方法分為兩類：基于圖像灰度的配準(zhǔn)方法和基于圖像特征的配準(zhǔn)方法?；诨叶鹊呐錅?zhǔn)方法直接利用圖像的灰度信息，通過(guò)搜索方法確定使某種相似度取得最大或最小時(shí)的變換模型參數(shù)，該方法具有較大的精度和魯棒性，但計(jì)算量較大，無(wú)法保證實(shí)時(shí)性。基于特征的匹配算法先提取圖像的某種特征，然后對(duì)特征進(jìn)行匹配，最后求變換模型參數(shù)并通過(guò)坐標(biāo)變換完成配準(zhǔn)，速度較快但精度不高。為了解決上述問(wèn)題，我們嘗試使用基于最大互信息的圖像配準(zhǔn)方法[12-14]，即基于遺傳算法優(yōu)化的配準(zhǔn)方法對(duì)列車圖像進(jìn)行配準(zhǔn)[15]。遺傳算法是一種模擬達(dá)爾文生物進(jìn)化論中的自然選擇機(jī)理和遺傳學(xué)機(jī)理的計(jì)算模型，是通過(guò)模擬自然進(jìn)化過(guò)程搜索問(wèn)題最優(yōu)解的方法[16]。遺傳算法以一種群體中的所有個(gè)體為對(duì)象，并利用隨機(jī)化技術(shù)指導(dǎo)對(duì)一個(gè)被編碼的參數(shù)空間進(jìn)行高效搜索。其中，選擇、交叉和變異構(gòu)成了遺傳算法的遺傳操作；參數(shù)編碼、初始群體的設(shè)定、適應(yīng)度函數(shù)的設(shè)計(jì)、遺傳操作設(shè)計(jì)、控制參數(shù)設(shè)定五個(gè)要素組成了遺傳算法的核心內(nèi)容。實(shí)驗(yàn)表明，基于最大互信息和遺傳算法的圖像配準(zhǔn)算法能夠準(zhǔn)確、高效地完成圖像配準(zhǔn)任務(wù)。

1 研究背景

1.1 基于特征點(diǎn)匹配的圖像配準(zhǔn)

基于特征點(diǎn)匹配的圖像配準(zhǔn)算法需要經(jīng)歷特征提取、特征匹配、求解變換模型參數(shù)以及圖像變換配準(zhǔn)等步驟。具體流程如圖2所示。其中，特征提取主要以SIFT，SURF特征為主，為了方便變換模型參數(shù)的求解，特征提取的數(shù)量需要滿足一定的大小。同時(shí)，在求出待匹配圖像的特征點(diǎn)后，特征之間需要進(jìn)行相似度匹配，匹配過(guò)程首先是粗匹配過(guò)程，此過(guò)程會(huì)產(chǎn)生大量的誤匹配對(duì)，隨后是進(jìn)行精匹配過(guò)程，進(jìn)而剔除錯(cuò)誤的匹配對(duì)。經(jīng)歷了特征匹配過(guò)程后，便可通過(guò)計(jì)算變換模型參數(shù)，然后對(duì)匹配圖像進(jìn)行空間變換，完成圖像配準(zhǔn)。

圖2 基于特征點(diǎn)匹配的圖像配準(zhǔn)執(zhí)行過(guò)程

SIFT點(diǎn)的特征提取需要大量的時(shí)間且匹配過(guò)程復(fù)雜度較高，因此存在實(shí)時(shí)性差的問(wèn)題；同時(shí)，SIFT點(diǎn)特征提取方法對(duì)于較為光滑的物體特征提取能力有限，后期也會(huì)存在誤匹配的問(wèn)題。因此，為了解決如上問(wèn)題，需要引入新的圖像匹配算法。

1.2 基于互信息的圖像配準(zhǔn)

互信息作為一種相似性準(zhǔn)則，描述了兩幅圖像的“相像”程度，互信息越大兩幅圖像越像，反之亦然。互信息最早被應(yīng)用到醫(yī)學(xué)圖像的配準(zhǔn)，取得了很好的效果。

互信息的定義為：

MI(A,B)=H(A)+H(B)-H(A,B)

(1)

式中，H(A)、H(B)分別為圖像A、B的香農(nóng)熵，H(A,B)為兩個(gè)圖像的聯(lián)合熵。

基于互信息的圖像配準(zhǔn)就是要找到空間變換T0,使配準(zhǔn)的兩個(gè)圖像的互信息達(dá)到最大，即：

T0= argmaxMI(A,T(B))

(2)

1.3 遺傳算法

Holland于1975年首次提出遺傳算法，該算法是模仿生物進(jìn)化中的基因遺傳和優(yōu)勝劣汰等過(guò)程的一種仿生學(xué)優(yōu)化搜索算法。遺傳算法通過(guò)模擬一個(gè)人工種群進(jìn)化過(guò)程，通過(guò)選擇(Selection)、交叉(Crossover)以及變異(Mutation)等機(jī)制，不斷迭代搜索出近似最優(yōu)解，進(jìn)而達(dá)到求解的目的。

遺傳算法進(jìn)行搜索時(shí)首先要對(duì)種群進(jìn)行初始化，其中包括確定種群數(shù)量、確定迭代次數(shù)以及對(duì)染色體進(jìn)行編碼等步驟。算法需要確定問(wèn)題求解的編碼和解碼過(guò)程，一般情況下采取實(shí)數(shù)編碼或二進(jìn)制編碼，具體情況需要根據(jù)具體的問(wèn)題求解進(jìn)行設(shè)計(jì)。遺傳算法的種群由種群數(shù)量個(gè)個(gè)體所組成，其中一個(gè)個(gè)體以一串變量特征描述，即基因描述，種群的初始化也就是初代種群根據(jù)規(guī)則生成的過(guò)程。

對(duì)于每一次迭代過(guò)程，遺傳算法需要計(jì)算個(gè)體的適應(yīng)度，也就是個(gè)體對(duì)于問(wèn)題的匹配程度。適應(yīng)度的值越大，解的質(zhì)量就越高。

每一次迭代，種群需要經(jīng)歷選擇、交叉、變異三個(gè)步驟。選擇即從種群中選出適應(yīng)性較好的個(gè)體，淘汰適應(yīng)性較差的個(gè)體傳入下一代種群。交叉即對(duì)個(gè)體對(duì)中的基因序列進(jìn)行交換，通過(guò)交叉，遺傳算法對(duì)解的搜索能力得到有效提高。變異即對(duì)個(gè)體基因序列中的基因值進(jìn)行變動(dòng)，變異操作使得遺傳算法具有局部的隨機(jī)搜索能力，并能夠維持群體的多樣性，防止算法出現(xiàn)過(guò)早收斂的情況。

在迭代次數(shù)或者種群中最優(yōu)個(gè)體的適應(yīng)度達(dá)到一定閾值后算法終止。種群中適應(yīng)度最高的個(gè)體就是求得的相對(duì)最優(yōu)解。

2 問(wèn)題描述及方法

2.1 問(wèn)題描述

列車圖像配準(zhǔn)的關(guān)鍵，就是使用具體的變換模型(例如，剛體變換，仿射變換等)將配準(zhǔn)圖像A在空間范圍下進(jìn)行線性變換，使其與參考圖像B能夠在位置上相匹配。計(jì)算機(jī)描述下的圖像一般是堆疊的二維矩陣，設(shè)圖像A與B在空間中的位置信息描述分別為I1(x,y)以及I2(x,y)，其中x和y分別表示圖像坐標(biāo)系下的橫縱坐標(biāo)，則兩個(gè)位置信息的關(guān)系可以表示為：

I1(x,y)=I2(f(x,y))

(3)

式中，f表示二維空間中的坐標(biāo)變換方程。

2.2 遺傳算法設(shè)計(jì)

遺傳算法在解決特定問(wèn)題的設(shè)計(jì)過(guò)程主要分為三部分：基因串的編碼、適應(yīng)度函數(shù)的設(shè)計(jì)以及終止條件的確定。

2.2.1 編碼方法

為了有效表示水平、垂直偏移量以及旋轉(zhuǎn)偏移量，并有效對(duì)解空間進(jìn)行搜索，實(shí)驗(yàn)選擇二進(jìn)制編碼表示配準(zhǔn)的變換參數(shù)。如圖3所示，其中ΔX表示水平方向偏移量，ΔY表示垂直方向偏移量，Θ表示旋轉(zhuǎn)偏移量。

圖3 基因編碼方式

2.2.2 適應(yīng)度函數(shù)設(shè)計(jì)

遺傳算法的適應(yīng)度主要用于評(píng)估個(gè)體對(duì)于環(huán)境的適應(yīng)性。對(duì)于該算法，我們選擇配準(zhǔn)圖像之間的互信息作為適應(yīng)度函數(shù)，即：

F(t)=MI(A,B)

(4)

式中，MI(A,B)表示配準(zhǔn)圖像B和參考圖像A之間的互信息。兩張圖片之間的互信息越大，配準(zhǔn)的效果越好，個(gè)體的適應(yīng)性越強(qiáng)。故我們將配準(zhǔn)問(wèn)題有效轉(zhuǎn)化為多參數(shù)優(yōu)化使F(t)達(dá)到最大的過(guò)程。如圖4所示，使用互信息作為適應(yīng)度函數(shù)，對(duì)同一攝像頭捕獲的不同時(shí)間的圖像進(jìn)行水平配準(zhǔn)。

圖4 基于互信息的圖像配準(zhǔn)

2.2.3 終止條件

遺傳算法的終止可以通過(guò)固定迭代次數(shù)，或者根據(jù)種群個(gè)體信息進(jìn)行判斷。實(shí)驗(yàn)中我們通過(guò)固定迭代次數(shù)終止算法的執(zhí)行。

2.3 算法執(zhí)行過(guò)程

算法的大致流程如圖5所示，其具體操作步驟細(xì)節(jié)如下：

圖5 基于遺傳算法的圖像配準(zhǔn)求解過(guò)程

? 讀取待配準(zhǔn)圖像A與B；

? 設(shè)置種群大小，種群數(shù)量過(guò)大，算法執(zhí)行效率較低；種群數(shù)量過(guò)小，算法難以獲得較優(yōu)解，實(shí)驗(yàn)中我們?cè)O(shè)置種群大小為30；

? 對(duì)基因進(jìn)行編碼，初始化種群；

? 計(jì)算個(gè)體的適應(yīng)度函數(shù)，實(shí)驗(yàn)中使用圖片互信息作為適應(yīng)度參數(shù)；

? 選擇操作，選擇操作的目的就是從當(dāng)前種群中選擇適應(yīng)度較高的個(gè)體，并淘汰適應(yīng)度較差的個(gè)體，實(shí)驗(yàn)中采用輪盤賭方法；

? 交叉操作，選擇父代中的個(gè)體并對(duì)其基因序列進(jìn)行部分交換，如果交換產(chǎn)生的子代適應(yīng)度比父代更好，則替代父代個(gè)體，否則不進(jìn)行替代；

? 變異操作，交叉操作后各種個(gè)體容易失去多樣性，算法易整體落入局部最優(yōu)，因此，需要對(duì)二進(jìn)制位進(jìn)行翻轉(zhuǎn)操作以保證種群多樣性，變異的概率我們?cè)O(shè)置為0.0.2；

? 反復(fù)進(jìn)行選擇、變異、交叉操作，直到達(dá)到算法迭代總次數(shù)。

3 實(shí)驗(yàn)及對(duì)比

為了體現(xiàn)遺傳算法在解決圖像配準(zhǔn)問(wèn)題上的優(yōu)勢(shì)，我們選擇了數(shù)張按次序排列的配準(zhǔn)列車圖像進(jìn)行實(shí)驗(yàn)，并以傳統(tǒng)基于SIFT特征點(diǎn)的圖像配準(zhǔn)方法和基于模板匹配的方法進(jìn)行比較[17-18]。實(shí)驗(yàn)主要硬件為i5 CPU，編程語(yǔ)言為C++。

3.1 算法對(duì)比

為了證明提出的方法的有效性，我們將本文提出的方法與基于特征點(diǎn)匹配的配準(zhǔn)方法和基于模板匹配的配準(zhǔn)方法進(jìn)行處理時(shí)間對(duì)比。經(jīng)過(guò)反復(fù)人工測(cè)量，實(shí)際水平偏移量為338像素。

表1 不同算法時(shí)間效率對(duì)比

實(shí)驗(yàn)結(jié)果表明，基于特征點(diǎn)匹配的配準(zhǔn)方法使用SIFT算法提取特征進(jìn)行特征匹配，最終計(jì)算變換參數(shù)。在特征提取與特征匹配過(guò)程會(huì)花費(fèi)大量時(shí)間，因此所需的時(shí)間較長(zhǎng)，但像素誤差較低。基于模板匹配的配準(zhǔn)方法不需要特征提取的過(guò)程，因此時(shí)間效率上優(yōu)于基于特征點(diǎn)匹配的方法，但仍然需要遍歷所有的搜索空間，獲取最優(yōu)解。我們提出的算法，省略了全局搜索與特征提取的過(guò)程，所以時(shí)間效率更優(yōu)且像素誤差更小。

相比于基于特征點(diǎn)匹配的配準(zhǔn)方法，我們的算法也具有空間效率的優(yōu)越性?；谔卣鼽c(diǎn)匹配的配準(zhǔn)方法需要同時(shí)加載基準(zhǔn)圖像和目標(biāo)圖像。圖像質(zhì)量越高，圖像越大，其提取的特征點(diǎn)更加穩(wěn)定，但是需要耗費(fèi)更大的空間資源?；谀０迤ヅ涞呐錅?zhǔn)方法與我們提出的算法所需空間資源大小接近，但本文方法的時(shí)效性更優(yōu)。

3.2 算法魯棒性分析

通過(guò)調(diào)整算法參數(shù)并在多張圖片上進(jìn)行實(shí)驗(yàn)分析，實(shí)驗(yàn)的結(jié)果為多次運(yùn)算取平均值。傳統(tǒng)基于SIFT特征點(diǎn)的圖像配準(zhǔn)計(jì)算的偏移量為339像素。我們使用不同的迭代次數(shù)以及種群數(shù)量進(jìn)行了10次試驗(yàn)，使用遺傳算法對(duì)水平方向的偏移量進(jìn)行求解。計(jì)算結(jié)果如表2所示。

表2 遺傳算法最優(yōu)解偏移量

實(shí)驗(yàn)結(jié)果表明，在迭代次數(shù)較少且種群數(shù)量較小的情況下，算法的穩(wěn)定性略低且解的偏移存在誤差；隨著迭代次數(shù)與種群數(shù)量的逐漸增加，算法能夠逐漸穩(wěn)定并趨緊較優(yōu)解，由表2明顯可知最優(yōu)解的標(biāo)準(zhǔn)差逐漸減小。

3.3 算法性能比較

對(duì)于傳統(tǒng)算法，由于其需要經(jīng)歷較為費(fèi)時(shí)的特征點(diǎn)提取、特征點(diǎn)匹配以及特征點(diǎn)篩選步驟，如果減少這些步驟的復(fù)雜度則算法的質(zhì)量將無(wú)法保證。對(duì)于遺傳算法，由于其具有較強(qiáng)的全局搜索能力，通過(guò)調(diào)整算法超參數(shù)，算法能夠在較短時(shí)間內(nèi)獲得可行解。在不同條件下的系統(tǒng)耗費(fèi)的運(yùn)算時(shí)間如表3所示。

表3 遺傳算法運(yùn)行時(shí)間

由表3可知，在種群數(shù)量以及迭代次數(shù)較少的情況下，算法的運(yùn)行時(shí)間較短，但解的質(zhì)量較低；當(dāng)算法的迭代次數(shù)以及種群數(shù)量較大的情況下，盡管解的質(zhì)量較高但運(yùn)行的時(shí)間有明顯上升。通過(guò)對(duì)算法參數(shù)調(diào)整，在迭代次數(shù)為10，種群數(shù)量為18的情況下，算法的求解效率能夠達(dá)到接近1秒/次匹配。

同時(shí)，對(duì)比傳統(tǒng)的特征點(diǎn)算法，在獲得相對(duì)穩(wěn)定的偏移量解的情況下，需要的時(shí)間接近4 s，遺傳算法在該情形下的求解能力明顯優(yōu)于傳統(tǒng)方法，更加適用于實(shí)時(shí)列車圖像匹配。

3.4 實(shí)驗(yàn)效果

為了更進(jìn)一步說(shuō)明本文算法的有效性，我們對(duì)比了列車圖像配準(zhǔn)前后的效果。圖6表示單一攝像頭采集的列車圖像序列；圖7表示使用本文提出的算法進(jìn)行配準(zhǔn)并完成拼接的列車圖像。實(shí)驗(yàn)效果表明，我們的算法適用于鐵路列車圖像配準(zhǔn)任務(wù)。

圖6 采集的列車圖像序列

圖7 配準(zhǔn)拼接后的列車圖像

4 結(jié)論

本文提出了使用遺傳算法解決圖像配準(zhǔn)問(wèn)題的算法，實(shí)驗(yàn)表明，算法能夠有效地校正多攝像頭拍攝造成的偏移，并且具有較好的穩(wěn)定性和效率，具有較強(qiáng)的實(shí)際使用價(jià)值。