張寶龍李洪蕊 李 丹 戴鳳智

（天津科技大學電子信息與自動化學院 天津 300222）

一種針對車載全景系統(tǒng)的圖像拼接算法的仿真

張寶龍*李洪蕊 李 丹 戴鳳智

（天津科技大學電子信息與自動化學院 天津 300222）

傳統(tǒng)的全景圖像拼接算法，多采用Harris角點的特征提取或尺度不變特征轉換 （SIFT）的特征匹配算子的方式，對存在重合部分的圖像進行圖像拼接處理。但對于車載全景圖像拼接算法而言，車身四周采集到的4幅魚眼畸變圖像，使用特征提取算子的方法進行的拼接，運算的復雜度高，效率低，不能滿足車載設備的實時性要求。針對這一問題，該文提出一種專門應用在車載系統(tǒng)的車載全景圖像拼接算法，并對其進行Matlab仿真，最大限度提高算法的運算效率，以滿足車載系統(tǒng)實時性的要求，真實的反應路況信息，輔助駕駛員安全駕駛。

計算機視覺；圖像拼接；車載全景；實時性；魚眼圖像

1 引言

近年來，隨著計算機視覺的發(fā)展，全景圖像被廣泛應用在醫(yī)學成像技術、遙感圖像處理、虛擬現(xiàn)實世界和車載安全等方面［1］。尤其是車載安全方面，車載全景泊車系統(tǒng)因其為駕駛帶來的全方位無死角的視覺體驗而越來越受駕駛員的青睞，成為近年來新興的技術發(fā)展方向。但是一臺攝像機或一個攝像頭的視角大小是有限的，為了獲得無死角的全景圖像，考慮將多個方向采集到的圖像利用特定的算法拼接起來，以獲得所需的全景圖像［2］。

一般的圖像拼接技術，是利用圖像重疊部分的像素的相似性，將多副圖像拼接成一幅大圖像，使其最大程度的接近現(xiàn)實場景，減少圖像的失真［3］。為此，經(jīng)過國內(nèi)外專家的大量研究，總結出圖像拼接技術的過程包括圖像預處理，特征提取，圖像配準和圖像融合技術等步驟，其中圖像的特征提取最為關鍵，直接影響圖像拼接的效果。圖像的特征一般包括圖像的角點，輪廓和一些不變矩等［4］。其中，角點具有計算量小、適應性強、精確度高、信息量豐富等優(yōu)點，成為圖像拼接技術的最常用特征。其中，Harris角點提取算法是基于角點的特征提取的常用方法，角點對應于圖像中信息含量高的位置，相對于原圖而言，使用角點進行攝像機標定、匹配和重建能夠大大的提高精度［5］，但是在存在大量角點匹配的情況下，這種方法極大的降低了圖像處理的速度，影響算法的運行效率。文獻［6-9］中提出的基于尺度空間的尺度不變特征轉換（Scale-Invariant Feature Transform， SIFT）的特征匹配方法，也是圖像拼接的一種常用方法，較穩(wěn)健地解決了不同攝像頭、不同時間視角的圖像配準，但是SIFT算法運算量大，當需同時處理4幅圖像時，不能滿足實時性視頻圖像拼接的要求［10］。以上兩種方法都能實現(xiàn)全景圖像的拼接，但對于車載全景圖像拼接，需先將車身4周采集到的超廣角魚眼鏡頭的畸變圖像進行畸變校正的變換，然后再將校正好的圖像進行空間逆投影變換，最后待拼接的圖像是基于兩次非線性變換后的圖像，再對其進行圖像的特征提取，特征匹配。但經(jīng)過兩次非線性變換后的圖像，其圖像像素特征不能通過Harris或SIFT算子準確提取，提取出的特征混亂，將其拼接后的圖像的質(zhì)量很差，并且算法效率很低，完全不能滿足車載系統(tǒng)的實時性的要求。為解決這一根本問題，本文提出了一種針對車載系統(tǒng)的全景圖像拼接的特殊標定方法，在達到拼接圖像的前提下，最大可能地提高程序的運行效率，滿足車載系統(tǒng)的實時性要求。

2 車載全景圖像拼接預處理步驟

為了實現(xiàn)車載全景圖像拼接，可將算法的流程劃分為6個部分：圖像的采集、圖像的預處理、魚眼圖像的畸變校正、具有透視效果的圖像的空間逆投影變換、圖像拼接和圖像的融合，其算法的流程圖，可表示為如圖1所示。

2.1 圖像采集和圖像預處理

對于車載全景圖像拼接，第1步是圖像的采集，本實驗圖像的采集是使用視場角達到210°的超廣角魚眼鏡頭作為采集圖像的攝像頭。并對采集到的圖像進行圖像的預處理，盡量減少圖像處理過程中由于光照，環(huán)境等條件，對圖像拼接效果造成的影響。

2.2 圖像畸變校正

由于本實驗采用的是項目組自主研發(fā)的視場角達210°的超廣角魚眼鏡頭，鏡頭的各項參數(shù)如表1所示。

圖1 車載全景圖像拼接流程圖

表1 鏡頭規(guī)格參數(shù)

極大的視場角造成圖像的嚴重畸變，在進行圖像的拼接之前，需要對其進行魚眼鏡頭的畸變校正，其鏡頭模型及鏡頭的畸變曲線，如圖2所示。

圖2 魚眼鏡頭及鏡頭畸變曲線

分析文獻［11～13］，根據(jù)圖2（b）的超廣角魚眼鏡頭的畸變曲線，使用最小二乘法對其進行曲線擬合，求出擬合的多項式系數(shù)，采用多項式坐標變換的畸變校正方法，推導出畸變校正的參數(shù)方程：

其中，Y為鏡頭畸變曲線值，θ為鏡頭視場角，e5， e4，e3， e2， e1， e0均為最小二乘法擬合出的參數(shù)。如圖3所示，為魚眼鏡頭畸變校正的效果圖。

2.3 圖像的空間逆投影變換［14］

安裝在車身前后的攝像頭受到安裝位置的限制，光軸與地面存在一定角度，獲取到的圖像存在透視效果，而車載全景圖像所呈現(xiàn)出的全景鳥瞰圖從視覺效果上要求是90°的俯視效果，因此需要對車身前后采集到的圖像進行逆投影變換，消除透視效果［15］。

圖3 魚眼鏡頭畸變校正效果圖

傳統(tǒng)的逆投影變換方法是利用從圖像坐標系到世界坐標系的轉換關系得到取出透視效果的圖像［16］。根據(jù)小孔成像的模型可得到簡化后的魚眼鏡頭的成像模型，并將其分成X軸方向和Y軸方向分別建立坐標轉換模型，如圖4所示。

圖4 世界坐標系與圖像坐標系的坐標轉換模型

圖中，O點是攝像機的光心，矩形abcd是圖像的成像平面，其對應的道路區(qū)域是梯形ABCD。在路面上任取一點P，設其坐標為（X，Y）， P點在圖像中對應的點為P，設其坐標為（x，y），由簡單的數(shù)學分析可得，坐標的轉換公式為

其中，X，Y為世界坐標系中的坐標值，x， y為圖像坐標系中的坐標值，h為攝像頭的安裝高度，H，W為圖像的高度和寬度，α0， β0為攝像頭的視場角，λ0為攝像頭的俯仰角。如圖5所示，為其逆投影變換的效果圖。

圖5 圖像逆投影變換后效果圖

3 改進的車載全景圖像拼接

在進行圖像拼接的過程中，必須要在相鄰的兩幅圖像的重疊區(qū)域找到特征點或者特征信息來進行圖像的拼接，但由于實驗采用的是視場角達210°的超廣角魚眼鏡頭，相鄰兩幅圖像的重疊區(qū)域很大，導致從待拼接的兩幅圖像中提取特征信息的計算量大，拼接速度慢，不能滿足車載系統(tǒng)的實時性要求?；谶@個問題，本文提出一種專門適應于車載系統(tǒng)的特殊標定方法（即基于菱形塊特征點的圖像拼接算法），來對圖像進行拼接。

3.1 算法的原理

由于重疊區(qū)域大，特征信息多，且車載圖像在拼接前會經(jīng)過畸變校正和圖像的逆投影變換兩個非線性過程，使圖像原本的特征信息發(fā)生嚴重的變化，造成使用SIFT算子或者Harris特征提取的方法獲得圖像的特征信息混亂，并且二者的算法計算量大，耗時時間長。分析上述的原因及可能帶來的影響，表明在進行全景圖像拼接之前需要考慮到圖像特征信息的變化和算法的運算速率兩個方面的影響因素。因此本文提出了一種能兼顧兩種因素的圖像拼接算法，主要的方法是在一個全黑色的環(huán)境下，在汽車的4個方位放上4個大小完全相同的白色菱形塊，并且要保證4個菱形塊所在的范圍能夠被魚眼鏡頭采集到。故在采集圖像前，需要對實驗的環(huán)境進行特殊的設定，采用基于特征的圖像配準算法，提取4個菱形塊的4個頂點作為圖像拼接算法的標定點，根據(jù)實際使用的4個菱形塊的形狀完全相同的這一特點，計算出菱形塊的相對位置的兩個點之間的長度，及與坐標軸之前相對的角度，在保證線段的長度和角度相等的情況下，以4幅處理好的待拼接圖像中1幅圖像為基準（本文采用的是前視圖為標定基準），對圖像進行圖像的縮放和旋轉的處理，最后將大小和旋轉角度相同的圖像，根據(jù)相對坐標的偏移量的不同，采用圖像平移的算法，將4副圖像拼接成一幅全景圖像。通過使用這種基于菱形塊特征點的圖像拼接算法的標定方法，在滿足特征點信息足夠的前提下，對汽車周身4個方向的圖像進行全景的拼接。

標定方法需按照以下步驟進行，取純黑色棉布平鋪在水平地面上，將汽車模型放在黑布中央，在汽車前后4個角，和汽車一定距離的地方放置4個大小相同的白色菱形布，保證短邊對角線與車頭、車尾平行，并將其固定在黑色棉布上，以防止其位置的不定性變化，且要保證4個白色菱形塊都能進入到4個方向攝像頭的視野范圍內(nèi)。特殊標定環(huán)境獲得的4幅圖像的方法可簡化表示為圖6所示。

圖6 車載全景圖像拼接標定示意圖

根據(jù)以上參數(shù)對圖像進行縮放和旋轉的處理，將待拼接的兩幅圖像處理成相同方向上的角度和大小都相同的圖像，在使用圖像上的特定點進行圖像的拼接。

首先根據(jù)圖像中A，B和A'， B'之間的關系，先對圖像的X方向和Y方向分別進行縮放，按照式（7）所示，使圖像在兩個方向上的大小相同。

最后得到處理好的待拼接圖像，將其按照待拼接圖像A和A'的坐標點在拼接圖像的坐標對應相同的原理，將兩幅圖放在大的圖像模板上，以該模板為基準建立坐標系，將前視圖順時針旋轉90°，并將其固定在坐標系最左端，作為圖像拼接的基準，通過圖像平移的方式，將左視圖上的菱形塊上與前視圖菱形塊上位置相同的點進行相對坐標的計算，按照計算出的相對坐標的偏移量的數(shù)值對左視圖進行平移，至兩點完全重合為止，最后將兩幅圖像拼接成一幅不存在重合區(qū)域的完整的圖像。采用上述方法先將前視圖，與左右視圖拼接完成后，將拼接好的3個視圖的圖像作為一個整體最后再和后視圖進行拼接。圖7，是記錄使用Matlab仿真車載全景圖像拼接的過程及最終拼接出的全景鳥瞰圖。

圖7 車載全景圖像拼接過程示意圖

最后，將該算法移植到DSP系統(tǒng)上運行，其實時性能達到每秒25幀的運行效率。系統(tǒng)屏幕顯示截圖效果如圖8所示。

4 結束語

利用改進的車載全景圖像拼接的算法，在圖像拼接的精準度上可能會比SIFT算子和Harris角點特征提取的方法稍差，但是車載系統(tǒng)上，對實時性要求很高，故這種采用簡單的圖像幾何變換的操作，可以滿足精確度在接受范圍內(nèi)的情況下，最大可能性地提高算法的運行效率，以達到車載系統(tǒng)的實時性要求。以便在行車過程中為駕駛員提供一定程度上的視覺定位，在保證安全的情況下，輔助駕駛員安全駕駛。此外，使用簡單的標定設備，降低對標定場地，標定設備等的嚴格要求，彌補了標定復雜度高的缺點，更具有實際的應用前景和意義，方便車廠的大批量標定操作。

圖8 DSP系統(tǒng)屏幕截圖效果

［1］ 王俊杰， 劉家茂， 胡運發(fā)等. 圖像拼接技術［J］. 計算機科學，2003， 30（6）: 141-144. Wang Jun-jie， Liu Jia-m ao， Hu Yun-fa， et al.. Im age m osaic technology［J］. Com puter Science， 2003， 30（6）: 141-144.

［2］ 李軍， 吳潔明. 一種改進圖像拼接算法的仿真研究［J］. 計算機仿真， 2012， 29（2）: 273-313. Li Jun and Wu Jie-m ing. Simulation study of an im proved image stitching algorithm［J］. Computer Simulation， 2012，29（2）: 273-313.

［3］ 封靖波， 蘇志勛， 劉秀平. 一種基于相似趨向的全景圖自動拼接算法［J］. 計算機學報， 2003， 26（11）: 1604-1608. Feng Jing-bo， Su Zhi-xun， and Liu Xiu-ping. A sim ilar trend panorama stitching algorithm based on automatic［J］. Chinese Journal of Computers， 2003， 26（11）: 1604-1608.

［4］ 吳樂富， 丁廣太. 基于區(qū)域的圖像拼接算法［J］. 計算機工程與設計， 2010， 31（18）: 4044-4050. Wu Le-fu and Ding Guang-tai. Image stitching algorithm based on region［J］. Computer Engineering and Design， 2010，31（18）: 4044-4050.

［5］ 郭曉晶. 圖像角點檢測方法的研究［D］. ［碩士論文］， 青島大學，2009. Guo Xiao-jing. Research on im age corner detection method［D］. ［ Master dissertation］， Qingdao University， 2009.

［6］ 鄧朝省， 陳瑩. 基于局部SIFT特征點的雙閾值配準算法［J］.計算機工程與應用， 2014， 50（2）: 189-193. Deng Chao-sheng and Chen Ying. Dual-threshold matching algorithm based on local SIFT feature points［J］. Computer Engineering and Applications， 2014， 50（2）: 189-193.

［7］ 張朝偉， 周焰， 吳思勵， 等. 基于SIFT特征匹配的監(jiān)控圖像自動拼接［J］. 計算機應用， 2008， 28（1）: 191-194. Zhang Chao-wei， Zhou Yan， Wu Si-li， et al.. Monitoring based on SIFT feature m atch ing Autom atic Im age Stitching［J］. Journal of Com puter Applications， 2008， 28（1）: 191-194.

［8］ Lowe D G. Ob ject recognition from local scale invariant features［C］. Proceedings of the Seventh International Con ference on Com puter Vision （ICCV9）， Am sterdam: Corfu，1999: 1150-1157.

［9］ Lowe D G. Distinctive image features from scale-invariant key-points［J］. International Journal of Computer Vision，2004， 60（2）: 91-110.

［10］ 何賓， 陶丹， 彭勃. 高實時性F-SIFT圖像拼接算法［J］. 紅外與激光工程， 2013， 42（S2）: 440-444. He Bin， Tao Dan， and Peng Bo. High real F-SIFT image stitching algorithm［J］. Infrared and Laser Engineering， 2013，42（S2）: 440-444.

［11］ 黃巖巖， 李慶， 張斌珍. 魚眼畸變棋盤格圖像校正［J］. 計算機工程與應用， 2014， 50（12）: 111-114. Huang Yan-yan， Li Qing， and Zhang Bin-zhen. Checkerboard distortion fisheye image correction［J］. Computer Engineering and Applications， 2014， 50（12）: 111-114.

［12］ 李根， 費章君， 楊仕友. 基于幾何成像模型的魚眼鏡頭圖像校正算法和技術研究［J］. 機電工程， 2013， 30（10）: 1268-1272. Li Gen， Fei Zhang-jun， and Yang Shi-you. Geom etric im aging m odel is based on a fish-eye correction algorithm and technology research head image［J］. Journal of Mechanical & Electrical Engineering， 2013， 30（10）: 1268-1272.

［13］ 王永仲. 魚眼鏡頭光學［M］. 北京: 科學出版社， 2006: 26-61. W ang Yong-zhong. Fisheye Optics［M］. Beijing: Science Press，2006: 26-61.

［14］ 賈立山， 羅劍， 李世其. 基于車道線直線模型的道路曲率估計方法［J］. 江蘇大學學報， 2012， 33（4）: 373-378. Jia Li-shan， Luo Jian， and Li Shi-qi. Estimated lane road curvature method based on linear models［J］. Journal of Jiangsu University （Natural Science Edition）， 2012， 33（4）: 373-378.

［15］ 趙凱. 全景可視化輔助泊車系統(tǒng)研究［D］. ［碩士論文］， 合肥工業(yè)大學， 2011. Zhao Kai. Panoramic visualization research auxiliary parking system［D］. ［Master dissertation］， Hefei University of Technology， 2011.

［16］ 郭磊， 李克強， 馬瑩， 等. 基于定向二維插值的逆投影變換方法［J］. 清華大學學報（自然科學版）， 2006， 46（5）: 712-715. Guo Lei， Li Ke-Qiang， Ma Ying， et al.. Based on a twodimensional inverse p rojection transform ation directional interpolation method［J］. Journal of Tsinghua University（Science and Technology）， 2006， 46（5）: 712-715.

張寶龍： 男，1976年生，教授，碩士生導師，研究方向為現(xiàn)代顯示技術等.

李洪蕊： 女，1990年生，碩士生，研究方向為計算機圖像處理.

李 丹： 女，1977年生，副教授，碩士生導師，研究方向為成像光學及非成像光學設計等.

戴鳳智： 男，1971年生，副教授，碩士生導師，研究方向為控制理論與控制工程、模式識別與智能系統(tǒng)等方向的研究.

A Simulation of Image M osaic A lgorithm Based on Vehicle Panorama System

Zhang Bao-long Li Hong-rui Li Dan Dai Feng-zhi
（College of Electronic Information and Automation， Tianjin University of Science and Technology， Tianjin 300222， China）

For the mosaic algorithm of traditional panoram ic image， the Harris corner extraction or the Scale-Invariant Feature Transform （SIFT） feature matching are the most commonly used methods for resolving the parts of im age overlap. But for the vehicle panoram ic image m osaic algorithm， fou r images of fisheye distortion around a car are spliced by the algorithm of feature extraction. The algorithm has high com putational com plexity，low efficiency and is not able to satisfy the real-time requirements of vehicle equipment. Aim ing at this problem， a mosaic algorithm for the panoram ic images specially used in the vehicle system is proposed and simulated in matlab. The resu lt is to maxim ize the efficiency of the algorithm and meet the requirements of real-time for the vehicle system. It can be achieved that the real traffic in formation is disp layed for protecting the safety of the driver.

Com pu ter vision； Image mosaic； Vehicle panoram ic； Real-tim e； Fisheye image

TP391.4

： A

：1009-5896（2015）05-1149-05

10.11999/JEIT 141185

2014-09-10收到，2014-11-25改回

天津市科技支撐計劃（13ZCZDGX 03000）資助課題*通信作者：張寶龍 eezbl@tust.edu.cn