李曉亮，王宇寧，安兆杰

(武漢理工大學(xué) 汽車(chē)工程學(xué)院，湖北 武漢430070)

隨著汽車(chē)保有量的急劇增加，泊車(chē)位缺少、泊車(chē)?yán)щy等問(wèn)題日漸突出，為了解決此類問(wèn)題，全景環(huán)視泊車(chē)輔助系統(tǒng)應(yīng)運(yùn)而生。全景環(huán)視泊車(chē)輔助技術(shù)是指當(dāng)車(chē)速在一定數(shù)值范圍內(nèi)(可根據(jù)主機(jī)廠需要設(shè)定，一般取0 ＜v≤15 km/h)。通過(guò)在車(chē)身前、后、左、右安裝4 個(gè)廣角攝像頭［1］，采集車(chē)身前、后、左、右4 個(gè)方向的真實(shí)畫(huà)面，得到4 幅圖像后控制器對(duì)這4 幅圖像進(jìn)行采集、矯正變換和無(wú)縫拼接等處理，最終處理成一幅車(chē)輛周邊360°的車(chē)身鳥(niǎo)瞰圖，并在中控屏幕上顯示［2］，如圖1 所示。

圖1 全景環(huán)視泊車(chē)輔助系統(tǒng)基本原理

全景環(huán)視泊車(chē)輔助系統(tǒng)的攝像頭一般布置在汽車(chē)前保險(xiǎn)杠Logo 下方、左、右后視鏡下方，以及后牌照燈處［3］。但是商用車(chē)的車(chē)身體積較大，結(jié)構(gòu)也較為復(fù)雜，如果對(duì)多個(gè)魚(yú)眼攝像頭的位置和姿態(tài)關(guān)系參數(shù)沒(méi)有一個(gè)具體的標(biāo)準(zhǔn)會(huì)增加安裝的難度，并使得后續(xù)圖像畸變校正、無(wú)縫拼接的效果難以達(dá)到最優(yōu)。

通過(guò)實(shí)驗(yàn)對(duì)比，建立全景環(huán)視泊車(chē)輔助系統(tǒng)魚(yú)眼攝像頭在商用車(chē)上的安裝優(yōu)化方案，使得在安裝過(guò)程中可根據(jù)商用車(chē)的具體情況來(lái)確定攝像頭的安裝位置(包括前后兩個(gè)攝像頭在車(chē)寬、左右側(cè)面兩個(gè)攝像頭在車(chē)長(zhǎng)中的位置，攝像頭距離地面的垂直高度)和安裝方式(攝像頭中心光軸上下傾斜的角度、左右平移的幅度)等。

1 商用車(chē)安裝泊車(chē)輔助系統(tǒng)的難點(diǎn)

商用車(chē)是指在設(shè)計(jì)和技術(shù)特征上用于運(yùn)送人員和貨物的汽車(chē)［4］。駕駛員在僅轉(zhuǎn)動(dòng)眼球而不回頭的情況下，可以看到商用車(chē)前方兩側(cè)約200°的范圍，而后視鏡只能提供側(cè)后方60°左右的可視范圍，車(chē)輛兩側(cè)約有100°的視野要靠駕駛員扭頭觀察［5］。商用車(chē)的視野盲區(qū)如圖2 所示，駕駛員容易忽視后方出現(xiàn)的緊急狀況。同時(shí)在商用車(chē)右轉(zhuǎn)時(shí)，后輪并不是沿著前輪的軌跡行駛，后輪行駛軌跡往往比前輪更靠近內(nèi)側(cè)，車(chē)身越長(zhǎng)，“內(nèi)輪差”就越明顯［6］。因此商用車(chē)在泊車(chē)時(shí)存在著安全隱患，需要更大的泊車(chē)視野。

全景環(huán)視泊車(chē)輔助系統(tǒng)魚(yú)眼攝像頭在商用車(chē)上的安裝需要考慮到其結(jié)構(gòu)復(fù)雜、底盤(pán)及車(chē)身類型多變和貨載類型多樣等因素。安裝的位置也不像乘用車(chē)那樣較為固定，而是可以適當(dāng)調(diào)節(jié)。因此安裝時(shí)需要考慮一些商用車(chē)(例如掛車(chē)、專業(yè)車(chē)等)底盤(pán)結(jié)構(gòu)布局較為復(fù)雜等因素，既要避免影響商用車(chē)的正常作業(yè)，又要保證各個(gè)魚(yú)眼攝像頭拼接融合形成的全景圖有較好的效果。

圖2 商用車(chē)視野盲區(qū)

2 魚(yú)眼鏡頭的光學(xué)特性

2.1 魚(yú)眼鏡頭成像特點(diǎn)

魚(yú)眼鏡頭是一種焦距極短并且視角接近或等于180°的鏡頭，根據(jù)攝像頭感光面積的不同，圖像并不會(huì)充滿整個(gè)畫(huà)幅，而是所拍攝的區(qū)域在畫(huà)幅內(nèi)形成一個(gè)圓形區(qū)域或者鼓型區(qū)域，即接近一個(gè)半球形［7］。

根據(jù)魚(yú)眼攝像頭的成像原理，其圖像信息以非線性的方式存儲(chǔ)，其成像特點(diǎn)是除了圖像中心的景物保持不變形外，圖像中心以外的水平或垂直的景物都發(fā)生了變形，并且越接近圖像邊緣區(qū)域，變形越明顯，中心圖像占據(jù)了很大的成像區(qū)域，信息量少，邊緣成像區(qū)域小，但含更多物體的信息［8］。這樣的成像特點(diǎn)不符合人眼正常的視覺(jué)。因此，使用魚(yú)眼圖像前，應(yīng)對(duì)魚(yú)眼圖像進(jìn)行校正，對(duì)扭曲變形的目標(biāo)進(jìn)行校正，將圖像信息變?yōu)榫€性存儲(chǔ)的信息，便于后續(xù)圖像的拼接和融合。

2.2 魚(yú)眼鏡頭圖像畸變校正

全景視覺(jué)圖像的算法主要包含去魚(yú)眼失真、平面投影映射和圖像合成。圖像合成即無(wú)縫拼接技術(shù)是全景環(huán)視泊車(chē)技術(shù)的核心，其通過(guò)對(duì)齊空間一系列重疊的圖像，構(gòu)成一個(gè)無(wú)縫的、高清晰的圖像，比單個(gè)圖像具有更高的分辨率和更大的視野。去魚(yú)眼失真(即魚(yú)眼圖像畸變校正)是后續(xù)圖像合成的關(guān)鍵步驟，直接決定了后續(xù)步驟圖像處理的質(zhì)量。魚(yú)眼圖像畸變校正可以用圖3 來(lái)說(shuō)明。

魚(yú)眼圖像畸變校正過(guò)程就是魚(yú)眼鏡頭成像過(guò)程的逆過(guò)程：魚(yú)眼圖像中的任意一點(diǎn)P3，沿平行于Z軸方向投影到球面上與球面交于P2點(diǎn)，連接OP2交平面ABCD于P1點(diǎn)，P1就是P3的校正點(diǎn)。把魚(yú)眼圖像中的每個(gè)點(diǎn)都這樣映射到平面ABCD上，最后平面ABCD就是所要求魚(yú)眼圖像的校正圖像［9］。

圖3 魚(yú)眼圖像畸變校正過(guò)程示意圖

在實(shí)驗(yàn)室中利用魚(yú)眼攝像頭拍攝一張畫(huà)滿20 ×20 個(gè)小正方形的白紙，得到魚(yú)眼圖像和畸變校正后的圖像，如圖4 所示。從圖4 中可以看到，在進(jìn)行畸變校正后，除了圖像的中心變形較少，成像較為清晰外，圖像的邊緣部分仍然存在著一定的拱形失真，需要進(jìn)一步處理。利用魚(yú)眼攝像頭的這個(gè)特點(diǎn)，來(lái)進(jìn)一步優(yōu)化其在商用車(chē)上的安裝方案，即通過(guò)魚(yú)眼攝像頭在商用車(chē)上的優(yōu)化安裝來(lái)減少后續(xù)圖像配準(zhǔn)的工作量。

圖4 魚(yú)眼圖像和畸變校正后的圖像

3 魚(yú)眼鏡頭在商用車(chē)上的安裝優(yōu)化方案

全景環(huán)視泊車(chē)輔助系統(tǒng)的圖像顯示范圍為左、右可視距離可達(dá)2.5 m，前、后可視距離可達(dá)3 m［10］，如圖5 所示。

圖5 全景環(huán)視泊車(chē)輔助系統(tǒng)二維圖像顯示

圖5 中陰影S為左邊魚(yú)眼相機(jī)與后邊魚(yú)眼相機(jī)拍攝圖像的重疊部分，這也是最后圖像進(jìn)行拼接融合的依據(jù)。同理左前、右前、右后兩兩魚(yú)眼相機(jī)都有重疊部分，圖中未顯示。

依據(jù)以上分析提出一種基于全景環(huán)視泊車(chē)輔助系統(tǒng)魚(yú)眼攝像頭在商用車(chē)上的安裝優(yōu)化方案。通過(guò)魚(yú)眼攝像頭的合理安裝來(lái)減少由于畸變校正后圖像邊緣失真的影響，同時(shí)也可減少后續(xù)圖像配準(zhǔn)、融合的工作量，并使最后在中控臺(tái)上顯示的全景圖能精確地反映商用車(chē)四周的情況。

3.1 魚(yú)眼鏡頭中心光軸左右平移的幅度

魚(yú)眼鏡頭的中心光軸是指當(dāng)光線從某個(gè)特殊的方向通過(guò)鏡頭時(shí)，光線射到最后成像芯片上不發(fā)生任何折射［11］。這個(gè)特殊的方向就是魚(yú)眼鏡頭的中心光軸，一般即為通過(guò)鏡頭中心的線。

全景環(huán)視泊車(chē)輔助系統(tǒng)是基于兩兩攝像頭之間的重疊部分，經(jīng)過(guò)一系列的圖像變換后得到鳥(niǎo)瞰圖，如圖6 所示。通過(guò)實(shí)驗(yàn)分析可知，當(dāng)魚(yú)眼鏡頭C1的中心光軸W1由原來(lái)與汽車(chē)車(chē)身垂直變?yōu)榕c車(chē)身存在α 角度W2時(shí)，在攝像頭C2和C4位置不變的情況下，由于魚(yú)眼攝像頭的視野范圍為180°，攝像頭C1與C4的重疊部分l12，l41變多，易于后續(xù)的拼接，同時(shí)攝像頭C1與C2的重疊部分l11，l22也會(huì)變少。然而圖像拼接融合就是依靠這一重疊部分來(lái)完成的，重疊部分的多少將會(huì)直接影響最后的成像效果，因此攝像頭安裝位置應(yīng)該使得左右兩邊成像重疊部分相同。同時(shí)考慮到魚(yú)眼鏡頭的成像特點(diǎn)，圖像邊緣部分變形嚴(yán)重。這些因素會(huì)給后續(xù)的拼接帶來(lái)極大的難度，拼接完成后的圖像也不能真實(shí)地顯示汽車(chē)周?chē)那闆r，極易出現(xiàn)盲區(qū)。同理，魚(yú)眼相機(jī)C2、C3、C4兩兩之間也存在同樣的問(wèn)題。

圖6 安裝4 個(gè)魚(yú)眼攝像頭的汽車(chē)?guó)B瞰示意圖

因此4 個(gè)魚(yú)眼攝像頭中心光軸與車(chē)身邊緣垂直，即魚(yú)眼攝像頭的中心光軸左右平移幅度為0才是最優(yōu)的安裝方案。

3.2 魚(yú)眼鏡頭在車(chē)身長(zhǎng)、寬中的位置

魚(yú)眼鏡頭的成像特點(diǎn)是除了圖像中心的景物保持不變形外，圖像中心以外的水平或垂直的景物都發(fā)生了變形，且越接近圖像邊緣區(qū)域，變形越明顯。因此如圖6 所示，如將魚(yú)眼攝像頭C4由原來(lái)位置變化到C4'位置時(shí)，即攝像頭前移了，攝像頭C4'與攝像頭C1的重疊部分l12、l41，由于l41更加靠近魚(yú)眼圖像的中心而更加清晰，畸變程度更小，因此更易于拼接融合處理;同時(shí)也要考慮由于攝像頭C4'太靠近汽車(chē)前端，使得C4'拍攝的圖像l42越接近魚(yú)眼圖像的邊緣部分，因此變形更加嚴(yán)重。最終在與C3公共區(qū)域l31進(jìn)行拼接融合處理時(shí)，由于圖像失真嚴(yán)重，增加了圖像畸變校正的難度，即校正后的圖像失真也較嚴(yán)重，很難達(dá)到預(yù)期的效果。同理其他魚(yú)眼攝像頭C1、C2、C3安裝過(guò)程中也存在同樣的問(wèn)題。

因此，對(duì)于車(chē)身長(zhǎng)度較小的情況，魚(yú)眼鏡頭一般應(yīng)該安裝在車(chē)身長(zhǎng)、寬的中點(diǎn)處，這樣更利于后續(xù)的圖像處理，得到的效果也比其他方案好。

3.3 魚(yú)眼鏡頭中心光軸上下傾斜的角度

在全景環(huán)視泊車(chē)輔助系統(tǒng)中，駕駛員并不是特別在意每個(gè)魚(yú)眼鏡頭拍攝的全部視野，只是對(duì)某個(gè)特殊區(qū)域感興趣，這個(gè)特殊區(qū)域如圖5 所示，即汽車(chē)周?chē)?、右可視距離2.5 m，前、后可視距離3 m 的區(qū)域。這時(shí)需要把魚(yú)眼鏡頭光學(xué)中心由原來(lái)的整個(gè)魚(yú)眼圖像的中心轉(zhuǎn)換為感興趣區(qū)域的中心，通過(guò)將魚(yú)眼相機(jī)中心光軸向下傾斜一定角度對(duì)應(yīng)感興趣的區(qū)域的幾何中心與魚(yú)眼鏡頭安裝高度相結(jié)合，建立一種對(duì)應(yīng)優(yōu)化關(guān)系。實(shí)現(xiàn)魚(yú)眼圖像感興趣區(qū)域的視窗校正，從而為下一步實(shí)現(xiàn)圖像拼接融合奠定基礎(chǔ)。

當(dāng)攝像頭斜向下拍攝水平地面上的物體時(shí)，物體在圖像中的影像會(huì)發(fā)生形變，為了減少后期對(duì)畸變圖像校正的工作量，就要根據(jù)魚(yú)眼攝像頭安裝高度H來(lái)調(diào)節(jié)鏡頭中心光軸向下傾斜的角度β，使得魚(yú)眼鏡頭的中心光軸對(duì)準(zhǔn)感興趣區(qū)域的幾何中心點(diǎn)如圖5 中的A點(diǎn)、B點(diǎn)，即分別是在1.25 m 處和1.5 m 處。具體實(shí)驗(yàn)室模擬試驗(yàn)方案如圖7 所示。通過(guò)一塊寬2.5 m、長(zhǎng)6 m 及一塊寬3 m、長(zhǎng)4 m 包含24 個(gè)特征圓的靶標(biāo)來(lái)模擬全景環(huán)視泊車(chē)輔助系統(tǒng)在汽車(chē)左右、前后的感興趣區(qū)域。同時(shí)將魚(yú)眼鏡頭固定在三角架上，將鏡頭的中心光軸向下傾斜一定的角度β，對(duì)準(zhǔn)標(biāo)靶上的幾何中心K點(diǎn)。

(1)模型建立。針對(duì)不同外觀輪廓車(chē)身的商用車(chē)，魚(yú)眼攝像頭安裝的數(shù)量和類型可能有較大差異。因此通過(guò)建立一種通用的模型，對(duì)具體的模型進(jìn)行分析。對(duì)于上述分析，如圖8 所示，利用立體模型來(lái)模擬魚(yú)眼攝像頭照射感興趣區(qū)域ab的范圍。魚(yú)眼攝像頭的視野范圍很廣，但是依據(jù)假設(shè)只對(duì)汽車(chē)兩側(cè)2.5 m×6 m 和前后3 m×4 m的范圍感興趣，即只要是汽車(chē)左右寬2.5 m、長(zhǎng)6 m，以及前后寬3 m、長(zhǎng)4 m 的空間區(qū)域內(nèi)出現(xiàn)的障礙物，都能較好地被檢測(cè)并顯示出來(lái)。

圖7 實(shí)驗(yàn)室模擬感興趣的區(qū)域

圖8 魚(yú)眼相機(jī)安裝圖

(2)基本假設(shè)。①全景環(huán)視泊車(chē)輔助系統(tǒng)最后成像達(dá)到的視野范圍是：汽車(chē)左、右可視距離可達(dá)到2.5 m，前、后可視距離可達(dá)3 m，如圖8(a)所示。②考慮到商用車(chē)本身的車(chē)長(zhǎng)及車(chē)寬，橫向感興趣區(qū)域的范圍分別為6 m、4 m，如圖8(b)所示。③魚(yú)眼鏡頭安裝的高度H變化時(shí)，其中心光軸與車(chē)身安裝角度β 隨之呈一定規(guī)律變化。④參考《道路車(chē)輛外廓尺寸、軸荷及質(zhì)量限值》，以及考慮到商用車(chē)的底盤(pán)一般較高及貨車(chē)和一些牽引車(chē)的車(chē)高，取魚(yú)眼攝像頭的安裝高度為0.6 ～3.0 m，即0.6≤H≤3.0。

(3)符號(hào)說(shuō)明。β 為魚(yú)眼攝像頭中心光軸與車(chē)身垂直線的夾角;a為感興趣區(qū)域的寬;b為感興趣區(qū)域的長(zhǎng);K為感興趣區(qū)域的幾何中心;H為魚(yú)眼攝像頭安裝時(shí)相對(duì)地面的垂直高度。

(4)實(shí)驗(yàn)數(shù)據(jù)與分析。在實(shí)驗(yàn)室里，為了便于調(diào)節(jié)鏡頭角度和安裝的高度，將魚(yú)眼攝像頭安裝在三角架上，根據(jù)魚(yú)眼相機(jī)不同的安裝高度H不斷調(diào)節(jié)β 值，使魚(yú)眼攝像頭的主光軸對(duì)準(zhǔn)感興趣幾何中心K。通過(guò)運(yùn)用SPSS 統(tǒng)計(jì)分析軟件，可得到商用車(chē)左右魚(yú)眼相機(jī)安裝高度與旋轉(zhuǎn)角度趨勢(shì)變化曲線，如圖9 所示。

由圖9 可知，擬合的趨勢(shì)變化符合指數(shù)分布β=103.363e-0.595H(0.6≤H≤3.0)。因?yàn)橄嚓P(guān)系數(shù)R2=0.78，所以這是一個(gè)指數(shù)特征較為明顯的實(shí)驗(yàn)?zāi)Ｐ?，即能說(shuō)明擬合指數(shù)曲線能夠78%地解釋實(shí)測(cè)數(shù)據(jù)，可以為商用車(chē)左右魚(yú)眼攝像頭安裝提供參考。

同理，運(yùn)用同樣的方法得到商用車(chē)前后魚(yú)眼鏡頭安裝高度與旋轉(zhuǎn)角度趨勢(shì)變化曲線，如圖10所示。

圖9 商用車(chē)左右魚(yú)眼相機(jī)安裝高度與旋轉(zhuǎn)角度趨勢(shì)變化

圖10 商用車(chē)前后魚(yú)眼相機(jī)安裝高度與旋轉(zhuǎn)角度趨勢(shì)變化

由圖10 可知，擬合的趨勢(shì)變化符合指數(shù)分布β=124.69e-0.63H(0.6≤H≤3.0)。因?yàn)橄嚓P(guān)系數(shù)R2=0.77，所以這是一個(gè)指數(shù)特征較為明顯的實(shí)驗(yàn)?zāi)Ｐ停茨苷f(shuō)明擬合指數(shù)曲線能夠77%地解釋實(shí)測(cè)數(shù)據(jù)，可以為商用車(chē)前后魚(yú)眼攝像頭安裝提供參考。

4 結(jié)論

綜上分析，可根據(jù)商用車(chē)的不同外觀輪廓尺寸確定魚(yú)眼攝像頭的最佳安裝方案：

(1)魚(yú)眼攝像頭中心光軸與車(chē)身邊緣垂直，即魚(yú)眼鏡頭的中心光軸左右平移幅度為0;

(2)魚(yú)眼鏡頭一般應(yīng)該安裝在商用車(chē)車(chē)身長(zhǎng)、寬的中點(diǎn)處，但對(duì)于一些大型貨車(chē)和掛車(chē)等車(chē)身較長(zhǎng)的情況，可通過(guò)安裝多個(gè)魚(yú)眼鏡頭來(lái)滿足全景的要求;

(3)在安裝過(guò)程中可先根據(jù)商用車(chē)的車(chē)身與底盤(pán)結(jié)構(gòu)確定魚(yú)眼攝像頭的安裝高度H，通過(guò)不斷調(diào)節(jié)魚(yú)眼相機(jī)主光軸與車(chē)身垂直線的夾角β，來(lái)達(dá)到魚(yú)眼攝像頭的最佳安裝方式。魚(yú)眼攝像頭的安裝高度H具有一定的魯棒性。

［1］ WADA M，YOON K.Development of advanced parking assistance system［J］.Industrial Electronics，2003，13(3)：63 -70.

［2］ 臧艷紅.基于全景圖像的拼接算法研究［J］.微計(jì)算機(jī)信息，2007(23)：311 -312.

［3］ 楊明.無(wú)人自動(dòng)駕駛車(chē)輛研究綜述與展望［J］.哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2006(5)：35 -40.

［4］ 文彤. 商用車(chē)安全性系列綜述［J］. 汽車(chē)與配件，2007(17)：84 -90.

［5］ 李宗烜.大型商用車(chē)右側(cè)碰撞預(yù)警系統(tǒng)［D］.武漢：武漢理工大學(xué)，2012.

［6］ PATIDAR S，TANDON V.Practical problems in implementing commercial vehicle cab occupant protection standard ECE R-29［J］.Journal of Commercial Vehicle，2005(26)：38 -41.

［7］ 馮為嘉.基于魚(yú)眼鏡頭的全方位視覺(jué)及全景立體球視覺(jué)研究［D］.天津：天津大學(xué)，2012.

［8］ FRANK R.Sensing in the ultimately safe vehicle［J］.Journal of Automotive Security，2004(15)：126 -130.

［9］ 賈云得，呂宏靜. 魚(yú)眼變形立體圖像恢復(fù)稠密深度的方法［J］.計(jì)算機(jī)學(xué)報(bào)，2000(23)：133 -136.

［10］ 丁鑫.全景視覺(jué)泊車(chē)輔助系統(tǒng)研究［D］. 杭州：浙江大學(xué)，2010.

［11］ 王鵬程.基于多圖像傳感器融合的全景環(huán)視泊車(chē)輔助系統(tǒng)研究［D］.長(zhǎng)春：長(zhǎng)春理工大學(xué)，2013.