文翊 丁宗陽 李澤彬 孫國正 何班本

摘要：本論文充分研究倒車攝像頭圖像處理上的特征原理，從基本的成像原理出發(fā)，利用圖像轉(zhuǎn)化方法、圖像拼合算法及融合算法，實現(xiàn)了虛擬圖像和現(xiàn)實圖像的融合，最終完成了全景泊車系統(tǒng)的設(shè)計，本方案僅用單個（兩個）攝像頭。通過本方法極大降低了生產(chǎn)成本，使得全景泊車系統(tǒng)對后保盲區(qū)的探測能力大幅提升，并且新增非常實用的透明底盤功能。本文方案擴展至倒車雷達系統(tǒng)使得性能的提升，并且新增非常實用的側(cè)方障礙物提醒功能。為今后更多傳感器的在虛擬現(xiàn)實技術(shù)上的創(chuàng)新開拓了方向。

關(guān)鍵詞：全景泊車系統(tǒng);虛擬圖像;圖像融合;攝像頭

中圖分類號：U471.2 文獻標識碼：A 文章編號：1005-2550（2020）02-0002-08

文翊

畢業(yè)于武漢大學(xué)，電氣工程與自動化專業(yè)，獲得華中科技大學(xué)工商管理雙學(xué)位;現(xiàn)就職于東風汽車集團有限公司技術(shù)中心，主要從事ADAS系統(tǒng)研發(fā)與推進，統(tǒng)籌電動車項目ADAS項目的推進等工作，曾參與L3級高等級智能駕駛項目。

1序言

虛擬和真實，我們在兩個世界中徘徊和探索，汽車的世界中虛擬和真實同時出現(xiàn)，我們用虛擬技術(shù)去還原一個最真實的世界。汽車已在世界上創(chuàng)新發(fā)展前行了百余年，倒車影像已然成為成熟的技術(shù)，但是其視角的局限性，車輛近端及兩側(cè)的盲區(qū)無法消除，帶來安全的風險;而采用四個攝像頭的360°全景影像技術(shù)，較單攝像頭的倒車影像相比增加額外的三個攝像頭和一個昂貴的全景ECU外加附加的線束成本大幅增加600余元，在汽車競爭日趨白熱化的今天這樣的成本增加讓各個主機廠望而卻步。

而互聯(lián)網(wǎng)時代的當下，各種網(wǎng)絡(luò)算法層出不窮，而新興的圖像處理領(lǐng)域也取得了長足的發(fā)展，其中圖像配準和圖像融合技術(shù)是標志性技術(shù)。利用相鄰圖像的配準完成拼接全景影像也已經(jīng)完成工業(yè)化生產(chǎn)，用于四攝像頭的全景影像。若利用圖像的記憶和基于圖像可信度的連續(xù)拼合法，可以利用一定時間內(nèi)汽車行駛過程中掃描過的圖像，通過連續(xù)的拼合操作，最終完成全景俯視圖的拼合。利用單個攝像頭實現(xiàn)全景泊車系統(tǒng)，不僅極大的降低了成本，而且衍生出的新功能“透明底盤”亮點十足。

2基于虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)的基本原理

2.1倒車攝像頭的基本參數(shù)及標定原理

倒車攝像頭通過感光元件，將識別到的光感信息轉(zhuǎn)換為PAL或NTSC制式的信號，傳遞給車內(nèi)中控系統(tǒng)處理，由觸摸屏進行成像顯示。其中攝像頭有一定的視場角，能覆蓋車后方絕大多數(shù)范圍，但側(cè)力‘及后保視角連線處必然會有一定盲區(qū)（圖1）。

攝像頭分辨率為攝像頭性能的重要參數(shù)，經(jīng)過等比例放大處理后的攝像的圖像像素的長于寬，一般略微高于顯示系統(tǒng)像素的長與寬，多余的部分可在車型標定中自由裁剪，這種冗余的設(shè)計多用于攝像頭非居中布置（圖2）的圖像居中矯正，及制造公差的控制防止出現(xiàn)黑邊。本文利用這種可自由裁剪的攝像頭設(shè)計的基本標定原理，剪裁出小部分圖像，作為記憶圖像的基準，以便進行后期的圖像拼合工作。

光軸是攝像頭的重要參數(shù)，廣角攝像頭的原理來看，圖像圍繞光軸向四周發(fā)散，光軸落點可視為原始圖像的光中心，此處圖像最清晰畸變最小，在普通倒車影像設(shè)計中普遍將光軸落點置于15m左右的影像常用區(qū)。光軸落點（圖3）為本文圖像參考系的基準像素點，以此店為原地的坐標系可保證所有像素點畸變最小。

目標物的照高（圖4），項目中多以2m處2m高的參照物為基準，本參數(shù)在基本攝像頭標定中自由可調(diào)多用來調(diào)節(jié)占空比，已獲得良好的畫面配比，優(yōu)化視覺顯示，本文中通過調(diào)節(jié)本值，保證基于虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)最后旱現(xiàn)效果為標準俯視圖，客戶有良好的感知。

2.2圖像融合技術(shù)及原理

倒車攝像頭的原始和圖像記憶后的圖像是兩個不同制式的圖像，成像效果必然，其光影造成的顯示差異必然導(dǎo)致圖像色差，前一時刻記憶的圖像也和后一時刻的圖像也有部分差異，所以第一步為圖像的校準和拼合。

在車輛設(shè)計和標定的過程中，分別選取環(huán)境一致的像素區(qū)域作為配準區(qū)域，由于虛擬圖像和真實圖像必然不同，明暗及扭曲的變形是必然的，為了消除圖像融合的痕跡，本文采用的加權(quán)平均值法為圖像融合的傳統(tǒng)方法，該方法實現(xiàn)了在95%以上的選定的重疊區(qū)域內(nèi)真實圖像和記憶虛擬圖像的平滑過渡問題，不會出現(xiàn)帶狀鋸齒，且速度快穩(wěn)定性高。

在虛擬區(qū)內(nèi)的前一時刻的虛擬圖像，與后一時刻的虛擬圖像的拼接也采用本拼合法。

2.3基于虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)的方案設(shè)計

基于虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)的硬件架構(gòu)，主要由后視倒車攝像頭，虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)主程序（可內(nèi)置于中控操作系統(tǒng)程序或域控制器內(nèi)），觸摸顯示屏組成;前視攝像頭為功能擴展模塊，可實現(xiàn)雙攝像頭的圖像拼合;透明底盤為其擴展功能，滿足特殊場景下的泊車需求;虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)架構(gòu)圖如圖6：

虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)的系統(tǒng)架構(gòu)如圖7所示。在車輛靜止時，進行虛擬圖像和真實圖像的拼合工作;在車輛在合理速度區(qū)間運動下，系統(tǒng)以最小信號周期為基本單位，實時進行虛擬圖像融合，并累計記憶，循環(huán)往復(fù);當?shù)管嚴走_進入30cm的標定紅區(qū)時，系統(tǒng)還設(shè)計有自動跳轉(zhuǎn)俯視圖的放大試圖功能，突出車位與障礙物的位置關(guān)系;若支持前攝像頭擴展模塊則可從上下兩個方向進行圖像融合工作。

基于虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)的HMI方案設(shè)計如圖8：

3虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)的算法

3.1攝像頭圖像的俯視效果的轉(zhuǎn)化

后視視角為優(yōu)化顯示效果，視角和地面程一定夾角，以滿足正?？蛻魧徝赖男枨螅@樣圖像程由近及遠的縮小效果，如需要將其展開為俯視圖效果，首先要對圖像進行處理，首先根據(jù)攝像頭供應(yīng)商提供的畸變參數(shù)組（圖9）進行畫面的擬合，其中K=[k1，k2……kn]，一系列K值代表不同區(qū)域的畸變參數(shù)，n為需要擬合的最高位置的區(qū)域。

這樣處理后得到了真實圖像俯視化處理后的效果（圖10），可以看出本區(qū)域是很小的。

3.2圖像拼合的基本算法

本文中快速融合算法采用加權(quán)平均值法，其基本原理公式可表示為：假設(shè)N、Y為真實圖像和記憶虛擬圖像的像素點，融合圖像P-A可表示為：

其中式中d1、d2代表了其重疊區(qū)域?qū)挾却碇?，令該式中滿足d1+d2=1，故d1、d2很好的代表了真實圖像和記憶虛擬圖像中單個像素點的權(quán)重值。在圖像拼接融合的過程中，對于遠端視覺不可見場景，d1漸變至0，d2漸變至1，通過加權(quán)平均值法完成了真實圖像和記憶虛擬圖像在選定配準區(qū)域內(nèi)平滑過渡問題。

本方法在圖像完成基本的變形后，即刻完成圖像的拼合工作，本步驟完成后雖然在直觀圖像上呈現(xiàn)平滑過渡，但在具有參照物的情況下會有錯位現(xiàn)象，故后續(xù)將對拼合圖像進行校正。

3.2真實的俯視圖像與虛擬圖像的矯正

在開始下一步計算和圖像拼合前，需要對真實的俯視圖像與虛擬圖像區(qū)域進行標定和對中，否則會出現(xiàn)圖像的錯位缺陷。現(xiàn)在設(shè)有真實的俯視圖像參考矩陣為N，R為虛擬圖像參考矩陣，T為平移向量，xc和YG表示光軸落點的圖像坐標，廠為攝像頭焦距，dx、dy為單個像素的成像大小，那么可以有公式組：

提取除光軸落點外的其他參考坐標點，其坐標為（Xn，yn），其中n為重要參考點總數(shù)，本文工程應(yīng)用中多采用真實的俯視圖像邊沿像素點為參考點。則相鄰的兩個像素點間的的距離為：

4虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)的應(yīng)用

4.1實際應(yīng)用過程中的圖像轉(zhuǎn)換及融合

本文中關(guān)于虛擬現(xiàn)實技術(shù)的仝景泊車系統(tǒng)在真實場景下的轉(zhuǎn)化及融合過程是這樣呈現(xiàn)的，在車輛掛人R擋（擴展有前視攝像頭系統(tǒng)掛入D擋前7s）車速在0-11km/h內(nèi)滿足要求的條件下，系統(tǒng)自動開肩運行。

系統(tǒng)運行過程中，原始真實圖像會旱現(xiàn)在真實可視區(qū)供駕駛員查看;原始圖像僅做變換處理的圖像會顯示在虛擬全景俯視圖區(qū)域的真實圖像區(qū)。變化后的效果如圖所示，拿標準矩形物體來說，圖像已由常規(guī)視角的梯形圖像，變?yōu)楦┮曇暯堑木匦物@示效果，如圖13：

經(jīng)過本文中方法的變換，已將正常的后視視角變化為俯視視角，且均符合正常人觀察的審美。

后在對真實虛擬的圖像進行拼合及矯正，最終效果如圖14所示：

在圖像拼合及矯正后，可見雖然仔細觀察可以看到虛擬圖像和真實圖像的分界線，但其完全對正無錯位，呈像效果較一致，滿足設(shè)計要求。

4.2滿足客戶需求的系統(tǒng)工作流程

本虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)在車速等于0時，即開始虛擬圖像和真實圖像的拼合工作;在車速0-11km/h內(nèi)，系統(tǒng)以信號周期50ms為基本時間單位，進行t時刻和下一周期t+1時刻的虛擬圖像融合，并累計記憶，直至下一周期t+2時刻再與t+1時刻的虛擬圖像融合;但倒車雷達進入30cm的標定紅區(qū)時，系統(tǒng)自動跳轉(zhuǎn)俯視圖的放大試圖，突出車位與障礙物的位置關(guān)系;下圖測試中本文分別采用單攝像頭方案，及支持前攝像頭擴展模塊則可從上下兩個方向進行圖像融合工作的雙攝像頭方案進行了測試。

最終產(chǎn)生的標準融合俯視圖及放大融合俯視圖如下圖15、圖16：

按本流程開發(fā)的系統(tǒng)，已可以正常呈現(xiàn)全景影像的效果，從標準視圖及放大圖看和傳統(tǒng)全景影像兩者差異不大。

4.3系統(tǒng)的測試和驗證

使用虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)，進行各個角度的泊車測試，經(jīng)過測試，無論駕駛員如何操作，均能完成虛擬俯視圖像的重構(gòu)，如圖17：

重構(gòu)圖像精度與傳統(tǒng)360系統(tǒng)差別不大。

使用虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)，進行精確標定后，對其距離準確性進行測試，誤差在2cm內(nèi)，和普通倒車影像相當;且本為虛擬圖像的誤差，可以看到后保下方盲區(qū)，保證駕駛安全，如圖18：

經(jīng)過某高端SUV車型的階段功能驗證將車輛HMI界面與底線重合，可知：

使用本方案可將車輛后保下盲區(qū)由30cm左右縮減至5cm內(nèi)，若使得本車圖像透明化，新的透明底盤功能甚至可以完全消除盲區(qū)。

使用虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)，對側(cè)面障礙物進行檢測，檢測方法如圖19所示：

最后測試結(jié)果顯示，如圖20，系統(tǒng)能有效的提醒車輛側(cè)面1.5m內(nèi)的障礙物，提高了駕駛安全的保證。

經(jīng)過某高端SuV車型的階段功能驗證探測區(qū)域的驗證情況可知：

通過對本系統(tǒng)測試表明，虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)不僅能在僅使用單個或兩個攝像頭的情況下完成通常需要4個攝像頭才能完成的全景泊車，極大的降低了成本，效果令人滿意。而且還能實現(xiàn)常規(guī)全景系統(tǒng)無法完成的，保險杠下盲區(qū)探測及放大視圖切換能力，一舉多得。

5虛擬現(xiàn)實技術(shù)的擴展和引申

5.1雙攝像頭虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)

虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)可以擴展至雙攝像，實現(xiàn)前方視圖的顯示，及更大范圍的圖像拼合如圖21：

5.2虛擬底盤技術(shù)的應(yīng)用

在使用虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)，界面插入一個控制開關(guān)，使得車輛貼圖半透明化實現(xiàn)透明底盤功能。

透明底盤可以方便駕駛員識別車輛下方的井蓋等障礙物方便客戶泊車，結(jié)果如圖22：

利用本虛擬現(xiàn)實技術(shù)的全景泊車系統(tǒng)可在0成本增加的情況下，實現(xiàn)透明底盤功能，輔助駕駛員泊車安全，使得車輛更有競爭力。

5.3虛擬倒車雷達及側(cè)方障礙物提醒

倒車雷達目前較為成熟，但基本探測區(qū)呈扇形，其側(cè)后方會呈現(xiàn)一定的盲區(qū)。若使用虛擬現(xiàn)實技術(shù)，在按本文中同樣的計算方法，計算出障礙物距離，使用本文3.3中技術(shù)方案，計算虛擬障礙物的距離，及時障礙物脫離雷達探測區(qū)也能給駕駛員警示。

障礙物目標如下圖23，進入脫離探測區(qū)后進入虛擬目標區(qū)，可以擴展約1m的探測范圍。

虛擬探測區(qū)還能進一步擴展，直至將車輛四周完全無死角覆蓋，形成新的側(cè)方障礙物提醒功能，如圖24：

側(cè)方障礙物提醒功能能有效提醒側(cè)方障礙物，防止車輛運動或車門開啟時對車門的損傷。

6結(jié)論

不忘初心，奮勇前行，本論文從基本的倒車攝像頭原理出發(fā)，闡釋了圖像成像的原理和方法;并利用圖像的拼合原理及車輛軌跡計算的方式，研究并實現(xiàn)了單攝像頭實現(xiàn)全景泊車的虛擬現(xiàn)實技術(shù)，將車輛后保下盲區(qū)由30cm左右縮減至5cm內(nèi);并將其算法，擴展至AAS倒車雷達及透明底盤功能;其中利用虛擬技術(shù)的AAS系統(tǒng)可將探測區(qū)域擴展至車輛四周。虛擬技術(shù)及車輛的軌跡算法領(lǐng)域擴展了新的思路，為今后車企成本控制，功能性能提升，自主開發(fā)的算法積累打下了基礎(chǔ)。