范夢陽
摘 要:“停車難”這一問題變得日益嚴峻,自動泊車系統(tǒng)的研究也就顯得至關(guān)重要,停車位檢測是自動泊車系統(tǒng)的重要組成部分。環(huán)視圖通過逆透視變換消除了透視畸變,恢復(fù)了庫位線的平行、垂直、間距等幾何信息,可以直接利用圖像中的庫位線滿足的幾何約束約束特征來實現(xiàn)停車位檢測。利用安裝在車輛四周的四個魚眼攝像頭采集圖像,經(jīng)過畸變矯正、逆透視變換、重合區(qū)域拼接可以得到車輛的環(huán)視圖。攝像頭在采集圖像的過程中必然會引入各種噪聲,首先需要對環(huán)視圖通過均值濾波、中值濾波、高斯濾波等方式進行降噪處理。之后,進行灰度化,以減少后續(xù)圖像處理的計算量。由于庫位線與地面的灰度信息不一致,灰度化后的圖像仍然保留了庫位線的灰度特征,仍然可以利用該灰度差異區(qū)分出停車位線和地面。在對環(huán)視圖進行濾波降噪、灰度化等圖像預(yù)處理操作之后,通過邊緣檢測得到庫位線的邊緣。之后利用霍夫變換提取出邊緣圖像中的直線。根據(jù)《中華人民共和國國家標準/道路交通標志和標線(第 3 部分:道路交通標線)》(GB5768.3-2009)標準中對停車位標線寬度、尺寸和設(shè)置方式的規(guī)定,提取劃線停車位應(yīng)滿足的幾何約束特征條件,可以識別出停車位。在此基礎(chǔ)上,融合車輛定位模塊得到的車輛位姿信息對單幀圖像中檢測到的停車位在圖像序列中進行跟蹤,進一步提高停車位檢測正確率和檢測精度。
關(guān)鍵詞:自動泊車 停車位檢測 攝像頭 環(huán)視圖
Automatic Parking Space Detection Method based on Ring View
Fan Mengyang
Abstract:The problem of "difficult parking" is becoming more and more serious, and the research of automatic parking system is also important. Parking space detection is an important part of automatic parking system. The ring view eliminates the perspective distortion through the inverse perspective transformation and restores the geometric information such as the parallel, vertical, and spacing of the location line. It can directly use the geometric constraints that the location line in the image meets to realize the parking space detection. The four fisheye cameras installed around the vehicle are used to collect images, and the ring view of the vehicle can be obtained after distortion correction, inverse perspective transformation, and overlapping area stitching. The camera will inevitably introduce various noises in the process of collecting images. First, the ring view needs to be denoised by means of mean filtering, median filtering, and Gaussian filtering. After that, grayscale is performed to reduce the amount of calculation for subsequent image processing. Since the gray information of the location line is inconsistent with the ground, the gray-scaled image still retains the gray features of the location line, and the gray level difference can still be used to distinguish the parking space line and the ground. After image preprocessing operations such as filtering and denoising and graying are performed on the ring view, the edge of the location line is obtained through edge detection. Afterwards, the Hough transform is used to extract the straight lines in the edge image. According to the "National Standards of the People's Republic of China/Road Traffic Signs and Markings (Part 3: Road Traffic Markings)" (GB5768.3-2009), the rules for the width, size and setting method of parking space markings are extracted. The geometric constraint characteristic condition that the parking space of the line should meet, and the parking space can be identified. On this basis, the article fuses the vehicle pose information obtained by the vehicle positioning module to track the parking space detected in a single frame image in the image sequence, and further improves the parking space detection accuracy.
Key words:automatic parking, parking space detection, camera, ring view
停車對于很多駕駛員來說是個“難題”,而隨著我國汽車保有量的不斷增加,停車位變得越來越緊張,“停車難”這一問題就變得日益嚴峻。由于人們對于泊車輔助系統(tǒng)的迫切需求,以及我國汽車產(chǎn)業(yè)朝著智能化方向發(fā)展的必然趨勢,自動泊車系統(tǒng)的研究顯得至關(guān)重要。
停車位檢測是實現(xiàn)自動泊車首先需要解決的問題,它是自動泊車系統(tǒng)的重要組成部分。目前環(huán)視攝像頭由于成本低、提供的視圖清晰直觀,已經(jīng)在較多量產(chǎn)車型上有所應(yīng)用。如圖1所示,環(huán)視圖通過逆透視變換消除了透視畸變,恢復(fù)了庫位線的平行、垂直、間距等幾何信息,可以直接利用圖像中的庫位線滿足的幾何約束約束特征來實現(xiàn)停車位檢測,此外,和單目攝像頭相比,環(huán)視圖的視野范圍更廣,包含的庫位線信息更加豐富,停車位的檢出率更高。
首先,環(huán)視攝像頭所采用的魚眼鏡頭具有畸變,該畸變可以從徑向畸變和切向畸變兩個方面來表征。徑向畸變將會導致實際成像點相對于理想成像點沿著透鏡徑向方向存在偏移。魚眼攝像頭采集到圖像的光學中心的徑向畸變?yōu)?,沿著靠近圖像的邊緣,徑向畸變不斷增大。切向畸變會導致實際成像點相對于理想成像點沿著透鏡的切向方向存在偏移。通過張正友標定法得到攝像頭的畸變參數(shù),據(jù)此對魚眼圖像進行畸變矯正,將魚眼圖像轉(zhuǎn)化為透視圖像。
三維空間中的點通過針孔成像所形成的圖像成為透視圖像,這種變換關(guān)系即透視變換。三維空間中的點對應(yīng)為透視圖像中確定的一點,即根據(jù)某點在三維世界坐標系中的坐標可以計算得出該點在圖像坐標系中的坐標。反之,根據(jù)某點在圖像坐標系中的坐標卻不能直接計算得出該店在三維世界坐標系中的坐標。但是如果已知某點在世界三維坐標系中的某一維坐標,則可以根據(jù)該點圖像坐標系中的坐標,計算出該點再世界坐標系中的另兩維坐標。我們把這種建立圖像坐標系中的點與三維世界坐標系中已知某一位坐標的點的對應(yīng)關(guān)系的過程稱為逆透視變換。由于自動泊車系統(tǒng)中所需檢測的停車位標線都位于地面上,所以我們假定圖像中的所有點都位于三維世界坐標系的地面上,利用標定得到的四個攝像頭的內(nèi)參和外參矩陣,對矯正畸變后的圖像進行逆透視變換,得到四幅俯視效果的鳥瞰圖。
由于安裝在車輛四周的四個攝像頭中相鄰的攝像頭視野范圍有重疊,所以相鄰攝像頭采集到的圖像所轉(zhuǎn)換為的鳥瞰圖會有部分重合區(qū)域,通過尋找重疊區(qū)域內(nèi)的標志點并將其對齊,可以將四幅鳥瞰圖剪切、拼接得到360度環(huán)視圖。
由于攝像頭在采集圖像的過程中必然會引入各種噪聲,所以首先需要對環(huán)視圖進行降噪處理。通??梢赃x用均值濾波、中值濾波、高斯濾波等方法進行降噪。拼接得到的原始車輛環(huán)視圖為彩色圖像,為了減少后續(xù)圖像處理的計算量,對環(huán)視圖進行灰度化處理。常見的灰度化方法有平均值法、加權(quán)平均值法、最大值法等。由于停車位標線與地面的灰度信息不一致,灰度化后的圖像仍然保留了庫位線的灰度特征,仍然可以利用該灰度差異區(qū)分出停車位線和地面。
在對環(huán)視圖進行濾波降噪、灰度化等圖像預(yù)處理操作之后,再通過邊緣檢測得到停車位線邊緣。邊緣點是指圖像中灰度值和相鄰點的灰度值存在顯著差異的像素點。邊緣檢測是利用計算圖像中各個像素點的一階差分或二階差分來判定該點是否屬于邊緣像素點。由于庫位線邊緣的灰度值和相鄰地面處的灰度值存在較大差異,因此可以通過邊緣檢測識別出圖像中庫位線的邊緣。之后,利用霍夫變換提取出邊緣圖像中的直線,以識別出庫位線的邊緣直線。在圖像空間(x,y)中,同一條直線上的點滿足方程y=kx+b,即同一條直線上的點的斜率k相等,截距b也相等。構(gòu)建參數(shù)空間(k,b),可以得出,圖像空間(x,y)中的一條直線和參數(shù)空間(k,b)中的一個點相對應(yīng)。利用參數(shù)空間和圖像空間的之間所存在的點-線對偶性,霍夫變換就把圖像空間中的直線檢測問題轉(zhuǎn)換到參數(shù)空間中去:在參數(shù)空間(k,b)里進行的累加統(tǒng)計,尋找斜率和截距的計數(shù)器峰值,以此來檢測出圖像空間中的直線。
在《中華人民共和國國家標準/道路交通標志和標線(第 3 部分:道路交通標線)》(GB5768.3-2009)中,規(guī)定停車位標線的寬度可介于6到10cm之間。停車位標的上限尺寸長為1560cm,寬為325cm,適用于大中型車輛;下限尺寸長為600cm,寬為250cm,適用于小型車輛。在條件受限時,寬度可適當降低,但最小不應(yīng)低于200cm。停車位標線的設(shè)置方式分為平行式、垂直式和傾斜式,分別如圖2、3、4所示。根據(jù)該標準中對停車位標線寬度、尺寸和設(shè)置方式的規(guī)定,提取我國劃線停車位應(yīng)滿足的幾何約束特征條件,基于單幀環(huán)視圖中提取到的直線信息可以識別出劃線停車位。
環(huán)視攝像頭采集到圖像在泊車的過程中不斷刷新,形成了圖像序列流,通過融合車輛定位模塊得到的車輛位姿信息對單幀圖像中檢測到的停車位在圖像序列中進行跟蹤,對單幀環(huán)視圖中檢測出的停車位進行實時修正優(yōu)化,進一步提高停車位檢測正確率和檢測精度,從而提高自動泊車系統(tǒng)的可靠性和安全性。
課題名稱:基于多傳感器融合的車輛自動泊車停車位檢測方法研究;編號:XJZK202002。
參考文獻:
[1]孟焱,孫軍,湯一平.基于機器視覺的停車位檢測技術(shù)的研究[J].計算機測量與控制,2012,20(3):638-641.
[2]王成雨.基于視覺環(huán)境感知技術(shù)的自動泊車系統(tǒng)研究[D].蘇州:江蘇大學,2019.
[3]孫炬輝.基于魚眼相機的實時視頻拼接技術(shù)研究[D].杭州:杭州電子科技大學,2014.
[4]方財義,鄧軍,檀銀學.全景泊車系統(tǒng)及圖像拼接技術(shù)的研究[J].汽車零部件,2012,11:103-108.
[5]GB 5768.3-2009 道路交通標志和標線第3部分:道路交通標線.
[6]劉微.應(yīng)用機器視覺的自動泊車車輛位姿獲取算法研究[D].長春:吉林大學,2012.
[7]王旭東.基于環(huán)視的自動泊車方法研究與系統(tǒng)設(shè)計[D].上海:上海交通大學,2013.