項 嶸，楊 剛，臧春華，李仲年

（南京航空航天大學電子信息工程學院，南京211106）

基于ARM架構的全景泊車系統(tǒng)設計*

項 嶸，楊 剛，臧春華，李仲年

（南京航空航天大學電子信息工程學院，南京211106）

以飛思卡爾IMX6 cortex a9 ARM平臺為核心，構建嵌入式Linux操作系統(tǒng)。硬件上采用PCIE接口，連接4路魚眼攝像頭，編寫與移植基于Linux下V4L2框架和PCIE框架的4路攝像頭驅(qū)動。軟件上采用開源計算機視覺庫OpenCV對采集到的4路攝像頭數(shù)據(jù)矯正、透視變換以及圖像融合?；赨buntu操作系統(tǒng)利用交叉編譯工具和CMAKE開發(fā)調(diào)試基于ARM-LINUX系統(tǒng)的應用，將經(jīng)過變換后的全景圖像在LCD屏幕上以30fps的頻率顯示。

ARM架構；Linux系統(tǒng)；OpenCV視覺庫；PCIE協(xié)議；魚眼攝像頭；V4L2框架

1 引言

隨著經(jīng)濟的發(fā)展，家庭汽車保有量近些年逐步提高，城市道路變得越發(fā)擁堵，泊車環(huán)境變得更加狹小。如何提高駕駛?cè)藛T的駕駛體驗，保障人身及財產(chǎn)安全，將汽車變得更加人性化智能化，是當今汽車工業(yè)界非常關心并且一直在解決的問題。在這個應用背景下，設計一款低成本高性能的全景泊車系統(tǒng)，為駕駛員在低速行駛過程及泊車過程中，提供基于俯視角度的全景圖像，將汽車周圍環(huán)境、障礙物顯示出來，可以有效提高駕駛員在駕駛過程中的安全性。目前市面上的產(chǎn)品多以FPGA專用芯片的形式，將圖像算法在硬件中實現(xiàn)。這種方案成本較高，可拓展性較弱，開發(fā)迭代周期較長[1]。

隨著嵌入式系統(tǒng)的發(fā)展，ARM架構芯片在性能和功耗上都非常適合在汽車電子領域中使用。通過軟件形式實現(xiàn)算法，將應用在通用平臺和通用操作系統(tǒng)上實現(xiàn)，可以大大減少成本，增加系統(tǒng)的可擴展性。項目在前期已經(jīng)完成了基于Ubuntu系統(tǒng)的原型算法驗證。

系統(tǒng)著重于實際工程上的實現(xiàn)，將驗證后的算法結(jié)合實際情況移植到飛思卡爾ARM平臺上。硬件上完成了基于ARM-LINUX平臺通過PCIE接口獲得4路攝像頭的數(shù)據(jù)，軟件上完成OpenCV計算機視覺庫在ARM平臺上的移植，以及圖像數(shù)據(jù)的矯正、透視變換和圖像融合算法，初步實現(xiàn)了工程樣機。

2 系統(tǒng)架構

系統(tǒng)硬件主要由Freescale IMX6 4核處理器核心板，LCD模塊，4路魚眼攝像頭，以及4-in-1視頻解碼模塊構成。IMX6核心板帶有PCIE接口，運行頻率達1.2GHz。視頻解碼模塊采用Intersil公司的TW6865芯片，該芯片是一款高度集成的支持多路音視頻采集的視頻解碼芯片，支持格式有NTSC/PAL/SECAM，將模擬信號轉(zhuǎn)換成YCbCr信號。為了使整個系統(tǒng)可以360度無死角地采集到視頻數(shù)據(jù)，采用魚眼鏡頭。這是一種焦距為16mm或更短的并且視角接近或等于180°的鏡頭，這種攝影鏡頭的前鏡片直徑很短且呈拋物狀向鏡頭前部凸出，與魚的眼睛頗為相似[2-3]。圖1為全景泊車系統(tǒng)示意圖。

圖1 全景泊車系統(tǒng)示意圖

通過將軟件進行分層，使得整個系統(tǒng)的可拓展性更強?；贗MX6移植Linux操作系統(tǒng)，編寫基于Linux框架下的PCIE驅(qū)動程序，采集4路攝像頭數(shù)據(jù)，將每個魚眼攝像頭抽象成Linux文件系統(tǒng)下的/dev/video*設備，應用程序就與底層硬件完全分離，硬件開發(fā)與軟件開發(fā)就完全剝離開來。圖2為系統(tǒng)框架。

圖2 系統(tǒng)框架

開源Linux操作系統(tǒng)具備完整的設備驅(qū)動框架。TW6865解碼芯片通過PCIE接口向外提供視頻數(shù)據(jù)流，結(jié)合Linux下的PCIE框架驅(qū)動和V4L2視頻輸入子系統(tǒng)框架，移植驅(qū)動程序到IMX6平臺上。應用程序通過標準的讀取視頻流方式獲取到4路攝像頭數(shù)據(jù)后，將4路圖像數(shù)據(jù)由OpenCV進行算法處理，處理完畢后將圖像在LCD屏幕上實時顯示[4-5]。

3 PCIE總線與V4L2

3.1 PCIE總線

4路模擬攝像頭接入TW6865視頻解碼芯片，TW6865將模擬信號轉(zhuǎn)換成數(shù)字信號后通過PCIE接口傳入IMX6平臺。TW6865和IMX6都支持PCIE3.0，這樣就充分解決了4路攝像頭數(shù)據(jù)并發(fā)產(chǎn)生的大量數(shù)據(jù)。PCI-Express由Intel首先提出，并將它作為第三代I/O接口標準[6-7]。

第一代PCIE是2002年推出的，單通道帶寬為2.5Gbps*2，因為PCIE收發(fā)通道獨立，可以同時工作，所以帶寬加倍，有效帶寬為2.5Gbps*2*0.8=4Gbps=500MByte/s。PCIE通道中傳輸?shù)臄?shù)據(jù)經(jīng)過了8B/10B編碼，編碼效率為80%。

第二代是2006年推出的，單通道帶寬為5Gbps*2，有效帶寬為 5Gbps*2*0.8=8Gbps=1GByte/s。

第三代是2008年推出的，單通道帶寬為10Gbps*2，有效帶寬為 10Gbps*2*0.8=16Gbps=2GByte/s。

每路攝像頭都是720P圖像分辨率，每秒30幀圖像，因此一路攝像頭每秒產(chǎn)生的數(shù)據(jù)是1280*720*2*30=55296000Byte=52.734MB，4 路攝像頭產(chǎn)生的數(shù)據(jù)就是每秒211MB字節(jié)，可以分析得出PCIE總線完全能夠滿足要求。

隨著PCIE總線應用日益廣泛，Linux也早就支持PCIE協(xié)議。PCIE設備上有三種地址空間：PCIE的I/O空間、PCIE的存儲空間和PCIE的配置空間。CPU可以訪問PCIE設備上的所有地址空間，其中I/O空間和存儲空間提供給設備驅(qū)動程序使用，而配置空間則由Linux內(nèi)核中的PCIE初始化代碼使用。內(nèi)核在啟動時負責對所有PCIE設備進行初始化，配置好所有的PCIE設備，包括中斷號以及I/O基址，并在文件/proc/pci中列出所有找到的PCIE設備，以及這些設備的參數(shù)和屬性。圖3為Linux下編寫PCIE驅(qū)動的流程與框架[6-7]。

3.2 V4L2

Video4Linux2是Linux內(nèi)核中關于視頻設備的內(nèi)核驅(qū)動框架，為上層訪問底層的視頻設備提供了統(tǒng)一的接口[6-7]。

圖3 PCIE驅(qū)動框架

項目主要工作是基于Linux內(nèi)核中有關V4L2與PCIE驅(qū)動的文檔以及內(nèi)核中開源的驅(qū)動程序，編寫與移植TW6865芯片在Linux下的驅(qū)動程序。這款驅(qū)動首先是以PCIE協(xié)議與硬件進行通信交互，配置參數(shù)，然后將自身注冊成4個linux下的視頻設備，分別為/dev/video0,/dev/video1,/dev/video2,/dev/vid-eo3。這樣上層的應用程序就可以基于Linux以標準的方式操作4路模擬攝像頭設備。V4L2設備驅(qū)動框架如圖4所示。

圖4 V4L2設備驅(qū)動框架

V4L2支持三種訪問方式，分別是READ模式；內(nèi)存映射緩沖區(qū)(V4L2_MEMORY_MMAP)模式以及用戶空間緩沖區(qū)(V4L2_MEMORY_USERPTR)模式。READ方式屬于幀IO訪問方式，每一幀都要通過IO操作，需要用戶和內(nèi)核之間數(shù)據(jù)拷貝；而后兩種是流IO訪問方式，不需要內(nèi)存拷貝，訪問速度更加快。其中內(nèi)存映射緩沖區(qū)訪問方式是比較常用的方式。項目實現(xiàn)了基于此種方式的圖像采集驅(qū)動。

應用程序通過V4L2接口采集視頻數(shù)據(jù)分為五個步驟：

首先，打開視頻設備文件，進行視頻采集的參數(shù)初始化，通過V4L2接口設置視頻圖像的采集窗口、采集的點陣大小和格式;

其次，申請若干視頻采集的幀緩沖區(qū)，并將這些幀緩沖區(qū)從內(nèi)核空間映射到用戶空間，便于應用程序讀取/處理視頻數(shù)據(jù);

第三，將申請到的幀緩沖區(qū)在視頻采集輸入隊列排隊，并啟動視頻采集;

第四，驅(qū)動開始視頻數(shù)據(jù)的采集，應用程序從視頻采集輸出隊列取出幀緩沖區(qū)，處理完后，將幀緩沖區(qū)重新放入視頻采集輸入隊列，循環(huán)往復采集連續(xù)的視頻數(shù)據(jù);

第五，停止視頻采集。

對視頻設備的操作本質(zhì)上已經(jīng)屬于應用程序范疇了，但是在編寫程序時仍然需要程序員對V4L2框架有所了解，為了更好地分層，使得上層應用開發(fā)無須關注硬件的任何細節(jié)，這里對V4L2的操作進行了類封裝，編寫了一個Video類,程序員只要傳入需要打開的攝像頭名字還有圖像幀的寬度和高度，就可以獲得攝像頭數(shù)據(jù)了。

4 OpenCV圖像算法

4.1 魚眼攝像頭參數(shù)標定

全景泊車系統(tǒng)在圖像拼接時要求4幅圖像包括車四周所有的區(qū)域且圖像之間存在一定的共同區(qū)域，例如基于特征點匹配的方法要求圖像的重疊區(qū)域大約50%，因此一般攝像頭無法應用到這個系統(tǒng)中來。而魚眼攝像頭具有超廣角特性，其成像視場角能達到180度，在汽車四周安裝魚眼攝像頭，可以保證圖像具有足夠的視野和重疊區(qū)域[6-8]。但是，魚眼攝像頭存在嚴重的桶型畸變，在進行拼接前需要對其進行標定，得到線性特性圖像。采用張正友標定法對魚眼圖像進行標定，一幅視圖通過透視變換將三維空間中的點投影到圖像平面[9]。投影公式如下：

其中（X,Y,Z）是世界坐標系中的一個具體點，（u，v）是世界坐標點投影在圖像平面的坐標。A表示被稱作魚眼攝像機內(nèi)參數(shù)矩陣，（cx，cy）是基準點（通常在圖像的中心），fx，fy是以像素為單位的焦距。魚眼攝像頭的內(nèi)部參數(shù)矩陣與環(huán)境無關可以被重復使用，所以在系統(tǒng)初始化時只需要進行一次變換。旋轉(zhuǎn)平移矩陣被稱作外參數(shù)矩陣，它用來描述相機相對于一個固定場景的運動，或者，物體圍繞相機的剛性運動。也就是[R|t]將點（X,Y,Z）變換到某個坐標系，這個坐標系相對于攝像機來說是固定不變的。

因此基于OpenCV求解魚眼相機的內(nèi)部參數(shù)可以歸納為以下幾步：

第一：根據(jù)式1編寫基于OpenCV的魚眼攝像頭標定C++程序；

第二：將一幅7×8的棋盤圖平整的放在魚眼攝像頭前方，保持棋盤圖的有效區(qū)域能被魚眼攝像頭接收到。采集圖像輸入到OpenCV標定程序內(nèi)；

第三：用尋找角點函數(shù)找出棋盤圖中56個角點，將坐標保存到C++容器中；

第四：將棋盤圖旋轉(zhuǎn)一定角度和姿態(tài)，再次執(zhí)行第二、三的操作，重復大約20次左右才能獲得較好效果的相機參數(shù)值；

第五：將上述多次得到的角點坐標送入標定程序的參數(shù)計算模塊，計算得到相機內(nèi)外參數(shù)和畸變系數(shù)。

4.2 圖像去畸變

在獲得了4幅相機的圖片和相機的內(nèi)部參數(shù)以及畸變系數(shù)后，便可以將廣角圖像變換為具有透視特性的圖像，這時圖像只存在線性失真，有利于接下來的透視變換和固定參考點的圖像配準。將式（1）化簡可得：

圖5 矯正之前的魚眼圖像

圖6 矯正之后的魚眼圖像

圖5為矯正之前的圖像，圖6為矯正之后的圖像，矯正之前的圖像存在明顯的桶型畸變，而經(jīng)過矯正后的圖像棋盤格可以看出只存在線性透視失真，為下一步透視變換提供條件[10-12]。

4.3 透視變換原理

汽車四周的攝像頭是按照一定角度安裝的，一方面是為了獲得汽車四周一定范圍內(nèi)的圖像（2-3米），一方面是由于安裝條件的限制。所以圖像必然出現(xiàn)圖6所示的線性失真，這種失真可以通過透視變換來處理。透視變換是將圖像從所在平面線性地投影到另一個平面。也就是說將圖6中標準的棋盤方格投影到新的俯視平面，使方格的大小和位置變?yōu)樵瓉矸礁竦拇笮『臀恢谩?/p>

4.4 透視變換與圖像拼接

傳統(tǒng)的圖像拼接是將多張含有重疊部分的圖形經(jīng)過一系列處理而得到拼接圖像，過程包括特征點提取，特征點匹配，圖像融合三個重要步驟[18]。但是這種方法過于復雜，對設備和環(huán)境要求較高，在光線較弱等不利條件下很容易出現(xiàn)找不到足夠特征點的情況，這樣也就無法進行拼接。

因此項目使用了一種基于參考點配準的方法。該方法原理是構建4幅相對位置固定的參考點群。汽車每個方向都有一張標準參考點圖且各相對位置已知，設分別為4個方向上原始圖像向最終合成圖的變換矩陣。在系統(tǒng)初始化時通過角點查找[19]，在圖6中找到各棋盤圖的對應角點，計算出對應實際棋盤圖的變換矩陣。再將各圖像代入到（4）式則可以恢復全景圖像的場景。

基于參考點配準的圖像拼接可以歸納為以下幾步：

第一步:鋪設好4合1標定板，標定板間的位置信息事先存入處理器，再將待標定汽車放入標定板中間位置，在汽車四周架設好魚眼攝像頭，使攝像頭畫面有效覆蓋棋盤圖；

第二步：前后左右各拍攝一幅圖像，按魚眼矯正程序矯正圖像，得到有透視效果的圖像；

第三步：用OpenCV進行角點查找，找到棋盤圖的矩形角點（矩形角點在透視圖中呈現(xiàn)出梯形形狀），并存儲起來，結(jié)合式（4）透視變換原理求出

圖像透視變換效果圖如圖7所示，中間區(qū)域為汽車車體。

5 應用軟件設計

應用軟件利用已經(jīng)封裝好的視頻操作類以及LCD操作類，就可以非常容易地操控硬件。將開源計算機視覺庫OpenCV移植到ARM平臺上，應用程序就可以利用其非常強大的圖像處理功能。移植過程中需要對不需要的功能進行剪裁與優(yōu)化從而達到精簡系統(tǒng)的目的。例如OpenCV支持GTK圖形環(huán)境，但是嵌入式Linux環(huán)境下沒有GTK所以在移植的時候需要將這個功能剪裁。IMX6是一款4核心的ARM芯片，而Linux是支持多進程多線程的操作系統(tǒng)。目前多線程是常見的提高CPU利用率的手段，通過Linux系統(tǒng)提供的IO復用select操作結(jié)合多線程，可以將應用程序分為三個線程，主線程主要是初始化各種系統(tǒng)資源，加載硬件，然后創(chuàng)建攝像頭采集線程和攝像頭數(shù)據(jù)處理顯示線程，最后等待用戶控制命令。三線程并發(fā)可以大大提高CPU的利用率，整個應用程序的流程如圖8所示。

圖7 ARM板上經(jīng)過OpenCV圖像透視變換處理后的效果圖

圖8 應用軟件流程圖

6 結(jié)束語

針對當前道路交通中駕駛員遇到的駕車難泊車難問題，項目研究并改進了一種適用于嵌入式系統(tǒng)實現(xiàn)的全景泊車系統(tǒng)，結(jié)合具體硬件完成了一套功能完整的工程樣機。針對目前市面上全景泊車系統(tǒng)中存在的一些不足，提出了基于ARM-LINUX架構，以PCIE高速通信總線為基礎，配合OpenCV開源計算機視覺庫中提供的算法，結(jié)合提出的參考點配準的圖像拼接方法，完成了整個系統(tǒng)。

[1] 諸葛曉宇,劉恒.倒車輔助系統(tǒng)研究分析[J].輕型汽車技術,2012(4):26-29.ZhuGe Xiaoyu,LiuHeng.Research and Analysis of Auxiliary Parking[J].Light Vehicle Technology,2012(4):26-29.

[2] 陳爍,華馮桑,康迂福.倒車輔助系統(tǒng)的技術的發(fā)展[J].汽車與配件,2010(42):40-43.Chen Shuo,Hua Fengsang,Kang Yufu.Reversing the development of auxiliary systems technology[J].Automotive and accessories,2010(42):40-43.

[3] 高波.汽車全方位數(shù)字視頻監(jiān)視系統(tǒng)[J].科技信息,2008(23):34-35.Gao Bo.Full Digital Video Surveillance System[J].Science and Technology Information,2008(23):34-35.

[4] 白長清,陳沛.嵌入式終端基于Linux V4L2的圖像采集系統(tǒng)[J].科技資訊,2012(2):22-23.Bai Changqing,Chen Pei.Image Acquisition System Based on Linux V4L2 for Embedded Terminal[J].Science and Technology Information,2012(2):22-23.

[5] 徐家,陳奇.基于V4L2的視頻設備驅(qū)動開發(fā) [J].計算機工程與設計,2010,31(16):3569-3572.Xu Jia,Chen Qi.Development of video device driver based on V4L2[J].Computer Engineering and Design,2010,31(16):3569-3572.

[6] 劉洋.基于PCIe的視頻監(jiān)控系統(tǒng)研究與實現(xiàn) [D].成都:電子科技大學,2014.Liu Yang.Research and Implementation of Video Monitoring System based on Pcie[D].Chengdu:University of Electronic Science and Technology,2014.

[7] 周小波.嵌入式Linux下PCIE數(shù)據(jù)采集卡驅(qū)動開發(fā)[D].成都:電子科技大學,2013.Zhou Xiaobo.Driving Development of PCIe Data Acquisition Card Based on Embedded linux system[D].Chengdu:University of Electronic Science and Technology,2013.

[8] MILAN S,VACLAV H,ROGER B.圖像處理、分析與機器視覺(第3版)[M].北京:清華大學出版社,2011.MILAN S,VACLAV H,ROGER B.Image Processing,Analysis and Machine Vision(3rd Edition)[M].Beijing:Tsinghua University Press,2011.

[9] 路明輝.奧迪Q7視覺駐車輔助系統(tǒng)[J].汽車電器,2009,48(1):23-26.Lu Minghui.Audi Q7 visual parking aid system[J].Automotive electrical appliances,2009,48(1):23-26.

[10] KOICHI K,MAKOTO S,YUKIO F.Image synthesis play method and apparatus for vehicle camera: US,US7139412B2[P],2006.

[11] 丁鑫.全景視覺泊車輔助系統(tǒng)研究[D].浙江:浙江大學,2010.Ding Xing.Research on Panoramic Visual Parking Assist System[D].Zhejiang:Zhejiang University,2010.

[12] 趙凱.全景可視化輔助泊車系統(tǒng)研究 [D].安徽:合肥工業(yè)大學,2011.Zhao Kai.Research on Panoramic Visualization Assisted Parking System[D].Anhui:Hefei University of Technology,2011.

[13] 張鋮偉,王彪,徐貴力.攝像機標定方法研究[J].計算機技術與發(fā)展,2010,20(11):174-179.Zhang Chenwei,Wang Biao,Xu Guili.Research on Camera Calibration Method[J].Computer Technology and Development,2010,20(11):174-179.

[14] 陳鐸.攝像機標定方法研究與實現(xiàn)[D].遼寧:東北大學,2008.Chen Duo.Research and Realization of Camera Calibration[D].Liaoning:Northeastern University,2008.

[15] 茂林,馬頌德,李毅.計算機視覺中攝像機定標綜述[J].自動化學報,2001,26(1):43-55.Mao Ling,Ma Songde,Li Yi.Survey of Camera Calibration in Computer Vision[J].Journal of Automation,2001,26(1):43-55.

[16] SCARAMUZZA D,MARTINELLI A and SIEGWART R.A flexible technique for accurate omnidirectional camera calibration and structure from motion [C].IEEE International Conference of Computer Vision Systems,2006:45-53.

[17] 李洪海,王敬東.攝像機標定技術研究 [J].光學儀器,2007,29(4):7-12.Li Honghai,Wang Jingdong.Research on Camera Calibration Technology[J].Optical Instruments,2007,29(4):7-12.

Design of Panoramic Parking System Based on ARM Architecture

Xiang Rong,Yang Gang,Zang Chunhua,Li Zhongnian
（College of Electronic and Information Engineering,Nanjing University of Aeronautics and Astronautics,Nanjing 211106,China）

The IMX6 cortexA9 ARM platform is used as the core to build the embedded Linux operating system.The hardware adopts PCIE interface to connect 4 fisheye camera，codes and transplants diver based on the V4L2 framework and PCIE framework of Linux.The open source computer vision library OpenCV is used to handle 4 channels camera data flow by the method of rectification，perspective transformation and image fusion， and cross compiler tool and CMAKE tool is used to develop and debug the application based on ARM-LINUX system by Ubuntu.Finally，the panoramic image，after the transformation on the LCD screen，is displayed at 30fps.

ARM architecture；Linux system；OpenCV vision library；PCIE procotol；Fisheye camera；V4L2 framework

10.3969/j.issn.1002-2279.2017.03.013

TP368.1

A

1002-2279-（2017）03-0060-06

南京航空航天大學研究生創(chuàng)新基地（實驗室）開放基金（kfjj20150401）

項嶸（1993-），男，安徽省蕪湖市人，碩士研究生，主研方向：電路與系統(tǒng)。

臧春華（1964-），男，副教授，主研方向：數(shù)字系統(tǒng)設計與計算機應用。

2016-10-25