秦斌偉， 曹 雄， 聞利群， 劉文怡， 魏 巍

(1. 中北大學(xué) 化工與環(huán)境學(xué)院， 山西 太原 030051；2. 中北大學(xué) 電子測試技術(shù)國家重點實驗室， 山西 太原 030051)

一種新型車載安全監(jiān)控系統(tǒng)設(shè)計

秦斌偉1,2， 曹 雄1， 聞利群1， 劉文怡2， 魏 巍1,2

(1. 中北大學(xué) 化工與環(huán)境學(xué)院， 山西 太原 030051；2. 中北大學(xué) 電子測試技術(shù)國家重點實驗室， 山西 太原 030051)

為了解決汽車安全行駛問題， 提出了一種新型的車載安全監(jiān)控系統(tǒng)， 可用于擁擠人群中安全行駛和車身近距離全方位監(jiān)控. 在汽車前、 后、 左、 右4個方向分別安裝4個攝像頭， 用于采集車身四周路況， 將采集的圖像進行俯視變換. 圖像拼接融合等算法處理， 最終在顯示屏實現(xiàn)全景圖像和單路圖像顯示， 使駕駛員可以隨時掌控車輛所處的環(huán)境， 有效避開車輛周圍的障礙物以及實現(xiàn)對車身周邊環(huán)境的無盲區(qū)監(jiān)控.

攝像頭； 圖像拼接； 全景圖像； 安全監(jiān)控

隨著當(dāng)今社會私家車的普及， 我國道路交通安全越來越引起人們的關(guān)注. 與此同時， 一系列的適用于行車安全的車載終端也應(yīng)運而生. 近年來市場上主流的車載終端監(jiān)控系統(tǒng)主要是前置單個攝像頭的車載記錄儀[1-3]， 但其只能提供車前方的監(jiān)控畫面， 不能呈現(xiàn)車周身的實時環(huán)境畫面， 在監(jiān)控過程中存在盲區(qū)， 對于監(jiān)控車輛行駛有一定的缺陷.

本文設(shè)計了一種新型的車載安全監(jiān)控系統(tǒng)， 其目的主要是在監(jiān)控車輛行駛時道路周邊環(huán)境， 為駕駛員提供實時路況， 保證車輛的正常安全行駛. 系統(tǒng)采用在車身安裝4個攝像頭采集車輛四周圖像， 傳輸至微處理器經(jīng)過相應(yīng)的算法處理后實現(xiàn)鳥瞰全景圖像[4-5]以及單路圖像的實時顯示， 使駕駛?cè)藛T可以隨時掌控車輛所處的環(huán)境， 有效避開車輛周圍的障礙物， 方便停車、 倒車、 變道等操作， 特別是在人群特別擁擠的情況下， 可以實現(xiàn)無盲區(qū)觀察， 達到安全行駛的目的.

1 系統(tǒng)總體設(shè)計方案

車載監(jiān)控系統(tǒng)主要由視頻采集模塊、 視頻處理模塊、 視頻存儲模塊及視頻顯示模塊共4大模塊組成. 本系統(tǒng)主要由Cortex-A9內(nèi)核的多媒體處理芯片Hi3520D微處理器、 液晶觸摸屏、 微型廣角攝像頭、 RN6318A解碼芯片、 SAA7121解碼芯片、 電源電路以及紅外控制模塊等組成. 系統(tǒng)工作原理： 利用固定在車身的4個微型廣角攝像頭采集車輛周邊的實時路況圖像數(shù)據(jù)， 采集的圖像數(shù)據(jù)經(jīng)視頻解碼器RN6318A解碼轉(zhuǎn)化為數(shù)字信號傳給Hi3520D微處理器， 微處理器對接收到的圖像數(shù)據(jù)進行矯正、 變換、 圖像拼接融合等算法處理， 最后經(jīng)過SAA7121解碼芯片D/A轉(zhuǎn)換， 實現(xiàn)全景圖輸出在顯示屏上， 系統(tǒng)總體框架如圖 1 所示.

2 系統(tǒng)硬件設(shè)計

設(shè)計的車載圖像監(jiān)測系統(tǒng)關(guān)鍵電路主要包括視頻采集電路、 視頻存儲接口電路、 供電電路以及紅外接收模塊電路， 下面主要從4方面來對系統(tǒng)硬件設(shè)計進行介紹.

2.1 視頻采集電路設(shè)計

視頻采集模塊主要由4個180°超廣角CCD攝像頭及視頻解碼器RN6318A組成， 主要功能是將攝像頭采集的4路圖像模擬信號通過標準AV接口傳輸?shù)匠凸囊曨l解碼芯片RN6318A中. RN6318A解碼芯片對模擬信號進行AD采樣、 濾波、 壓縮編碼， 將模擬信號數(shù)據(jù)轉(zhuǎn)化為數(shù)字信號數(shù)據(jù)傳輸?shù)街醒胩幚砥鬟M行后續(xù)處理. 所設(shè)計的4路視頻采集電路如圖 2 所示.

圖 2 視頻采集電路Fig.2 The circuit design of capturing video

RN6318A解碼芯片可同時處理8路視頻數(shù)據(jù)， 本設(shè)計使用前4路VIN0～VIN3視頻信號輸入端， 視頻模擬信號在RN6318A解碼芯片經(jīng)過預(yù)處理后輸出至VINA0～VINA3管腳生成數(shù)字視頻信號， 再經(jīng)數(shù)字信號輸出端傳輸至Hi3520D中央處理器[6].

2.2 視頻存儲電路設(shè)計

對系統(tǒng)的存儲模塊部分， 本系統(tǒng)設(shè)計采用一個容量為64Mbyte的SPI Flash作為配置芯片用來存儲系統(tǒng)固定的程序和數(shù)據(jù)， 它通過SPI接口與Hi3520D處理器相連接， 支持在線帶電擦寫功能， 而且掉電之后數(shù)據(jù)不會丟失. 整個系統(tǒng)中的Bootloader引導(dǎo)程序、 Linux內(nèi)核、 根文件系統(tǒng)和應(yīng)用程序等， 采用三星公司的K9WBG08U1M Flash芯片， 實現(xiàn)系統(tǒng)存儲容量的擴展. 將兩片F(xiàn)lash存儲芯片串行擴展為存儲容量翻倍的存儲器， 兩片F(xiàn)lash的片選信號分別連接到FPGA， 其它控制信號基本公用， 在進行數(shù)據(jù)存儲時， 只需選擇片選信號即可選中所要使用的存儲芯片， 一片存儲結(jié)束后， 直接切換片選信號即可存儲到另一片存儲芯片. 圖 3 所示為Flash存儲單元的電路圖.

圖 3 Flash存儲單元的電路Fig.3 The storage unit circuit design of Flash

2.3 電源供電設(shè)計

電源模塊設(shè)計在系統(tǒng)中扮演著極其重要的角色， 決定著整個系統(tǒng)能否正常工作運行. 電源模塊的設(shè)計需要對系統(tǒng)各部分模塊的功耗及電壓輸出、 負載情況進行分析， 避免元器件因電流過大被燒壞的情況發(fā)生.

系統(tǒng)設(shè)置內(nèi)置電源和外接電源. 內(nèi)置電源采用主要是內(nèi)置鋰電池電源用于停車監(jiān)控； 外接電源主要是利用汽車本身的電瓶電源， 汽車上一般配有+12V的直流電瓶電源[7]， 但由于汽車上各種電氣設(shè)備很多， 因此會有電壓不穩(wěn)及干擾等問題. 所以考慮到電源的適應(yīng)性、 過壓沖擊和短路保護等因素， 系統(tǒng)采用具體電路來消除電路干擾問題.

系統(tǒng)對電源的供電需求是： CPU、 時鐘模塊、 數(shù)據(jù)存儲模塊等需要1.2 V, 3.3 V電壓； 視頻采集模塊、 顯示模塊等需要5 V電壓； 同時各種芯片的最大輸入電流不盡相同， 所以要求電源必須要有較寬的輸入范圍和較大輸出電流. 系統(tǒng)電源的輸入電壓是12 V， 首先經(jīng)過EMI濾波模塊， 然后經(jīng)過DC/DC電源轉(zhuǎn)換模塊產(chǎn)生5 V電壓， 給系統(tǒng)相應(yīng)模塊予以供電， 如圖 4 所示. 由于系統(tǒng)一些模塊還需3.3 V及1.2 V 供電， 故選用TPS70358電源管理芯片將5 V電源轉(zhuǎn)化為各自需要的供電電壓， 具體電路如圖 5 所示.

圖 4 EMI及DC/DC電路設(shè)計Fig.4 The circuit design of EMI and DC/DC

圖 5 電源模塊電路設(shè)計Fig.5 The circuit design of power supply module

2.4 紅外控制設(shè)計

紅外接收模塊主要用于對用戶的按鍵信息進行感應(yīng)接收， Hi3520D芯片提供一個專用的IR接口. 系統(tǒng)采用SGR3638A芯片進行對紅外信號的接收， 通過IR_IN引腳輸入到Hi3520D處理器進行信號處理. 具體電路如圖 6 所示.

圖 6 紅外線接收電路Fig.6 The circuit design of infrared receiving

3 軟件結(jié)構(gòu)設(shè)計

本車載安全監(jiān)控系統(tǒng)以嵌入式Linux為平臺[8]進行軟件開發(fā)， 采用模塊化設(shè)計， 一方面是為了方便對程序進行調(diào)試、 修改和移植， 另一方面也有利于日后進行系統(tǒng)性能維護以及功能擴展升級.

系統(tǒng)軟件總體框架如圖 7 所示， 可以劃分為視頻采集模塊、 視頻處理模塊、 視頻存儲模塊、 視頻回放模塊、 視頻顯示模塊、 紅外接收控制模塊.

圖 7 系統(tǒng)軟件總體框架圖Fig.7 Overall frame of the software-system

視頻采集模塊的主要工作是采集視頻數(shù)據(jù)并進行預(yù)處理； 車載視頻處理模塊的主要工作是從視頻緩沖區(qū)中讀取數(shù)據(jù)， 經(jīng)過全景拼接算法處理后將視頻顯示到顯示屏中； 視頻存儲模塊的主要工作是存儲采集的視頻； 視頻回放模塊可以支持用戶選擇某個歷史時刻的視頻文件， 并顯示到車載終端顯示屏上， 以便于事故取證. 紅外控制模塊從紅外設(shè)備文件中讀取數(shù)據(jù)， 獲取當(dāng)前使用按鍵， 駕駛員通過紅外按鍵， 可以主動控制車載智能終端系統(tǒng)， 例如可以切換車載全景顯示以及選擇查看歷史視頻文件.

下面主要對視頻存儲模塊軟件設(shè)計和圖像顯示模塊軟件設(shè)計進行詳細介紹.

3.1 視頻存儲模塊軟件設(shè)計

海思公司針對Hi3516D芯片提供了完善的視頻開發(fā)函數(shù)庫[9]， 系統(tǒng)設(shè)計利用函數(shù)庫中的接口函數(shù)完成了對視頻存儲模塊及其他功能模塊的軟件設(shè)計. 這里主要介紹對存儲模塊的軟件設(shè)計， 系統(tǒng)圖像數(shù)據(jù)存儲流程圖如圖 8 所示.

圖 8 圖像存儲流程圖Fig.8 The flow chart of image storage

圖 9 存儲文件截圖Fig.9 The screenshot of storing files

為方便存儲文件進行回讀， 首先進行時鐘同步， 然后調(diào)用startstorageStream()函數(shù)開始對采集的圖像數(shù)據(jù)進行壓縮并存儲， 當(dāng)數(shù)據(jù)存儲至Flash后， 釋放緩存， 進入下一次存儲， 以防止緩存不足導(dǎo)致漏幀現(xiàn)象的發(fā)生. 存儲的文件名稱依次以視頻創(chuàng)建的時間命名， 文件格式為.h264. 測試過程中存儲的視頻文件如圖 9 所示.

3.2 圖像顯示模塊軟件設(shè)計

系統(tǒng)設(shè)計的車載全景顯示界面主要由3部分組成： 單路視頻顯示界面、 4路圖像拼接全景界面以及警告界面. 系統(tǒng)采用DSD0標清設(shè)備輸出， 設(shè)置顯示分辨率為720*480， 系統(tǒng)設(shè)計的3部分畫面的區(qū)域分配如圖 10 所示.

圖 10 圖像顯示界面區(qū)域劃分圖Fig.10 The regional figure of image display

該部分設(shè)計原理： 將單路視頻數(shù)據(jù)、 全景拼接視頻數(shù)據(jù)以及警告圖片數(shù)據(jù)分別填充到用于顯示的內(nèi)存Buffer的相應(yīng)位置. 其中警告圖片以YUV格式保存為warning.bin二進制文件， 可通過編寫setWarningPic()函數(shù)對文件數(shù)據(jù)進行讀取并填充到相應(yīng)的內(nèi)存區(qū)域中. 單路視頻顯示與4路全景拼接視頻顯示實現(xiàn)過程與警告圖片顯示過程類似.

全景拼接圖像實時顯示工作流程如圖 11 所示. 按下啟動按鈕， 系統(tǒng)完成初始化工作， 之后配置并啟動圖像輸入VI、 圖像處理VPSS和圖像輸出VO， 創(chuàng)建視頻采集、 顯示等任務(wù)線程， 然后獲取4路視頻數(shù)據(jù)并進行拷貝， 采用查表法對4路視頻數(shù)據(jù)進行全景拼接處理后， 得到單路視頻數(shù)據(jù)、 4路視頻融合數(shù)據(jù)以及警告圖片數(shù)據(jù)， 對用于顯示的內(nèi)存區(qū)域進行對應(yīng)位置的填充， 之后調(diào)用接口函數(shù)HI_MPI_VO_SendFrame()把處理后的視頻數(shù)據(jù)接入指定視頻輸出通道， 完成車輛周邊環(huán)境的全景拼接顯示.

4 系統(tǒng)測試及結(jié)果

本系統(tǒng)的車載終端顯示界面如圖 12 所示， 左上角為車尾攝像頭采集的單路原始圖像， 可以幫助駕駛員了解車后方的實時路況； 左下側(cè)為警告界面， 起到預(yù)警的作用； 顯示界面右側(cè)為4路視頻全景拼接圖， 駕駛員可以直接觀察到車身周邊的實時路況， 可以有效預(yù)防不安全事故的發(fā)生和還原事故真相.

圖 12 車載終端顯示界面Fig.12 The display of car terminal

5 結(jié) 語

本文提出了一種車載安全監(jiān)控系統(tǒng)， 主要介紹了車載安全監(jiān)控系統(tǒng)的硬件電路設(shè)計及軟件設(shè)計， 實現(xiàn)了車輛行駛時的單路及全景圖像的實時顯示， 對于在人群中安全行駛和車輛主動安全領(lǐng)域[10]具有重大意義. 本系統(tǒng)側(cè)重于車輛慢速行駛和近距離全景監(jiān)控， 進一步可以對遠距離、 大范圍進行全景監(jiān)控設(shè)計研究， 那時， 我們或許可以直接盯著監(jiān)控系統(tǒng)的顯示屏便可實現(xiàn)安全行駛.

[1] 張再俠. 基于行車記錄儀的數(shù)據(jù)采集方法在地理國情普查中的應(yīng)用研究[D]. 濟南： 山東建筑大學(xué)， 2016.

[2] 鄭祥濱. 衛(wèi)星定位行車記錄儀的研制[D]. 哈爾濱： 哈爾濱工業(yè)大學(xué)， 2014.

[3] 簡明全. “透視”智能行車記錄儀市場[J]. 中國公共安全， 2016(10)： 42-46. Jian Mingquan. “Perspective” intelligent vehicle traveling data recorder market[J]. China Public Security, 2016(10): 42-46. (in Chinese)

[4] Campbell John Y, Shiller Robert J. Yield spreads and interest rate movements: a bird’s eye view[J]. The Review of Economic Studies, 1991, 58(3): 495-514.

[5] 王雪蓉.全景圖像的拼接技術(shù)研究[D]. 金華： 浙江師范大學(xué)， 2008.

[6] 連猛.車聯(lián)網(wǎng)智能車載終端的設(shè)計與實現(xiàn)[D]. 太原： 中北大學(xué)， 2015.

[7] 張立成.面向車聯(lián)網(wǎng)的車載智能終端研究與實現(xiàn)[D]. 西安： 長安大學(xué)， 2012.

[8] 張鑫， 劉樹昌， 莊仲， 等. 嵌入式汽車行駛記錄儀的設(shè)計[J]. 測試技術(shù)學(xué)報， 2014， 28(5)： 400-404. Zhang Xin, Liu Shuchang, Zhuang Zhong, et al. Design of embedded vehicle traveling data recorder[J]. Journal of Test and Measurement Technology, 2014, 28(5): 400-404. (in Chinese)

[9] Hi3520D/Hi3515A/Hi3515CH.264. 編解碼處理器用戶指南[Z]. 海思公司， 2013.

[10] 鄒偉偉. 車載監(jiān)控系統(tǒng)顯示部分研究與設(shè)計[D]. 大連： 大連海事大學(xué)， 2008.

A New Design of Vehicle Safety Monitor System

QIN Binwei1,2, CAO Xiong1, WEN Liqun1, LIU Wenyi2, WEI Wei1,2

(1. North University of China, Academy of Chemical and Environment Engineering, Taiyuan 030051, China;2. National Defense Key Laboratory for Electronic Measurement Technology,North University of China, Taiyuan 030051, China)

In order to solve the problem of vehicle driving safely, a safety monitoring system of vehicle is proposed, which can be used in driving safely in a crowed and all-round monitoring to the vehicle closely. Four cameras are installed respectively around the body of vehicle to collect the image of environment. The collected images are conducted a transformation of bird’s eye view and imagemosaic. In the end, a panorama of bird’s eye view and single channel image are outputted on the display.The driver can control the environment around the vehicle through it at any time,avoid obstacles and realize the no blind spot monitoring of surrounding a vehicle.

camera ; imagemosaic; panorama image; security monitoring

1671-7449(2017)02-0137-07

2016-12-16

秦斌偉(1991-)， 男， 碩士生， 主要從事電子設(shè)備安全監(jiān)測及測試技術(shù)等研究.

TP277

A

10.3969/j.issn.1671-7449.2017.02.008