許德衡,李昊倫,陳 昊
(沈陽理工大學(xué) 自動化學(xué)院,遼寧 沈陽 110159)
基于DSP的汽車輔助駕駛行人自動檢測裝置設(shè)計
許德衡,李昊倫,陳 昊
(沈陽理工大學(xué) 自動化學(xué)院,遼寧 沈陽 110159)
針對車輛與行人時常發(fā)生碰撞事故現(xiàn)象,文中研究了一種DSP汽車輔助駕駛行人自動檢測系統(tǒng),對基于DM6437的行人檢測硬件實(shí)現(xiàn)平臺進(jìn)行了設(shè)計,采用行人檢測系統(tǒng)的圖像處理算法,優(yōu)化了算法代碼。實(shí)驗結(jié)果表明,該汽車輔助駕駛行人自動檢測裝置能夠?qū)崿F(xiàn)對行人的自動檢測,并發(fā)出相應(yīng)警告,有效地避免了車輛與行人發(fā)生碰撞事故,且代碼執(zhí)行效率高。
行人檢測;DM6437;圖像處理;代碼優(yōu)化
行人自動檢測是利用攝像頭從外界環(huán)境中獲得圖像,實(shí)現(xiàn)行人的識別與跟蹤的一項技術(shù)。它能運(yùn)用數(shù)字圖像處理與目標(biāo)識別等技術(shù)從中分析并且獲得行人的信息[1]。DSP是一個微型計算機(jī),它按照指令對二進(jìn)制的數(shù)字信號進(jìn)行計算,運(yùn)算速度快。由于行人檢測系統(tǒng)具有高度的實(shí)時性和檢測算法的復(fù)雜性,所以DSP行人自動檢測系統(tǒng)能夠滿足在一般場景下具有實(shí)時性處理的要求[2]。本文研究的行人自動檢測技術(shù)能夠有效地自動幫助人們檢測車輛前方的行人,而且能夠發(fā)出相應(yīng)警告,避免與行人發(fā)生碰撞,為雙方的生命與財產(chǎn)帶來了保障。因此,行人自動檢測系統(tǒng)的開發(fā)具有較好的使用價值[3]。
本文設(shè)計的基于DSP的汽車輔助駕駛行人自動檢測裝置的整體系統(tǒng)框圖如圖1所示,該系統(tǒng)由攝像頭、DSP處理器、顯示器、報警器等部分構(gòu)成。該系統(tǒng)通過攝像頭獲取視頻圖像,能夠?qū)⒁曨l圖像送到視頻模塊中。視頻模塊首先對編解碼器進(jìn)行初始化操作,然后對視頻處理子系統(tǒng)中的視頻前端和視頻后端進(jìn)行初始化操作,再打開編解碼通道,對模擬視頻圖像進(jìn)行模/數(shù)(A/D)轉(zhuǎn)換,并將經(jīng)過解碼的視頻數(shù)據(jù)接收到視頻緩沖區(qū)[4-5]。最后系統(tǒng)在視頻緩沖區(qū)中對所得到的視頻數(shù)據(jù)進(jìn)行處理,并將最終的結(jié)果顯示到屏幕上,如有行人經(jīng)過將發(fā)出警報。處理過程也就是執(zhí)行行人檢測算法的過程。
圖1 整體系統(tǒng)框圖
1.1 DM6437 DSP的結(jié)構(gòu)功能特點(diǎn)
DM6437片內(nèi)有分為相同的兩組8個并行處理單元,其體系結(jié)構(gòu)采用甚長指令字(VLIW)結(jié)構(gòu),單指令字長為32 bit,8個指令組成一個指令包,總字長為8×32=256 bit。這8個單元可以同時運(yùn)行:芯片內(nèi)部設(shè)置了專門的指令分配模塊,可以將每個256 bit的指令包同時分配到8個處理單元。 為了在處理通信和影像算法中獲得最大的并行性,C64x內(nèi)核的8個功能單元能夠在每個周期內(nèi)執(zhí)行4組16位MAC運(yùn)算或8組8位MAC運(yùn)算。單個C64×DSP在保證有50%的余量留給多通道語音和數(shù)據(jù)編碼的同時,能夠完成一個通道的MPEG4視頻編碼、一個通道的MPEG4視頻解碼和一個MPEG2視頻解碼。DM6437包含一個VPSS,它是由可配置的視頻接口視頻處理前端(VPFE)和視頻處理后端(VPBE)組成。VPFE負(fù)責(zé)為多種標(biāo)準(zhǔn)視頻提供接口,對輸入的原始圖像數(shù)據(jù)做一些預(yù)處理;VPBE用于驅(qū)動顯示器顯示圖像。另外,DM6437還提供了豐富的外設(shè)接口以更好的控制外部設(shè)備和與外部設(shè)備進(jìn)行通信:2個可配置的視頻接口,1個10/100 Mbit·s-1的EMAC,1個I2C接口,1個McASP,2個McBSP,1個64位看門狗定時器,1個JTAG仿真器,2個64位的通用定時器和2個無縫的外部存儲器接口[6-8]。
1.2 基于DM6437的視頻處理
本系統(tǒng)是基于DM6437的DSP平臺。攝像頭獲取圖像并實(shí)時的傳送到DSP開發(fā)板上,經(jīng)過視頻解碼器芯片TVP5146進(jìn)行A/D轉(zhuǎn)換,將獲取到的模擬信號轉(zhuǎn)化為數(shù)字信號,數(shù)字圖像信號在通過視頻處理前端(VPFE)進(jìn)行一些預(yù)處理操作,進(jìn)入到視頻采集隊列,等待DSP去獲取圖片進(jìn)行處理。在對視頻采集隊列中的圖片經(jīng)過行人檢測算法處理后,輸出到視頻輸出隊列中。DSP的視頻處理后端(VPBE)將視頻處理隊列中的處理過的視頻在顯示器上進(jìn)行實(shí)時顯示。一旦前方有需要報警的行人,顯示器上便會顯示報警信息[9]。
2.1 行人檢測系統(tǒng)圖像處理算法
行人檢測算法可分以下幾個步驟:圖像獲取、預(yù)處理、圖像分割、特征提取和目標(biāo)識別[10]。行人檢測算法的功能框圖如圖2所示。
圖2 行人檢測算法的功能框圖
預(yù)處理主要包含邊緣檢測、直方圖均值化、中值濾波、去噪等步驟。在邊緣檢測中,常用的模板有Sobel算子和Prewitt算子。Sobel 算子有兩個:一個是檢測水平邊緣的;另一個是檢測垂直邊緣的。與Prewitt算子相比,Sobel算子對于象素的位置的影響做了加權(quán),效果更好,因此本實(shí)驗采用Sobel算子進(jìn)行邊緣提取。直方圖均值化能使圖像中像素個數(shù)多的灰度級展寬,圖像中像素個數(shù)少的灰度壓縮,從而擴(kuò)展圖像原取值的動態(tài)范圍,提高了對比度和灰度色調(diào)的變化,使圖像更加清晰。中值濾波能在濾除噪聲的同時,能夠保護(hù)信號的邊緣,使之不被模糊[11-13]。整個系統(tǒng)的軟件框圖如圖3所示。首先初始化整個系統(tǒng)進(jìn)行軟硬件模塊:DSP環(huán)境的初始化設(shè)置、外部存儲器接口的設(shè)置和軟件的內(nèi)部變量初始化(整個系統(tǒng)的執(zhí)行入口地址為c-int00)。然后,程序從main()函數(shù)返回,系統(tǒng)進(jìn)入DSPBIOS調(diào)度時間,視頻處理主線程開始采集視頻圖像,并完成對每一幀圖像進(jìn)行算法處理,最終將處理結(jié)果在圖像上標(biāo)記出來并顯示到屏幕上。
圖3 系統(tǒng)軟件框圖
2.2 代碼優(yōu)化
行人檢測算法在DM6437平臺上實(shí)現(xiàn)后,實(shí)驗結(jié)果與電腦的仿真結(jié)果相同。但是,DSP程序并沒有充分利用DM6437硬件系統(tǒng),所以存在著使用時間過長、效率太低的代碼和廢碼[14-15]。所以在代碼優(yōu)化方面,本文將其分為4個階段。
圖4 算法優(yōu)化流程圖
在優(yōu)化第一階段本文使用CCS的代碼剖析工具Profile去測試C程序中的代碼是否高效,低效率的代碼直接進(jìn)入第二階段。在第二階段,使用-ms0和-ms1兩種函數(shù)庫對DSP程序進(jìn)行優(yōu)化,判斷沒有通過第一階段的代碼在經(jīng)過提煉后是否高效,目的在于提高代碼的執(zhí)行效率,達(dá)到預(yù)定的實(shí)時性要求。第二階段結(jié)果發(fā)現(xiàn),部分代碼還是沒有達(dá)到高效,于是再進(jìn)入到第三階段。第三階段本文利用C6000系列DSP程序提供的優(yōu)化方法去進(jìn)行代碼優(yōu)化,沒有通過優(yōu)化的代碼返回到第一階段重新進(jìn)行優(yōu)化,通過的代碼進(jìn)入到最后階段。在最后階段,本文對效率低的代碼編寫成線性匯編,然后通過軟件流水的方式判斷代碼是否高效,不高效的代碼返回第三階段。具體流程如圖4所示。
利用DM6437硬件平臺的視頻輸入模塊和攝像頭獲取所需要的源圖像,獲得的源圖像如圖5所示。
圖5 源圖像
本實(shí)驗對源圖像采用Sobel算子進(jìn)行邊緣提取,其結(jié)果如圖6所示,圖像中像素灰度急劇變化像素點(diǎn)的集合,即亮度變化明顯的點(diǎn)已被標(biāo)識出,該處理方法降低了圖像邊緣模糊程度,能夠清晰地提取出人體的輪廓特征。
圖6 Sobel邊緣提取結(jié)果
可見光圖像如圖7所示,根據(jù)可見光圖像的特點(diǎn),對可見光圖像進(jìn)行了直方圖均衡化,均衡化結(jié)果如圖8所示,與原可見光圖像相比較可看出,經(jīng)直方圖均衡化后的圖像對比度和灰度色調(diào)都有所提升,圖片更加清晰。之后對圖像進(jìn)行了中值濾波,中值濾波結(jié)果如圖9所示,濾波后圖像信號的邊緣得以保護(hù),使圖像更加清晰。最后檢測了可見光目標(biāo),可見光目標(biāo)的檢測結(jié)果如圖10所示。
圖7 可見光圖像
圖8 均衡化結(jié)果
圖9 中值濾波結(jié)果
圖10 可見光的目標(biāo)
DM6437平臺對DSP所傳送的圖像能夠進(jìn)行處理,對可見光圖像進(jìn)行了直方圖均值化,然后再進(jìn)行中值濾波、去噪等。結(jié)果顯示,經(jīng)處理后,系統(tǒng)能將圖像中感興趣的目標(biāo)提取出來。
本文研究了基于DSP的汽車輔助駕駛行人自動檢測技術(shù),設(shè)計了基于DM6437的行人檢測硬件實(shí)現(xiàn)平臺,同時研究了行人檢測系統(tǒng)的圖像處理算法,并對算法代碼進(jìn)行了優(yōu)化。實(shí)驗結(jié)果表明,本文設(shè)計的行人檢測裝置能夠較為迅捷、準(zhǔn)確的對視頻圖像進(jìn)行處理并提取目標(biāo),能夠滿足實(shí)時性與準(zhǔn)確性的要求。DM6437平臺與功能報警模塊、距離檢測模塊相配合,當(dāng)系統(tǒng)檢測出的行人與車輛之間的距離小于距離檢測模塊的設(shè)定值時,功能報警模塊發(fā)出警報。
[1] 蘇松志,李紹滋,陳淑媛,等.行人檢測技術(shù)綜述[J].電子學(xué)報,2012,40(4):2-4.
[2] 孫科林.基于多核DSP的實(shí)時圖像處理平臺研究[D].成都:電子科技大學(xué),2012.
[3] 許騰,黃鐵軍,田永鴻.車載視覺系統(tǒng)中的行人檢測技術(shù)綜述[J].中國圖象圖形學(xué)報,2013,18(4):2-5.
[4] 許俊.基于DSP的視頻處理開發(fā)平臺的硬件設(shè)計[D].太原:太原理工大學(xué),2010.
[5] 花魁,沈捷,周柱,等.基于DM6437的圖像采集與VGA顯示系統(tǒng)設(shè)計[J].華僑大學(xué)學(xué)報:自然科學(xué)版,2013,1(20):2-3.
[6] Texas Instruments.DM6437 digital media processor[M].TX,USA:Texas Instruments,2007.
[7] 賈浩,崔慧娟,唐昆.基于TMS320DM6437平臺的視頻系統(tǒng)設(shè)計與實(shí)現(xiàn)[J].電視技術(shù),2010,43(5):3-4.
[8] 蔣建國,李明,齊美彬.基于TMS320DM6437的運(yùn)動目標(biāo)實(shí)時檢測與跟蹤[J].合肥工業(yè)大學(xué)學(xué)報,2011,34(7):2-3.
[9] 王鵬霏,羅文廣,曹月花,等.基于DM6437的視頻采集硬件系統(tǒng)研發(fā)[J].廣西科技大學(xué)學(xué)報,2016(1):3-4.
[10] 蔣曉瑜,何東亮,汪熙.基于圖像處理的自動目標(biāo)識別和跟蹤算法初探[J].火力指揮與控制,2006,31(12):2-3.
[11] 何春華,張雪飛,胡迎春.基于改進(jìn)Sobel算子的邊緣檢測算法的研究[J].光學(xué)技術(shù),2012,38(3):2-4.
[12] 靳鵬飛.一種改進(jìn)的Sobel圖像邊緣檢測的算法[J].應(yīng)用光學(xué),2008,29(4):2-3.
[13] 趙高長,張磊,武風(fēng)波.改進(jìn)的中值濾波算法在圖像去噪中的應(yīng)用[J].應(yīng)用光學(xué),2011,32(4):1-4.
[14] 孫悅,陳軍,高雋.基于顯著性檢測與HOG-NMF特征的快速行人檢測方法[J].電子與信息學(xué)報,2013,35(8):1-3.
[15] 田小永,古志民.基于TMS320C55x DSP的代碼優(yōu)化[J].計算機(jī)應(yīng)用,2003,23(1):1-3.
Driver Assistant Pedestrian Automatic Detection Device Design Based on DSP
XU Deheng,LI Haolun,CHEN Hao
(School of Automatization Engineering, Shenyang Ligong University, Shenyang 110159, China)
In this paper, the automatic detection technology of automobile auxiliary driving based on DSP is studied. An implementation platform of pedestrian detection based on DM6437 is designed. An image processing algorithm for pedestrian detection system is studied and optimized. Experimental results show that the designed vehicle auxiliary driving pedestrian automatic detection device based on DSP realizes automatic detection of pedestrian with efficient code execution.
pedestrian detection; DM6437; image processing; code optimization
2016- 06- 12
沈陽理工大學(xué)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目(15xx004)
許德衡(1993-),男,本科。研究方向:測控技術(shù)與儀器。
10.16180/j.cnki.issn1007-7820.2017.05.048
TP391.41
A
1007-7820(2017)05-176-04