孫樂飛，張重陽(yáng)

(上海交通大學(xué) 圖像通信與信息處理研究所，上海 200240)

?

基于Hi3531平臺(tái)的快速行人檢測(cè)優(yōu)化與實(shí)現(xiàn)

孫樂飛，張重陽(yáng)

(上海交通大學(xué) 圖像通信與信息處理研究所，上海 200240)

介紹了基于單芯片SoCHi3531的快速行人檢測(cè)的實(shí)現(xiàn)，以及基于平臺(tái)及算法的速度優(yōu)化方案。利用Hi3531硬件平臺(tái)資源及智能引擎加速模塊提供的基本算子，實(shí)現(xiàn)算法速度優(yōu)化。同時(shí)提取不同色彩空間特征并訓(xùn)練相應(yīng)特征模板用于行人檢測(cè)，減少色彩空間轉(zhuǎn)換耗費(fèi)的計(jì)算時(shí)間。實(shí)驗(yàn)結(jié)果表明，在Hi3531平臺(tái)上，在幾乎不降低檢測(cè)精度的情況下，一系列優(yōu)化較大幅度地減少了單幀圖像檢測(cè)時(shí)間。

海思3531；視頻監(jiān)控；行人檢測(cè)；速度優(yōu)化；色彩空間轉(zhuǎn)換

目前，隨著城市人口的不斷增多，城市的公共安全防范系統(tǒng)變得越來(lái)越重要，尤其是智能視頻監(jiān)控系統(tǒng)，在奧運(yùn)會(huì)、世博會(huì)等大型人員聚集場(chǎng)所發(fā)揮著至關(guān)重要的作用[1]。行人檢測(cè)是目標(biāo)檢測(cè)領(lǐng)域的關(guān)鍵技術(shù)，它基于圖像或視頻幀，判斷是否包含行人，如果包含則給出具體位置等信息。好的行人檢測(cè)算法應(yīng)該兼顧檢測(cè)的準(zhǔn)確度和實(shí)時(shí)性，以做到能夠使算法應(yīng)用到不同的場(chǎng)合[2]。Hi3531高性能SoC，擁有專用的視頻處理模塊、高速的數(shù)據(jù)傳輸通道、高速的數(shù)據(jù)處理能力，且價(jià)格低廉，為行人檢測(cè)技術(shù)在智能監(jiān)控領(lǐng)域的實(shí)際應(yīng)用提供一種解決方案。但是嵌入式平臺(tái)的配置相對(duì)PC機(jī)來(lái)說(shuō)要低，對(duì)于復(fù)雜特征的提取計(jì)算以及匹配檢測(cè)需要耗費(fèi)較多的時(shí)間，難以滿足快速行人檢測(cè)的需求[3-4]。

本文提出利用Hi3531硬件平臺(tái)資源及智能引擎加速模塊，實(shí)現(xiàn)算法速度優(yōu)化。提取不同色彩空間特征，訓(xùn)練相應(yīng)特征模板用于行人檢測(cè)，取得了較好的加速效果。

1　硬件平臺(tái)及行人檢測(cè)算法分析

1.1海思媒體處理平臺(tái)

海思提供的媒體處理軟件平臺(tái)(MediaProcessPlatform，MPP)可支持應(yīng)用軟件快速開發(fā)。該平臺(tái)對(duì)應(yīng)用軟件屏蔽了芯片相關(guān)的復(fù)雜的底層處理，并對(duì)應(yīng)用軟件直接提供MPI(MPPProgrameInterface)接口完成相應(yīng)功能。

海思媒體處理平臺(tái)的主要內(nèi)部處理流程如圖1所示，主要分為視頻輸入(VI)、視頻處理(VPSS)、視頻編碼(VENC)、視頻解碼(VDEC)、視頻輸出(VO)、視頻偵測(cè)分析(VDA)等模塊。VI獲取視頻YUV數(shù)據(jù)，VPSS模塊接收VI模塊發(fā)送過(guò)來(lái)的圖像，可對(duì)圖像進(jìn)行去噪、圖像增強(qiáng)、銳化等處理，編碼模塊接收VI捕獲并經(jīng)VPSS處理后輸出的圖像數(shù)據(jù)，可疊加用戶通過(guò)Region模塊設(shè)置的感興趣區(qū)，然后按不同協(xié)議進(jìn)行編碼并輸出相應(yīng)碼流。VDA模塊接收VI的輸出圖像，并進(jìn)行移動(dòng)偵測(cè)和遮擋偵測(cè)，最后輸出偵測(cè)分析結(jié)果[5]。

圖1　海思媒體處理平臺(tái)內(nèi)部處理流程圖

1.2快速行人檢測(cè)算法

快速行人檢測(cè)算法包括如下幾個(gè)模塊：1)channels模塊，用于圖像通道特征提取，根據(jù)給定的圖像，在特定的scale下計(jì)算不同通道特征，在這里的通道特征是顏色通道特征、梯度大小和方向及梯度直方圖[6]。2)detector模塊，用于通道特征目標(biāo)物體檢測(cè)[7]。通過(guò)大量實(shí)驗(yàn)及統(tǒng)計(jì)平均后總結(jié)，在Hi3531平臺(tái)上，對(duì)于每幀圖像的檢測(cè)，每個(gè)步驟的時(shí)間花費(fèi)所占總時(shí)間的比例如圖2所示。由圖中可知，特征計(jì)算花費(fèi)了32%的總體計(jì)算時(shí)間，其中YUV轉(zhuǎn)RGB及RGB轉(zhuǎn)LUV兩個(gè)過(guò)程耗費(fèi)了18.6%的計(jì)算時(shí)間。圖像下采樣過(guò)程也花費(fèi)了總計(jì)算時(shí)間的6%。

圖2　單幀檢測(cè)中各步驟的時(shí)間花費(fèi)占比

運(yùn)用快速行人檢測(cè)算法開啟一個(gè)新的檢測(cè)模塊，實(shí)現(xiàn)了算法的移植，行人檢測(cè)算法中YUV色彩空間到RGB色彩空間的轉(zhuǎn)換可以通過(guò)調(diào)用平臺(tái)提供的MPI來(lái)實(shí)現(xiàn)，從而省去這部分計(jì)算時(shí)間；同時(shí)通過(guò)開啟VI子通道來(lái)優(yōu)化VI模塊，利用硬件資源實(shí)現(xiàn)圖像下采樣，省去算法中圖像下采樣的計(jì)算。提取不同顏色特征作為新的通道特征用于檢測(cè)，可以節(jié)省RGB色彩空間到LUV色彩空間的轉(zhuǎn)換，加速檢測(cè)過(guò)程。

2　基于Hi3531的行人檢測(cè)算法優(yōu)化

本文結(jié)合Hi3531平臺(tái)的硬件資源及算法中的特征選取，從以下3個(gè)方面入手，對(duì)行人檢測(cè)算法進(jìn)行了優(yōu)化。

2.1視頻輸入模塊(VI)優(yōu)化

視頻輸入(VI)模塊實(shí)現(xiàn)的功能：將芯片外的視頻數(shù)據(jù)通過(guò)ITU-RBT656/601/1120接口或者數(shù)字?jǐn)z像機(jī)接口接收，存入指定的內(nèi)存區(qū)域[8]?？芍付ㄓ布ǖ澜壎ǖ较鄳?yīng)的設(shè)備端口。在此過(guò)程中可實(shí)現(xiàn)一路原始視頻圖像輸入，輸出一路或多路視頻圖像功能。Hi3531VI的物理通道支持對(duì)接收?qǐng)D像按序進(jìn)行以下處理：

主通道：裁剪→遮擋→色度重采樣→色度下采樣CDS→水平垂直翻轉(zhuǎn)VBI→輸出處理后的圖像到DDR。

次通道：剪裁→遮擋→水平垂直縮小→水平垂直翻轉(zhuǎn)→輸出處理后的圖像到DDR[9]。

次通道與主通道的圖像源相同，次通道編號(hào)=主通道編號(hào)+16，主通道實(shí)現(xiàn)1 080p圖像的輸出，同時(shí)通過(guò)設(shè)置次通道的屬性，可實(shí)現(xiàn)所需縮放后的圖像輸出，如640×360，320×180等分辨率的圖像。圖3為優(yōu)化的整體流程圖。

圖3　優(yōu)化的整體流程圖

VI(subchn)為新開啟的視頻輸入次通道，其數(shù)據(jù)來(lái)源與VI通道一致，在次通道中可以根據(jù)設(shè)定完成特定尺度的縮放，縮放后的數(shù)據(jù)作為源數(shù)據(jù)傳入Detect模塊。通過(guò)Detect檢測(cè)到視頻中的行人區(qū)域后，將其坐標(biāo)、大小等參數(shù)作為ROI配置參數(shù)，從而進(jìn)行自適應(yīng)檢測(cè)的ROI編碼。通過(guò)開啟視頻輸入次通道，在次通道內(nèi)完成圖像下采樣，傳給行人檢測(cè)模塊檢測(cè)，減少了detect模塊中下采樣過(guò)程耗費(fèi)的時(shí)間。

2.2創(chuàng)建色彩空間轉(zhuǎn)換任務(wù)

Hi3531平臺(tái)基于操作系統(tǒng)層，控制芯片完成相應(yīng)的媒體處理功能。它對(duì)應(yīng)用層屏蔽了硬件處理細(xì)節(jié)，并為應(yīng)用層提供API接口完成相應(yīng)功能。IVE模塊是智能分析系統(tǒng)中的硬件加速模塊。ARM在做智能分析時(shí)，可以借助IVE完成一些基本操作來(lái)加速智能分析。IVE共提供了以下基本算子，包括：快速拷貝、模板濾波、色彩空間轉(zhuǎn)換、模板濾波加色彩空間轉(zhuǎn)換、邊緣提取、膨脹腐蝕、圖像二值化、圖像與、圖像減、圖像或、積分圖和直方圖統(tǒng)計(jì)。

由于通過(guò)VI模塊獲取的數(shù)據(jù)是視頻原始YUV數(shù)據(jù)，而用于行人檢測(cè)模塊輸入的是圖片RGB數(shù)據(jù)，在平臺(tái)上，利用IVE提供的色彩空間轉(zhuǎn)換基本算子HI_MPI_IVE_CSC，可以替換C++代碼實(shí)現(xiàn)YUV到RGB數(shù)據(jù)的轉(zhuǎn)換，節(jié)約ARM的計(jì)算資源。定義源數(shù)據(jù)類型為SP422，源數(shù)據(jù)寬高為輸入數(shù)據(jù)寬高，色彩空間轉(zhuǎn)換模式為IVE_CSC_MODE_PIC_BT709，實(shí)現(xiàn)計(jì)算

(1)

ACSC，BCSC由源數(shù)據(jù)類型和色彩空間轉(zhuǎn)換模式?jīng)Q定。將轉(zhuǎn)換的輸出作為行人檢測(cè)模塊的輸入。

2.3特征提取及模板訓(xùn)練

對(duì)于快速行人檢測(cè)算法，根據(jù)給定的圖像，在特定的尺度下計(jì)算通道特征，在這里是顏色通道特征、梯度幅值及梯度方向特征。當(dāng)提取LUV特征作為顏色特征，結(jié)合梯度幅值特征及6個(gè)方向的梯度方向特征用于檢測(cè)，可以得到91.9%的檢測(cè)精度，而當(dāng)提取RGB特征作為顏色特征，結(jié)合梯度幅值及6個(gè)方向的梯度方向特征，可以得到90.2%的檢測(cè)精度[10]。當(dāng)RGB數(shù)據(jù)作為算法輸入，算法需要實(shí)現(xiàn)RGB轉(zhuǎn)化為L(zhǎng)UV。用RGB替換LUV作為顏色通道特征，在幾乎不降低檢測(cè)精度的情況下，能夠較大幅度地減少因?yàn)椴煌士臻g轉(zhuǎn)換損失的計(jì)算時(shí)間。因此提取RGB作為顏色通道特征，訓(xùn)練出對(duì)應(yīng)的行人模板用于檢測(cè)。

3　實(shí)驗(yàn)結(jié)果與分析

提取RGB特征替換LUV特征作為顏色通道特征用于行人檢測(cè)，圖4和圖5分別為提取LUV作為顏色通道特征和提取RGB作為顏色通道特征用于檢測(cè)的效果圖，表1，表2為對(duì)應(yīng)的檢測(cè)結(jié)果。表中系數(shù)欄為行人的可信度，該值越高則表示該區(qū)域越可能為行人，兩表都分別列出了前6個(gè)最有可能是行人區(qū)域的檢測(cè)結(jié)果。X，Y，W，H分別表示檢測(cè)出的行人區(qū)域左上角的橫坐標(biāo)，左上角的縱坐標(biāo)，寬和高。

圖4　提取LUV特征行人檢測(cè)效果

圖5　提取RGB特征行人檢測(cè)效果

系數(shù)XYWH37.36155.5086.0041.00100.0033.65127.0085.0944.93109.6033.61-9.4280.4786.32210.5233.2976.5494.1537.7091.9524.99195.5194.5929.0270.7922.01219.6891.2926.4564.52

表2提取RGB特征行人檢測(cè)結(jié)果

系數(shù)XYWH27.20147.5086.0041.00100.0025.65131.5086.0041.93100.6024.43-8.2597.2074.54181.8223.9870.7684.0048.96119.4023.27131.5186.0029.0270.7922.44215.7897.2924.2564.32

結(jié)合圖4，圖5和表1，表2對(duì)比可以發(fā)現(xiàn)，對(duì)于提取RGB作為顏色通道特征與提取LUV作為顏色通道特征，兩者檢測(cè)結(jié)果基本接近，兩張圖前6個(gè)行人區(qū)域也基本吻合。

為比較優(yōu)化前后系統(tǒng)檢測(cè)的準(zhǔn)確性，本文給出了在3個(gè)行人數(shù)據(jù)集(INRIA，Caltech，TUD)上的測(cè)試結(jié)果，從INRIA數(shù)據(jù)集中選取200張圖片，在1fppi(falsepositiveperimage)的情況下，優(yōu)化前后檢測(cè)結(jié)果如表3所示。從表中可以看出，優(yōu)化前后檢測(cè)率基本不變。

表3優(yōu)化前后INRIA數(shù)據(jù)集檢測(cè)結(jié)果

選項(xiàng)檢出行人個(gè)數(shù)檢測(cè)率/%優(yōu)化前29732990.3優(yōu)化后29332989.1

選取Caltech行人數(shù)據(jù)集和TUD行人數(shù)據(jù)集上的圖片用于測(cè)試，在1fppi情況下，優(yōu)化前后的檢測(cè)效果如表4所示，從表中也可以清楚地看出，對(duì)于不同的行人數(shù)據(jù)集，優(yōu)化前后檢測(cè)率基本不變。

表4優(yōu)化前后行人不同數(shù)據(jù)集檢測(cè)結(jié)果

數(shù)據(jù)集及選項(xiàng)檢出行人個(gè)數(shù)檢測(cè)率/%Caltech優(yōu)化前16228756.4Caltech優(yōu)化后16128756.1TUD優(yōu)化前16526263.0TUD優(yōu)化后16126261.5

為比較優(yōu)化前后系統(tǒng)的檢測(cè)速度，在Hi3531平臺(tái)上，對(duì)于原始數(shù)據(jù)1080p的圖片(即1 920×1 080)，下采樣6倍到320×180大小進(jìn)行測(cè)試，圖6為優(yōu)化前后行人檢測(cè)算法各個(gè)模塊所需的計(jì)算時(shí)間對(duì)比。

創(chuàng)建VI子通道用于完成下采樣，行人檢測(cè)模塊從子通道中獲取數(shù)據(jù)，省去下采樣計(jì)算時(shí)間，對(duì)于下采樣到320×180的圖片，平均每幀需要花費(fèi)23ms，其中這部分時(shí)間占到總計(jì)算時(shí)間的6.5%。

創(chuàng)建色彩空間轉(zhuǎn)換任務(wù)，通過(guò)調(diào)用Hi3531中IVE提供的色彩空間轉(zhuǎn)換基本算子，轉(zhuǎn)換工作由硬件加速模塊完成，而不再耗費(fèi)CPU資源用于計(jì)算。對(duì)于一幀320×180大小圖片的檢測(cè)，平均可以節(jié)省39ms，這部分時(shí)間占到總計(jì)算時(shí)間的10.9%。

通過(guò)提取RGB特征作為顏色通道特征，替換LUV特征，訓(xùn)練出相應(yīng)的行人模板，對(duì)于下采樣到320×180大小的圖片用于檢測(cè)，平均每幀計(jì)算可以節(jié)省33ms，這部分時(shí)間占到總計(jì)算時(shí)間的9.3%。

結(jié)合3部分的優(yōu)化，整合所有步驟的優(yōu)化，得到最終的優(yōu)化效果。Hi3531主通道獲取1 080p圖像(即1 920×1 080)，同時(shí)開啟視頻輸入次通道，下采樣視頻數(shù)據(jù)到尺寸為320×180大小的圖片用于檢測(cè)，創(chuàng)建色彩空間轉(zhuǎn)化任務(wù)，將YUV轉(zhuǎn)化為RGB，提取RGB數(shù)據(jù)并計(jì)算梯度幅值及6個(gè)方向的梯度方向特征進(jìn)行行人檢測(cè)，平均每幀檢測(cè)減少95ms，節(jié)省26.7%的計(jì)算時(shí)間，檢測(cè)速度明顯提高。

圖6　優(yōu)化前后檢測(cè)所需時(shí)間對(duì)比

針對(duì)每一個(gè)模塊的優(yōu)化，測(cè)試并驗(yàn)證了下采樣到不同分辨率后的行人檢測(cè)的優(yōu)化效果。表5分別列出了960×540，640×360，320×180這3種不同分辨率下優(yōu)化前后的性能對(duì)比。

表5不同分辨率圖片各計(jì)算模塊所需時(shí)間

算法960×540640×360320×180時(shí)間/ms百分比/%時(shí)間/ms百分比/%時(shí)間/ms百分比/%下采樣967.2406.7236.5YUV2RGB16012.16311.03910.9RGB2LUV13310.2609.4339.3

時(shí)間一列是不同模塊所需的計(jì)算時(shí)間，百分比一列是該部分計(jì)算時(shí)間所占總的計(jì)算時(shí)間的百分比。對(duì)于3種優(yōu)化，不同分辨率下均能獲得較大幅度的檢測(cè)速度方面的提升。實(shí)驗(yàn)證明對(duì)于下采樣到更高分辨率的圖片，能獲得更多檢測(cè)時(shí)間上的節(jié)省。

圖7為Hi3531平臺(tái)獲取現(xiàn)實(shí)場(chǎng)景的行人檢測(cè)效果圖，為測(cè)試優(yōu)化前后系統(tǒng)在不同場(chǎng)景下的效果，將網(wǎng)絡(luò)攝像機(jī)架設(shè)在不同的場(chǎng)景下拍攝有行人的畫面并將每幀檢測(cè)所需的時(shí)間記錄保存于文件中，統(tǒng)計(jì)平均發(fā)現(xiàn)相較優(yōu)化前，優(yōu)化后平均每幀可以節(jié)省26%的計(jì)算時(shí)間，對(duì)于多種不同場(chǎng)景，檢測(cè)速度均能獲得明顯提高。

圖7　現(xiàn)實(shí)場(chǎng)景行人檢測(cè)效果

4　小結(jié)

本文基于海思推出的Hi3531媒體處理平臺(tái)，實(shí)現(xiàn)了一個(gè)快速行人檢測(cè)系統(tǒng)，并針對(duì)該系統(tǒng)進(jìn)行速度優(yōu)化。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能準(zhǔn)確、快速地對(duì)監(jiān)控視頻中的行人目標(biāo)進(jìn)行檢測(cè)，提取行人的坐標(biāo)信息，通過(guò)視頻輸入次通道的開啟，色彩空間轉(zhuǎn)化任務(wù)的建立，以及提取不同顏色通道特征優(yōu)化算法，較大幅度地提升了行人檢測(cè)速度。

[1]王俊，盧賢龍，張重陽(yáng)，等.基于Hi3516的監(jiān)控視頻自適應(yīng)ROI編碼[J].電視技術(shù)，2013，37(23)：65-68.

[2]鄭世寶．智能視頻監(jiān)控技術(shù)與應(yīng)用[J]．電視技術(shù)，2009，33(1)：95-97.

[3] 許言午，曹先彬，喬紅. 行人檢測(cè)系統(tǒng)研究新進(jìn)展及關(guān)鍵技術(shù)展望[J]. 電子學(xué)報(bào)，2008，36(5)：962-968.

[4] 蘇松志，李紹滋，陳淑媛，等.行人檢測(cè)技術(shù)綜述[J].電子學(xué)報(bào)，2012，40(4)：814-820.DOI：10.3969/j.issn.0372-2112.2012.04.031.

[5]DOLLáRP，TUZ，PERONAP，etal.Integralchannelfeatures[C].//BritishMaehineVisionConference.London:[s.n.]2009:7-10.

[6]MAJIS，BERGAC，MALIKJ.Classificationusingintersectionkernelsupportvectormachinesisefficient[C]//IEEEConferenceonComputerVision&PatternRecognition. [S.l.]：IEEEComputerSociety，2008：1-8.

[7]DOLLáRP，WOJEKC，SCHIELEB，etal.Pedestriandetection：anevaluationofthestateoftheart[J].IEEEtransactionsonpatternanalysis&machineintelligence， 2012， 34(4)：743-761.

[8]海思半導(dǎo)體有限公司.HI3531Full-HDIP-CamSOC產(chǎn)品[EB/OL].[2015-05-21].http：//www.hisilicon.com/cn/download/digital_media/20110924/Hi3531.rar.

[9]海思半導(dǎo)體有限公司.HI3531媒體處理軟件開發(fā)參考[EB/OL].[2015-05-21].http：//www.hisilicon.com/cn/download/digital_media/20110924/Hi3531.rar.

[10]DOLLáRP，BELONGIES，PERONAP.Thefastestpedestriandetectorinthewest[C]//BritishMachineVisionConference.Aberystwyth:[s.n.],2010:1-11.

孫樂飛(1991— )，碩士生，主要研究方向?yàn)閳D像視頻處理。

責(zé)任編輯：閆雯雯

Hi3531-basedoptimizationandrealizationoffastpedestriandetection

SUNLefei，ZHANGChongyang

(Institute of Image Communication and Information Processing，Shanghai Jiao Tong University，Shanghai 200240，China)

Theachievementofrapidpedestriandetectiononsingle-chipSoCHi3531andtheoptimizationofitsdetectionspeedbasedonplatformandalgorithmareintroduced，whichnotonlyspeedsupthealgorithmbyutilizingHi3531hardwareplatformandthebasicoperatorsprovidedbyintelligentvideoenginespeedupmodule，butalsoreducesthealgorithmtimeforcolorspaceconversionbydevelopingamodulecapableofidentifyingthefeaturesofdifferentcolorspacestofacilitatepedestriandetection.Experimentalresultsrevealthatthedetectiontime，runningonHi3531platform，isremarkablyreducedafteraseriesofoptimizationthatinducesnooffsettodetectionaccuracythough.

Hi3531；videosurveillance；pedestriandetection；speedoptimization；colorspaceconversion

TN941.1

ADOI：10.16280/j.videoe.2016.08.024

2015-11-02

文獻(xiàn)引用格式：孫樂飛，張重陽(yáng).基于Hi3531平臺(tái)的快速行人檢測(cè)優(yōu)化與實(shí)現(xiàn) [J].電視技術(shù)，2016，40(8)：122-125.

SUNLF，ZHANGCY.Hi3531-basedoptimizationandrealizationoffastpedestriandetection[J].Videoengineering，2016,40(8)：122-125.