李 劍，王五桂，張 鶴

?

基于DM8127全景視頻網(wǎng)絡(luò)監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

李 劍，王五桂，張 鶴

（中國艦船研究設(shè)計(jì)中心，武漢 430060）

與傳統(tǒng)視頻監(jiān)控系統(tǒng)只能實(shí)現(xiàn)單向監(jiān)控不同，文章基于TMS320DM8127研究設(shè)計(jì)了一套反射式全景視頻網(wǎng)絡(luò)監(jiān)控系統(tǒng)，該系統(tǒng)由外殼體、拋物反射鏡面和DM8127數(shù)字處理平臺(tái)三部分組成。系統(tǒng)工作時(shí)，拋物反射鏡面可360度反射周視成像，DM8127數(shù)字處理平臺(tái)負(fù)責(zé)系統(tǒng)控制和任務(wù)調(diào)度，對(duì)采集圖像進(jìn)行展開算法處理和壓縮編碼，然后進(jìn)行網(wǎng)絡(luò)傳輸并遠(yuǎn)程顯示。試驗(yàn)結(jié)果表明，該全景視頻監(jiān)控系統(tǒng)可在單一嵌入式平臺(tái)上，實(shí)現(xiàn)1920x1080P分辨率、幀率約30幀/秒的實(shí)時(shí)圖像采集、算法處理、圖像編解碼、網(wǎng)絡(luò)傳輸?shù)纫惑w化功能。

全景 拋物面反射 視頻監(jiān)控 DM8127

0 引言

視頻圖像技術(shù)作為人類信息獲取的重要來源，在監(jiān)控安防領(lǐng)域得到了廣泛應(yīng)用。但視頻監(jiān)控技術(shù)發(fā)展至今，從第一代傳統(tǒng)模擬閉路電視監(jiān)控系統(tǒng)（CCTV）到當(dāng)前“模擬-數(shù)字”監(jiān)控系統(tǒng)（DVR），均存在視場小等缺點(diǎn)，容易產(chǎn)生監(jiān)控死角。或者為了消除監(jiān)控死角，采用多臺(tái)相機(jī)組合或云臺(tái)監(jiān)控，增加了視頻數(shù)據(jù)量和結(jié)構(gòu)復(fù)雜性。目前，為了解決這一問題，國內(nèi)外在魚眼式全景視覺[1-2]、折反式全景視覺[3-5]和反射式全景視覺[6]展開了大量研究。本全景視頻監(jiān)控系統(tǒng)結(jié)合全景視覺技術(shù)[7]和第三代IP視頻監(jiān)控技術(shù)，采用拋物反射鏡面可單次水平方向360度視頻監(jiān)控，基于TI公司DM8127嵌入式數(shù)字處理平臺(tái)可片上實(shí)現(xiàn)視頻實(shí)時(shí)處理，壓縮編解碼并進(jìn)行網(wǎng)絡(luò)傳輸和遠(yuǎn)程輸出顯示，結(jié)構(gòu)簡單，功能完備，在空間探測(cè)、機(jī)器人導(dǎo)航、安防監(jiān)控以及船舶甲板監(jiān)控領(lǐng)域，具有很好的實(shí)用價(jià)值。

1 系統(tǒng)總體設(shè)計(jì)

1.1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

為滿足集成化要求，系統(tǒng)采用一體化筒狀結(jié)構(gòu)，總體結(jié)構(gòu)設(shè)計(jì)如圖1所示。系統(tǒng)主要由三部分組成，即外殼體、拋物反射鏡面[2]和DM8127數(shù)字處理平臺(tái)。外殼體包括頂蓋、底座以及玻璃保護(hù)罩幾部分，起結(jié)構(gòu)支撐保護(hù)和透光作用，其中底座由兩部分組成，通過螺紋連接，與DM8127數(shù)字處理平臺(tái)通過螺栓固連，頂蓋、基座與玻璃保護(hù)罩通過強(qiáng)力膠粘接，系統(tǒng)可通過旋轉(zhuǎn)底座螺紋銜接處進(jìn)行拆裝。拋物反射鏡面安裝時(shí)，必須保證鏡面中心與DM8127數(shù)字處理平臺(tái)遠(yuǎn)焦鏡頭光軸重合，以避免采集的全景圖像偏心。系統(tǒng)工作時(shí)，光線穿過玻璃保護(hù)罩經(jīng)拋物反射鏡面反射，透過DM8127遠(yuǎn)焦鏡頭在圖像傳感器表面成像。

圖1 DM8127全景視頻監(jiān)控系統(tǒng)總體示意圖

1.2系統(tǒng)方案設(shè)計(jì)

DM8127嵌入式全景視頻監(jiān)控系統(tǒng)可在片上對(duì)所獲取的全景圖像進(jìn)行算法處理，處理后的圖像數(shù)據(jù)可直接通過方案一高清媒體接口HDMI輸出到顯示器顯示，或者方案二片上先對(duì)處理后的原始圖像數(shù)據(jù)進(jìn)行壓縮編碼，然后將碼流數(shù)據(jù)基于網(wǎng)絡(luò)發(fā)送至上位機(jī)解碼顯示，具體如圖2所示。

圖2 DM8127全景視頻監(jiān)控系統(tǒng)總體方案

2 系統(tǒng)硬件設(shè)計(jì)

2.1 TMS320DM8127功能組成

TMS320DM8127是TI公司推出的一款高性能異構(gòu)多核芯片，立足系統(tǒng)高度完成功能設(shè)計(jì)，將系統(tǒng)級(jí)目標(biāo)處理機(jī)制、算法模型、芯片架構(gòu)、模塊電路、乃至器件設(shè)計(jì)緊密結(jié)合在一起，單顆芯片即可實(shí)現(xiàn)整個(gè)系統(tǒng)的功能[8]。DM8127芯片內(nèi)部集成了1GHz的ARM Cortex-A8處理核心、750 MHz的C674x DSP運(yùn)算核心以及VPSS M3和Video M3兩個(gè)圖像協(xié)處理器，各處理器核分工如表1所示。

表1 TMS320DM8127功能組成

DM8127數(shù)字處理平臺(tái)由DM8127處理單元、圖像采集模塊、存儲(chǔ)模塊、外設(shè)接口、電源模塊幾部分組成，硬件框圖如圖3所示。圖像采集模塊采用MT9J003高分辨率CMOS采集前端，圖像分辨率最高可達(dá)3856x2764。電源模塊采用12V外部直流供電。外圍集成了RS485、RS232、USB、HDMI、千兆網(wǎng)口等多種外部接口，其中RS232接口可通過轉(zhuǎn)接板供PC端進(jìn)行用戶開發(fā)調(diào)試，HDMI接口可將未經(jīng)編碼或解碼后的圖像數(shù)據(jù)直接輸出到標(biāo)準(zhǔn)輸出設(shè)備進(jìn)行輸出顯示，千兆網(wǎng)口可用于視頻流數(shù)據(jù)網(wǎng)絡(luò)傳輸。存儲(chǔ)模塊采用512MB大小的DDR3內(nèi)存，整個(gè)內(nèi)存可分為系統(tǒng)運(yùn)行內(nèi)存、共享內(nèi)存及各處理器專屬內(nèi)存等多個(gè)部分。

3 系統(tǒng)軟件設(shè)計(jì)

為縮短TMS320DM8127軟件開發(fā)周期，TI公司提供了專門IPNC_RDK開發(fā)環(huán)境。該環(huán)境由驅(qū)動(dòng)層、系統(tǒng)層、核間通信層、MCFW層以及應(yīng)用層等幾部分組成。程序開發(fā)時(shí)，需對(duì)IPNC_RDK開發(fā)環(huán)境進(jìn)行交叉編譯移植，然后在MCFW層及應(yīng)用層進(jìn)行修改。其中，MCFW層中最主要的是link組件和Chain數(shù)據(jù)鏈，link組件指TI封裝的最小功能組件，Chain數(shù)據(jù)鏈指具備完整功能的link組件的有機(jī)組合，兩者共同組成應(yīng)用層usecase程序。

3.1系統(tǒng)開發(fā)環(huán)境搭建

程序設(shè)計(jì)前，搭建TFTP及NFS開發(fā)環(huán)境，TFTP主要用于編譯后的uboot和內(nèi)核由linux本地向DM8127數(shù)字平臺(tái)網(wǎng)絡(luò)傳輸加載，NFS則是用于掛載本地文件系統(tǒng)便于在線調(diào)試，具體如圖4所示。

圖4 DM8127平臺(tái)調(diào)試示意圖

該過程可通過如下uboot命令實(shí)現(xiàn)，具體如下：

3.2系統(tǒng)應(yīng)用程序開發(fā)

為實(shí)現(xiàn)全景監(jiān)控視頻的網(wǎng)絡(luò)輸出遠(yuǎn)程顯示，需要進(jìn)行usecase應(yīng)用層程序設(shè)計(jì)。為實(shí)現(xiàn)上述總體方案，整個(gè)圖像數(shù)據(jù)需經(jīng)過VPSSM3核采集縮放，如需進(jìn)行圖像算法，還需經(jīng)VPSSM3核傳送至DSP核進(jìn)行算法處理，再傳給VideoM3核進(jìn)行像素編碼，再將編碼后的碼流數(shù)據(jù)交給ARMA8進(jìn)行網(wǎng)絡(luò)傳輸。

圖5 3路視頻輸出usecase程序設(shè)計(jì)

圖5所示，為針對(duì)本方案所設(shè)計(jì)的usecase程序，可支持720x480標(biāo)清、1920x1080高清兩路視頻直接輸出顯示，還可支持1920x1080網(wǎng)絡(luò)輸出顯示。如圖所示，每個(gè)link可實(shí)現(xiàn)單一功能，圖像數(shù)據(jù)進(jìn)出不同處理器核時(shí)，需通過IPCLink進(jìn)行中轉(zhuǎn)，未編碼數(shù)據(jù)通過IPCFramesLink進(jìn)行，已編碼數(shù)據(jù)通過IPCBitsLink進(jìn)行核間傳遞，整個(gè)Chain數(shù)據(jù)鏈需經(jīng)過link組件的創(chuàng)建、啟動(dòng)、控制、停止和銷毀等過程。然后還基于同心圓展開算法，對(duì)全景環(huán)形圖像進(jìn)行了展開還原處理。

3.3上位機(jī)顯示程序設(shè)計(jì)

ARM A8將編碼后的碼流數(shù)據(jù)發(fā)送至上位機(jī)后，需開發(fā)上位機(jī)視頻碼流接收程序，并進(jìn)行解碼顯示。其中，碼流接收程序主要是對(duì)接收到的RTP報(bào)文進(jìn)行解協(xié)議操作，并將解析后的視頻數(shù)據(jù)單元重新打包重組成完整的視頻流數(shù)據(jù)，然后交給上位機(jī)進(jìn)行FFmpeg解碼顯示，解碼顯示流程圖如圖6所示。

圖6 上位機(jī)FFmpeg解碼顯示流程圖

3.4試驗(yàn)結(jié)果

樣機(jī)設(shè)計(jì)完成后，進(jìn)行了試驗(yàn)。圖7所示為階段一對(duì)未經(jīng)算法處理的數(shù)據(jù)通路試驗(yàn)，圖中顯示器大圖分辨率為1920x1080P，顯示器屏幕右下角小圖分辨率為720x480，視頻幀率30幀/秒，中間部分為系統(tǒng)樣機(jī)，兩路視頻通過Mosaic組件同時(shí)輸出顯示。階段二，對(duì)灰度化后的原始圖像進(jìn)行了DSP展開算法處理，并對(duì)展開后的圖像進(jìn)行了網(wǎng)絡(luò)輸出解碼顯示，顯示圖像如圖8所示。

4 結(jié)論

本文研究設(shè)計(jì)了一套拋物反射式全景視頻監(jiān)控系統(tǒng)，并對(duì)系統(tǒng)樣機(jī)進(jìn)行了試驗(yàn)。試驗(yàn)結(jié)果表明，本系統(tǒng)可在不增加視頻數(shù)據(jù)量條件下，快速實(shí)現(xiàn)水平方向360度范圍實(shí)時(shí)視頻監(jiān)控和片上解算處理，并進(jìn)行壓縮編碼，實(shí)現(xiàn)視頻網(wǎng)絡(luò)輸出遠(yuǎn)程顯示，具有很好的實(shí)際應(yīng)用價(jià)值和意義。但實(shí)驗(yàn)過程中發(fā)現(xiàn)，環(huán)形全景圖像偏心，且解算圖像分辨率較高時(shí)視頻幀率較低，說明系統(tǒng)結(jié)構(gòu)和解算算法還有待進(jìn)一步優(yōu)化。

圖7 樣機(jī)原始圖像采集2路輸出顯示

圖8 樣機(jī)展開圖像網(wǎng)絡(luò)輸出解碼顯示

[1] 廖訓(xùn)佚. 魚眼圖像全景拼接系統(tǒng)[D]. 重慶大學(xué), 2009.

[2] 李劉生. 基于嵌入式的全景視覺移動(dòng)目標(biāo)跟蹤系統(tǒng)[D]. 天津理工大學(xué), 2012.

[3] 田曉東. 折反射全景成像系統(tǒng)分析與設(shè)計(jì)[J]. 儀表技術(shù)與傳感器, 2006(4): 48-50.

[4] 程鋼, 熊志輝, 陳立棟, 等. 一種DSP折反射全景圖像實(shí)時(shí)展開方法[J]. 計(jì)算機(jī)應(yīng)用, 2008, 28(9): 2285-2287.

[5] 朱齊丹, 徐從營, 蔡成濤. 船載折反射全景視覺系統(tǒng)電子穩(wěn)像算法[J]. 吉林大學(xué)學(xué)報(bào)(工), 2015, 45(4): 1288-1296.

[6] 袁于程. RoboCup中型組足球機(jī)器人全景視覺系統(tǒng)的研究[D]. 蘇州大學(xué), 2009.

[7] 曾吉勇. 折反射全景立體成像[D]. 四川大學(xué), 2003.

[8] 賈文全, 李勇, 王軍輝. 基于TMS320DM8168硬件平臺(tái)的智能網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)[J]. 計(jì)算機(jī)與數(shù)字工程, 2012, 40(9): 60-62.

Design and Implementation of a Panoramic Network Video Monitoring System Based on DM8127

Li Jian, Wang Wugui, Zhang He

(Chinese Ship Research and Design Center, Hubei Wuhan 430060, China )

TP39

A

1003-4862（2018）02-0057-04

2017-11-20

李劍（1991-），男，工程師。研究方向：計(jì)算機(jī)視覺。Email：1143286225@qq.com