［余翔　秦少鵬］

?

基于達(dá)芬奇技術(shù)的嵌入式可定位視頻的研究與應(yīng)用

［余翔秦少鵬］

摘要隨著GIS技術(shù)的發(fā)展和應(yīng)用，視頻多媒體信息在GIS系統(tǒng)中的應(yīng)用也越來越廣泛，提出在嵌入式系統(tǒng)下，基于達(dá)芬奇技術(shù)，將視頻信息與GPS定位信息相融合形成可定位視頻的方法。通過在視頻幀分包處理中加入GPS定位信息分包，將視頻和GPS定位信息有機(jī)融合，并通過線性內(nèi)插的方法解決在采集過程中GPS信息接收頻率與視頻采集頻率不一致的問題，最后在達(dá)芬奇技術(shù)平臺TMS320DM3730上實現(xiàn)可定位視頻的采集和傳輸。

關(guān)鍵詞：可定位視頻 TMS320DM3730 GPS 視頻 達(dá)芬奇技術(shù)

余翔

重慶郵電大學(xué)，1999年于電子科技大學(xué)取得博士學(xué)位，教授。主要研究方向為寬帶無線通信。

秦少鵬

重慶郵電大學(xué)，碩士生，主要研究方向為應(yīng)急通信系統(tǒng)。

引言

定位技術(shù)和視頻監(jiān)控技術(shù)在日常生產(chǎn)、生活中已經(jīng)被廣泛應(yīng)用，同時隨著無線通信技術(shù)的日益發(fā)展，人們對實時無線視頻傳輸?shù)男枨笕找嬖鲩L。伴隨著智能移動終端的發(fā)展，基于GPS定位服務(wù)的相關(guān)應(yīng)用在生產(chǎn)、生活中的各個領(lǐng)域也被廣泛應(yīng)用。在搶險救災(zāi)、治安防護(hù)、移動指揮等應(yīng)急情況下，視頻傳輸與定位信息對處理應(yīng)急事件都有重要作用，因此，將視頻與定位信息融合形成可定位視頻有著重要應(yīng)用價值。目前，視頻與空間定位信息融合已成為研究的熱點(diǎn)問題，文獻(xiàn)［1］提出了視頻地圖系統(tǒng)，在視頻的一個聲道中記錄空間位置和時間數(shù)據(jù)，并提出了實際應(yīng)用方案。文獻(xiàn)［2］主持的VideoGIS項目中，將視頻與空間信息相結(jié)合，建立視頻片段的地理索引，生成能在地理環(huán)境中調(diào)用的超視頻（hypervideo）。但是以上方案不能滿足視頻實時傳輸需求。

針對以上不足，本文提出了一種嵌入式系統(tǒng)下，基于達(dá)芬奇技術(shù)的視頻和GPS定位信息采集、融合、傳輸?shù)膽?yīng)用方案。隨著DSP芯片技術(shù)的高速發(fā)展，TI公司推出了達(dá)芬奇技術(shù)，它為實現(xiàn)實時、高要求的音視頻信號處理提供了可能性，再加上高效的低碼率視頻編碼標(biāo)準(zhǔn)H.264的成熟應(yīng)用與算法的不斷改進(jìn)，為實時視頻的高質(zhì)量傳輸提供了數(shù)字視頻信號處理平臺和算法指導(dǎo)［3］。

本文采用TI公司推出的TMS320DM3730（以下簡稱DM3730）處理器，基于達(dá)芬奇技術(shù)的嵌入式系統(tǒng)，通過多線程結(jié)構(gòu)，實現(xiàn)視頻與GPS定位信息同步采集、視頻編解碼、視頻幀與GPS定位信息融合以及可定位視頻的無線傳輸，同時通過線性內(nèi)插的方法使視頻幀與GPS定位信息形成一一對應(yīng)的關(guān)系，最終實現(xiàn)了可定位視頻采集融合和實時無線傳輸。

1　系統(tǒng)軟件架構(gòu)設(shè)計

1.1系統(tǒng)整體架構(gòu)

如圖1所示，該系統(tǒng)以DM3730達(dá)芬奇嵌入式視頻采集系統(tǒng)為核心，主要由視頻采集模塊、GPS信息采集模塊、DM3730系統(tǒng)處理模塊、無線網(wǎng)絡(luò)傳輸模塊以及硬盤儲存模塊五部分組成。

圖 1 可定位視頻系統(tǒng)結(jié)構(gòu)圖

功能模塊說明：

（1）CUP處理器模塊：本文選用的是德州儀器（TI）推出的達(dá)芬奇系列TMS320DM3730處理器。該處理器集成了1GHz的ARM Cortex – A8內(nèi)核及800MHz的高級數(shù)字信號處理的DSP核［4］。達(dá)芬奇技術(shù)平臺的ARM+DSP的雙核結(jié)構(gòu)即擁有DSP對數(shù)字信號的高速處理能力，又具有ARM對外圍設(shè)備的強(qiáng)大的管理能力。

（2）視頻采集模塊：攝像頭選用奧尼國際推出的酷睿高清版HD1080P攝像頭。該攝像頭具有業(yè)內(nèi)首創(chuàng)30f/ s（幀/秒）的采集速率，并支持多種分辨率，并通過高速USB2.0接口連接到板卡。

（3）無線網(wǎng)絡(luò)傳輸模塊：本文采用華為公司推出的TD-LTE無線上網(wǎng)模塊—E392U-92，該模塊是多模數(shù)據(jù)卡，支持LTE TDD /FDD/ UMTS/GSM/CDMA等多種網(wǎng)絡(luò)制式，并通過USB2.0接口連接到板卡。

（4）GPS信息采集模塊：本文選用基于ublox公司推出的GPS定位芯片的NEO-6M高性能GPS定位模塊。該模塊同外部設(shè)備的通信接口采用UART（串口）方式，串口波特率為9600BPS。

系統(tǒng)工作原理如下：通過攝像頭進(jìn)行視頻采集，將采集到的模擬視頻數(shù)據(jù)經(jīng)過TVP5150轉(zhuǎn)換成數(shù)字信號，通過USB接口輸出到DM3730系統(tǒng)處理模塊；同時GPS信息采集模塊將接收到的GPS數(shù)據(jù)通過RS232串口轉(zhuǎn)USB傳送至DM3730系統(tǒng)處理模塊；DM3730系統(tǒng)處理模塊對接收到的視頻數(shù)據(jù)進(jìn)行壓縮編碼，然后對編碼后視頻幀進(jìn)行UDP分包處理，同時提取GPS信息中需要的相關(guān)參數(shù)，將提取出的定位信息參數(shù)加入UDP分包中；通過信息內(nèi)插的方法，將視頻幀數(shù)據(jù)同GPS定位信息進(jìn)行匹配，形成可定位視頻，再進(jìn)行無線傳輸至監(jiān)控指揮中心與地圖信息匹配，同時對可定位視頻進(jìn)行本地儲存并可以實時播放。

1.2系統(tǒng)軟件設(shè)計

本文的系統(tǒng)軟件設(shè)計從嵌入式終端達(dá)芬奇平臺雙核架構(gòu)出發(fā)，采用基于POSIX（Portable Operating System Interface）接口的多線程的程序設(shè)計架構(gòu)。在使用多線程時需要處理線程的調(diào)度和線程的同步，本文采用基于實時的SCHED _FIFO（先進(jìn)先出）調(diào)度策略解決線程的調(diào)度問題，而線程的同步則使用Rendezvou模塊來處理。

如圖2所示，嵌入式終端設(shè)備運(yùn)行，首先進(jìn)行系統(tǒng)初始化，然后主線程開始創(chuàng)建各個子線程。當(dāng)所有子線程都結(jié)束時，各個子線程釋放占用的系統(tǒng)資源，主線程再釋放占用的系統(tǒng)資源，退出關(guān)閉。其中各個子線程的優(yōu)先級先后關(guān)系如排列所示：視頻采集回顯和GPS采集解析線程、視頻幀編碼線程、視頻儲存和視頻幀與GPS定位信息匹配融合線程、可定位視頻傳輸線程。各個子線程在執(zhí)行一段時間后都會阻塞、等待其他線程，從而避免高優(yōu)先級的線程一直占用內(nèi)存資源，而優(yōu)先級低的線程不去執(zhí)行的情況。

圖 2 可定位視頻系統(tǒng)軟件架構(gòu)關(guān)系圖

2　系統(tǒng)設(shè)計中的關(guān)鍵技術(shù)

2.1GPS信息提取

GPS接收模塊根據(jù)NMEA-1083協(xié)議，提供了多條語句，每個語句均以“$”開頭，然后是兩個字母的“標(biāo)示符”和三個字母的“語句名”，接著以逗號分割的數(shù)據(jù)體，語句末尾為校驗和，整條語句以回車換行符結(jié)束。其中$GPGGA：輸出GPS的定位信息；$GPGLL：輸出大地坐標(biāo)信息；$GPZDA：輸出UTC時間信息；$GPGSV：輸出可見的衛(wèi)星信息；$GPGST：輸出定位標(biāo)準(zhǔn)差信息；$GPGSA：輸出衛(wèi)星DOP值信息；$GPALM：輸出衛(wèi)星星歷信息；$GPRMC：輸出GPS推薦的最短數(shù)據(jù)信息等。然而在實際的開發(fā)應(yīng)用中，通常只利用其中的幾個參數(shù)，在本研究中，主要提取經(jīng)度、緯度、高程以及方向這些參數(shù)信息。上述幾個參數(shù)主要存在于$GPGGA、$GPRMC兩條語句中，因此，從接收到的信息中提取出這兩條語句并進(jìn)行解析即可，如圖3所示。

2.2視頻采集

本文視頻采集是基于Linux系統(tǒng)的V4L2 （Video4Linux2）設(shè)備驅(qū)動程序框架實現(xiàn)的。系統(tǒng)首先使用FifoUtil_open（）打開線程的讀寫通道，以便線程間進(jìn)行通信，然后創(chuàng)建視頻采集回顯線程，最后采用V4L2設(shè)備驅(qū)動程序框架進(jìn)行視頻采集：打開設(shè)備文件并獲取設(shè)備屬性，再設(shè)置視頻采集格式；申請幀緩沖并入隊列開始采集，將采集到的視頻數(shù)據(jù)出隊列并存入視頻圖像數(shù)據(jù)編碼線程的緩沖區(qū)；最后幀緩沖重新入隊列實現(xiàn)循環(huán)采集。

圖 3 GPS信息采集提取流程圖

2.3視頻編碼

視頻的編解碼是通過調(diào)用編解碼引擎（Codec Engine）來實現(xiàn)的。首先打開編碼引擎，創(chuàng)建H.264編碼器，然后通過調(diào)用FifoUtil_get（）讀管道獲取已采集的視頻數(shù)據(jù)并讀入緩沖區(qū)，進(jìn)行一幀數(shù)據(jù)的編碼，同時調(diào)用FifoUtil_ put（）將編碼后的數(shù)據(jù)傳入視頻儲存線程和視頻幀與GPS定位信息匹配融合線程，最后將幀緩沖返回給編碼線程實現(xiàn)循環(huán)編碼。

2.4視頻幀與GPS定位信息匹配融合

在進(jìn)行信息采集時，視頻的采集頻率一般是15～30 幀/s，而GPS接收的頻率是1s/次，視頻采集速率與GPS信息采集速率不匹配，因此視頻幀無法直接與GPS定位信息一一對應(yīng)，因此本文采用內(nèi)插的方式進(jìn)行視頻幀與GPS定位信息的匹配，并通過分包處理視頻幀加入GPS定位信息，最終形成可以無線傳輸?shù)目啥ㄎ灰曨l，如圖4所示。

2.4.1視頻幀與GPS定位信息融合

首先線程調(diào)用FifoUtil_get（）獲取視頻編碼線程后編碼的幀緩存，然后對這個緩存進(jìn)行分包處理，將要插入的定位信息放入一幀數(shù)據(jù)的最后一個分包，對每個分包加上幀頭，放入UDP隊列中，等待發(fā)送。

圖 4視頻幀分包處理流程圖

在處理H.264編碼后的視頻幀時，根據(jù)當(dāng)前的視頻幀是I幀還是P幀，對此視頻幀進(jìn)行不同的分包處理。當(dāng)檢查到是I幀時，每次取出此幀2K的圖像數(shù)據(jù)加入分包，并對取出的分包添加幀頭，當(dāng)剩下的數(shù)據(jù)不足2K時，則將剩下的數(shù)據(jù)一次性加幀頭，放入UDP隊列，最后在圖像數(shù)據(jù)分包后面添加一個分包，此分包包含要添加的定位信息。圖5通過UDP隊列，將視頻幀與定位信息相融合。

圖 5可定位視頻幀分包結(jié)構(gòu)圖

對P幀的操作與I幀一樣，只是每個分包的大小變?yōu)?K。

2.4.2視頻幀與GPS定位信息匹配

由于視頻采集頻率與GPS接收頻率不一致，一秒時間內(nèi)視頻圖像的幀數(shù)遠(yuǎn)遠(yuǎn)多于GPS信息接收的次數(shù)，這將導(dǎo)致視頻每一幀圖像無法與GPS定位信息一一對應(yīng)。因此本文基于內(nèi)插的方式對GPS定位信息與視頻幀圖像進(jìn)行匹配。過程如圖6所示。

圖 6視頻幀與GPS定位信息匹配流程圖

根據(jù)視頻采集時的運(yùn)動速率，匹配方式分為兩種模式，一種是步行模式，一種是行車模式。步行模式主要包括固定靜止時、步行時等低速行進(jìn)的過程中的視頻采集方式，在此模式下，每秒時間間隔內(nèi)的空間位置的位移變化量很小或處于靜止不變狀態(tài)，因此對每秒間隔時間內(nèi)所采集的視頻幀圖像可以采用同一GPS定位信息。行車模式是指車載視頻時，高速行進(jìn)過程中的視頻采集模式，由于設(shè)備處于高速行車狀態(tài)，此狀態(tài)下兩次接收的GPS定位信息的時間間隔內(nèi)位置變化比較大，如果繼續(xù)采用步行模式的方法進(jìn)行匹配，將導(dǎo)致內(nèi)插的視頻幀的空間位置出現(xiàn)較大的誤差，不能反映真實的位置情況，因此對行車模式采用式（1）對定位信息和視頻幀進(jìn)行線性匹配。其中，Latc是當(dāng)前視頻幀的緯度坐標(biāo)，Lonc是當(dāng)前視頻幀的經(jīng)度坐標(biāo)，F(xiàn)ramec是當(dāng)前視頻幀在兩次GPS信息接收間隔時間內(nèi)，處在采集的所有視頻幀中的位置，F(xiàn)rame是視頻幀率，Lati+1和Loni+1分別是第i+1次接收到的緯度、經(jīng)度坐標(biāo)值，Lati和Loni是第i次接收到的緯度、經(jīng)度坐標(biāo)值。

2.5可定位視頻的無線傳輸

可定位視頻的傳輸是基于UDP協(xié)議的網(wǎng)絡(luò)傳輸完成的。首先創(chuàng)建一個UDP Socket并進(jìn)行本地IP的綁定和相關(guān)的配置，同時設(shè)置監(jiān)控指揮中心的IP地址和端口號等相關(guān)屬性，然后讀取UDP傳輸循環(huán)鏈表進(jìn)行發(fā)送，緩沖發(fā)送到監(jiān)控指揮中心。為了保障傳輸視頻圖像的質(zhì)量和傳輸?shù)目煽啃?，設(shè)置對編碼后的視頻幀的關(guān)鍵幀I幀進(jìn)行監(jiān)聽，確保關(guān)鍵幀I幀被監(jiān)控指揮中心接收，當(dāng)監(jiān)控指揮中心收到I幀時，返回給終端傳輸線程一個回復(fù)信息，如果沒有收到回復(fù)，則循環(huán)發(fā)送I幀數(shù)據(jù)直到收到監(jiān)控指揮中心的回復(fù)為止。

3　應(yīng)用實例

可定位視頻采集終端設(shè)備選用天漠科技有限公司推出的基于德州儀器（TI）DM3730處理器的Devkit8500D評估套件，圖7是可定位視頻采集終端設(shè)備。監(jiān)控指揮中心是PC機(jī)Windows 7系統(tǒng)下基于MFC的Web GIS程序，該程序結(jié)合百度地圖，視頻播放器功能，對接收到的可定位視頻進(jìn)行解碼回放和GPS定位顯示。攜帶可定位視頻采集終端設(shè)備在校園內(nèi)進(jìn)行可定位視頻的采集，并通過TD-LTE網(wǎng)絡(luò)將數(shù)據(jù)發(fā)送至監(jiān)控指揮中心，在監(jiān)控指揮中心的PC上實時顯示視頻和位置移動。

圖 7采集終端實物圖

圖 8監(jiān)控指揮中心可定位視頻界面圖

圖8為可定位視頻播放界面，左上角實時播放終端設(shè)備采集的視頻圖像，右邊在百度地圖上顯示終端在采集視頻時的具體位置。

4　結(jié)束語

本文應(yīng)用達(dá)芬奇技術(shù)平臺，介紹了嵌入式終端上可定位視頻的采集傳輸方法，實現(xiàn)了視頻幀與GPS定位信息一一對應(yīng)以及融合傳輸。隨著無線網(wǎng)絡(luò)技術(shù)的發(fā)展，無線環(huán)境下對數(shù)據(jù)傳輸質(zhì)量的要求越來越高，人們對實時信息的需求也越來越精確?？啥ㄎ灰曨l作為一種將實時視頻多媒體信息與GPS空間地理信息相結(jié)合新型媒體，通過地理信息系統(tǒng)技術(shù)支撐，在監(jiān)控指揮、應(yīng)急救援、信息采集等領(lǐng)域有廣泛的應(yīng)用價值。

參考文獻(xiàn)

1BERRY JK . Capture “Where” and “When” on Video . Based GIS ［J］. GEOWORLD，2000，（9）

2NAVARRETE T， BLATJ. VideoGIS： Segmenting and Indexing Video Based on Geographic Information ［C］// 5thAGILE Conference on Geograp- hic Information Science. Palma Spain.2002

3TI Application report （SPRS283D） TMS320 DM6446 digital media system-on-chip ［R］. Dallas： Texas Instruments， 2005：1-212

4BERRY JK . Capture “Where” and “When” on Video . Based GIS ［J］. GEOWORLD，2000，（9）

5NAVARRETE T， BLATJ. VideoGIS： Segmenting and Indexing Video Based on Geographic Information ［C］// 5thAGILE Conference on Geograp- hic Information Science. Palma Spain.2002

6TI Application report （SPRS283D） TMS320 DM6446 digital media system-on-chip ［R］. Dallas： Texas Instruments， 2005：1-212

7向海波， 李波， 閆忠江. 基于TMS320DM373 -0的H.264編碼器移植與優(yōu)化方法［J］. 電子設(shè)計工程，2012（20）： 180-183

8吳勇， 劉學(xué)軍， 豐江帆. 具有定位信息的移動視頻采集系統(tǒng)［J］.測繪通報， 2009（07）

9吳勇， 劉學(xué)軍， 趙華，等. 可定位視頻采集方法研究［J］. 測繪通報， 2010，（1）：24-27

DOI：10.3969/j.issn.1006-6403.2016.04.013

收稿日期：（2016-01-20）