邵澤靖，胡 靜，宋鐵成，黃 秦

（東南大學(xué) 信息科學(xué)與工程學(xué)院，江蘇 南京 210096）

隨著社會(huì)經(jīng)濟(jì)的發(fā)展，交通運(yùn)輸業(yè)成為國(guó)民經(jīng)濟(jì)發(fā)展重要經(jīng)濟(jì)命脈。移動(dòng)通信技術(shù)的發(fā)展，為物聯(lián)網(wǎng)技術(shù)提供了強(qiáng)有力的支持，在交通運(yùn)輸行業(yè)催生了車(chē)聯(lián)網(wǎng)這一概念。車(chē)聯(lián)網(wǎng)概念引申自物聯(lián)網(wǎng)（Internet of Things，IoT）。行業(yè)背景不同，對(duì)車(chē)聯(lián)網(wǎng)的定義也不相同。傳統(tǒng)的車(chē)聯(lián)網(wǎng)定義是指裝載在車(chē)輛上的電子標(biāo)簽，通過(guò)無(wú)線射頻等識(shí)別技術(shù)實(shí)現(xiàn)在信息網(wǎng)絡(luò)平臺(tái)上，對(duì)所有車(chē)輛的屬性信息和靜、動(dòng)態(tài)信息進(jìn)行提取和有效利用。根據(jù)不同的功能需求，對(duì)所有車(chē)輛的運(yùn)行狀態(tài)，進(jìn)行有效的監(jiān)管并提供綜合服務(wù)的系統(tǒng)。車(chē)載視頻監(jiān)控是車(chē)聯(lián)網(wǎng)領(lǐng)域的一個(gè)重要研究課題，它能方便用戶(hù)實(shí)時(shí)、直觀地監(jiān)控車(chē)輛安全情況[1]。為了更有效地對(duì)車(chē)輛情況進(jìn)行監(jiān)管，本設(shè)計(jì)使用Hi3520D作為車(chē)載終端核心芯片，基于Linux嵌入式進(jìn)行程序設(shè)計(jì)，實(shí)現(xiàn)采集、顯示、存儲(chǔ)視頻數(shù)據(jù)功能，將車(chē)載終端作為流媒體服務(wù)器，供遠(yuǎn)程視頻監(jiān)控軟件查看視頻終端內(nèi)的視頻文件。

1 系統(tǒng)組成及功能

本系統(tǒng)使用車(chē)載終端掛載攝像頭對(duì)車(chē)體四周進(jìn)行監(jiān)控，遠(yuǎn)程監(jiān)控客戶(hù)端通過(guò)網(wǎng)絡(luò)訪問(wèn)車(chē)載終端視頻監(jiān)控系統(tǒng)，查看車(chē)輛情況，系統(tǒng)總體設(shè)計(jì)如圖1所示。在本系統(tǒng)中，在每個(gè)車(chē)載終端上掛載4路攝像頭。車(chē)載終端對(duì)采集到的視頻數(shù)據(jù)進(jìn)行處理與顯示，并將視頻數(shù)據(jù)保存在本地存儲(chǔ)設(shè)備之中。遠(yuǎn)程監(jiān)控客戶(hù)端通過(guò)網(wǎng)絡(luò)訪問(wèn)車(chē)載終端中的視頻文件，查看車(chē)輛情況。此時(shí)，車(chē)載終端不僅能作為視頻采集與存儲(chǔ)的設(shè)備，而且可以作為視頻文件的流媒體服務(wù)器，將本地視頻以流的方式推送到視頻監(jiān)控客戶(hù)端。

2 車(chē)載終端硬件系統(tǒng)簡(jiǎn)介

系統(tǒng)硬件總體結(jié)構(gòu)如圖2所示。其中車(chē)載核心芯片使用了基于ARM9處理器的HI3520D，使用130萬(wàn)像素的AHD高清車(chē)載專(zhuān)用攝像頭，通過(guò)NVP6114視頻解碼芯片將數(shù)據(jù)傳送到HI3520D核心芯片中。4G模塊主要采用了移遠(yuǎn)LTE EC20進(jìn)行視頻數(shù)據(jù)傳輸。WiFi模塊主要使用了RTL8188 CUS芯片。通過(guò)RS232串口進(jìn)行信息調(diào)試的輸入和輸出，USB可以接外置存儲(chǔ)設(shè)備和鼠標(biāo)設(shè)備。

圖1 系統(tǒng)總體設(shè)計(jì)

圖2 系統(tǒng)硬件架構(gòu)

車(chē)載視頻監(jiān)控系統(tǒng)核心芯片主要使用了搭載Linux操作系統(tǒng)的HI3520D。HI3520D是針對(duì)多路D1和多路高清DVR，NVR產(chǎn)品應(yīng)用開(kāi)發(fā)的一款專(zhuān)業(yè)SOC芯片。其采用ARM9處理器內(nèi)核，處理器頻率高達(dá)600 MHz，集成8路D1多協(xié)議編解碼能力的引擎與豐富的視頻輸入輸出接口（CVBS、高清VGA、BT1120），充分滿(mǎn)足客戶(hù)產(chǎn)品的高質(zhì)量圖像體驗(yàn)與車(chē)載視頻監(jiān)控應(yīng)用軟件開(kāi)發(fā)需求[2]。海思提供的媒體處理軟件平臺(tái)（Media Process Platform，MPP），可支持HI3520D應(yīng)用軟件快速開(kāi)發(fā)。該平臺(tái)對(duì)應(yīng)用軟件屏蔽了芯片相關(guān)的復(fù)雜的底層處理，并對(duì)應(yīng)用軟件直接提供MPP程序接口（MPP Programe Interface，MPI）完成相應(yīng)功能。該平臺(tái)支持應(yīng)用軟件快速開(kāi)發(fā)以下功能：輸入視頻捕獲、H.264/MJPEG/JPEG/MPEG4 編碼、H264/VC1/MPEG4/MPEG2/AVS 解碼、視頻輸出顯示、視頻圖像前處理（包括去噪、增強(qiáng)、銳化、Deinterlace）、編碼碼流疊加 OSD、視頻偵測(cè)分析、智能分析、音頻捕獲及輸出、音頻編解碼等功能[5]。

視頻采集模塊主要使用了NextChip NVP6114作為視頻采集芯片。NVP6114作為AHD1.0的接收芯片RX，可以接收960 H CVBS/Comet，720 p（AHD）。NVP6124作為AHD2.0的接收芯片R，用于DVR的時(shí)候，因?yàn)槟芙邮账?60 H CVBS/Comet，1 280 H CVBS/Comet，720 p（AHD），1 080 p（AHD）圖像，所以能夠處理多種視頻圖像。

EC20是移遠(yuǎn)通信最近推出的LTE Cat.3模塊；采用LTE 3GPP Rel.9技術(shù)；支持最大下行速率100 Mbps和最大上行速率50 Mbps，可以滿(mǎn)足視頻傳輸?shù)母邘捯?。EC20在封裝上兼容移遠(yuǎn)通信UMTS/HSPA+ UC20模塊，實(shí)現(xiàn)了3G與4G網(wǎng)絡(luò)之間的無(wú)縫切換，并且向后兼容現(xiàn)存的EDGE和GSM/GPRS網(wǎng)絡(luò)，以確保在缺乏3G和4G網(wǎng)絡(luò)的偏遠(yuǎn)地區(qū)也能正常工作。EC20使用多輸入多輸出技術(shù)，使信號(hào)通過(guò)發(fā)射端與接收端的多個(gè)天線傳送和接收，從而降低誤碼率，改善通信質(zhì)量。同時(shí)，它結(jié)合了高速無(wú)線連接與內(nèi)置多星座高精度定位GPS+GLONASS接收器。EC20內(nèi)置豐富的網(wǎng)絡(luò)協(xié)議，集成多個(gè)工業(yè)標(biāo)準(zhǔn)接口，可以工作在多種嵌入式設(shè)備中。

3 系統(tǒng)軟件環(huán)境搭建

嵌入式在存儲(chǔ)空間與處理器速度等硬件資源上有限，所以不可能直接在車(chē)載終端上直接進(jìn)行開(kāi)發(fā)，必須在上位機(jī)PC上進(jìn)行所有的軟件開(kāi)發(fā)與調(diào)試，通過(guò)串口或者網(wǎng)絡(luò)將目標(biāo)程序下載到目標(biāo)機(jī)上運(yùn)行，這就需要搭建交叉編譯環(huán)境[3]。使用VMware安裝Linux操作系統(tǒng)，本文使用的Linux操作系統(tǒng)為Ubuntu 16.04。安裝完操作系統(tǒng)之后需要安裝交叉編譯器，本系統(tǒng)開(kāi)發(fā)所使用的編譯器是arm-hisiv100nptllinux-gcc，版本是4.4.1。為了加快開(kāi)發(fā)速度，不使用串口或者網(wǎng)絡(luò)將目標(biāo)程序下載到目標(biāo)機(jī)上運(yùn)行的方式，而是使用NFS網(wǎng)絡(luò)文件系統(tǒng)，將宿主機(jī)上的指定目錄作為共享文件夾，通過(guò)NFS網(wǎng)絡(luò)文件系統(tǒng)將共享文件掛載在目標(biāo)機(jī)上，這樣免去了下載程序的步驟，直接在目標(biāo)機(jī)器上運(yùn)行程序查看效果。

海思圖標(biāo)幀緩沖區(qū)（Hisilicon Framebuffer，HiFB）是海思數(shù)字媒體處理平臺(tái)提供的用于管理疊加圖形層的模塊，它不僅提供Linux Framebuffer的基本功能，還在Linux Framebuffer的基礎(chǔ)上增加層間colorkey、層間colorkey mask、層間Alpha、原點(diǎn)偏移等擴(kuò)展功能[4]?？梢允褂弥С諰inux Framebuffer的Qt進(jìn)行GUI程序設(shè)計(jì)。Qt是一個(gè)跨平臺(tái)的C++圖形用戶(hù)界面應(yīng)用程序框架。它提供給應(yīng)用程序開(kāi)發(fā)者建立藝術(shù)級(jí)的圖形用戶(hù)界面所需的所用功能。Qt是完全面向?qū)ο蟮?，很容易擴(kuò)展，并且允許真正地組件編程。使用Qt進(jìn)行嵌入式軟件開(kāi)發(fā)需要使用交叉編譯器進(jìn)行交叉編譯后方可使用，本系統(tǒng)使用的是經(jīng)過(guò)剪裁后的Qt 4.8.6 。

車(chē)載終端不僅作為視頻采集與存儲(chǔ)的設(shè)備，還作為視頻播放的服務(wù)器。使用了基于RTP/RTCP/RTSP/SIP的開(kāi)源Live555進(jìn)行視頻服務(wù)器的開(kāi)發(fā)。Live555是一個(gè)為流媒體提供解決方案的跨平臺(tái)的C++開(kāi)源項(xiàng)目。標(biāo)準(zhǔn)流媒體傳輸是一個(gè)為流媒體提供解決方案的跨平臺(tái)的C++開(kāi)源項(xiàng)目，它實(shí)現(xiàn)了對(duì)標(biāo)準(zhǔn)流媒體傳輸協(xié)議如RTP/RTCP，RTSP，SIP等的支持。Live555實(shí)現(xiàn)了對(duì)多種音視頻編碼格式的音視頻數(shù)據(jù)的流化、接收和處理等支持，包括MPEG，H.263+，DV，JPEG視頻和多種音頻編碼。Live555現(xiàn)已經(jīng)支持嵌入式開(kāi)發(fā)，但需要使用交叉編譯工具在宿主機(jī)上進(jìn)行移植后方可使用。

4 車(chē)載終端系統(tǒng)軟件設(shè)計(jì)

終端軟件設(shè)計(jì)主要包括3個(gè)部分，視頻采集與顯示、GUI界面交互、流媒體服務(wù)器，整個(gè)軟件設(shè)計(jì)架構(gòu)如圖3所示。

圖3 系統(tǒng)軟件設(shè)計(jì)架構(gòu)

4.1 視頻采集與顯示

本車(chē)載終端默認(rèn)使用4路720P視頻進(jìn)行錄制，使用VGA進(jìn)行輸出。視頻采集與顯示主要使用MPP平臺(tái)下視頻輸入、視頻處理與視頻輸出3個(gè)模塊。視頻輸入模塊捕獲視頻圖像，可對(duì)其作剪切、縮放、鏡像處理，并輸出多路不同分辨率的圖像數(shù)據(jù)。視頻處理模塊接收視頻輸入發(fā)送過(guò)來(lái)的圖像數(shù)據(jù)，可對(duì)圖像進(jìn)行去噪、圖像增強(qiáng)、銳化等處理，并實(shí)現(xiàn)同源輸出多路不同分辨率的圖像數(shù)據(jù)，用于編碼、預(yù)覽或抓拍。視頻輸入模塊接收視頻處理模塊處理后的輸出圖像，可進(jìn)行播放控制等處理，最后按用戶(hù)配置的輸出協(xié)議輸出給外圍視頻設(shè)備。MPP提供將系統(tǒng)綁定接口，即通過(guò)數(shù)據(jù)接受者綁定數(shù)據(jù)源，來(lái)建立二者的關(guān)聯(lián)關(guān)系，綁定后數(shù)據(jù)源生成的數(shù)據(jù)將直接發(fā)送給接受者，整個(gè)過(guò)程如圖4所示。

圖4 視頻采集與顯示流程

步驟1：計(jì)算視頻緩存池大小及初始化系統(tǒng)。視頻緩存池主要向媒體業(yè)務(wù)提供大塊內(nèi)存管理功能，負(fù)責(zé)內(nèi)存的分配與回收，充分發(fā)揮內(nèi)存緩存池的作用，讓物理資源在各個(gè)媒體處理模塊中合理使用。

步驟2：打開(kāi)視頻輸入模塊，HI3520D視頻輸入模塊有兩個(gè)視頻輸入設(shè)備Dev0和Dev1，每個(gè)視頻輸入設(shè)備有4個(gè)通道。打開(kāi)視頻輸入模塊步驟，主要是依次打開(kāi)每個(gè)視頻輸入設(shè)備之后，再打開(kāi)每個(gè)視頻輸入設(shè)備的通道。

步驟3：開(kāi)啟視頻處理模塊，并將視頻處理模塊與視頻輸入模塊進(jìn)行綁定。視頻處理模塊通過(guò)提供組（Group）的概念，將每組分為3種通道：物理通道、直通通道和擴(kuò)展通道。HI3520D不支持?jǐn)U展通道，只含有物理通道和直通通道，如表1所示 。將視頻輸入設(shè)備Dev0的4個(gè)通道分別與視頻處理模塊每組的物理通道0進(jìn)行綁定。

表1 HI3520D視頻處理模塊通道規(guī)格

步驟4：打開(kāi)視頻輸出模塊并將其與視頻處理模塊進(jìn)行綁定。HI3520D視頻輸出模塊支持3個(gè)圖形層（G0～G2），1個(gè)鼠標(biāo)層。其中，G0～G2圖形層分別固定綁定到高清設(shè)備（DHD0）、標(biāo)清設(shè)備0（DSD0）和標(biāo)清設(shè)備1（DSD1）。鼠標(biāo)層可以綁定到DHD0，DSD0，DSD1。其中，每個(gè)高清設(shè)備有16個(gè)通道，標(biāo)清設(shè)備有32個(gè)通道[5]。啟動(dòng)高清設(shè)備后，將高清設(shè)備的0～8號(hào)通道分別與視頻處理模塊的每個(gè)組的物理通道2進(jìn)行綁定。

4.2 GUI界面交互

在使用Qt進(jìn)行界面GUI設(shè)計(jì)之前，需要調(diào)用open函數(shù)將制定HiFB打開(kāi)。整個(gè)HiFB開(kāi)發(fā)流程如圖5所示。使用Qt進(jìn)行GUI設(shè)計(jì)主要是為了控制視頻文件存儲(chǔ)打開(kāi)/關(guān)閉，相關(guān)視頻參數(shù)的設(shè)置。視頻文件存儲(chǔ)打開(kāi)/關(guān)閉主要是使用MPP平臺(tái)下的視頻編碼模塊。視頻編碼模塊同樣使用組，首先創(chuàng)建組，其次打開(kāi)相應(yīng)通道，然后將相應(yīng)通道注冊(cè)到相應(yīng)組，之后打開(kāi)相應(yīng)通道接收?qǐng)D像數(shù)據(jù)，最后將視頻處理模塊與視頻編碼模塊進(jìn)行綁定。本系統(tǒng)中將獲取視頻碼流存儲(chǔ)為H.264編碼的功能封裝到了一個(gè)相應(yīng)的函數(shù)中，在Qt界面中點(diǎn)擊相應(yīng)按鈕便可以完成視頻文件存的打開(kāi)/關(guān)閉功能。

4.3 流媒體服務(wù)器

車(chē)載終端流媒體服務(wù)器主要是使用Live555開(kāi)源項(xiàng)目中的live555MediaServer通過(guò)RTSP/RTP協(xié)議傳輸視頻流。在本項(xiàng)目中流媒體服務(wù)器是作為子進(jìn)程運(yùn)行的。通過(guò)進(jìn)程間的通信方式，可以在父進(jìn)程，也就是GUI界面中關(guān)閉和開(kāi)啟流媒體服務(wù)器。Live555MediaServer程序中首先創(chuàng)建BasicTaskScheduler和BasicUsageEnvironment對(duì)象。TaskScheduler是任務(wù)調(diào)度中心，實(shí)現(xiàn)事件的異步處理、事件處理函數(shù)的注冊(cè)，主要負(fù)責(zé)任務(wù)的調(diào)度與執(zhí)行。UsageEnvironment可以輸入輸出消息，代表整個(gè)系統(tǒng)環(huán)境。然后創(chuàng)建DynamicRTSPServer對(duì)象。RTSPServer實(shí)現(xiàn)相應(yīng)端口的監(jiān)聽(tīng)，對(duì)于請(qǐng)求進(jìn)行應(yīng)答。最后開(kāi)啟時(shí)間主循環(huán)，不斷監(jiān)聽(tīng)客戶(hù)端請(qǐng)求，實(shí)現(xiàn)應(yīng)答[6]。

5 系統(tǒng)測(cè)試

系統(tǒng)測(cè)試主要是用本地PC與車(chē)載終端進(jìn)行聯(lián)合測(cè)試，兩者連接到名稱(chēng)為T(mén)P-HISI的WiFi，將車(chē)載終端啟動(dòng)完成后，PC通過(guò)WiFi訪問(wèn)車(chē)載終端，車(chē)載終端實(shí)物如圖6所示。圖6中，1為串口轉(zhuǎn)USB接口，2為以太網(wǎng)口，3為VGA接口，4為電源接口，5為攝像頭接口，6為攝像頭，7為RTL8188 CUS WiFi模塊，8為SIM卡槽，9為SD存儲(chǔ)卡接口，10為7寸顯示器。圖7為核心板背面，圖7中，1為Hi3520D芯片，2為NVP6114視頻采集芯片。

圖5 HiFB開(kāi)發(fā)流程

圖6 車(chē)載終端視實(shí)物

圖7 核心板背面

5.1 視頻采集、顯示與存儲(chǔ)功能測(cè)試

將圖6中7寸顯示器通過(guò)VGA接口與車(chē)載終端相連接，啟動(dòng)車(chē)載終端程序，界面顯示如圖8所示。通過(guò)圖8可看出，視頻采集與顯示功能完好，圖8中右下角start和stop按鈕分別控制視頻文件的存儲(chǔ)開(kāi)關(guān)。通過(guò)測(cè)試，視頻文件存儲(chǔ)功能正常，存儲(chǔ)在本地磁盤(pán)上文件名稱(chēng)為stream_chnx.264，其中x表示通道號(hào)。

圖8 車(chē)載終端界面顯示效果

5.2 流媒體服務(wù)器功能測(cè)試

將車(chē)載終端與本地電腦連接至無(wú)線TP-HISI，分配地址IP分別為192.168.100.77與192.168.100.100。本地電腦使用VLC播放器訪問(wèn)車(chē)載終端，訪問(wèn)格式為：rtsp://IP:Port/filename。其中，IP為車(chē)載終端，Port表示地址端口號(hào)，測(cè)試端口號(hào)為554，filename使用視頻存儲(chǔ)的文件名，文件名為“stream_chnx.264”，其中x表示通道號(hào)。訪問(wèn)通道0的視頻錄像文件stream_chn0.264，播放效果如圖9所示，播放速率實(shí)測(cè)為25幀/s。圖10是VLC播放器對(duì)當(dāng)前播放的統(tǒng)計(jì)，從圖中可看出，播放器丟幀率較低，使用WiFi傳輸碼流速度很高。

圖9 VLC播放效果

圖10 VLC播放統(tǒng)計(jì)

6 結(jié)語(yǔ)

本文使用Hi3520D作為嵌入式核心芯片，通過(guò)NVP6114采集視頻，移植Qt設(shè)計(jì)GUI界面程序，控制H.264編碼視頻的存儲(chǔ)開(kāi)關(guān)，使用戶(hù)更易于控制視頻終端，達(dá)到了良好的交互效果。本設(shè)計(jì)將車(chē)載終端作為視頻流媒體服務(wù)器，可使遠(yuǎn)程視頻監(jiān)控客戶(hù)端通過(guò)網(wǎng)絡(luò)訪問(wèn)車(chē)載終端視頻文件，達(dá)到了瀏覽監(jiān)控視頻的效果，滿(mǎn)足車(chē)載視頻監(jiān)控的各項(xiàng)要求，可以應(yīng)用于車(chē)載視頻監(jiān)控系統(tǒng)中。