焦玉強(qiáng),金磊
(泛亞汽車技術(shù)中心有限公司 電子系統(tǒng)及軟件部,上海 201206)
關(guān)鍵字:視頻監(jiān)控;云端;視頻直播;視頻點(diǎn)播
市面上的車輛監(jiān)控功能大多是僅基于車輛的GPS定位系統(tǒng),GPS系統(tǒng)可以將車輛的位置信號(hào)發(fā)送給用戶,但是車輛發(fā)生異常狀況時(shí)不能快速通知用戶,用戶也不清楚自己車輛異常的實(shí)時(shí)狀態(tài)?;谀壳败嚶?lián)網(wǎng)技術(shù)、視頻實(shí)時(shí)直播以及車輛端的智能處理技術(shù)的發(fā)展,本文建立一套能夠?qū)崟r(shí)得知車輛內(nèi)部及周邊環(huán)境狀態(tài)的視頻監(jiān)控系統(tǒng)[1]。下面就著重介紹智能視頻監(jiān)控系統(tǒng)的搭建。
監(jiān)控系統(tǒng)的功能見圖1,監(jiān)控系統(tǒng)框架見圖2。
圖1 視頻監(jiān)控系統(tǒng)的功能
圖2 視頻監(jiān)控系統(tǒng)框架圖
(1)車輛異常信號(hào)通知。
通過車輛的傳感器和攝像頭,實(shí)現(xiàn)對(duì)車輛進(jìn)行監(jiān)控。如果檢測(cè)到車輛發(fā)生異常,及時(shí)以短信或APP消息的形式通知到用戶,提醒用戶關(guān)注自己車輛[2]。
(2)車輛視頻實(shí)時(shí)查看。
用戶接收到異常提醒后,或者用戶有查看車輛需求時(shí),可以通過手機(jī)APP視頻查看車輛狀況,也可以通過切換不同的攝像頭查看車內(nèi)及車輛周圍的狀況。
(3)異常視頻自動(dòng)存儲(chǔ)。
檢測(cè)到車輛發(fā)生異常時(shí),車輛主動(dòng)存儲(chǔ)視頻,并且將視頻傳到云端進(jìn)行存儲(chǔ),并關(guān)聯(lián)到對(duì)應(yīng)的用戶賬號(hào),將視頻提供給用戶,作為用戶應(yīng)對(duì)狀態(tài)異常的材料。
(4)云端存儲(chǔ)視頻點(diǎn)播回放。
用戶可以通過手機(jī)訪問云端存儲(chǔ)的視頻,查看自己車輛下存儲(chǔ)的視頻,并且可以下載和點(diǎn)播回放。
(5)系統(tǒng)衍生功能。
該系統(tǒng)還會(huì)帶來(lái)一些附加功能,例如可以實(shí)現(xiàn)遠(yuǎn)程監(jiān)控快遞投放,車內(nèi)視頻尋找物品、行車旅途風(fēng)景視頻分享等。
視頻監(jiān)控系統(tǒng)主要包括車端智能監(jiān)控系統(tǒng)、云端賬戶車輛管理系統(tǒng),以及客戶端用戶交互系統(tǒng)三大部分組成[3],如圖3所示。
圖3 視頻監(jiān)控系統(tǒng)鏈路
車端智能系統(tǒng)主要包括攝像頭及傳感器、視頻及數(shù)據(jù)處理模塊、數(shù)據(jù)傳輸模塊T-box[3]。
(1)攝像頭及傳感器主要作用
可以通過車輛現(xiàn)有的傳感器和攝像頭,及時(shí)準(zhǔn)確地檢測(cè)到車輛異常信息。當(dāng)判斷到異常發(fā)生時(shí),及時(shí)記錄相關(guān)的數(shù)據(jù),并且啟動(dòng)攝像頭,采集對(duì)應(yīng)的視頻。表1為車輛可以通過傳感器或攝像頭檢測(cè)或判斷出的異常信息。
表1 車輛檢測(cè)異常項(xiàng)
目前車輛傳感器主要包含異常震動(dòng)傳感器、車門微動(dòng)傳感器、車輛傾角傳感器、紅外傳感器等。
(2)視頻及數(shù)據(jù)處理模塊主要作用
1)接收到云端的攝像頭控制請(qǐng)求后,通過服務(wù)形式,調(diào)用相應(yīng)的攝像頭;
2)對(duì)攝像頭采集的原始視頻數(shù)據(jù)進(jìn)行圖片裁剪、分辨率的調(diào)節(jié)、多角度攝像頭視頻的拼接、壓縮等,并且將處理好的視頻以流的形式傳輸?shù)絋-BOX;
3)異常情況發(fā)生時(shí),或者需要將視頻存儲(chǔ)時(shí),將視頻分包存儲(chǔ)在本地;在網(wǎng)絡(luò)空閑良好,且無(wú)直播視頻流占用傳輸通道時(shí),將存儲(chǔ)的視頻以通過T-BOX,以文件形式的傳到云端。
(3)數(shù)據(jù)傳輸模塊T-box
鏈接云端和車輛的通道,接收手機(jī)APP通過云端發(fā)送過來(lái)視頻監(jiān)控系統(tǒng)的控制指令,以及實(shí)現(xiàn)直播視頻流的推送和存儲(chǔ)文件的上傳。
云端視頻及賬戶管理系統(tǒng)主要包含基礎(chǔ)服務(wù)和應(yīng)用服務(wù)兩部分,基礎(chǔ)服務(wù)主要是實(shí)現(xiàn)視頻的接流、視頻云端存儲(chǔ)、以及視頻的推流的基礎(chǔ)平臺(tái);應(yīng)用服務(wù)主要包含用戶和車輛管理系統(tǒng),視頻推流、存儲(chǔ)和管理系統(tǒng);用戶和車輛管理系統(tǒng)主要建立及維護(hù)用戶的信息與車輛信息的映射關(guān)系,以及車輛信息與存儲(chǔ)視頻和直播流視頻的映射關(guān)系。當(dāng)車輛發(fā)生異常時(shí),可以通過用戶和車輛管理系統(tǒng)準(zhǔn)確地映射到對(duì)應(yīng)到用戶,從而準(zhǔn)確地定位到客戶端;當(dāng)客戶端有控制指令請(qǐng)求,可以通過用戶和車輛管理系統(tǒng)準(zhǔn)確的映射到對(duì)應(yīng)車輛,從而準(zhǔn)確地定位到目標(biāo)車輛。
客戶端用戶交互系統(tǒng)主要功能,將識(shí)別到的用戶意圖及指令傳輸?shù)皆贫?,接收云端分別通過MQTT、RTMP和HTTP的協(xié)議發(fā)送過來(lái)的車輛狀態(tài)數(shù)據(jù)、視頻流、存儲(chǔ)的視頻。從而用戶可以實(shí)現(xiàn)用戶信息注冊(cè)、用戶登錄、用戶密碼修改、車輛綁定及注銷、視頻的接收及查看、視頻角度的切換等。
視頻監(jiān)控系統(tǒng)的實(shí)現(xiàn)如圖4所示,以下分別論述。
圖4 視頻監(jiān)控系統(tǒng)實(shí)現(xiàn)
(1)通過服務(wù)的接口調(diào)用攝像頭的驅(qū)動(dòng),控制攝像頭的開啟和關(guān)閉;
(2)通過對(duì)視頻圖片和傳感器數(shù)據(jù)的分析,判斷是否有異常發(fā)生;
(3)對(duì)攝像頭捕捉的視頻進(jìn)行圖片的裁剪、分辨率的調(diào)節(jié)、壓縮、拼接,處理并達(dá)到目標(biāo)視頻;
(4)檢測(cè)到異常狀況發(fā)生時(shí),主動(dòng)將視頻流見包頭,并分小包存盤;
(5)通過集成直播推流用的RTMP SDK軟件包,實(shí)現(xiàn)視頻流的推送,傳輸形式見圖5;
圖5 視頻直播流傳輸形式
(6)通過集成點(diǎn)播推流用的Link SDK軟件包,實(shí)現(xiàn)視頻存儲(chǔ)文件的推送,傳輸形式見圖6;
圖6 存儲(chǔ)視頻傳輸形式
(7)異常狀況的數(shù)據(jù)信息通過總線形式傳輸給T-BOX。
(1)建立與云端視頻與數(shù)據(jù)的傳輸鏈路;
(2)直播視頻流通過RTMP協(xié)議傳輸?shù)皆贫耍?/p>
(3)存儲(chǔ)的視頻文件通過RTMP協(xié)議傳輸?shù)皆贫耍?/p>
(4)集成長(zhǎng)鏈接MQTT SDK,實(shí)現(xiàn)車端狀態(tài)數(shù)據(jù)傳送到云端;
(5)集成長(zhǎng)鏈接MQTT SDK,實(shí)現(xiàn)云端指令傳送到車端;
(6)在沒有數(shù)據(jù)和視頻傳輸?shù)那闆r下,進(jìn)入低功耗模式。
(1)搭建云端基礎(chǔ)服務(wù),視頻接流和推流服務(wù);
(2)通過VDN加速直播云服務(wù),通過CDN加速存儲(chǔ)視頻點(diǎn)播服務(wù);
(3)建立車輛和視頻的對(duì)應(yīng)關(guān)系的數(shù)據(jù)庫(kù),將對(duì)應(yīng)存儲(chǔ)視頻的鏈接關(guān)聯(lián)到對(duì)應(yīng)的車輛下;
(4)建立用戶和車輛的對(duì)應(yīng)關(guān)系的數(shù)據(jù),將注冊(cè)的用戶賬號(hào)和車輛關(guān)聯(lián);一個(gè)用戶賬號(hào)下可以對(duì)應(yīng)多輛車,但一輛車只能關(guān)聯(lián)一個(gè)賬號(hào);
(5)通過建立的對(duì)應(yīng)關(guān)系,可以通過車端找到對(duì)應(yīng)的用戶端的賬號(hào),也可以通過用戶端找到對(duì)應(yīng)的車輛。
(1)搭建用戶信息輸入U(xiǎn)I界面,需要支持用戶完成注冊(cè)、登錄、密碼修改、車輛綁定及注銷等信息的錄入;
(2)搭建用戶指令輸入U(xiǎn)I界面,需要支持視頻的開啟、關(guān)閉、角度切換等指令的下發(fā);
(3)搭建用戶信息提醒及視頻播放的UI界面;
(4)集成云端提供的視頻播放的SDK,實(shí)現(xiàn)手機(jī)從云端的接流服務(wù),并且可以通過界面展示給用戶;
(5)集成云端提供的長(zhǎng)鏈接MQTT SDK,實(shí)現(xiàn)用戶端與云端的數(shù)據(jù)交流,完成用戶指令的下發(fā),以及可以接收云端發(fā)送過來(lái)的車輛狀態(tài)。
本設(shè)計(jì)將車、云端和手機(jī)的網(wǎng)連在一起,打通車輛攝像頭、控制器之間、云端和手機(jī)之間的視頻和數(shù)據(jù)傳輸?shù)逆溌?,?shí)現(xiàn)了直播和點(diǎn)播不同類型視頻在不同的傳輸通道中的處理,成功搭建了一套聯(lián)網(wǎng)的智能視頻監(jiān)控系統(tǒng),實(shí)現(xiàn)車輛的視頻直播監(jiān)控、異常視頻存儲(chǔ)、車輛異常提醒等,智能視頻監(jiān)控系統(tǒng)還可以實(shí)現(xiàn)遠(yuǎn)程監(jiān)控快遞投放、車內(nèi)視頻尋物、旅途風(fēng)景實(shí)時(shí)分享等附加功能,增加了用戶與車輛聯(lián)系的緊密度,提升了用戶的安全感。