摘要:該文介紹了一種監(jiān)控視頻自動(dòng)下載刻錄歸檔系統(tǒng)的結(jié)構(gòu)及實(shí)現(xiàn)方法,該系統(tǒng)對(duì)NVR、存儲(chǔ)設(shè)備、光盤(pán)刻錄打印設(shè)備進(jìn)行集成,運(yùn)用多線程技術(shù),通過(guò)控制設(shè)備協(xié)同運(yùn)行,以相對(duì)較低成本實(shí)現(xiàn)監(jiān)控視頻數(shù)據(jù)的自動(dòng)下載與刻錄,具有較強(qiáng)實(shí)用意義。
關(guān)鍵詞:監(jiān)控視頻;設(shè)備集成;多線程;自動(dòng)下載;自動(dòng)刻錄
中圖分類(lèi)號(hào):TP37? ? ? 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2022)01-0108-03
1 背景
視頻監(jiān)控系統(tǒng)是各行業(yè)重要場(chǎng)所進(jìn)行實(shí)時(shí)監(jiān)控的重要技術(shù)手段,它記錄有關(guān)視頻、音頻數(shù)據(jù),為事件溯源提供技術(shù)支撐,在公共安全、公共資源交易等行業(yè)有著廣泛的應(yīng)用。視頻數(shù)據(jù)量極大,部分行業(yè)的視頻數(shù)據(jù)需要長(zhǎng)期保存,以筆者所在公共資源交易中心為例,監(jiān)控視頻需存放15年,交易場(chǎng)所安裝的監(jiān)控?cái)z像頭超過(guò)一百個(gè),每天產(chǎn)生的監(jiān)控視頻數(shù)據(jù)超過(guò)5TB,其中存在大量的無(wú)用數(shù)據(jù),需將有用數(shù)據(jù)從設(shè)備下載備份并刻錄為光盤(pán)存檔。監(jiān)控視頻數(shù)據(jù)下載備份工作量極大,如果通過(guò)人工下載處理,過(guò)程煩瑣、效率低下,消耗大量的人力和時(shí)間,也容易產(chǎn)生失誤。如不及時(shí)下載,數(shù)據(jù)將被覆蓋,導(dǎo)致無(wú)法挽回的損失。為解決上述問(wèn)題,作者開(kāi)發(fā)了監(jiān)控視頻自動(dòng)下載與刻錄系統(tǒng),實(shí)現(xiàn)監(jiān)控視頻管理自動(dòng)化,取得了較好的應(yīng)用效果。
2 系統(tǒng)設(shè)計(jì)
2.1 數(shù)據(jù)存儲(chǔ)介質(zhì)選擇
監(jiān)控視頻數(shù)據(jù)量極大,處理、保存困難,以1080P分辨率ASF格式視頻為例,一個(gè)小時(shí)約2GB,一個(gè)攝像頭一天產(chǎn)生的數(shù)據(jù)量約48GB,故存儲(chǔ)介質(zhì)選擇十分重要。硬盤(pán)對(duì)資料的存儲(chǔ)、查詢、檢索速度快,但硬盤(pán)及其配套設(shè)備價(jià)格相對(duì)較高,運(yùn)行維護(hù)要求高,保存時(shí)間相對(duì)較短。光盤(pán)保存時(shí)間長(zhǎng),數(shù)據(jù)安全性高,光盤(pán)的容量和壽命都滿足電子檔案管理要求,藍(lán)光光盤(pán)容量可達(dá)100GB以上,檔案級(jí)光盤(pán)壽命可達(dá)30~50年。因此,光盤(pán)是視頻數(shù)據(jù)較為理想的存儲(chǔ)介質(zhì)。
考慮到部分?jǐn)?shù)據(jù)使用頻率較高,需經(jīng)常調(diào)閱,如人工檢索取用光盤(pán),效率較低。為解決該問(wèn)題,系統(tǒng)采用磁盤(pán)陣列與光盤(pán)相結(jié)合存儲(chǔ)數(shù)據(jù)。使用磁盤(pán)陣列作為下載緩存,存放將近期下載和部分使用頻率較高的數(shù)據(jù),形成在線資源庫(kù),提高常用數(shù)據(jù)調(diào)取速度。以光盤(pán)為介質(zhì),基于智能光盤(pán)柜等設(shè)備搭建低成本離線資源庫(kù),將數(shù)據(jù)以光盤(pán)形式存放在光盤(pán)柜中,實(shí)現(xiàn)數(shù)據(jù)高性價(jià)比存放。
2.2 光盤(pán)自動(dòng)刻錄與盤(pán)面打印方式
按作者所在行業(yè)監(jiān)控視頻數(shù)據(jù)管理規(guī)范要求,視頻數(shù)據(jù)需要按招標(biāo)項(xiàng)目歸檔,因此既要刻錄光盤(pán),也需要在光盤(pán)盤(pán)面打印所屬項(xiàng)目信息,便于歸檔和調(diào)閱查找。根據(jù)業(yè)務(wù)需求,使用光盤(pán)刻錄打印一體機(jī)實(shí)現(xiàn)自動(dòng)刻錄與盤(pán)面打印[1]。
光盤(pán)刻錄打印一體機(jī)屬技術(shù)、市場(chǎng)均較為成熟的設(shè)備,內(nèi)部安裝機(jī)械臂、刻錄機(jī)、輸入盤(pán)倉(cāng)、輸出盤(pán)倉(cāng)、盤(pán)面打印裝置,可放置上百?gòu)埞獗P(pán)。設(shè)備工作時(shí)由機(jī)械臂從輸入盤(pán)倉(cāng)抓取空白光盤(pán)進(jìn)行刻錄打印后放入輸出盤(pán)倉(cāng),工作人員只需定期放入空白光盤(pán)和取出刻錄完成的光盤(pán)即可。該類(lèi)設(shè)備廠家一般提供SDK軟件包,可實(shí)現(xiàn)第三方軟件與設(shè)備對(duì)接,由第三方軟件控制設(shè)備實(shí)現(xiàn)刻錄和打印,非常適合本系統(tǒng)應(yīng)用場(chǎng)景。
2.3 硬件設(shè)備組成
整套系統(tǒng)由網(wǎng)絡(luò)攝像頭、網(wǎng)絡(luò)硬盤(pán)錄像機(jī)(NVR)、服務(wù)器、磁盤(pán)存儲(chǔ)陣列、光盤(pán)打印刻錄終端、光盤(pán)打印刻錄一體機(jī)、光盤(pán)柜構(gòu)成自動(dòng)化、智能化監(jiān)控視頻管理平臺(tái)硬件基礎(chǔ)。使用者可根據(jù)刻錄工作量配置一個(gè)或多個(gè)光盤(pán)刻錄打印終端,也可用云存儲(chǔ)代替磁盤(pán)存儲(chǔ)陣列,進(jìn)一步減少硬件設(shè)備維護(hù)工作量。硬件設(shè)備連接方式如圖1所示。
2.4 軟件系統(tǒng)設(shè)計(jì)
作為控制硬件設(shè)備實(shí)現(xiàn)自動(dòng)化管理的核心,監(jiān)控視頻自動(dòng)下載與刻錄管理系統(tǒng)由數(shù)據(jù)交換與處理模塊、視頻數(shù)據(jù)下載模塊、視頻數(shù)據(jù)刻錄模塊、系統(tǒng)運(yùn)行狀態(tài)監(jiān)控模塊、系統(tǒng)運(yùn)行狀態(tài)顯示模塊、視頻數(shù)據(jù)調(diào)閱管理模塊、Named Pipe通信模塊[2]七部分組成。為確保穩(wěn)定可靠運(yùn)行并及時(shí)響應(yīng)下載指令,監(jiān)控視頻自動(dòng)下載與刻錄管理系統(tǒng)分為兩個(gè)獨(dú)立部分,數(shù)據(jù)交互與處理模塊、視頻數(shù)據(jù)下載模塊、視頻數(shù)據(jù)刻錄模塊、系統(tǒng)運(yùn)行狀態(tài)監(jiān)控模塊一般不需要用戶界面,部署為Windows服務(wù)程序[3]780,方便在服務(wù)器重啟時(shí)自動(dòng)啟動(dòng)。視頻數(shù)據(jù)調(diào)閱管理模塊、系統(tǒng)運(yùn)行狀態(tài)顯示模塊為Web部署方式,方便分發(fā)與升級(jí),Named Pipe通信模塊用于Windows服務(wù)端與Web端交換數(shù)據(jù)。為了在集成的過(guò)程中減少組件之間的沖突,使用XML格式進(jìn)行數(shù)據(jù)交換。系統(tǒng)結(jié)構(gòu)如圖2所示。
3 軟件系統(tǒng)核心模塊功能實(shí)現(xiàn)
3.1 數(shù)據(jù)交換與處理模塊
需下載的視頻數(shù)據(jù)一般分為兩種情況,一種是特定攝像頭特定時(shí)間段的視頻,一種是固定攝像頭固定時(shí)間段的數(shù)據(jù)。特定攝像頭特定時(shí)間段的視頻信息通過(guò)數(shù)據(jù)交換接口從其他應(yīng)用系統(tǒng)獲取包含NVR設(shè)備地址、設(shè)備廠家、攝像頭通道和視頻起止時(shí)間等信息的XML格式數(shù)據(jù),固定攝像頭的固定時(shí)間段的視頻信息存儲(chǔ)在本系統(tǒng)數(shù)據(jù)庫(kù)中。為防止數(shù)據(jù)錯(cuò)誤,任務(wù)數(shù)據(jù)應(yīng)經(jīng)校驗(yàn)后進(jìn)行處理。為便于視頻數(shù)據(jù)的使用,單個(gè)文件不能太大,因此系統(tǒng)在保存任務(wù)條目到數(shù)據(jù)庫(kù)前將單個(gè)時(shí)間過(guò)長(zhǎng)的條目切分為多個(gè)條目組成的任務(wù)組。
3.2 系統(tǒng)運(yùn)行狀態(tài)監(jiān)控模塊
實(shí)際運(yùn)行時(shí),數(shù)據(jù)交換接口可能出現(xiàn)通信故障,攝像頭可能出現(xiàn)設(shè)備或網(wǎng)絡(luò)故障導(dǎo)致視頻數(shù)據(jù)不完整下載失敗等問(wèn)題,刻錄設(shè)備易出現(xiàn)缺盤(pán)、廢盤(pán)、打印墨水耗盡等問(wèn)題,需對(duì)設(shè)備運(yùn)行狀態(tài)進(jìn)行監(jiān)控,因此設(shè)置系統(tǒng)設(shè)置運(yùn)行狀態(tài)監(jiān)控模塊,實(shí)時(shí)記錄軟硬件系統(tǒng)運(yùn)行狀態(tài)。NVR和刻錄設(shè)備SDK提供狀態(tài)查詢接口,通過(guò)解析返回?cái)?shù)據(jù)可獲取設(shè)備狀態(tài)和故障信息。當(dāng)設(shè)備出現(xiàn)故障或錯(cuò)誤時(shí)通過(guò)Web端或郵件向管理員人員告警,以便及時(shí)介入處理。
3.3 監(jiān)控視頻數(shù)據(jù)下載模塊
3.3.1 下載任務(wù)隊(duì)列管理
實(shí)際運(yùn)行中,為方便查詢調(diào)閱,視頻會(huì)按時(shí)間分割為多個(gè)小段,如南充市公共資源教育中心一般劃分為每個(gè)小時(shí)一段,會(huì)產(chǎn)生大量的任務(wù)條目,如逐個(gè)按順序執(zhí)行,無(wú)法快速下載所有視頻文件。本模塊使用多線程技術(shù)解決該問(wèn)題,但運(yùn)行下載線程過(guò)多,將導(dǎo)致服務(wù)器無(wú)法響應(yīng)其他服務(wù)請(qǐng)求,需限制同時(shí)運(yùn)行的下載線程數(shù)量。模塊中設(shè)置一組任務(wù)隊(duì)列和一個(gè)下載線程池[3]608,通過(guò)任務(wù)管理類(lèi)統(tǒng)一調(diào)度任務(wù)隊(duì)列,線程池管理類(lèi)監(jiān)控線程運(yùn)行[4],達(dá)到服務(wù)器資源使用最優(yōu)化,避免服務(wù)器宕機(jī)。
3.3.2 多廠家設(shè)備的兼容方式
系統(tǒng)使用中存在更換設(shè)備品牌或同一網(wǎng)絡(luò)中存在同時(shí)運(yùn)行多個(gè)廠家視頻監(jiān)控設(shè)備的可能性,系統(tǒng)需同時(shí)支持多個(gè)廠家設(shè)備。不同廠家SDK開(kāi)發(fā)包接口各不相同,因此系統(tǒng)將??低昜5]、大華[6]等主要廠家SDK分別封裝為不同的類(lèi),既方便調(diào)用,接入新廠家設(shè)備也更靈活。采用統(tǒng)一的XML格式交換數(shù)據(jù),在XML數(shù)據(jù)中加入廠商識(shí)別標(biāo)識(shí),通過(guò)解析數(shù)據(jù)中的設(shè)備廠家標(biāo)識(shí)調(diào)用對(duì)應(yīng)的類(lèi)下載視頻數(shù)據(jù)。
3.3.3 視頻格式轉(zhuǎn)換
該模塊按切分規(guī)則從NVR下載監(jiān)控視頻,存入在線資源庫(kù)。部分廠家SDK下載的視頻文件屬?gòu)S家專(zhuān)有格式,需要使用專(zhuān)用播放器解碼播放,為確保視頻文件的通用性,應(yīng)轉(zhuǎn)換為AVI、MP4、WMV、ASF等通用格式。轉(zhuǎn)換格式有兩種方式,一是視頻文件下載完成后調(diào)用SDK轉(zhuǎn)換,二是下載時(shí)在下載回調(diào)函數(shù)中獲取數(shù)據(jù)流并調(diào)用SDK轉(zhuǎn)碼函數(shù)轉(zhuǎn)碼后寫(xiě)入視頻文件,作者采用在下載回調(diào)函數(shù)中轉(zhuǎn)換格式的方式實(shí)現(xiàn)。以大華NVR為例,在下載回調(diào)函數(shù)中轉(zhuǎn)換格式核心代碼如圖7所示。
3.4 視頻數(shù)據(jù)刻錄模塊
視頻文件組下載完成后,數(shù)據(jù)交換與處理模塊將數(shù)據(jù)編碼為XML數(shù)據(jù)推送到視頻數(shù)據(jù)刻錄模塊,視頻數(shù)據(jù)刻錄模塊解析提取文件組信息后發(fā)送任務(wù)到打印刻錄終端,調(diào)用刻錄設(shè)備SDK實(shí)現(xiàn)網(wǎng)絡(luò)文件傳輸、光盤(pán)刻錄和盤(pán)面打印。數(shù)據(jù)刻錄流程如圖8所示。
3.5 視頻數(shù)據(jù)調(diào)閱管理模塊
為提高視頻數(shù)據(jù)使用效率,數(shù)據(jù)調(diào)閱全程網(wǎng)絡(luò)化辦理。用戶(如監(jiān)管部門(mén)、本單位人員等)在系統(tǒng)中發(fā)出調(diào)閱申請(qǐng), 申請(qǐng)調(diào)閱時(shí)限、調(diào)閱權(quán)限(如在線播放、下載等),經(jīng)管理人員審核同意后,系統(tǒng)從在線資源庫(kù)中查找監(jiān)控視頻資源,如未檢索到資源,則由管理人員在光盤(pán)柜中查找光盤(pán)并將視頻數(shù)據(jù)導(dǎo)入在線資源庫(kù),用戶調(diào)閱結(jié)束后刪除在線資源庫(kù)中相應(yīng)數(shù)據(jù),節(jié)約在線存儲(chǔ)資源。
4 系統(tǒng)性能測(cè)試
4.1 系統(tǒng)運(yùn)行環(huán)境
數(shù)據(jù)庫(kù)、應(yīng)用系統(tǒng)部署于同一服務(wù)器,服務(wù)器配置雙路Intel Xeon E5-2609V2處理器、128G內(nèi)存,60T磁盤(pán)陣列,千兆局域網(wǎng),配置單光驅(qū)藍(lán)光刻錄打印一體機(jī)1臺(tái)。
4.2 測(cè)試情況
系統(tǒng)于2020年10月投入試運(yùn)行,至2021年9月,共計(jì)產(chǎn)生約40T數(shù)據(jù)。數(shù)據(jù)平均處理耗時(shí)不超過(guò)4小時(shí)/天,數(shù)據(jù)處理能力不低于500GB/天。除取放光盤(pán)外,其余環(huán)節(jié)均實(shí)現(xiàn)無(wú)人值守,未出現(xiàn)過(guò)導(dǎo)致服務(wù)器長(zhǎng)時(shí)間停機(jī)處置的重大故障。測(cè)試發(fā)現(xiàn),網(wǎng)絡(luò)帶寬是整套系統(tǒng)性能瓶頸,如增加網(wǎng)絡(luò)帶寬,系統(tǒng)性能可進(jìn)一步提升。
4.3 結(jié)論
系統(tǒng)功能、數(shù)據(jù)處理能力滿足業(yè)務(wù)需求。
5 結(jié)束語(yǔ)
該系統(tǒng)解決了監(jiān)控視頻管理難題,優(yōu)化了資源共享使用效率,實(shí)現(xiàn)管理自動(dòng)化,建設(shè)成本相對(duì)較低。在對(duì)接其他信息系統(tǒng)獲取NVR信息和時(shí)間參數(shù)后,實(shí)現(xiàn)無(wú)人值守的自動(dòng)下載、自動(dòng)刻錄,提高了數(shù)據(jù)的準(zhǔn)確性和完整性,極大地降低了工作強(qiáng)度,釋放人力資源。以筆者單位為例,以往需要2名專(zhuān)職工作人員下載刻錄監(jiān)控視頻,現(xiàn)僅需1人定期進(jìn)行設(shè)備巡檢和光盤(pán)存取操作即可,顯著提高了工作效率。該系統(tǒng)也可延伸應(yīng)用至其他類(lèi)似場(chǎng)景,如電子檔案的自動(dòng)化管理、各類(lèi)信息化系統(tǒng)重要數(shù)據(jù)的備份等。
參考文獻(xiàn):
[1] 張恩紅,張金標(biāo),李高潔,等.氣象數(shù)據(jù)光盤(pán)歸檔系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].廣東氣象,2018,40(2):73-76,80.
[2] 鈕焱,張穎江.基于Named Pipe網(wǎng)絡(luò)通信系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].湖北工學(xué)院學(xué)報(bào),2002,17(1):56-58.
[3] Nagel C,Glynn J,Skinner M.C#高級(jí)編程—C#5.0&.NET4.5.1[M].李銘,譯.9版.北京:清華大學(xué)出版社,2014.
[4] 黃漢堂,舒子謙.C#多線程的實(shí)踐[J].電子制作,2019(20):63-65.
[5] 陳俊良,葛俊鋒,葉林,等.基于??低昐DK的視頻監(jiān)控軟件的開(kāi)發(fā)[J].工業(yè)控制計(jì)算機(jī),2015,28(7):97-98,101.
[6] 孫云云.基于大華軟件開(kāi)發(fā)工具包的組態(tài)軟件視頻監(jiān)控控件[J].上海電氣技術(shù),2017,10(2):9-12.
【通聯(lián)編輯:謝媛媛】
收稿日期:2021-09-16
作者簡(jiǎn)介:蘭益國(guó)(1979—),男,四川南充人,講師,學(xué)士,研究方向?yàn)楣操Y源電子化交易系統(tǒng)建設(shè)、公共資源交易電子檔案管理、公共資源交易大數(shù)據(jù)分析。
3612500338202