陳 雁，卿濟民，劉春秋

?

云計算的視頻處理技術(shù)研究及其應用

陳 雁，卿濟民，劉春秋

（深圳市賽為智能股份有限公司，廣東 深圳 518000）

視頻監(jiān)控領(lǐng)域技術(shù)的發(fā)展為人們的生活提供了安全保證，使人們更加放心的生活。視頻監(jiān)控中視頻處理非常重要，同時相關(guān)技術(shù)在視頻處理上能夠提供很大的幫助，但隨著大量視頻監(jiān)控設(shè)備的運用，人為處理視頻的技術(shù)存在很大的不足，效率非常低。而云計算具有每秒十億次的運算能力，所以云計算視頻處理技術(shù)能夠有效提升視頻處理效率。本文結(jié)合視頻智能處理技術(shù)經(jīng)驗對云計算視頻處理技術(shù)的應用進行分析。

云計算；視頻處理技術(shù)；視頻監(jiān)控；視頻處理效率

0 引言

互聯(lián)網(wǎng)的出現(xiàn)使人們的生活發(fā)生了翻天覆地的變化，其中以互聯(lián)網(wǎng)為基礎(chǔ)的云計算對信息時代的影響更加巨大。人們生活中的視頻監(jiān)控設(shè)施大量增加，這對人們的安全提供了有利保障，而且視頻可以對不法分子進行有力打擊。但是視頻產(chǎn)生的數(shù)據(jù)量巨大，并且需要人員對監(jiān)控進行觀察以便及時發(fā)現(xiàn)緊急狀況能夠第一時間采取措施。但是這方面的處理并非易事，視頻數(shù)據(jù)的存儲、分析對工作人員的挑戰(zhàn)巨大。將云計算與視頻處理相結(jié)合，這樣能夠使視頻處理更加方便。另外視頻處理也可投入到道路建設(shè)上，對于視頻處理領(lǐng)域?qū)a(chǎn)生深遠影響。

1 智能監(jiān)控技術(shù)

云計算與視頻監(jiān)控的結(jié)合可實現(xiàn)智能監(jiān)控，而智能監(jiān)控解決了視頻監(jiān)控大量人力資源的需求，能夠提高監(jiān)控效率。相較于傳統(tǒng)監(jiān)控方式，智能監(jiān)控方式具有很大的優(yōu)勢，分析能力強、視頻信息的篩選效率高、處理能力高而且沒有疲勞等等。對于突發(fā)狀況可以第一時間采取措施，該技術(shù)由以下幾種技術(shù)構(gòu)成見圖1。

1.1 智能分析技術(shù)

智能分析技術(shù)能夠有效提升視頻數(shù)據(jù)的分析能力，這種技術(shù)是以監(jiān)控網(wǎng)絡(luò)為基礎(chǔ)，然后根據(jù)一些方法來進行分析，主要有圖像處理方法、計算機視覺、模式識別方法等[1]。該技術(shù)可以解決很多方面的問題，這樣能夠提高工作效率。比如（1）當監(jiān)控設(shè)備出現(xiàn)問題即某個攝像頭出現(xiàn)故障無法正常進行工作，智能分析技術(shù)能夠進行故障報錯，方便進行維護工作。（2）網(wǎng)絡(luò)傳輸有所限制，在智能分析技術(shù)中運用了壓縮編碼技術(shù)，這樣能夠減緩、減少甚至杜絕出現(xiàn)網(wǎng)絡(luò)堵塞的情況，一定程度上壓縮了網(wǎng)絡(luò)流量，使網(wǎng)絡(luò)傳輸?shù)呢摀鷾p輕。（3）因為視頻監(jiān)控會出現(xiàn)很多的干擾信息，這對于圖像采集產(chǎn)生影響。智能分析技術(shù)中的圖像處理可以解決這一問題，對圖像進行初步處理，去除光照、噪聲等。這些方便了進行識別，相當于信息的篩選。（4）對一些連續(xù)運動的物體進行視覺識別，將其定位目標對其運動軌跡進行記錄，這為之后的識別提供了依據(jù)。 （5）將目標分類，對于將物體進行區(qū)分十分重要，這樣也能高效地對目標進行分析。（6）將網(wǎng)絡(luò)信息進行分析處理，結(jié)合軟件，主要是進行多種技術(shù)的集成，這對于目標的識別分析有著重大幫助。

圖1 傳統(tǒng)視頻與智能視頻的不同監(jiān)控方式

1.2 視頻檢索濃縮技術(shù)

通過對視頻數(shù)據(jù)檢索，對圖像進行分析，這是目標分析、識別中非常重要的一種技術(shù)。檢測方法數(shù)據(jù)有鏡頭邊界檢測，提取圖像特征與關(guān)鍵幀，這樣進行檢索，更加合理準確。圖像的提取分析中需要對運動目標進行處理，涉及到運動軌跡估計、將目標進行分割等等，這些處理的出發(fā)點就是濃縮技術(shù)。該技術(shù)的進行可分為以下幾大部分，（1）邊界檢測，這通過鏡頭中幀數(shù)的變化對目標進行分析。（2）關(guān)鍵幀提取，這種方法能夠?qū)π畔⒅械年P(guān)鍵幀進行選擇，然后在進行篩選，最終得到真正關(guān)鍵幀。（3）特征表示，對于大量的視頻數(shù)據(jù)可以采用視頻數(shù)據(jù)特征表征，當然需要保證其能夠表達視頻內(nèi)容然后再去研究衡量方法，再進行驗證。（4）分布式處理方法，是在滿足視頻特征表示上對高效提高處理效率和進行合理的計算資源利用。（5）構(gòu)建系統(tǒng)，以圖像的色彩、紋理等的形狀為索引，對目標圖像的距離進行計算，可以通過相似度來勁信息港檢索，這樣可以解決圖像數(shù)據(jù)系統(tǒng)中對信息進行手工標注的缺點。

2 智能視頻處理的關(guān)鍵技術(shù)

智能視頻處理關(guān)鍵技術(shù)中涉及到多個重要方面，首先是運動目標分析。對于運動目標，需要對其背景進行處理，這涉及到很多的方法，其中有幀差法、背景相減法以及光流法[2]。這些方法在背景變化的情況下能夠更新并適合當前情景。這需要建立背景模型，背景模型的建立是分析中的難點、重點。背景模型建立成功能對運動目標分割的完整性有著密切聯(lián)系，保證其完整性。然后是目標追蹤。該項屬于分析中的核心，當前的卡爾曼、粒子濾波等都是跟蹤技術(shù)，能夠進行匹配跟蹤，或在目標部分被遮擋的情況下能夠?qū)\動目標進行跟蹤，而且在行為分析上非常重要。目標分類，智能視頻處理自然需要對研究物體進行分析，這樣就需要對目標進行分類，比如可分為車、人、動物等等。另外在區(qū)分上，可以考慮目標的整體結(jié)構(gòu)或者部分結(jié)構(gòu)，這樣的方式對于進行目標分類非常有利。行為分析。當前智能視頻分析進行入侵、絆線、徘徊等應用，這是在完成目標軌跡跟蹤的基礎(chǔ)上進行。之后需要設(shè)定規(guī)則，對其運動軌跡進行判斷，以此分析是否異常。關(guān)鍵幀提取方法。首先根據(jù)信息上的熵差確定最佳聚類數(shù)，這樣將最大幀圖像作為可選取關(guān)鍵幀，對這些進行融合去除，最終得到真正的關(guān)鍵幀。然后面向檢索特征進行提取分配，當前的特征檢索的信息提取受到多媒體的特征的影響，比如圖像的顏色、形狀以及紋理等。智能視頻處理技術(shù)關(guān)系到運動形狀的分析，運動軌跡的分析等等，這些運動的特征需要建立一定的模型，一般存在兩大問題，其中這些問題關(guān)系到過程查詢和特征含義。在查詢上的問題主要是不直觀，沒有宏觀的概念。然后是特征，語義上的缺乏，其檢測結(jié)果不會達到用戶期望水平，這些都和用戶對系統(tǒng)上的期望有著很大的差距。視頻庫組織索引，對于多媒體上的信息而言，這些都是非結(jié)構(gòu)化的，需要對其進行整理這樣能夠?qū)崿F(xiàn)高效的利用。

3 智能視頻分析技術(shù)

3.1 運動目標的檢測提取

在視頻分析技術(shù)中目標檢測屬于基礎(chǔ)步驟，這是為目標的提取所做的準備工作，可提取出有用目標。通常情況下目標的檢測受到很多因素的影響，這造成檢測準確度和效率降低[3]。涉及因素有光照變化、運動目標動作變化、運動背景干擾等等。檢測的最終結(jié)果就是得到目標的顏色、大小以及位置等信息。目標檢測一般根據(jù)場景圖像變化進行，這樣能夠發(fā)現(xiàn)運動目標，一旦場景出現(xiàn)變化則運動目標出現(xiàn)。然后進行目標的提取，出現(xiàn)運動目標則需要對其中的各種信息進行提取，這能夠為后期的分析提供有效信息。目標提取一般涉及到三種方法，首先是光流法，即在亮度保持的情況下進行目標檢測，其中像素點亮的運動速度稱作光流。計算得到的光流度可對目標進行檢測。幀間差分法，這是一種運用廣泛的目標檢測算法，這種方法多為對視頻中的相鄰幀進行查分，從差值中得到像素點，這些是差值大的點，這些被稱作前景像素點。但是這種方法用于高實時性、監(jiān)控場景中，優(yōu)點是速度快。因目標運動會在幀中改變位置，然后體現(xiàn)灰度值的變化，這樣變化容易觀察。背景差分法，與不包含目標背景圖像進行查分，這樣能夠找出是否出現(xiàn)幀的變化，從而確定目標是否進行運動，這方便目標對象的提取。

3.2 運動目標分類

對運動目標進行分類可以更有效地研究運動目標對于之后的運動目標的追蹤有著一定的幫助。其中需要對運動目標的各種特征進行提取，是運動目標提取的進一步處理。其中涉及到運動目標的顏色、形狀等。這能夠?qū)崿F(xiàn)高精度的目標跟蹤[4]。

3.3 運動目標的跟蹤

將運動目標提取是為了方便跟蹤工作的進行，這是重要的一個過程。通過卡爾曼濾波、或者粒子濾波等進行運動目標的跟蹤，這樣能夠?qū)崿F(xiàn)有效跟蹤，這方便了目標行為分析。

3.4 防碰撞技術(shù)

智能視頻處理可以實現(xiàn)列車防碰撞，這種技術(shù)按三位重建、運動目標檢測、跟蹤、分析等幾部分構(gòu)成。首先進行目標特征點的提取，然后進行三維建模，計算列車運動軌跡、速度等參數(shù)，接著分析是否發(fā)生碰撞。智能視頻處理的應用在列車運動軌跡上有著重要的作用[5-6]。

3.5 遺留物檢測

智能視頻處理需要進行遺留物的檢測，一種是基于跟蹤方法的遺留物檢測，還有基于檢測的遺留物檢測算法。

（1）基于跟蹤方法的遺留物檢測算法

該算法是將監(jiān)控場景中的運動物體跟蹤記錄，然后記錄相關(guān)信息，這些信息有運動物體的速度、軌跡等。通過遺留物的檢測算法進行檢測。在跟蹤方法上有特征跟蹤、運動特性跟蹤、區(qū)域跟蹤以及輪廓跟蹤等等[7]。

（2）基于檢測的遺留物檢測算法

該項算法主要是檢測不存在或者長時間靜止之后運動的物體，然后在不同幀的圖像中進行分析查找，將可疑物體進行算法檢測判斷。

除了這些算法之外還有比如基于語句檢測算法，該方法把遺留物體看成事件，然后找出符合該事件的算法，實現(xiàn)遺留物的檢測，這種方法可對多個目標進行分析。

4 視頻檢索技術(shù)

4.1 鏡頭檢測方法

這種方法為以直方圖鏡頭檢測為基礎(chǔ)的檢測方法，首先進行邊界的檢測，這需要利用灰度直方圖的比較來檢測邊界或者使用顏色直方圖的比較來檢測邊界。這種方法使檢測的精度與速度都有所 保證[8]。

代表人檢測方法檢測過程 Michael D.Beyno等人跟蹤遺留物檢測算法建立視頻分割、對象關(guān)聯(lián)、對象分類和三維模塊構(gòu)成的目標跟蹤模型 Smith等人跟蹤遺留物檢測算法第一步：利用變維馬爾可夫鏈蒙特卡洛法跟蹤可疑物體，第二步：利用第一步的跟蹤結(jié)果判定可疑物體是否為遺留物。 Ferrando等人跟蹤遺留物檢測算法背景更新依據(jù)高層的反饋結(jié)果，不對可疑物體部分的背景圖像進行更新。另外，在特征提取階段提取了位置和顏色信息，用來進行目標跟蹤。 F. Porikli等人基于檢測的遺留物檢測算法為每個像素點建立獨立的長周期模型和短周期高斯模型。通過把一幀圖像與這兩模型比較，得出兩個前景掩碼：長時間前景掩碼表示了場景中顏色、陰影和光照的變化。短周期前景掩碼包括了運動物體和噪音等。 Y.Tian等人基于檢測的遺留物檢測算法運用混合高斯模型檢測出監(jiān)控場景中的運動物體和靜止物體。后來進行的多方面的改進使得該算法可以較好的應對陰影和光照變化帶來的問題。

4.2 關(guān)鍵幀的提取方法

對視頻內(nèi)容進行檢索，找出主要內(nèi)容作為關(guān)鍵幀，然后分析視頻隨時間變化情況，確定關(guān)鍵幀數(shù)目，最后抽取關(guān)鍵幀。與上面提到的方法類似。

4.3 圖像特征提取方法

該過程需要對鏡頭的特征進行提取，然后建立視頻索引，提取鏡頭顏色、文理等等。這是食品聚類和檢索的依據(jù)。

5 基于海量視頻的濃縮技術(shù)

該技術(shù)研究包括視頻的視覺特征表示、基于視覺特征的相似度計算以及大規(guī)模視頻數(shù)據(jù)處理等視頻檢索系統(tǒng)中的關(guān)鍵技術(shù)和問題，主要的研究內(nèi)容可以分為以下幾個技術(shù)部分:

5.1 分布式處理

針對海量視頻數(shù)據(jù)的相似度計算問題，研究能夠滿足應用要求的分布式計算和處理框架，在視頻的特征表示基礎(chǔ)上，研究如何通過分布式的方法有效提高處理的效率和合理的利用計算資源。著重以Hadoop計算框架為基礎(chǔ)，在此平臺上提出相關(guān)的算法和框架[9]。

5.2 系統(tǒng)構(gòu)建

根據(jù)圖像的色彩、紋理、圖像對象的形狀以及它們的空間關(guān)系等內(nèi)容特征作為圖像的索引，計算查詢圖像和目標圖像的相似距離，按照相似度匹配進行檢索，其目的是試圖解決圖像數(shù)據(jù)庫系統(tǒng)中手工建立文本標注信息的缺點。

6 視頻存儲與轉(zhuǎn)碼技術(shù)

6.1 海量視頻存儲與轉(zhuǎn)碼系統(tǒng)分析

視頻數(shù)據(jù)的分布式存儲，實現(xiàn)了分布式的轉(zhuǎn)碼功能，對海量的視頻數(shù)據(jù)進行轉(zhuǎn)碼分析處理，提高了轉(zhuǎn)碼的性能。分布式冗余存儲釆用HDFS實現(xiàn)，在流媒體服務(wù)器上實現(xiàn)了數(shù)據(jù)的接收，實現(xiàn)了海量視頻數(shù)據(jù)在HDFS上的分布式冗余備份存儲。分布式轉(zhuǎn)碼釆用Hadoop的MapReduce分布式計算框架實現(xiàn)，設(shè)計了流媒體數(shù)據(jù)讀取模塊，以及基于ffinpeg的分布式轉(zhuǎn)碼模塊，最終實現(xiàn)了對流媒體數(shù)據(jù)的分析轉(zhuǎn)碼處理，利用MapReduce的并行計算能力，顯著提升了轉(zhuǎn)碼的效率，同時也讓用戶獲得了可以通過使用普通播放器就能觀看錄像回放的視頻數(shù)據(jù)[10-11]。

6.2 海量視頻存儲與轉(zhuǎn)碼系統(tǒng)以及管理平臺的整體架構(gòu)設(shè)計

存儲在HDFS上的數(shù)據(jù)格式是H.264，而用戶的普通播放器是無法實現(xiàn)直接播放。因此，將存儲在HDFS上的H.264文件進行基于ffinpeg的分布式轉(zhuǎn)碼提升了轉(zhuǎn)碼的效率。要實現(xiàn)流媒體數(shù)據(jù)在HDFS上存儲，就需要在媒體分發(fā)服務(wù)器處，將傳輸?shù)接脩舻臄?shù)據(jù)按刷新速率進行臨時保存，而且是H.264數(shù)據(jù)，媒體分發(fā)服務(wù)器上所做的工作就是將設(shè)備傳輸過來視頻數(shù)據(jù)文件將按照一定的目錄格式進行臨時存放，最后由媒體分發(fā)服務(wù)器上的DFSClient程序?qū)⑽募蟼鞯紿DFS集群，實現(xiàn)海量視頻數(shù)據(jù)的分布式存儲[12]。這個集群由節(jié)點服務(wù)器組成，NameNode是這個集群的主節(jié)點，負責存放文件的元數(shù)據(jù)，數(shù)據(jù)節(jié)點服務(wù)器H是所描述的一系列DataNode節(jié)點，是真正存放數(shù)據(jù)的節(jié)點群，在這些節(jié)點上面實現(xiàn)了數(shù)據(jù)的冗余備份存儲[13]。DFSClient是HDFS的客戶端，在本系統(tǒng)中有兩種類型的DFSClient，第一個是流媒體轉(zhuǎn)發(fā)服務(wù)器D，它負責接收流媒體數(shù)據(jù)，完成H.264數(shù)據(jù)帕的復原，同時將H.264文件上傳到HDFS集群。

7 結(jié)論

云計算的視頻處理有著非常重要的意義，而且這對于以往的模式來說效率上有了很大的提升。通過以上技術(shù)的處理能夠?qū)崿F(xiàn)智能視頻處理，這是云計算的深度發(fā)展。而且當前我國道路方面建設(shè)可以加入視頻監(jiān)控方法，這樣對于減少道路事故、提高軌道交通效率有著深遠意義的影響。

[1] 許彬, 張海濤, 胡豆豆. 云計算平臺中監(jiān)控視頻摘要任務(wù)調(diào)度方法研究[J]. 計算機應用與軟件, 2017, 34(7): 7-10.

[2] 姚楠, 余勁. 基于云計算方法的電力視頻故障及狀態(tài)智能檢測技術(shù)研究[J]. 華東電力, 2013, 41(12): 2494-2497.

[3] 包盛, 段保通, 邵鋒軍. 三網(wǎng)融合下基于云計算的實時轉(zhuǎn)碼技術(shù)研究和應用[J]. 電信科學, 2011, 27(3): 12-16.

[4] 王東利. 云計算在船舶網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中的應用研究[J]. 艦船科學技術(shù), 2016(22): 151-153.

[5] 王傳連, 張宗朔. 基于私有云的大規(guī)模交通視頻處理框架設(shè)計[J]. 計算機工程與應用, 2017, 53(21): 254-257.

[6] 陳旭文, 黃英銘. 海量視頻點播系統(tǒng)的云計算技術(shù)與建模實現(xiàn)[J]. 現(xiàn)代電子技術(shù), 2013(14): 10-12.

[7] 陳利佳, 李剛榮, 汪鵬. 云計算在媒體資源系統(tǒng)視頻應用中的研究[J]. 中國數(shù)字醫(yī)學, 2013(9): 7-9.

[8] 李煒, 馬樂, 孫向聚. 基于云計算技術(shù)的會議系統(tǒng)在電力通信中的應用[J]. 自動化與儀器儀表, 2017(11): 118-119.

[9] 劉文慧, 王喆. 基于云計算的溫室視頻監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[J]. 電子技術(shù)應用, 2015, 41(6): 139-142.

[10] Mustafa R, Zhu D. An Investigation into Content Based Video processing in Cloud Computing Paradigm[C]// Int'l Conf. Ip, Comp. Vision, and Pattern Recognition | Ipcv. 2013.

[11] Rosenzweig J J, Blackman S S, Lewis B G. Heterogeneous video processing using private or public cloud computing resources[J]. 2018.

[12] 張藝. 基于WebSocket的即時通信系統(tǒng)研究與實現(xiàn)[J]. 軟件, 2015, 36(03): 89-94.

[13] 張曉諾. 基于Android的智能家居環(huán)境監(jiān)測系統(tǒng)APP設(shè)計與實現(xiàn)[J]. 軟件, 2015, 36(02): 77-79.

Research and Application of Cloud Computing Video Processing Technology

CHEN Yan, QIN Ji-min, LIU Chun-qiu

(Shenzhen Saiwei Intelligent Co., Ltd., Shenzhen, Guangdong 518000)

The development of video monitoring technology provides security guarantee for people's life and makes people more comfortable. Video processing is very important in video monitoring, and related technologies can be of great help in video processing. However, with the application of a large number of video monitoring equipment, the technology of dealing with video artificially has a great deficiency. The efficiency is very low. Cloud computing is capable of billions of operations per second, so cloud computing video processing technology can effectively improve video processing efficiency. This paper combines video intelligent processing technology experience to analyze the application of cloud computing video processing technology.

Cloud computing; Video processing technology; Video monitoring; Video efficiency

TB565+.4

A

10.3969/j.issn.1003-6970.2018.10.011

本研究為2015年技術(shù)開發(fā)項目“基于海量視頻數(shù)據(jù)的視頻監(jiān)控應用系統(tǒng)”成果之一（項目編號：CXZZ20150402115235001）

陳雁(1975-)，高級工程師，博士，研究方向：計算機視覺、人臉識別、智能視頻監(jiān)控；卿濟民(1963-)，高級工程師，博士，國家一級注冊建造師，研究方向：軌道交通、節(jié)能領(lǐng)域、人工智能、神經(jīng)網(wǎng)絡(luò)技術(shù)；劉春秋(1983-)，信息系統(tǒng)集成項目管理中級工程師，一級建造師，研究方向：視頻分析，人臉識別。

陳雁，卿濟民，劉春秋. 云計算的視頻處理技術(shù)研究及其應用[J]. 軟件，2018，39（10）：52-56