□ 文/周井泉

隨著科技的進(jìn)步，視頻監(jiān)控領(lǐng)域的技術(shù)也在不停進(jìn)步，已經(jīng)從傳統(tǒng)的預(yù)覽、回放發(fā)展到在視頻中智能提取有效目標(biāo)信息，也就是視頻結(jié)構(gòu)化技術(shù)。

視頻結(jié)構(gòu)化技術(shù)已成為安防行業(yè)非常流行的技術(shù)。所謂的視頻結(jié)構(gòu)化技術(shù)，簡(jiǎn)單理解就是通過(guò)智能分析算法，從原始視頻文件中自動(dòng)檢測(cè)場(chǎng)景中的運(yùn)動(dòng)目標(biāo)，包括人員目標(biāo)和車(chē)輛目標(biāo)，并分析提取該目標(biāo)的屬性信息，如人員性別、是否背包、是否戴帽子等，以及車(chē)輛顏色、車(chē)牌號(hào)碼、車(chē)輛品牌等。

視頻結(jié)構(gòu)化技術(shù)模塊

視頻結(jié)構(gòu)化技術(shù)融合了機(jī)器視覺(jué)、圖像處理、模式識(shí)別、機(jī)器學(xué)習(xí)等最前沿的人工智能技術(shù)，隨著深度學(xué)習(xí)技術(shù)的發(fā)展和硬件設(shè)備性能的提升，基于GPU架構(gòu)的深度學(xué)習(xí)應(yīng)用方案已經(jīng)相對(duì)比較成熟。視頻結(jié)構(gòu)化分析的過(guò)程可以簡(jiǎn)單理解成三個(gè)模塊：目標(biāo)檢測(cè)、目標(biāo)跟蹤和目標(biāo)屬性提取。

目標(biāo)檢測(cè)過(guò)程是從視頻中提取出前景目標(biāo)，然后識(shí)別出前景目標(biāo)是有效目標(biāo)（如：人員、車(chē)輛、人臉等）還是無(wú)效目標(biāo)（如：樹(shù)葉、陰影、光線(xiàn)等）。在目標(biāo)檢測(cè)過(guò)程主要應(yīng)用到運(yùn)動(dòng)目標(biāo)檢測(cè)、人臉檢測(cè)和車(chē)輛檢測(cè)等技術(shù)。

目標(biāo)跟蹤過(guò)程是實(shí)現(xiàn)特定目標(biāo)在場(chǎng)景中的持續(xù)跟蹤，并從整個(gè)跟蹤過(guò)程中獲取一張高質(zhì)量圖片作為該目標(biāo)的抓拍圖片。在目標(biāo)跟蹤過(guò)程中主要應(yīng)用到多目標(biāo)跟蹤、目標(biāo)融合以及目標(biāo)評(píng)分技術(shù)。

目標(biāo)屬性提取過(guò)程是對(duì)已經(jīng)檢測(cè)到的目標(biāo)圖片中目標(biāo)屬性的識(shí)別，判斷該目標(biāo)具有哪些可視化的特征屬性，例如人員目標(biāo)的性別、年齡、著裝，車(chē)輛目標(biāo)的車(chē)型、顏色等屬性。目標(biāo)屬性提取過(guò)程主要應(yīng)用基于深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的特征提取和分類(lèi)技術(shù)。

視頻結(jié)構(gòu)化評(píng)價(jià)指標(biāo)

目標(biāo)的檢出率

目標(biāo)檢出率在視頻結(jié)構(gòu)化產(chǎn)品的應(yīng)用中意義非常重大，被關(guān)注的目標(biāo)在某個(gè)場(chǎng)景內(nèi)出現(xiàn)而未被檢測(cè)到，直接導(dǎo)致整個(gè)視頻結(jié)構(gòu)化分析結(jié)果無(wú)效，并且誤導(dǎo)用戶(hù)以為目標(biāo)確實(shí)沒(méi)有出現(xiàn)過(guò)，而目標(biāo)是否出現(xiàn)又是事先未知的，需要回到原始的辦法——人工看視頻查找。導(dǎo)致目標(biāo)漏檢的原因很多，包括目標(biāo)過(guò)小、光照不足、運(yùn)動(dòng)模糊、目標(biāo)出現(xiàn)時(shí)間過(guò)短等因素。

目標(biāo)識(shí)別準(zhǔn)確率

想要通過(guò)屬性檢索快速鎖定所關(guān)注的目標(biāo)，就必須要求屬性判斷準(zhǔn)確率高。然而，對(duì)于那些成像質(zhì)量不好或者尺寸過(guò)小的目標(biāo)，往往很難準(zhǔn)確的判斷其屬性（即使肉眼也很難分辨）。屬性判斷有誤導(dǎo)致檢索應(yīng)用中沒(méi)有把關(guān)注的目標(biāo)檢索出來(lái)，同樣會(huì)導(dǎo)致檢索工作無(wú)效。

算法的魯棒性

由于治安場(chǎng)景情況非常復(fù)雜，這就需要算法在各個(gè)場(chǎng)景下都能適用。在不同的場(chǎng)景具有良好的魯棒性，不至于在某些場(chǎng)景效果較好，但是在另外的場(chǎng)景效果很差。

視頻結(jié)構(gòu)化技術(shù)的優(yōu)勢(shì)

降低案件偵破的時(shí)間成本

在以往的案件偵破過(guò)程中，刑偵人員為了通過(guò)視頻獲取到嫌疑犯可能出現(xiàn)的地點(diǎn)，需要夜以繼日地通過(guò)人工查看相關(guān)的視頻內(nèi)容，從中找到嫌疑人在哪些地點(diǎn)出現(xiàn)過(guò)。視頻查看工作是案件偵查過(guò)程中必不可少的，也是效率最低、最費(fèi)時(shí)的工作。

2015年，周克華案件偵破過(guò)程中，為了找到周克華的活動(dòng)線(xiàn)索，民警花了兩個(gè)月時(shí)間，查看了近30萬(wàn)GB的視頻，才最終發(fā)現(xiàn)了周克華的線(xiàn)索，30萬(wàn)GB的視頻，相當(dāng)于80萬(wàn)部高清視頻，其工作量可想而知。

然而，利用視頻結(jié)構(gòu)化技術(shù)，提前對(duì)治安監(jiān)控的視頻進(jìn)行目標(biāo)以及對(duì)應(yīng)屬性的提取。一旦案件發(fā)生，民警只需根據(jù)嫌疑犯的特征，就可以從結(jié)構(gòu)化圖片庫(kù)中檢索出所有與嫌疑犯特征相符的目標(biāo)圖片，然后再?gòu)倪@些檢索結(jié)果中去查找嫌疑人的照片，定位嫌疑人的活動(dòng)軌跡。在一般的案件偵破過(guò)程，刑偵人員需要從在幾十上百個(gè)點(diǎn)位的24個(gè)小時(shí)的錄像中查找嫌疑犯目標(biāo)，但是利用視頻結(jié)構(gòu)化技術(shù)只需要從幾百上千張的結(jié)構(gòu)化圖片中去查找嫌疑犯，極大的降低了刑偵破案的人力資源和時(shí)間資源，大大提高了辦案效率。

降低視頻存儲(chǔ)壓力

在以往的視頻監(jiān)控應(yīng)用中，需要把所有前端相機(jī)的錄像進(jìn)行儲(chǔ)存。對(duì)于公安部門(mén)而言，一般需要存儲(chǔ)1-3個(gè)月的視頻，一個(gè)普通二線(xiàn)城市的視頻點(diǎn)位就有上萬(wàn)個(gè)，對(duì)后端的存儲(chǔ)空間提出了很高的要求。雖然視頻編解碼技術(shù)的發(fā)展，有效緩解了視頻存儲(chǔ)的壓力，但是沒(méi)有從根本上解決視頻存儲(chǔ)問(wèn)題。

視頻結(jié)構(gòu)化技術(shù)，通過(guò)提取視頻中有效信息圖片進(jìn)行保存，剔除無(wú)效信息，可以極大地提高設(shè)備存儲(chǔ)的利用率。舉個(gè)簡(jiǎn)單的例子：對(duì)于一個(gè)偏僻的道路卡口場(chǎng)景，夜間8個(gè)小時(shí)有700輛汽車(chē)通過(guò)，8個(gè)小時(shí)的錄像相當(dāng)于約70萬(wàn)張圖片（按1秒25幀計(jì)算）視頻結(jié)構(gòu)化的分析的結(jié)果，而理論上有700張有效的車(chē)輛圖片即可，兩者相差1000倍的數(shù)據(jù)量。因此，視頻結(jié)構(gòu)化技術(shù)讓存儲(chǔ)設(shè)備的利用率提高了1000倍。

視頻結(jié)構(gòu)化技術(shù)與其他技術(shù)的關(guān)系

與大數(shù)據(jù)技術(shù)的關(guān)系

在安防行業(yè)，所謂的大數(shù)據(jù)通常是指視頻大數(shù)據(jù)。然而，傳統(tǒng)的視頻大數(shù)據(jù)的數(shù)據(jù)量非常大，而且存在大量的無(wú)效信息和冗余信息。如何有效地提取視頻大數(shù)據(jù)中真正對(duì)客戶(hù)有價(jià)值的信息，就是視頻結(jié)構(gòu)化技術(shù)所能體現(xiàn)的價(jià)值。從大數(shù)據(jù)和視頻結(jié)構(gòu)化兩者關(guān)系來(lái)看，視頻結(jié)構(gòu)化技術(shù)屬于大數(shù)據(jù)的應(yīng)用，視頻結(jié)構(gòu)化技術(shù)從視頻大數(shù)據(jù)中提取出所有的目標(biāo)信息，并把這些目標(biāo)信息以圖片的方式進(jìn)行存儲(chǔ)，將視頻大數(shù)據(jù)轉(zhuǎn)換成圖片大數(shù)據(jù)。

與智能分析技術(shù)的關(guān)系

在安防行業(yè)，視頻結(jié)構(gòu)化技術(shù)同樣屬于智能分析技術(shù)，可以理解為對(duì)原有智能分析技術(shù)的補(bǔ)充。原有的智能分析技術(shù)是通過(guò)事先定義異常事件規(guī)則，然后對(duì)視頻中目標(biāo)運(yùn)動(dòng)行為進(jìn)行智能分析來(lái)判斷是否屬于異常事件。它更多的是關(guān)注于事件本身，例如是否有人員目標(biāo)進(jìn)入到某個(gè)區(qū)域，是否有車(chē)輛目標(biāo)出現(xiàn)違法停車(chē)或者非法變道等。智能分析的主要應(yīng)用是異常事件實(shí)時(shí)布控，確保異常事件發(fā)生后第一時(shí)間能告知用戶(hù)。而視頻結(jié)構(gòu)化技術(shù)是將視頻場(chǎng)景中的運(yùn)動(dòng)目標(biāo)檢測(cè)出來(lái)并提取該目標(biāo)的可視化特征。它更多的是關(guān)注于目標(biāo)本身，例如車(chē)輛目標(biāo)的顏色和類(lèi)型，人員目標(biāo)的性別、年齡、著裝等。視頻結(jié)構(gòu)化技術(shù)的主要應(yīng)用是目標(biāo)的追蹤，搜索出目標(biāo)可能出現(xiàn)的所有位置，生成目標(biāo)的活動(dòng)軌跡。當(dāng)然，視頻結(jié)構(gòu)化技術(shù)也可以和原有的智能分析技術(shù)結(jié)合應(yīng)用。例如通過(guò)實(shí)現(xiàn)錄入，可以對(duì)人員和車(chē)輛的圖片進(jìn)行實(shí)時(shí)目標(biāo)布控，當(dāng)布控人員或車(chē)輛出現(xiàn)在監(jiān)控畫(huà)面中時(shí)可以第一時(shí)間告知用戶(hù)，人臉卡口的實(shí)時(shí)報(bào)警系統(tǒng)就是其中最為典型的一個(gè)例子。

視頻結(jié)構(gòu)化技術(shù)的現(xiàn)狀

隨著視頻結(jié)構(gòu)化技術(shù)在安防領(lǐng)域的興起，越來(lái)越多的公司開(kāi)始在視頻結(jié)構(gòu)化技術(shù)領(lǐng)域投入研發(fā)資源。其中，?？低曉谝曨l結(jié)構(gòu)化實(shí)戰(zhàn)應(yīng)用中走在隊(duì)伍的前列，?？低曇呀?jīng)推出了自己的視頻結(jié)構(gòu)化產(chǎn)品——獵鷹，該產(chǎn)品基于高密度的GPU硬件方案，并采用國(guó)際領(lǐng)先的深度學(xué)習(xí)網(wǎng)絡(luò)框架的人工智能學(xué)習(xí)算法，單臺(tái)設(shè)備支持40路實(shí)時(shí)視頻結(jié)構(gòu)化分析或40倍歷史錄像結(jié)構(gòu)化分析。獵鷹所采用的先進(jìn)算法在復(fù)雜的治安場(chǎng)景下仍具有良好的適用性，精確捕獲各類(lèi)場(chǎng)景中出現(xiàn)的目標(biāo)和目標(biāo)屬性。設(shè)備支持多目標(biāo)按屬性進(jìn)行檢索，篩選出用戶(hù)所關(guān)心的目標(biāo)，提高用戶(hù)的查詢(xún)效率。

視頻結(jié)構(gòu)化技術(shù)存在的問(wèn)題

現(xiàn)階段，視頻結(jié)構(gòu)化技術(shù)的應(yīng)用場(chǎng)景除了人臉卡口場(chǎng)景和車(chē)輛卡口場(chǎng)景，最多的應(yīng)用場(chǎng)景還是治安場(chǎng)景。由于人臉卡口和車(chē)輛卡口對(duì)于前端相機(jī)參數(shù)和相機(jī)的安裝規(guī)范和場(chǎng)景的選擇都有非常高的要求，因此在實(shí)際應(yīng)用中可以最大程度的避免外界干擾對(duì)算法性能的影響。然而，對(duì)于治安場(chǎng)景而言，相機(jī)安裝沒(méi)有統(tǒng)一規(guī)范，應(yīng)用場(chǎng)景復(fù)雜多樣，前端相機(jī)性能參差不齊。因此，視頻結(jié)構(gòu)化技術(shù)在治安場(chǎng)景下的實(shí)際應(yīng)用中還面臨著許許多多的問(wèn)題。主要包括：

治安場(chǎng)景覆蓋范圍大，場(chǎng)景目標(biāo)尺寸過(guò)小。特別是大場(chǎng)景下遠(yuǎn)處的目標(biāo)，即便是肉眼也很難辨認(rèn)，目前的算法對(duì)于這類(lèi)目標(biāo)的檢測(cè)效果比較差，更別說(shuō)提出該目標(biāo)的屬性信息；

場(chǎng)景中遮擋問(wèn)題。視頻結(jié)構(gòu)化技術(shù)完全依賴(lài)于視頻圖像，一旦目標(biāo)被遮擋，那算法也無(wú)能為力。在治安場(chǎng)景下，往往存在樹(shù)葉、樹(shù)木、建筑物的遮擋，或者是大目標(biāo)遮擋小目標(biāo)等情況；

低照度問(wèn)題。對(duì)于卡口場(chǎng)景，夜間會(huì)有相機(jī)的補(bǔ)光措施。但是，對(duì)于普通的監(jiān)控相機(jī)一般是不具備補(bǔ)光功能，因此在夜間或者照度很低的情況下，往往容易出現(xiàn)目標(biāo)檢測(cè)不到或者目標(biāo)屬性無(wú)法提取的情況；

運(yùn)動(dòng)模糊問(wèn)題。在某些情況下，場(chǎng)景的光照不是特別充足，由于相機(jī)的曝光時(shí)間設(shè)置較長(zhǎng)或者目標(biāo)運(yùn)動(dòng)速度較快，會(huì)導(dǎo)致目標(biāo)出現(xiàn)非常嚴(yán)重的運(yùn)動(dòng)模糊。針對(duì)這類(lèi)模糊的目標(biāo)，檢測(cè)效果往往比較差；

人員過(guò)于擁擠的場(chǎng)景。對(duì)于某些場(chǎng)景，如火車(chē)站廣場(chǎng)，人員非常擁擠，人員之間的遮擋非常嚴(yán)重。對(duì)于這類(lèi)場(chǎng)景對(duì)于算法的效果影響也非常大。