王崇海

（1.中國電子科技集團公司第三十八研究所，合肥 230088；2.安徽省公共安全應(yīng)急信息技術(shù)重點實驗室，合肥 230088）

現(xiàn)代社會各種視頻資源非常豐富，人工識別查找視頻蘊含信息耗時長，效率低，通過計算機對視頻包含信息進行自動檢測識別在各種應(yīng)用中有著巨大的實用價值。多維視頻偵查系統(tǒng)可以自動檢測識別視頻中的車輛和人臉，方便用戶查詢感興趣的車輛和人臉信息。

1 概述

多維視頻偵查系統(tǒng)由客戶端和服務(wù)端組成。在客戶端，用戶可以提交視頻處理任務(wù)由服務(wù)端處理。服務(wù)端對提交的任務(wù)進行處理，將從視頻提取的車輛和人臉信息存儲起來。用戶可以在客戶端檢索已識別的車輛車牌和車型信息，也可以輸入人臉圖片和已識別的人臉信息比較，查找相似度較高的人臉。

客戶端可以上傳離線視頻文件，也可以接入攝像頭（在線視頻），對離線和在線視頻可以分別提交車輛抓拍和人臉抓拍任務(wù)入數(shù)據(jù)庫。離線車輛抓拍服務(wù)會去數(shù)據(jù)庫獲取離線視頻車輛抓拍任務(wù)并處理，在線車輛抓拍服務(wù)會去數(shù)據(jù)庫獲取在線視頻車輛抓拍任務(wù)并處理。類似的，離線人臉抓拍服務(wù)會去數(shù)據(jù)庫獲取離線視頻人臉抓拍任務(wù)并處理，在線人臉抓拍服務(wù)會去數(shù)據(jù)庫獲取在線視頻人臉抓拍任務(wù)并處理。

離線車輛抓拍服務(wù)和在線車輛抓拍服務(wù)會抓取視頻中包含車輛的視頻幀并保存為圖片文件（本系統(tǒng)圖片文件存儲在網(wǎng)絡(luò)共享文件夾下），將該圖片的相關(guān)信息存入數(shù)據(jù)庫，并提交車牌識別任務(wù)入數(shù)據(jù)庫，一張抓拍圖片提交一個任務(wù)。車牌識別服務(wù)會從數(shù)據(jù)庫中獲取車牌識別任務(wù)，識別該任務(wù)中包含的圖片中車輛的車牌號碼，并將車牌信息存入數(shù)據(jù)庫，同時車牌識別服務(wù)會提交車型識別任務(wù)入數(shù)據(jù)庫，該車型識別任務(wù)也包含同一張圖片。分發(fā)提取服務(wù)會從數(shù)據(jù)庫中獲取車型識別任務(wù)，并將該任務(wù)中包含的圖片存儲路徑通過Socket通信傳遞給車型識別服務(wù)，車型識別服務(wù)識別圖片中的車型信息后將車型信息通過Socket通信傳遞給車型存儲服務(wù)，車型存儲服務(wù)會將車型信息存入數(shù)據(jù)庫。離線視頻車輛信息提取任務(wù)指的是一個離線視頻從提交抓拍任務(wù)到完成車輛抓拍和所有抓拍圖片的車牌車型識別的全過程，任務(wù)狀態(tài)包括未進行，進行中，完成等，任務(wù)進度指的是任務(wù)完成度。在線視頻車輛信息提取任務(wù)指的是在線視頻提交抓拍任務(wù)后，進行車輛抓拍和車牌車型識別的過程，任務(wù)狀態(tài)包括未進行，進行中等。離線視頻任務(wù)監(jiān)控服務(wù)會在離線視頻車輛信息提取任務(wù)的處理過程中更新任務(wù)狀態(tài)和進度。離線視頻車輛信息提取任務(wù)的狀態(tài)，進度和在線視頻車輛信息提取任務(wù)狀態(tài)存儲在數(shù)據(jù)庫中，由系統(tǒng)各部分維護，并在客戶端展示。

離線人臉抓拍服務(wù)和在線人臉抓拍服務(wù)會抓取視頻中包含的人臉，每個人臉都會保存為一張圖片文件，并提交人臉特征提取任務(wù)入數(shù)據(jù)庫，一個抓拍人臉圖片提交一個任務(wù)。分發(fā)提取服務(wù)會從數(shù)據(jù)庫獲取人臉特征提取任務(wù)，提取人臉的特征并保存為特征文件，人臉的相關(guān)信息會存入數(shù)據(jù)庫。離線視頻人臉信息提取任務(wù)指的是一個離線視頻從提交抓拍任務(wù)到完成人臉抓拍和所有抓拍人臉圖片特征提取的全過程，任務(wù)狀態(tài)包括未進行，進行中，完成等，任務(wù)進度指的是任務(wù)完成度。在線視頻人臉信息提取任務(wù)指的是在線視頻提交抓拍任務(wù)后，進行人臉抓拍和人臉特征提取的過程，任務(wù)狀態(tài)包括未進行，進行中等。離線視頻任務(wù)監(jiān)控服務(wù)會在離線視頻人臉信息提取任務(wù)的處理過程中更新任務(wù)狀態(tài)和進度。離線視頻人臉信息提取任務(wù)的狀態(tài)，進度和在線視頻的人臉信息提取任務(wù)狀態(tài)存儲在數(shù)據(jù)庫中，由系統(tǒng)各部分維護，并在客戶端展示。

2 車輛信息提取

2.1 車輛抓拍

2.1.1 離線視頻車輛抓拍

客戶端提交離線視頻抓拍任務(wù)前，需要在視頻的一幀圖片上畫出矩形識別區(qū)域線框，線框一般畫在車道上，橫向覆蓋車道的寬度，一個車道一個線框。在提交的離線視頻抓拍任務(wù)信息中包含識別區(qū)域線框的坐標和視頻文件的路徑。離線車輛抓拍服務(wù)從數(shù)據(jù)庫獲取任務(wù)后，啟動一個進程執(zhí)行該任務(wù)。任務(wù)執(zhí)行進程解碼該視頻，獲取視頻幀序列，對視頻幀運行運動檢測算法。一輛車經(jīng)過識別區(qū)域線框，會被運動檢測算法識別，包含該車輛的一個視頻幀會被抓拍保存為圖片文件。包含該幀圖片的車牌識別任務(wù)會被提交入數(shù)據(jù)庫。任務(wù)執(zhí)行進程在任務(wù)執(zhí)行過程中會更新數(shù)據(jù)庫該視頻的離線視頻車輛信息提取任務(wù)的進度。對于每個進行車輛信息提取的離線視頻，數(shù)據(jù)庫中都有該視頻的一條車輛信息提取任務(wù)監(jiān)控記錄用于監(jiān)控該視頻的車輛信息提取工作是否完成，該記錄保存該視頻的抓拍圖片總數(shù)和目前已完成車牌和車型信息提取的圖片數(shù)。在任務(wù)執(zhí)行進程開始執(zhí)行任務(wù)時，在數(shù)據(jù)庫中插入該車輛信息提取任務(wù)監(jiān)控記錄，抓拍圖片總數(shù)設(shè)為-1，當(dāng)前完成車牌和車型信息提取的圖片數(shù)設(shè)為0。在完成對該視頻所有幀的運動檢測后，將抓拍的圖片總數(shù)存入數(shù)據(jù)庫該離線視頻對應(yīng)車輛信息提取任務(wù)監(jiān)控記錄。

2.1.2 在線視頻車輛抓拍

客戶端提交在線視頻抓拍任務(wù)前，和離線視頻一樣，也需要在該在線視頻一幀圖片上畫出矩形識別區(qū)域線框。在線車輛抓拍服務(wù)從數(shù)據(jù)庫獲取任務(wù)后，啟動一個進程執(zhí)行該任務(wù)。任務(wù)執(zhí)行進程會啟動兩個線程，一個線程負責(zé)從流媒體服務(wù)器獲取攝像頭視頻幀序列，另一個線程負責(zé)運行運動檢測算法識別經(jīng)過識別區(qū)域線框的車輛。視頻幀獲取線程將獲取的視頻幀數(shù)據(jù)存入緩存，運動檢測線程從緩存中讀取視頻幀數(shù)據(jù)，并對視頻幀運行運動檢測算法，經(jīng)過線框的車輛會被識別，包含該車輛的一個視頻幀會被保存為圖片文件。包含該幀圖片的車牌識別任務(wù)會被提交入數(shù)據(jù)庫。

2.2 車牌識別

車牌識別服務(wù)從數(shù)據(jù)庫獲取車牌識別任務(wù)后，運行車牌識別算法，識別該任務(wù)中的圖片中的車輛車牌號碼，將車牌號碼，車牌的坐標等信息存入數(shù)據(jù)庫，同時提交對該圖片的車型識別任務(wù)入數(shù)據(jù)庫。運動檢測算法抓拍的圖片，有時不同的圖片會包含同一輛車，例如兩輛車相隔較近，則前一輛車經(jīng)過識別區(qū)域線框被抓拍的圖片中會包含后面的還未經(jīng)過識別區(qū)域線框的車，而后面的車在經(jīng)過識別區(qū)域線框時也會被運動檢測算法抓拍并保存，這樣后面這輛車就會被兩張圖片所包含。為了不讓后面的車被識別多次，可以在獲取車牌識別結(jié)果后，根據(jù)車牌坐標增加區(qū)域限制，只存儲靠近識別區(qū)域線框的車輛，而不存儲遠離識別區(qū)域線框的車輛，這樣可以避免車牌被重復(fù)識別。

2.3 車型識別

分發(fā)提取服務(wù)從數(shù)據(jù)庫中獲取車型識別任務(wù)后，將該任務(wù)中的圖片存儲路徑通過Socket通信傳遞給車型識別服務(wù)，車型識別服務(wù)對該圖片運行車型識別算法，將車型識別結(jié)果和車輛的坐標位置通過Socket通信傳遞給車型存儲服務(wù)。

車型存儲服務(wù)在收到一張圖片的車型識別結(jié)果后，通過數(shù)據(jù)庫查詢找到該張圖片對應(yīng)的車牌識別結(jié)果，并取出車牌的坐標。對于車型識別結(jié)果中的一個車輛，通過坐標我們知道包含該車輛的矩形框。對于車牌識別結(jié)果，通過坐標我們知道包含該車牌的矩形框。如果一個車輛矩形框包含一個車牌矩形框，我們認為該車型識別結(jié)果中的車輛和該車牌屬于的車輛是同一輛車，將車型結(jié)果存入數(shù)據(jù)庫中該車牌對應(yīng)的車輛記錄中。如果一個車輛矩形框不包含任何一個車牌矩形框，則該車型結(jié)果為一輛新車，存入數(shù)據(jù)庫，該車輛只有車型結(jié)果沒有車牌結(jié)果。如果一個車牌矩形框不被任何車輛矩形框所包含，則該車輛只包含車牌信息，不包含車型信息。對于離線視頻抓拍的圖片，車型存儲服務(wù)在完成該圖片車型信息存儲后會更新數(shù)據(jù)庫該視頻任務(wù)監(jiān)控記錄當(dāng)前完成車牌和車型信息提取圖片數(shù)，即將該數(shù)字加一。類似于車牌識別的區(qū)域限制以避免車牌被重復(fù)識別，車型存儲服務(wù)在獲得一張圖片的識別結(jié)果后，也可以根據(jù)車型識別結(jié)果中車輛的坐標，只存儲靠近識別區(qū)域線框的車輛，而不存儲遠離識別區(qū)域線框的車輛，以避免車輛被重復(fù)識別。

2.4 離線視頻車輛信息提取任務(wù)監(jiān)控

對于離線視頻車輛信息提取任務(wù)，離線視頻任務(wù)監(jiān)控服務(wù)會每隔一段時間訪問數(shù)據(jù)庫離線視頻車輛信息提取任務(wù)監(jiān)控記錄，當(dāng)抓拍圖片總數(shù)已不為-1時（說明抓拍已完成），比較抓拍圖片總數(shù)和已完成車牌和車型提取的圖片數(shù)，如果兩者相等，則說明該離線視頻的車輛信息提取任務(wù)已完成，則修改該任務(wù)的狀態(tài)為已完成，修改任務(wù)的進度為100%，并刪除該視頻的離線視頻車輛信息提取任務(wù)監(jiān)控記錄；如果抓拍圖片總數(shù)大于已完成車牌和車型提取的圖片數(shù)，則更新該任務(wù)的進度；如果在一段較長時間里，抓拍圖片總數(shù)和已完成車牌和車型提取的圖片數(shù)仍然不相等，則說明該任務(wù)已失敗，則修改該任務(wù)的狀態(tài)為失敗，修改任務(wù)進度為0，并刪除該任務(wù)監(jiān)控記錄。

3 人臉信息提取

3.1 人臉抓拍

3.1.1 離線視頻人臉抓拍

客戶端提交離線視頻人臉抓拍任務(wù)后，離線視頻人臉抓拍服務(wù)從數(shù)據(jù)庫獲取任務(wù)，啟動進程執(zhí)行該任務(wù)。任務(wù)進程解碼該視頻，獲取視頻幀序列，對視頻幀運行人臉檢測抓拍算法，視頻幀中的人臉會被人臉檢測抓拍算法識別并從視頻幀中截取保存為圖片文件，包含人臉的視頻幀也會被保存為背景圖片文件。對于每一個被識別截取的人臉，離線視頻人臉抓拍服務(wù)會生成一個人臉特征提取任務(wù)，提交入數(shù)據(jù)庫。任務(wù)執(zhí)行進程在任務(wù)執(zhí)行過程中會更新數(shù)據(jù)庫該視頻的離線視頻人臉信息提取任務(wù)的進度。對于每個進行人臉信息提取的離線視頻，數(shù)據(jù)庫中都有該視頻的一條人臉信息提取任務(wù)監(jiān)控記錄用于監(jiān)控該視頻的人臉信息提取工作是否完成，該記錄保存該視頻的人臉抓拍圖片總數(shù)和目前已完成人臉特征提取的圖片數(shù)。在任務(wù)執(zhí)行進程開始執(zhí)行任務(wù)時，在數(shù)據(jù)庫中插入該人臉信息提取任務(wù)監(jiān)控記錄，人臉抓拍圖片總數(shù)設(shè)為-1，目前已完成人臉特征提取的圖片數(shù)設(shè)為0。在完成對該視頻所有幀的人臉檢測抓拍后，將抓拍存儲的人臉圖片總數(shù)存入數(shù)據(jù)庫該離線視頻對應(yīng)人臉信息提取任務(wù)監(jiān)控記錄。

3.1.2 在線視頻人臉抓拍

客戶端提交在線視頻人臉抓拍任務(wù)后，在線視頻人臉抓拍服務(wù)從數(shù)據(jù)庫獲取任務(wù)，啟動進程執(zhí)行該任務(wù)。任務(wù)進程啟動兩個線程，一個線程負責(zé)從流媒體服務(wù)器獲取攝像頭視頻幀序列，另一個線程負責(zé)檢測識別視頻幀中的人臉。視頻幀獲取線程將獲取的視頻幀數(shù)據(jù)存入緩存，人臉檢測線程從緩存中讀取視頻幀，并對視頻幀運行人臉檢測抓拍算法，視頻中的人臉會被檢測識別并截取保存為圖片文件，包含人臉的視頻幀也會被保存為背景圖片文件。對于每一個被識別截出的人臉，在線視頻人臉抓拍服務(wù)會生成一個人臉特征提取任務(wù)，提交存入數(shù)據(jù)庫。

3.2 人臉特征提取

分發(fā)提取服務(wù)從數(shù)據(jù)庫獲取人臉特征提取任務(wù)，對任務(wù)中的人臉圖片運行人臉特征提取算法，將特征存入特征文件，將特征文件路徑等相關(guān)信息存入數(shù)據(jù)庫。對于完成人臉特征提取的離線視頻抓拍截取的人臉圖片，分發(fā)提取服務(wù)會去數(shù)據(jù)庫該視頻人臉信息提取任務(wù)監(jiān)控記錄更新當(dāng)前完成人臉特征提取圖片數(shù)，即將該數(shù)字加一。

3.3 離線視頻人臉信息提取任務(wù)監(jiān)控

離線視頻任務(wù)監(jiān)控服務(wù)每隔一段時間會訪問數(shù)據(jù)庫離線視頻人臉信息提取任務(wù)監(jiān)控記錄，操作類似于對離線視頻車輛信息提取任務(wù)監(jiān)控記錄的操作，此處不再贅述。

4 總結(jié)

本文闡述了多維視頻偵查系統(tǒng)車輛和人臉信息檢測識別的設(shè)計和實現(xiàn)技術(shù)，闡明了多個后臺服務(wù)協(xié)作完成對視頻車輛和人臉信息提取的機制。對于離線視頻和在線視頻，在任務(wù)執(zhí)行過程，狀態(tài)維護等方面都有不同的設(shè)計以適應(yīng)其各自的特點。該系統(tǒng)在視頻資源極其豐富的今天有著廣泛的應(yīng)用價值。

[1] 黃凱奇，陳曉棠，康運鋒，譚鐵牛.智能視頻監(jiān)控技術(shù)綜述.計算機學(xué)報，[J]2015，38（6）：1093-1118.

[2] 孫斌.智能視頻監(jiān)控技術(shù)及其主要應(yīng)用.電子技術(shù)與軟件工程，[J]2015（13）：107-107.