李 釗，王元紅

（山東科技大學(xué) 計算機科學(xué)與工程學(xué)院，山東 青島 266510）

0 引言

近年來，隨著監(jiān)視電子設(shè)備在各個領(lǐng)域的不斷普及，需要對大量監(jiān)視視頻和圖像進行有效處理。同時，社會上的公司（例如銀行，證券交易所等）和營業(yè)所需要確保員工因業(yè)務(wù)需要而到達的比率。為了便于對員工準時到達或隨意離值的監(jiān)控，有必要在監(jiān)控的幫助下實時了解，以便對員工的出勤情況進行準確的評估[1]。除此之外，在一些場景中常常由于人員的擅自離崗，視頻監(jiān)控區(qū)域發(fā)生事故沒有及時發(fā)現(xiàn)，導(dǎo)致不能及時有效的處理問題，造成較大損失或安全問題，因此，對于這些場景需要對人員在崗情況進行實時的監(jiān)控，以避免因人員非法離崗而存在安全漏洞[2]。

現(xiàn)有的查崗，包括人工查崗、指紋查崗、RFID查崗和智能監(jiān)控查崗等，但因這些脫崗查崗的方法都有不同程度的局限性，存在很多問題。

在以往的監(jiān)測方法中大多采用員工觀看攝像頭以完成檢測，但是這種監(jiān)測方法效率太低、也無法在準確度上到達一定水平，當(dāng)缺崗、換班或值班出現(xiàn)瞌睡時，漏檢、誤報等現(xiàn)象就會發(fā)生，則需要再打開監(jiān)控錄像確認情況，并且在攝像頭過多、監(jiān)控畫面復(fù)雜，當(dāng)出現(xiàn)監(jiān)察人數(shù)無法滿足需求的的情況時，滿意保證能夠?qū)θ繊徫簧系囊曨l數(shù)據(jù)有效的監(jiān)測。另外他不能給出實時警告并完全避免在職員離崗的情況；指紋和 RFID技術(shù)雖然先進可靠，但是投入成本過高，效率也達不到應(yīng)有的效果。智能監(jiān)控查崗的方法，即在計算機視覺領(lǐng)域，通過位置檢測、目標檢測和圖像區(qū)域的面積變化對人員在崗情況進行監(jiān)測，但是諸多情況下，背景建模和前景目標檢測的實時性和準確性無法達到要求，圖像區(qū)域受外部環(huán)境影響，導(dǎo)致面積發(fā)生變化，造成監(jiān)測的準確率不高。因此，迫切需要一種能夠準確并及時判別監(jiān)控中人員在崗情況的技術(shù)。

1 在崗檢測技術(shù)

1.1 在崗檢測技術(shù)簡介

在崗檢測是指在監(jiān)控錄像中監(jiān)控值班人員[3]。視頻分析在現(xiàn)代安全領(lǐng)域中起著重要作用，并被廣泛使用。隨著行為檢測算法技術(shù)的不斷進步，在崗監(jiān)測技術(shù)可以完全通過計算機代替人員進行實時監(jiān)控。當(dāng)計算機在監(jiān)控中識別出在職人員的異常情況，或值班室中沒有值班人員時，計算機將直接發(fā)出警報，與傳統(tǒng)的人工檢測相比，具有明顯的優(yōu)勢，與指紋檢測和RFID檢測相比，可以做到24小時實時監(jiān)測，操作簡單，實施成本低。 目前，它已被廣泛應(yīng)用于銀行，證券交易所，營業(yè)廳等許多領(lǐng)域。

1.2 目前在崗檢測技術(shù)分析

在崗檢測的核心技術(shù)就是行為檢測，國內(nèi)外皆有研究。例如，文獻[4]提出了一種基于關(guān)節(jié)點信息的人體行為識別的新方法，采用Kinect技術(shù)提取人體關(guān)節(jié)點坐標，以此構(gòu)造3維空間向量，然后通過計算結(jié)構(gòu)向量之間的角度和向量模的比值來分析人體姿態(tài)，同時以階段時間的連續(xù)的姿態(tài)序列作為行為表示特征量，最終判別測試行為模板和參考行為模板的相似情況，完成行為識別。文獻[5]提出了一種基于時間段網(wǎng)絡(luò)的深度行為識別算法，它結(jié)合了稀疏時間采樣策略和視頻等級監(jiān)督方法，可以對整體的動作視頻有效快捷的學(xué)習(xí)。文獻[6]提出了一種基于魯棒且有效的視頻表示的動作識別方法，利用顯式相機運動估計進行改善流行密集軌跡特征，使用 SURF（Speeded up robust features）描述符[7]和密集光流提取幀之間的特征點進行匹配。

文獻[8]設(shè)計實現(xiàn)了一個嵌入式系統(tǒng)下的行為檢測系統(tǒng)，因采用的硬件平臺性能受限，僅僅使用硬件要求較低的的傳統(tǒng)檢測方法，在崗檢測系統(tǒng)通過定位人的頭部區(qū)域進行檢測，從人臉特征點（Facial landmarks）檢測入手，通過人臉的特征點分析人員的具體行為。除此之外，現(xiàn)在也可使用一些公開檢測算法，例如Dlib庫的人臉特征點檢測[9-10]、Seeta Face人臉特征點檢測[11-12]，以及劍橋大學(xué)的CLM-framework人臉跟蹤器[13]等。

2 算法總體框架

該算法的應(yīng)用場景可以是值班室或辦公區(qū)域里，由攝像頭對進出值班室或辦公區(qū)域的人員進行攝像記錄，再將得到的數(shù)據(jù)流傳到計算機端，由計算機端進行處理并對值班室或辦公區(qū)域的人員在崗情況進行相應(yīng)判斷，圖1實物模擬圖為實物模擬圖。

圖1 實物模擬圖Fig.1 Physical simulation diagram

計算機端的處理流程包括調(diào)用攝像頭拍攝圖像、圖像預(yù)處理、行人目標檢測、行人目標跟蹤及人數(shù)統(tǒng)計等多個部分。本文算法的總體框圖如圖 2算法總體框圖所示。

圖2 算法總體框圖Fig.2 General block diagram of the algorithm

3 實驗過程及結(jié)果分析

3.1 平臺選用

本文采取的是用OpenCV的工作平臺來進行算法的設(shè)計，OpenCV[14-16]是在1999年由英特爾公司開發(fā)實現(xiàn)的一個開源的計算機視覺庫，它能夠?qū)崿F(xiàn)視覺和圖像處理方面的很多算法，并且它為圖像處理、模式識別、三維重建、物體跟蹤、機器學(xué)習(xí)和線性代數(shù)提供了各種各樣的算法[17]。OpenCV具有以下幾個特點：

（1）OpenCV采用 C/C++語言編寫，使得用戶能夠快速的獲取所需要的函數(shù)，幾乎支 持所有的圖片格式而且可以運行在多種主流操作系統(tǒng)，比如說Linux/Windows/Mac等。

（2）OpenCV作為一個開源庫可以與很多其他的開發(fā)平臺相兼容，比如說Python、Ruby、MATLAB等均可以與OpenCV相結(jié)合來實現(xiàn)對圖像的處理。

（3）它采用優(yōu)化的C代碼編寫，能夠充分利用多核處理器的優(yōu)勢。

（4）具有良好的可移植性。

3.2 實驗過程

3.2.1 圖像預(yù)處理

圖像預(yù)處理是所有視頻圖像后續(xù)工作的基礎(chǔ)。由于光照、陰影等多個不穩(wěn)定因素的影響，采用攝像頭拍攝的視頻序列總會有噪聲的存在，而可以運用圖像的預(yù)處理技術(shù)抑制噪聲。

圖像預(yù)處理就是先讀取攝像頭所傳遞的的每一幀圖像，進而將圖像灰度化，濾波處理得到的灰度圖像。圖像預(yù)處理是進行過濾圖像的邊緣信息，更易于檢測每個圖像，這也被稱為圖像的濾波。圖像濾波的主要作用是除去光照等與檢測不相關(guān)的信息，在圖像預(yù)處理中非常重要。目前有很多濾波方法，下面主要介紹本文中所使用的高斯濾波方法，Python中OpenCV主要調(diào)用GaussianBlur函數(shù)，如下：

dst = cv2.GaussianBlur(src, ksize, sigmaX)

其中，dst表示濾波后的圖像，src表示原始圖像，ksize表示核大小，sigmaX表示X方向方差。

本算法的實現(xiàn)所用到的圖像預(yù)處理操作主要是引入Background Subtractor的KNN背景分割器進行背景分割，通過KNN算法從視頻流中分離出運動的物體前景；然后對分離出的運動物體前景，根據(jù)人員在監(jiān)控視頻中的具體位置劃定一個ROI區(qū)域作為人員在崗情況檢測的檢測區(qū)域，并對其進行單閾值OTSU（Nobuyuki Otsu, 大津法）二值化處理、形態(tài)學(xué)處理，實時檢測動態(tài)前景。單閾值OTSU二值化處理的計算方式如下：

設(shè)一幅圖像的像素點數(shù)為N，它有L個灰度級(0,1,,1) L-…，灰度級為i的像素點數(shù)為in，那么直方圖表示為概率密度分布：

假設(shè)閾值t將圖像分成兩類 C0和 C1（物體和背景），即C0和C1分別對應(yīng)具有灰度級{0,1,…,t}和的像素。設(shè)σ2B( t)表示直方圖中閾值為 t時的類間方差，那么最優(yōu)閾值可以通過求σ2B ( t)的最大值而得到，即：

3.2.2 行人目標檢測

行人目標檢測部分主要分為兩個階段：

第一階段采用BING方法，運用分類器一生成候選區(qū)域，其中分類器一由NG特征和SVM訓(xùn)練得到；第二階段是在候選區(qū)域中，運用分類器二來分類并定位行人，從而完成行人目標檢測，其中分類器二由俯視行人頭部HOG特征和SVM訓(xùn)練得到。

3.2.3 行人目標跟蹤

行人目標跟蹤部分分為兩個階段：行人運動軌跡跟蹤和數(shù)據(jù)關(guān)聯(lián)。

行人運動軌跡跟蹤就是在監(jiān)控區(qū)域內(nèi)對行人檢測的結(jié)果進行跟蹤，即對第k幀已存在的行人軌跡進行跟蹤，得到它們在第k+g幀（g≥1）的跟蹤結(jié)果；然后運用數(shù)據(jù)關(guān)聯(lián)算法，對已存在的行人軌跡的跟蹤結(jié)果和當(dāng)前幀的行人檢測結(jié)果進行數(shù)據(jù)關(guān)聯(lián)，從而確定當(dāng)前幀的行人軌跡。

此處的數(shù)據(jù)關(guān)聯(lián)算法即是根據(jù)視頻開始處的檢測結(jié)果建立初始行人軌跡。由于任意時刻都可能有行人進出監(jiān)控區(qū)域，需要對已存在的行人軌跡和當(dāng)前幀的檢測結(jié)果進行數(shù)據(jù)關(guān)聯(lián)，判斷是否有行人進出監(jiān)控區(qū)域；為進入的行人建立軌跡，并將走出的行人對應(yīng)的軌跡刪除。將當(dāng)前幀中一個假設(shè)的行人軌跡，用一組｛DK,TL｝進行組合（或關(guān)聯(lián)）。其中DK為當(dāng)前幀的檢測結(jié)果，TL已存在的行人軌跡在當(dāng)前幀的跟蹤結(jié)果。

根據(jù)空間最近鄰原則，采用歐式距離對DK與TL進行數(shù)據(jù)關(guān)聯(lián)，DK與TL的歐式距離為：其中：kx和ky、lx和ly分別表示KD和LT的窗口中心坐標。

據(jù)行人在監(jiān)控區(qū)域中的實際運動速度，設(shè)定一個距離閾值eT，當(dāng)edT＞時判定當(dāng)前行人運動軌跡不成立，重新建立一條新的運動軌跡，結(jié)束當(dāng)前的目標跟蹤；反之，認為當(dāng)前行人運動軌跡成立，則繼續(xù)認為連續(xù)兩幀中的運動行人為同一人，繼續(xù)行人目標跟蹤。

3.2.4 人員在崗情況檢測

進行人員在崗情況檢測，首先對值班室或者辦公區(qū)域的人員進行計數(shù)，分別判斷出進入、離開值班室或者辦公區(qū)域的人員數(shù)目，然后進行一個差值計算，只要進入的人員數(shù)目大于離開的人員數(shù)目路，或者說只要進入、離開的數(shù)目不相等，則判定人員在崗，反之認為人員不在崗，并進行報警。

期指其中計數(shù)部分采用虛擬線設(shè)置技術(shù)，在監(jiān)控區(qū)域內(nèi)合理設(shè)置虛擬計數(shù)線，通過分析行人軌跡是否越過虛擬計數(shù)線，來對行人進行計數(shù)。由于行人在監(jiān)控區(qū)域內(nèi)行為的隨意性，如果采用單虛擬線計數(shù)，則無法對行人的運動方向、行人在監(jiān)控區(qū)域內(nèi)滯留等情況進行準確判斷，因此，本文提出采用雙虛擬線計數(shù)方法，虛擬線設(shè)置如圖3雙虛擬計數(shù)線示意圖所示。

圖3 雙虛擬計數(shù)線示意圖Fig.3 Schematic diagram of double virtual counting lines

本文規(guī)定當(dāng)值班室或者辦公區(qū)域的人員運動軌跡依次越過計數(shù)線A、B，則對人員進行“進入”人數(shù)統(tǒng)計；當(dāng)值班室或者辦公區(qū)域的人員運動軌跡依次越過計數(shù)線B、A，則對人員進行“離開”人數(shù)統(tǒng)計；當(dāng)值班室或者辦公區(qū)域的人員運動軌跡出現(xiàn)在監(jiān)控區(qū)域，卻連續(xù)多幀未跨過兩條計數(shù)線，則不做相應(yīng)處理。

3.3 實驗結(jié)果

本文設(shè)計的在崗檢測算法，對通過對攝像頭拍攝的圖像中的行人分別檢測以及跟蹤，完成進入、離開值班室或者辦公區(qū)域的人員數(shù)目的統(tǒng)計計數(shù)，對這兩個數(shù)據(jù)作差即為值班室或者辦公區(qū)域的人員在崗數(shù)目，進而判斷其人員在崗情況。

通過實驗仿真，采用某間宿舍作為模擬值班室或者辦公區(qū)域的場所，得到其中某一幀的截圖結(jié)果，如圖4實驗結(jié)果圖所示。

圖4 實驗結(jié)果圖Fig.4 Experimental results

經(jīng)過一段時間的監(jiān)測結(jié)果如表1所示。由此可以判斷，通過本文的在崗檢測方法得到的結(jié)果與實際的情況相差不大，能夠很好地代替工作人員的職責(zé)。

表1 檢測情況Tab.1 Test situation

4 總結(jié)

在一些特定場景及時發(fā)現(xiàn)人員擅自離崗情況，既可以監(jiān)督員工的工作狀況，更可以及時發(fā)現(xiàn)視頻監(jiān)控區(qū)域發(fā)生的事故，并及時有效的處理問題，避免造成較大損失或安全問題。為此，本文設(shè)計提出一種基于視頻圖像處理的人員在崗檢測技術(shù)，通過對值班室監(jiān)控視頻中的人員進行運動跟蹤檢測，提出了基于歐式距離的數(shù)據(jù)關(guān)聯(lián)算法，建立當(dāng)前幀的人員運動軌跡，進而判斷出進入和離開值班室的人員數(shù)目，二者做差進而對值班室里的人員在崗情況進行判斷，檢測效率和準確度高，具有良好的實時性能。雖然該方法還存在一些缺陷，比如對遮擋人員的檢測效果不是很理想，但是對檢測人員的在崗情況也起到了很好的作用，能夠很好地避免產(chǎn)生較大損失或安全問題。