譚論正，丁銳

（1.中山職業(yè)技術(shù)學院信息工程學院，中山528402；2.中山火炬職業(yè)技術(shù)學院信息工程系，中山528436）

0 引言

近年來機器學習的發(fā)展使智能視頻監(jiān)控技術(shù)得到了很大的進步[1-2]。人體行為識別是計算機視覺的重要研究領(lǐng)域。目前提出的人體行為識別方法大致分為兩類：基于外觀特征的方法[3-4]和基于運動的方法[5-7]?；谕庥^的方法捕獲視覺信息以構(gòu)建特征模型。Turek等人[8]提出了一種場景分析方法，其中場景元素的類別，如道路、停車區(qū)、人行道和入口，可以根據(jù)移動物體在其中和周圍的行為進行分割和分類。但是，特征的尺寸變大，算法變得更加復(fù)雜，計算速度也很慢。此外，這些方法的質(zhì)量高度依賴于魯棒跟蹤，由于噪聲、遮擋、光照條件和陰影的變化，這本身就很困難。此外基于特征模型的方法還忽略了動作的固有時間信息。因此，目前的研究大多采用基于運動的算法，運動特征可以分為局部和全局特征。局部特征，如輪廓、密集的軌跡[9]、時空描述符[10-11]僅使用觀察區(qū)域的信息。還需要計算顯著性，這需要大量的計算時間，同時易受背景雜亂或光照變化等噪聲的影響。全局特征，如運動能量圖像[12]和動態(tài)歷史圖像[13]使用整個序列但忽略行動方向，難以捕獲不同持續(xù)時間的動作?；谶\動特征的方法計算量同樣很高。

針對以上問題，本文提出一種新的基于運動的特征方法，解決了上述計算負荷高的問題。所提出的特征在尺度，方向和持續(xù)時間方面具有不變性。它基于光流，并且應(yīng)用了幾種降低噪聲的技術(shù)。為了獲得方向不變的動作表示和識別，通過考慮直方圖中每個方向（左側(cè)或右側(cè)）的總量值來調(diào)整構(gòu)造光流直方圖的方向。此外，通過頻域分析與頻域變換框架顯示所提出特征的移位不變性。

1 光流直方圖

使用光流提取動作特征。由于背景噪音使其原始形式的光流難以使用，因此需要對噪聲進行處理。我們使用直方圖方法來降低噪聲，以獲得動作的代表性特征。

首先通過組合幀數(shù)作為塊來減少背景噪聲，對于每個塊中的每個幀，計算光流。然后，在每個像素中，挑選每個軸中的所包括的幀之間的光流的中值，采用中位數(shù)流量矢量獲得每個塊的每個像素的光流中值。圖1 顯示了原始光流和中值流之間的交替。

圖1 原始光流（左）和中值流（右）之間的比較

1.1 圖像塊的權(quán)重計算

HOG（梯度直方圖）描述符已廣泛應(yīng)用于計算機視覺領(lǐng)域，因為它具有局部圖像的幾何和光照不變性。然而，HOG 描述符在實際應(yīng)用中具有局限性，因為它沒有旋轉(zhuǎn)不變性并且對噪聲更敏感。SIFT 方法基于局部圖像屬性為每個關(guān)鍵點分配方向，關(guān)鍵點描述符可以相對于該方向表示并實現(xiàn)圖像旋轉(zhuǎn)的不變性。因此，提出了旋轉(zhuǎn)不變HOG 描述符（R-HOG），將角度-π到π 分為多個方向區(qū)域Nbin。為了對稱，Nbin必須是4的倍數(shù)。圖像塊中的每個像素具有中值光流向量vˉ，圖像塊的初始直方圖由以下方程構(gòu)成。對于每個范圍，對應(yīng)的中值流向量的大小累加得到每個方向區(qū)域的權(quán)重：

其中，Wi是每個方向區(qū)域的重量，1≤i≤Nbin和θ是矢量的方向角vˉ，vˉ從-π 到π，使用這些權(quán)重，構(gòu)建圖像塊的初始加權(quán)直方圖，如圖2所示。

圖2 來自中值光流的每個圖像塊的重量計算

1.2 行為的方向不變性

由上文的步驟中得到了初始直方圖的數(shù)量NB。然而，對于具有不同方向的相同動作這些直方圖具有不同的分布。例如，將左臂拉伸到左側(cè)，右臂拉伸到右側(cè)，具有不同（但對稱）的直方圖。為了減少識別方法的計算量，本文采用對齊方向的方法將不同方向的相同動作采用相同的直方圖：通過比較直方圖中每個半邊的總量來解決預(yù)測動作的方向，即在構(gòu)造光流直方圖時在分配行為的方向，從而達到行為的方向不變性。將直方圖的右半部分分配為從到，左半部分是其余部分，如果右半側(cè)的量值大于左側(cè)，則每個方向區(qū)域的重量用對稱方向區(qū)域替換，進行方向?qū)R。然后我們得到塊的對齊直方圖，方向?qū)R過程如圖3 所示。

圖3 不同方向的相同動作直方圖對齊過程

2 直方圖正則化和連接

直方圖的正則化對于尺度不變特征生成是必要的，因為即使動作是相同的，直方圖的權(quán)重也會隨著人物在場景中的大小而變化。然而，將每個直方圖歸一化為總權(quán)重為1 將擴大無動作塊中的噪聲效果，因此，通過在直方圖的總權(quán)重中引入閾值τ來解決這個問題。

圖4 直方圖歸一化和連接

3 頻率域低通濾波

因為每個演員在不同的時間開始動作，因此，雖然直方圖H 作為一個動作的表示，仍然很難作為一個特征直接代表動作，因此需要加入時間特征。我們利用傅立葉變換將時間域轉(zhuǎn)化成頻率域，保證時間變換時特征的不變性。我們通過傅里葉變換后使用幅度來獲得移位不變屬性。

此外，雖然中位數(shù)減少了部分噪音，仍然有大量噪音存在。由于噪聲通常具有高頻率，因此通過頻域中的低通濾波來消除噪聲。頻域處理分為兩個主要部分。如下式所示：

4 實驗

為了驗證所提方法的有效性，我們在KTH 動作數(shù)據(jù)庫和我們自建數(shù)據(jù)集（Smart 類）上進行了訓練與測試。實驗采用OpenCV 和Python 用于在Ubuntu 16.04操作系統(tǒng)上使用HP-EliteDesk-800-G4 內(nèi)配2 塊1080NIVEA 獨立顯卡的圖形工作站上進行仿真。我們在每個數(shù)據(jù)集中使用相同的實驗設(shè)置：Nf=5，Nbin=32，τ=0.1，wbin=2 π，wB=0.5 π。分類由多類SVM[21]進行，使用Liu[22]提出的算法提取光流。

4.1 KTH數(shù)據(jù)庫

KTH 動作數(shù)據(jù)庫在同一場景中捕獲，由同一場景中的多個類似動作執(zhí)行。KTH 數(shù)據(jù)集由600 個低分辨率視頻序列（180×144 像素）組成，其中包含六種不同的人體動作：handclap、handwave、walk、jog、run 和box。它們由4 個人在4 種不同的場景（室外，戶外用放大的相機，戶外用不同的衣服和室內(nèi)）重復(fù)演出。這是一個更具挑戰(zhàn)性的數(shù)據(jù)庫，需要考慮與人體動作相關(guān)的上下文信息。

圖5 KTH數(shù)據(jù)集

我們使用原始數(shù)據(jù)庫拆分進行訓練和測試，16 個類別用于訓練，9 個數(shù)據(jù)類別進行測試，本文算法在KTH 數(shù)據(jù)庫中識別結(jié)果混淆矩陣如圖6 所示。圖中“鼓掌”和“揮手”的混淆度相對較高，原因是鼓掌和揮手的動作相似導(dǎo)致特征相似度高，相似度很高的“跑”、“慢跑”行為之間的混淆度為5%，說明本文方法具有很高的區(qū)分度。本文在KTH 數(shù)據(jù)庫上與其他現(xiàn)有方法進行了對比實驗，所提出的特征檢測方法的準確性如表1 所示。我們可以觀察到：我們的方法的平均識別精度為96.3%，表明我們的方法過程簡單且計算負荷相對較低，但與最先進的算法具有相當?shù)男阅堋?/p>

圖6 KTH數(shù)據(jù)集中的混淆矩陣

表1 不同方法的異常檢測結(jié)果

4.2 自建數(shù)據(jù)集（單視圖）

我們的自建數(shù)據(jù)庫包括單視圖和多視圖兩種方式，數(shù)據(jù)集有6 個動作（站立、坐著、面朝下、伸展腰部、舉手、揮手），包括12 組，每組30 人，共有2160 個活動視頻和4 個攝像頭的額外多相機組場景。單視圖采用了單次測試的方法來測量準確度。單視圖中的自建數(shù)據(jù)集及其混淆矩陣如圖7 所示。本文算法的平均識別精度為93.17%，主要混淆部分在拉伸腰部和舉手。由于在拉伸腰部和舉手方面具有相似的運動模式，本文提取的特征在歸一化和幾何信息丟棄策略下在這兩種行為特征提取的混淆度較高。

圖7 單視圖自建數(shù)據(jù)庫和混淆矩陣

4.3 自建數(shù)據(jù)集（多視角）

多視圖視頻在同一個地方有10 個人，并且每個人都有跟蹤框。圖8 顯示不同視圖中的多視圖組場景。每個小組場景有4 個視圖，我們使用通過SVM 的分數(shù)多數(shù)投票機制識別行動。訓練是在單視圖視頻中進行的，我們使用多視圖場景作為測試。首先，我們在每個視圖中判斷每個人的行為，定義了4 個決策，通過SVM得分類為一個動作。當SVM 得分低于閾值的時采用多數(shù)投票得到最終的行動決定。最后本文方法的多視點場景的平均精度為87.04%，盡管對象或其他人嚴重遮擋時，本文算法但仍顯示出較好的辨別性能。

圖8 不同視圖中的多視圖組場景

5 結(jié)語

本文提出了一種新穎的基于光流的特征描述方法，本文特征提取方法的計算負擔相比于已有方法更低，同時具有尺度不變性，對不同的視頻幀長以及行為方向的魯棒性較好。由于背景的光流包含一定的噪聲，本文提出了幾種方法來減弱噪聲影響。首先，計算圖像塊光流的中值，然后，對基于整體量級的直方圖進行正則化，最后在頻率域進行低通濾波減少噪聲影響。所提出的特征具有方向不變的屬性對于具有不同方向或持續(xù)時間的相同動作具有相同的輸出。在KTH實驗數(shù)據(jù)集與自建數(shù)據(jù)集中與其他現(xiàn)有方法進行對比實驗。實驗結(jié)果表明了本文算法具有更好的有效性和對現(xiàn)實生活環(huán)境的適用性。