孫 妍 譚毅華 李彥勝 田金文

（華中科技大學(xué)多譜信息處理技術(shù)國家級重點實驗室 武漢 430070）

1 引言

行人識別是行人跟蹤和行為分析的基礎(chǔ)，因此對行人的快速準(zhǔn)確地識別是十分重要的。盡管關(guān)于檢測方法精確度的提升已有諸多研究，如使用基于Haar 特征［1］，或加入運動信息［3］、先驗信息輔助檢測［2］，也有采用全局灰度特征的方法［4］，除此之外，基于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的行人檢測也有所研究和進展［10～13］，然而，自從光流信息被開始使用獲取運動特征［19～20］，在運動檢測平臺上基于光流［21］的運動特性仍然不能很好地實現(xiàn)實時行人識別，所以關(guān)于行人檢測仍具有更多的潛在線索來提高識別的準(zhǔn)確性。故本文意在利用從單幀、圖像序列到場景上下文的運動信息，在單目視頻監(jiān)控中挖掘盡可能多的信息，以提高行人識別的準(zhǔn)確程度。

當(dāng)行人暫時保持靜止時，運動信息消失；當(dāng)行人開始移動時，它會再次出現(xiàn)。所以Stefan Walk和Konrad Schindler 等提出整合多方面特征以提高行人識別的準(zhǔn)確性［22］。但在實際跟蹤過程中，相比經(jīng)常變化的運動特征，保持不變的行人外觀特征更加穩(wěn)定一些；如果貿(mào)然將這二者融合起來用于跟蹤，不穩(wěn)定的運動特征可能反而影響跟蹤效果?；诖朔N情況，本文提出了一種非對稱決策融合的方法來處理這種不穩(wěn)定特征的融合，在使用該方法進行融合的特征，可以獲得更準(zhǔn)確的行人識別結(jié)果。

2 行人識別檢測算法框架介紹

對監(jiān)控攝像視頻的單幀數(shù)據(jù)進行分析時，整幅圖像上的行人由于出現(xiàn)位置的不同，其尺度大小、出現(xiàn)概率都是各不相同的。因此，選取的滑動窗口將會成為影響檢測效果一個很重要的因素。如圖所示，圖1（a）為固定位置后不同尺寸的滑動窗口在原始圖像上的投影大小對比示意，圖1（b）為固定大小的滑動窗口改變位置后的示意圖。可以看出，選取這兩種不同的滑動窗口將對下一步的行人檢測結(jié)果是否準(zhǔn)確有著不可忽略的影響，因此滑動窗口的選擇相當(dāng)重要。

圖1 不同尺度、方位的行人檢測滑動窗口示意圖

鑒于上述的情況，本文擬采用固定尺寸的滑動窗口對原圖像降采樣后的圖像金字塔［18］進行行人信息的提取。每個滑動窗口都可以使用度量(location，scale)被唯一的標(biāo)記，其中l(wèi)ocation表示了該滑動窗口所處的位置，scale 表示該滑動窗口所處的圖像金字塔層級中圖像尺度。這樣，當(dāng)使用的所有窗口在原圖像上映射后，就相當(dāng)于我們使用了位置、尺度均有變化的滑動窗口用于檢測。而從圖1 可以看出，每個窗口最下方的中點“足點（foot）”可以唯一標(biāo)記該窗口位置信息，窗口高度（height）可以唯一標(biāo)記該窗口尺度信息，統(tǒng)一起見，下文我們將使用足點和窗口高度(foot，height)作為該窗口的唯一標(biāo)記。

圖2 單目監(jiān)控視頻下的行人檢測框架

如圖2 所示為本文使用的特征組合框架，首先通過滑動窗口提取行人外觀特征，訓(xùn)練外觀特征分類器；另一方面，本文利用相鄰幀之間的光流信息［26］訓(xùn)練基于運動特征分類器，然后根據(jù)上述兩種分類器所產(chǎn)生的結(jié)果，建立非對稱融合分類器，該分類器將用于行人檢測，輸出檢測結(jié)果。

3 滑動窗特征提取與決策融合

3.1 行人外觀特征獲取

本文采用了J. Wu 等［5］所提出的Centrist 特征作為行人描述符，Centrist 特征主要描述了滑動窗口中目標(biāo)的輪廓信息，具有較強的識別正負(fù)樣本的能力，具有快速的評價速度和較高的精度。概括來說，Centrist 特征是在原始圖像的Sobel 邊緣圖上計算出的一致變換的直方圖。設(shè)Χ代表滑動窗口的Centrist 特征，我們使用s=（Χ，foot，height）作為擴展特征向量來表示行人的描述特征，以便更好地計算行人的先驗概率。

3.2 行人運動特征獲取

在視頻監(jiān)控應(yīng)用中，大多數(shù)行人目標(biāo)都沿著特定的方向移動，所以其運動信息將能夠提供出判斷目標(biāo)為行人的重要依據(jù)。由于光流的運動幅度可以很好地給出運動物體的輪廓信息，所以本文將通過計算光流的運動信息來提取目標(biāo)的運動特征。

通過光流計算，圖像中的每個像素在足夠的迭代后均可以準(zhǔn)確地獲得光流向量（u，v）。盡管靜止的攝像機在大多數(shù)時間內(nèi)可以人為其所導(dǎo)致的背景運動為零，但我們有時也需要考慮攝像機的抖動可能性，因此，我們令(mˉx，mˉy)表示背景的平均運動分別在x方向和y方向的位移。平均運動位移通過計算運動矢量較為接近的像素集合組成的區(qū)域可以獲得，然后就可得到運動物體的相對運動信息，即運動幅度I和運動相位p，公式如下：

如圖3 所示，（a）、（b）為用于計算的相鄰幀原圖，（c）為該光流的幅值I表示，（d）為該光流的相位p 信息?？梢钥闯鐾ㄟ^計算得到的光流的幅值I 可以獲得運動目標(biāo)的完整輪廓信息并提取到運動目標(biāo)的運動特征。最后，再將運動幅值歸一化至［0，255］區(qū)間內(nèi)即可。

下一步本文將使用場景的外觀圖像和運動圖像來進行行人目標(biāo)檢測工作。通過滑動窗口提取Centrist 特征的方法分別在原圖像和運動圖像上計算，就可以獲得行人目標(biāo)的外觀特征集合和運動特征集合。此外，本文提出的運動特征提取方法也可以推廣使用到背景有緩慢運動的場景當(dāng)中。

圖3 相鄰幀間光流計算示意圖

另一個需要考慮的情況是，當(dāng)行人目標(biāo)暫時保持靜止時，其運動信息將會消失。因此，與外觀信息相比，運動信息是不穩(wěn)定的，針對這種情況，本文提出的非對稱決策融合方法可以解決這類問題。

3.3 外觀特征與運動特征的決策融合

在訓(xùn)練階段，相鄰兩幀被定義為一個樣本，外觀圖像定義為示例對的第一幀，并以光流法計算得到運動圖像。對于外觀特征的分類器訓(xùn)練時，正樣本為外觀圖像上標(biāo)注直立的行人目標(biāo)，負(fù)樣本為原圖上選擇隨機的背景圖像塊。對于運動特征的分類器訓(xùn)練時，正樣本被定義為在運動圖像幀間具有明顯移動的直立行人目標(biāo)，而負(fù)樣本被定義為運動圖像上沒有移動行人目標(biāo)的隨機圖像塊。如圖4所示，圖（a）為滑動窗口的外觀特征正樣本平均Sobel模板，圖（b）為滑動窗口的運動特征正樣本平均Sobel模板，可見對這兩特征樣本來說，其平均Sobel模板都可以很好地描述行人的輪廓。根據(jù)所選擇的這兩類特征的正負(fù)樣本集，對外觀特征分類器和運動特征分類器進行訓(xùn)練，使之能有效分辨出正確的、用于有效目標(biāo)檢測的特征。

普遍使用的用于行人識別的分類器包括SVM［5，9～10］和boosting分類器［1］，無論何種分類器，其輸出的歸一化對決策融合方法都至關(guān)重要。所以本文使用通過Sigmoid 函數(shù)將兩個分類器的輸出z變換為［0，1］之間的概率值，以便使分類器輸出的融合，運算公式如下：

圖4 行人目標(biāo)的平均模板圖

如上所述，最終在監(jiān)控場景圖像上的同一位置同一尺度的滑動窗口將會得到兩個特征來進行融合：目標(biāo)外觀特征和運動特征。本文提出了一種非對稱融合方法來代替普通的融合方法，為了描述這種非對稱融合方法，下文先給出了一些基本的定義。

在當(dāng)前幀圖像序列檢測，使用Iatpp和分別表示外觀圖像和運動圖像；令sapp=(Χapp，foot，height) 和=(Χmotion，foot，height) 分 別 表示提取到的目標(biāo)外觀特征和運動特征。簡化起見，設(shè)i ∈{a pp，motion} 和j ∈{ pedes，bg }，這里pedes表示行人和bg 表示背景。 pj(si)表示第i 個分類器識別滑動窗口的特征向量到第j 類的概率值，對于本算法中的分類器來說，pj(si)中的s 即為特征X ，故pj( si)=pj(Χi)。在特征向量對的歸一化之后，可得：

令r=( pped( sapp)，pped( sapp)，foot，height )表示滑動窗口的最終行人檢測結(jié)果，該結(jié)果各項分別表示外觀特征與運動特征的置信度概率值，滑動窗口的位置與尺度大小。那么我們可以使用前一幀的檢測結(jié)果來幫助增強當(dāng)前滑動窗口的決策，具體算法如下式所示：

在式（5）中，Rm表示序列前一幀的行人檢測的結(jié)果，Rmk表示包含總共m 個行人目標(biāo)的檢測結(jié)果中的第k 個行人的識別結(jié)果；表示所在區(qū)域的運動圖像的累積運動幅值。

由于Rs表示行人識別結(jié)果，可以理解為諸多行人目標(biāo)識別序列的子集，每個子集表示某一特定行人目標(biāo)前一幀的識別序列與當(dāng)前幀目標(biāo)暫時保持靜止提取序列的集合。這樣，每個行人目標(biāo)的結(jié)果都對其一定范圍的鄰域具有增強作用（在式（8）中，s 表示半徑，本算法取值s=5），以此用來提高行人目標(biāo)靜止時的識別準(zhǔn)確率。式（9）表示，Rs中第k 個行人識別結(jié)果產(chǎn)生的增強因子與其運動特征置信度概率值conf_motionk成正比，與滑動窗口的位置距離和窗口尺寸大小成反比。

如式（10）所示，當(dāng)行人暫時靜止時，前一幀的運動信息可以增強當(dāng)前幀的外觀決策值。本文使用式（11）中的方法以降低運動信息的速度衰減，作為輔助來平穩(wěn)行人識別結(jié)果，其中α 表示運動信息的延遲系數(shù)，α 越大，運動信息的衰減速度越慢。整個算法流程總結(jié)如下：

算法步驟

1.如式（4）所示，歸一化分類器的輸出；

2.如式（10）和（11）所示，當(dāng)行人在當(dāng)前幀上保持靜止時，增強幀間的外觀決策和動作決策；

3.令qj(s)表示特征向量s屬于第j類的概率值，則qj(s)的計算方法如下所示。

4. 令ω(s)表示特征向量s 歸屬于哪一類的最終決策，則ω(s)的計算方法如下：

4 實驗結(jié)果與分析

4.1 數(shù)據(jù)集與實驗條件

本算法實驗采用的圖像序列，其應(yīng)當(dāng)包括各種真實的行人識別情況：暫時保持靜止的行人序列，與背景對比度較低的行人序列，伴隨有陰影的行人序列等。本文采用的實驗數(shù)據(jù)及均包含這些情況，基本考慮到了監(jiān)控中行人識別的各種問題。我們將實驗數(shù)據(jù)可分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)。訓(xùn)練數(shù)據(jù)主要包括大約661 個帶注釋的圖像正樣本，以及50 個不同場景、不包含行人的圖像負(fù)樣本。這些樣本均來自自己收集的監(jiān)控場景圖像以及TUD-BRUSSELS-MOTIONPAIRS 公共數(shù)據(jù)集。測試數(shù)據(jù)主要包括了各種戶外環(huán)境中收集的直立行走的行人目標(biāo)，以及PETS 2006 公共數(shù)據(jù)集中的直立行走行人目標(biāo)子集。

4.2 非對稱融合方法的行人識別結(jié)果

為了論證本文提出的非對稱融合方法在實際監(jiān)控中的有效性，首先給出了在實際監(jiān)控中采集的3 個圖像序列的行人識別結(jié)果，如圖5 所示，序列1（第1 行）為行進的伴隨影子的行人目標(biāo)識別情況，序列2（第2行）為與監(jiān)控場景背景對比度較低的行人目標(biāo)識別情況，序列3（第3 行）為行人目標(biāo)忽然停止的識別情況；其中（a）列表示外觀分類器的行人識別結(jié)果，（b）列表示運動分類器的行人識別結(jié)果，（c）列表示一般融合分類器的行人識別結(jié)果，（d）列表示非對稱融合分類器的行人識別結(jié)果。

從圖中可以看出，當(dāng)目標(biāo)有陰影干擾時，基于滑動窗口的行人檢測算法基本都能識別出行人目標(biāo)，且效果沒有太大的差異。第二行的實驗結(jié)果表明，當(dāng)運動目標(biāo)與背景對比度較低的時候，外觀分類器的識別效果銳減，基本不能識別出運動目標(biāo)；但此種場景對運動分類器的檢測并沒有太大的影響。而第三行行人目標(biāo)出現(xiàn)幀間內(nèi)停止行為時，運動分類器檢測效果很不理想，非對稱融合特征分類器的檢測效果明顯優(yōu)于普通的特征融合分類器，能夠準(zhǔn)確識別出兩個目標(biāo)。綜合考慮多種情況下的行人識別結(jié)果可以得出，非對稱融合方法的魯棒性較強，具有處理更復(fù)雜行人識別的能力。

圖5 各場景下行人識別情況示意圖

如圖6 所示，圖（a）為外觀分類器、運動分類器、一般融合分類器和非對稱融合分類器的行人識別結(jié)果檢測率曲線（The DetectionRate-FPPI curve）對比，圖（b）為本文提出的非對稱融合分類器與其他算法的人識別結(jié)果檢測率曲線對比。

從圖6（a）中可以看出，運動分類器的識別目標(biāo)能力最弱，外觀分類器的識別效果近似于普通的融合方法，本文提出的非對稱融合方法相比一下具有最好的識別效果；又從圖6（b）中可以看出，本文提出的非對稱融合方法檢測效果與Felzenszwalb［16］、J. Wu 等［5］提出的檢測方法相比，在實際監(jiān)控場景下具有更好的識別能力。

5 結(jié)語

本文提出了一種基于非對稱多特征融合的行人識別方法，該方法有效地提高了行人識別的準(zhǔn)確度。本文算法中的基于光流的滑動窗口運動特征可以推廣應(yīng)用到運動檢測平臺中。在實際檢測情況中，非對稱融合問題不僅存在于視頻行人監(jiān)控中，也同樣存在于運動檢測平臺，故在接下來的工作，本文提出的非對稱特征融合方法可以應(yīng)用于相關(guān)運動檢測平臺用以提高其性能。且由于非對稱融合方法可以同時計算外觀特征和運動特征，適合并行計算，故當(dāng)有實時需求出現(xiàn)時，可以使用GPU或多核CPU進行本算法的加速。