譚秀峰

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都　610065)

李佳

(四川大學(xué)計(jì)算機(jī)學(xué)院，成都　610065)

張昭旭

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都　610065）

岳鑫，高飛

（西安工業(yè)大學(xué)理學(xué)院，西安　710021）

基于全景視頻的監(jiān)控系統(tǒng)

譚秀峰

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065)

0　引言

傳統(tǒng)的視頻監(jiān)控系統(tǒng)使用的普通相機(jī)，視野范圍狹窄，只能監(jiān)控有限的場(chǎng)景。在需要監(jiān)控大場(chǎng)景的情況下，往往安放多個(gè)攝像頭對(duì)某個(gè)特定的區(qū)域進(jìn)行監(jiān)控。然而這種解決方案往往分散了監(jiān)控人員的注意力，以致對(duì)偶發(fā)的事件不能及時(shí)發(fā)現(xiàn)和追蹤。全景視頻監(jiān)控系統(tǒng)能比以往的單一視點(diǎn)的監(jiān)控提供更全面的信息，消除監(jiān)控的盲區(qū)。

全景監(jiān)控系統(tǒng)的關(guān)鍵是生成全景圖像，以及全景視頻的播放。在生成全景圖像領(lǐng)域，目前全景圖像可以通過單一的魚眼相機(jī)或者特定的全景攝像機(jī)獲得，但是比較昂貴。另一種方法是通過對(duì)同步采集到的幀做幀間拼接獲得全景圖像，該方法成本低，效果良好[1-2]。本文實(shí)現(xiàn)了一種基于SURF算法的全景圖像拼接算法，并將其應(yīng)用于基于多投影儀的全景視頻監(jiān)控系統(tǒng)。

1　全景視頻拼接中特征點(diǎn)的匹配優(yōu)化

1.1基于SURF算法的特征點(diǎn)提取和粗匹配

SURF算法發(fā)源于SIFT算法，由于采用了積分圖和近似高斯二階導(dǎo)數(shù)卷積核，SURF算法提高了運(yùn)算效率。而SURF算法特征點(diǎn)提取匹配可以分為以下幾步：①構(gòu)造尺度空間；②特征點(diǎn)提??；③特征向量提取；④特征點(diǎn)匹配[3-4]。

對(duì)于圖像I中的給定點(diǎn)（x，y），在尺度σ下的Hessian矩陣為：

其中Lxx（x，y，σ）是高斯二階導(dǎo)數(shù)與圖像I在點(diǎn)（x，y）處的卷積，Lxy（x，y，σ）和Lyy（x，y，σ）同理可得。為了減小計(jì)算量，SURF算法使用了高斯二階導(dǎo)近似模板對(duì)圖像卷積以及積分圖像的使用。此時(shí)，由于函數(shù)模板的近似，需要修正特征值的求解公式：

權(quán)重系數(shù)0.9是為了平衡Hessian行列式，保持高斯核與近似高斯核的一致性。尺度空間中，對(duì)每一個(gè)像素都有的3×3×3的鄰域作非極大抑制，得到可能的特征點(diǎn)，然后根據(jù)設(shè)定的閾值篩選。

為了保證SURF算法對(duì)圖像旋轉(zhuǎn)具有不變性，引入特征點(diǎn)主方向。方法為確定一個(gè)以特征點(diǎn)為圓心，半徑為6個(gè)像素的圓形區(qū)域，然后計(jì)算區(qū)域內(nèi)每個(gè)像素點(diǎn)在x和y方向上的一階導(dǎo)數(shù)并將區(qū)域等分成12個(gè)扇形區(qū)域，分別將求得的導(dǎo)數(shù)按區(qū)域進(jìn)行累加得到12個(gè)二維向量，取模最長(zhǎng)向量作為主方向。然后以特征點(diǎn)為中心，按照主方向選取20×20像素矩形鄰域，并將矩形鄰域劃分成4×4個(gè)更小的矩形。分別求解其中每個(gè)像素點(diǎn)的一階導(dǎo)數(shù)，將其響應(yīng)值和絕對(duì)值分別累加得到一個(gè)四維向量：Σdx，Σdy，Σ|dx|，Σ|dy|），所有4×4領(lǐng)域的向量連接起來就得到64維的特征向量。如圖1所示。

圖1　

特征點(diǎn)的匹配，先設(shè)定一個(gè)閾值，用兩個(gè)特征點(diǎn)對(duì)應(yīng)的特征向量作內(nèi)積運(yùn)算，如果這兩個(gè)向量的內(nèi)積大于這個(gè)閾值，那么就認(rèn)為這兩個(gè)特征點(diǎn)成功匹配，如果內(nèi)積小于閾值，認(rèn)為這兩個(gè)特征點(diǎn)匹配失敗。SURF算法為了提高匹配速度引入了k-d樹，k-d樹是一種在多維空間中對(duì)向量進(jìn)行快速檢索的算法，對(duì)多維向量空間進(jìn)行遞歸式二分來構(gòu)造k-d樹數(shù)據(jù)結(jié)構(gòu)。

1.2基于RANSAC算法的特征點(diǎn)匹配優(yōu)化

RANSAC算法是根據(jù)一組包含異常數(shù)據(jù)的樣本數(shù)據(jù)集，計(jì)算出數(shù)據(jù)的數(shù)學(xué)模型參數(shù)，得到有效樣本數(shù)據(jù)的算法。假設(shè)Sij={（pik，pjk）}（k=1，2，3，4，…，N）是SURF算法給出的兩幅圖像的匹配點(diǎn)對(duì)集。i代表圖像i，j代表圖像j，k代表圖像i和圖像j的k個(gè)匹配點(diǎn)對(duì)。由圖像單應(yīng)變換模型可知在Sij上有以下數(shù)學(xué)模型：

取dis（ijk）＜δ的匹配點(diǎn)對(duì)構(gòu)造內(nèi)點(diǎn)集合Sn。對(duì)應(yīng)的為RANSAC算法給出的單應(yīng)矩陣在S上的解。ij

2　基于多投影拼接的全景監(jiān)控系統(tǒng)

傳統(tǒng)攝像頭的視角有限，只能看到攝像頭前方少部分的場(chǎng)景。對(duì)于全景監(jiān)控系統(tǒng)，需要能捕捉涵蓋整個(gè)半球的視場(chǎng)圖像。這樣的全景監(jiān)控系統(tǒng)可連續(xù)觀察其周圍360°全景范圍內(nèi)所發(fā)生的所有事件，因而可以獲得較高的視頻監(jiān)控可靠性。但是拼接得到的全景圖在普通的顯示屏上，顯示出來的圖形是扭曲的，又在全景播放系統(tǒng)中需要完成圖像校正和多通道之間的同步，需要使用特殊的球幕[5]。如圖2所示。

圖2　

渲染全景圖像的過程與上章節(jié)獲取全景圖的過程正好相反，渲染全景圖是將該全景圖作為紋理，貼到球模型上。在OpenGL中，貼紋理需要將紋理坐標(biāo)與點(diǎn)的空間三維坐標(biāo)一一對(duì)應(yīng)[6]，這里將全景圖分割成360× 180個(gè)小正方形，這樣渲染出來的全景精度足夠，紋理坐標(biāo)以圖像的左下角為（0，0）點(diǎn)，向上為y軸正方向，向左為x軸正方向，這樣很容易就能得到對(duì)應(yīng)點(diǎn)的紋理坐標(biāo)，同時(shí)，由于全景圖中經(jīng)緯度坐標(biāo)是等間距分布的，這里假設(shè)圖像最左下角為（0°，0°），求出每個(gè)點(diǎn)對(duì)應(yīng)的經(jīng)緯度坐標(biāo)。

球幕全景播放系統(tǒng)中，需要的參數(shù)為完整全景圖的寬度fullWidth，因?yàn)槭褂玫娜皥D是等距圓柱投影產(chǎn)生的，完整全景圖的高度是寬度的一半。那么需要渲染部分的起始點(diǎn)坐標(biāo)（x，y），需要渲染部分的寬度和高度為（width，height），如圖3所示：

圖3　

需要渲染的是圖中的小矩形部分，將小矩形分割成360×180個(gè)小矩形，計(jì)算每個(gè)小矩形的紋理坐標(biāo)以及對(duì)應(yīng)的三維空間坐標(biāo)，這樣，就獲取了所有點(diǎn)的紋理坐標(biāo)和三維坐標(biāo)了。

3　實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)程序在CPU為Intel Core i7-3770@3.40Ghz，8.00GB內(nèi)存，顯卡為NVIDIA GeForce GTX 650環(huán)境下進(jìn)行，測(cè)試圖像來源于華途相機(jī)（HT-PA系列）在某停車場(chǎng)采集到的8路視頻源分別抽取的同步后的幀圖。相關(guān)算法使用Microsoft Visual Studio 2010和OpenCV 2.11編程實(shí)現(xiàn)。輸入圖像如下：

圖4　

圖5　

圖6　

圖7　

圖8　

圖9　

圖10　

圖11　

圖12　

如上實(shí)驗(yàn)圖所述，圖4到圖11為拍攝到的圖像序列集，圖12為最終的全景拼接圖像。將輸入視頻源的每一幀都經(jīng)過如此處理得到全景視頻的一幀，作為全景球幕的輸入源。結(jié)果如下。

圖13圖14圖15是分別從球幕的左、右、中拍攝的球幕播放圖。其中椅子的位置為最佳視角，能觀測(cè)到未變形的全景圖。

圖13　

圖14　

圖15　

結(jié)合本文所述方法，在監(jiān)控領(lǐng)域要求視角廣，采集圖像易受環(huán)境影響的前提下生成全景圖具有良好的拼接效果，全景視頻的播放也能達(dá)到預(yù)期的身臨現(xiàn)場(chǎng)的體驗(yàn)。為后續(xù)實(shí)時(shí)全景監(jiān)控提供了一種思路。

4　結(jié)語(yǔ)

本文研究了一種基于全景視頻的監(jiān)控系統(tǒng)方法，在實(shí)驗(yàn)結(jié)果中能取得較好的效果。后續(xù)需要研究如何在要求實(shí)時(shí)監(jiān)控的背景下做自適應(yīng)的圖像拼接以及播放。

參考文獻(xiàn)：

[1]HU Wuchih，HUANG Dengyuan，CHEN Weihao.Adaptive Wide Field-of-View Surveillance Based on an IP Camera on a Rotational Platform for Automatic Detection of Abandoned and Remove Objects[J].ICIC Express Letters Part B:Applications，2010（1）:45-50.

[2]苗立剛.視頻監(jiān)控中的圖像拼接與合成算法研究[J].儀器儀表學(xué)報(bào)，2009，30（4）：857-861.

[3]劉奇，何明一.基于SURF特征匹配的圖像拼接算法[J].測(cè)控技術(shù)，2010，29（10）：27-31.

[4]張銳娟，張建奇，楊翠.基于SURF的圖像配準(zhǔn)方法研究[J].紅外與激光工程，2009，38（1）：160-165.

[5]郭俊美.基于圖像的柱面全景圖生成技術(shù)研究[A].失效分析與預(yù)防，2012.

[6]肖源源，王子牛.基于VC++的OpenGL紋理映射技術(shù)的研究與實(shí)現(xiàn)[J].貴州大學(xué)學(xué)報(bào)，2008（02）：158-160.

作者簡(jiǎn)介：

譚秀峰（1989-），男，四川達(dá)州人，在讀碩士研究生，研究方向?yàn)閳D形圖像技術(shù)

收稿日期：2015-12-15修稿日期：2016-01-10

基于SAD的直方圖匹配算法在超聲彈性成像上的應(yīng)用

李佳

(四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065)

摘要：

超聲彈性成像自提出以來成為一個(gè)研究熱點(diǎn)，但由于彈性成像的成像原理，彈性圖像上一般都有彈性噪聲，為了降低噪聲，提高彈性圖像質(zhì)量，研究基于SAD的直方圖匹配算法在超聲彈性成像上的應(yīng)用，通過改進(jìn)相似度的計(jì)算方法，提高彈性圖像的去噪質(zhì)量。

關(guān)鍵詞：

SAD直方圖匹配算法；超聲彈性成像；相似度

文章編號(hào)：1007-1423（2016）03-0037-04

DOI：10.3969/j.issn.1007-1423.2016.03.009

0　引言

當(dāng)今社會(huì)，伴隨著超聲診斷技術(shù)的日益發(fā)展，將計(jì)算機(jī)成像技術(shù)應(yīng)用于超聲診斷成為了超聲診斷的一個(gè)重要研究方向，超聲診斷系統(tǒng)因其無痛無創(chuàng)，價(jià)格低廉，實(shí)時(shí)可重復(fù)的特點(diǎn)，廣泛的被應(yīng)用于醫(yī)療臨床診斷當(dāng)中。其中超聲彈性成像作為一種新興的超聲診療手段，通過對(duì)組織施加一個(gè)內(nèi)部（包括自身的）或外部的動(dòng)態(tài)或者靜態(tài)/準(zhǔn)靜態(tài)的激勵(lì)，根據(jù)組織壓縮形變前后的回波信號(hào)計(jì)算出應(yīng)變分布，以此表征其彈性特征信息來幫助臨床醫(yī)生診斷組織是否發(fā)生病變，因而成為了目前一個(gè)研究熱點(diǎn)，但是由于超聲成像的特點(diǎn)，與所有超聲成像一樣，超聲彈性圖像密布著細(xì)條紋狀的彈性噪聲，影響圖像質(zhì)量。

基于SAD的直方圖匹配算法在直方圖匹配算法的基礎(chǔ)上，改進(jìn)了參考直方圖與局部直方圖相似度的計(jì)算方法，根據(jù)不同的相似度對(duì)局部區(qū)域進(jìn)行相應(yīng)強(qiáng)度的平滑濾波，從而達(dá)成圖像去噪的目的，本文調(diào)整了一般直方圖匹配算法中關(guān)于相似度的計(jì)算方法，并應(yīng)用于實(shí)驗(yàn)。

1　超聲彈性成像基本原理

超聲彈性成像的基本原理是對(duì)組織施加一個(gè)內(nèi)部（包括自身的）或外部的動(dòng)態(tài)或者靜態(tài)/準(zhǔn)靜態(tài)或者動(dòng)態(tài)的激勵(lì)[1]，在彈性力學(xué)、生物力學(xué)等物理規(guī)律作用下，組織將產(chǎn)生一個(gè)響應(yīng)，例如位移、應(yīng)變、速度的分布有一定的差異。在物理學(xué)中，彈性體受力會(huì)產(chǎn)生形變，形變的大小會(huì)反映此彈性體的硬度，而從生物學(xué)的角度來看，生物組織的彈性和組織的分子結(jié)構(gòu)相關(guān)，組織的硬度特征與病理密切相關(guān)，超聲彈性成像根據(jù)不同的生物組織之間的彈性系數(shù)不同，收到外部激勵(lì)后產(chǎn)生的形變程度不同，反映在圖像上的灰度不同來判斷組織硬度。

2　基于SAD的直方圖匹配算法

2.1基于SAD的直方圖匹配算法

基于SAD的直方圖匹配算法與傳統(tǒng)的直方圖匹配算法的基本思想是相同的，其核心思想是通過定義一個(gè)由已知斑點(diǎn)區(qū)域產(chǎn)生的參考直方圖，通過比較圖像區(qū)域直方圖與參考直方圖的相似度確定一個(gè)區(qū)分噪聲區(qū)域和包含診斷信息區(qū)域的判斷因子，這樣一個(gè)區(qū)域與參考區(qū)域的相似度越高，則對(duì)該區(qū)域施以相應(yīng)強(qiáng)度的平滑濾波，反之相似度越低，施以越弱的平滑濾波或不進(jìn)行濾波操作。

由于直方圖的表示并不具備唯一性，表示直方圖使用的區(qū)間個(gè)數(shù)會(huì)決定這個(gè)曲線的平滑度 （這是在噪聲容納度和相似度函數(shù)敏感性之間的一種權(quán)衡），因此需要決定從有限樣本集中劃分多少個(gè)區(qū)間來表示一個(gè)有統(tǒng)計(jì)意義的直方圖。在這個(gè)研究中，采用表示置信度為95%的高斯分布的區(qū)間個(gè)數(shù)為：

其中n為局部窗口中的像素點(diǎn)總個(gè)數(shù)。

這里需要說明的是雖然在我們研究的問題中超聲斑點(diǎn)噪聲的概率分布函數(shù)是瑞利分布或雙指數(shù)分布，但仍然使用上式作為得到表示直方圖區(qū)間個(gè)數(shù)的一種合理的近似。

為了獲取可靠的斑點(diǎn)噪聲統(tǒng)計(jì)信息，直方圖匹配窗口應(yīng)該至少覆蓋一個(gè)分辨率單元。對(duì)于掃描深度Zmm和軸向N個(gè)像素，軸向窗口的大小最小為：

其中ΔT是脈沖寬度，C0是聲速，N表示采樣點(diǎn)個(gè)數(shù)，由于一個(gè)分辨率單元總是具有軸向1.5倍脈沖寬度和橫向一個(gè)波束寬度的尺寸，有時(shí)就需要根據(jù)傳感器探頭，掃描深度和圖像大小來增加窗口的大小。

在傳統(tǒng)的直方圖匹配算法中，兩個(gè)直方圖相似度值通過一個(gè)用戶可控的高斯誤差函數(shù)：

而本文使用的基于SAD的直方圖匹配算法在相似度的計(jì)算上則采用尋找直方圖質(zhì)心和SAD（絕對(duì)值差）的方法來加快相似度計(jì)算的運(yùn)算速度，同時(shí)也使相似度的計(jì)算方式更為合理，相似度結(jié)果更符合實(shí)際情況，相似度計(jì)算方法如下：

首先定義存放參考直方圖和當(dāng)前處理的局部直方圖ref和tm，處理窗口為M×N，通過SAD運(yùn)算可得到兩個(gè)直方圖的差，其中LRANGE和RRANGE是ref和tm左邊和右邊最大的有效范圍，這里定義的是非零區(qū)間，定義為下式：

RRange=max（RRref，RRtm）

其中ref和tm的LR和RR分別為：

LRref=Cref-Lref+1，LRtm=Ctm-Ltm+1

RRref=Rref-Cref+1，RRtm=Rtm-Ctm+1

其中Lref和Ltm是ref和tm的左端非零區(qū)間，而Rref和Rtm是的右端非零區(qū)間。質(zhì)心Cref和Ctm可由下面的式子得到：

從而局部區(qū)域與噪聲區(qū)域的相似度可定義為：

S=1-ρ

根據(jù)上述公式獲得相似度后，根據(jù)相似度來自適應(yīng)的平滑被處理的像素p。像素會(huì)通過以下計(jì)算公式被更新：

2.2基于SAD的直方圖匹配算法流程

基于SAD的直方圖匹配算法處理過程主要包括圖像輸入、參考直方圖生成、相似度表建立、自適應(yīng)平滑濾波以及圖像輸出等過程，算法的整個(gè)處理流程如圖1所示。

按照處理方式的性質(zhì)，可以把算法分為以下五個(gè)階段：

①初始化計(jì)算：算法中初始數(shù)據(jù)包括原始圖像、參考直方圖、設(shè)置平滑度向量以及相似度向量等。由于彈性成像沒有標(biāo)準(zhǔn)噪聲分布直方圖，因此需要用戶選擇參考噪點(diǎn)；

②直方圖計(jì)算：計(jì)算以每個(gè)像素點(diǎn)為中心的局部窗口和與均值用于確定閾值；

③相似度計(jì)算：使用尋找直方圖質(zhì)心和SAD（絕對(duì)值差）的方法獲得相似度值并保存并保存到相似度矩陣，對(duì)相似度矩陣采用雙線性插值的方法來獲取新的相似度矩陣以用于確定平滑濾波；

④平滑濾波：根據(jù)當(dāng)前像素點(diǎn)的相似度值選擇平滑濾波系數(shù)和窗口大?。?/p>

⑤圖像后處理。

圖1　

圖2　

3　實(shí)驗(yàn)結(jié)果

由于彈性噪聲和斑點(diǎn)噪聲的成像原理和紋理不同，彈性噪聲的形狀一般為細(xì)長(zhǎng)條狀，因此采用的局部匹配窗口為長(zhǎng)方形，根據(jù)實(shí)驗(yàn)表明，最佳匹配窗口的長(zhǎng)度大于縱向分辨率，而寬度與橫向分辨率接近。

本文實(shí)驗(yàn)中采用高度仿真的人體組織彈性模型，衰減系數(shù)為0.5dB，并在不同深度嵌有8個(gè)不同直徑，不同硬度的球形硬塊，待處理圖像是掃描器深度為4cm,直徑為2cm的球形硬塊的彈性圖像，噪聲匹配窗口大小為70×20（像素×像素），噪聲生長(zhǎng)值設(shè)置為0.25，平滑度設(shè)置為1，采用本文算法對(duì)彈性圖像去噪后的圖像結(jié)果對(duì)比如圖2。

4　結(jié)語(yǔ)

本文將基于SAD的直方圖匹配算法用于超聲彈性圖像上，相較于傳統(tǒng)的直方圖匹配算法，圖像去噪效果得到了一定提高。

參考文獻(xiàn)：

[1]徐智章，俞清.超聲彈性成像原理及初步應(yīng)用.上海醫(yī)學(xué)影像，2005，14（1）.

[2]Xiaoying Li,Dong C.Liu.Ultrasound Speckle Reduction Based on Image Segmentation and Diffused Region Growing[J].Proceedings of the 11th Joint Conference on Information Science,Shenzhen,China,December 15-19 2008,pp.34-40

[3]Dong C.Liu,S.Czenszak，J.Kim.Adaptive Speckle Reduction with Color Transparency Display[J].Proc.of IEEE Ultrason.Symp,pp. 1611-1614,1998.

作者簡(jiǎn)介：

李佳（1991-），女，遼寧海城人，本科，研究方向?yàn)獒t(yī)學(xué)超聲圖像處理

收稿日期：2015-12-17修稿日期：2016-01-12

Application of Elastography Using SAD-Based Histogram Speckle Reduction Algorithm

LI Jia
（College of Computer Science,Sichuan University,Chengdu 610065）

Abstract：

In ultrasound elastography,there are some noises in the image,applies the SAD-based histogram speckle reduction algorithm to the ultrasound elastography for the purpose of reducing the noise and improving the quality of the image,it can improve the way of calculating the similarity,improve the image quality.

Keywords：

SAD-Based Histogram Speckle Reduction Algorithm;Ultrasound Elastography

Monitoring System Based on Panoramic Video

TAN Xiu-feng
（College of Computer Science，Sichuan University，Chengdu 610065）

Abstract：

In recent years,with the rapid development of computer technology,computer vision has received great attention.Studies a collected by synchronizing the camera frame which applies in the image panoramic image stitching,and the results are not distorted output to a specific screen play ball.This can obtain a proximity to the scene of monitoring experience;can be achieved and monitoring personnel at the scene considerable effect.Experimental results show that this method can be applied to the field of view monitoring,with high practical value.

Keywords：

Panoramic Monitoring;Panorama;Panoramic Video;Panoramic Play

CNN深度學(xué)習(xí)模型用于表情特征提取方法探究

張昭旭

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

摘要：

卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為一種深度學(xué)習(xí)架構(gòu)，在精確提取圖像特征的同時(shí)降低模型復(fù)雜度。針對(duì)CNN在圖像識(shí)別方面的優(yōu)勢(shì)，提出一種基于CNN的人臉表情特征提取方法。使用具有8層網(wǎng)絡(luò)結(jié)構(gòu)的AlexNet模型對(duì)融合的人臉表情圖像進(jìn)行特征提取，再使用支持向量機(jī)（SVM）進(jìn)行分類預(yù)測(cè)。將預(yù)測(cè)結(jié)果與一些經(jīng)典方法如SVM、PCA等做比較，可以發(fā)現(xiàn)在樣本圖片拍攝條件變化較大的情況下，CNN在提取圖像本質(zhì)特征方面有其他方法不可比擬的效果。

關(guān)鍵詞：

深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；AlexNet；人臉表情識(shí)別；特征提取

文章編號(hào)：1007-1423（2016）03-0041-04

DOI：10.3969/j.issn.1007-1423.2016.03.010

0　引言

近年來，人機(jī)智能交互引起人們?cè)絹碓蕉嗟呐d趣，尤其是通過語(yǔ)音和肢體動(dòng)作來進(jìn)行人機(jī)交互的方法。面部表情識(shí)別對(duì)于機(jī)器理解和識(shí)別人類情緒有至關(guān)重要的作用[1]。人臉面部表情識(shí)別的方法很多，根據(jù)提取特征的不同分為基于運(yùn)動(dòng)與基于形變的表情特征提取。基于運(yùn)動(dòng)的特征提取方法，是根據(jù)表情圖像的特征點(diǎn)相對(duì)位置和距離變動(dòng)，反映表情變化，包括光流法、運(yùn)動(dòng)模型、特征點(diǎn)跟蹤等?；谛巫兊奶卣魈崛》椒?，使用活動(dòng)外觀模型（AAM）、點(diǎn)分布模型（PDM）等基于模型的方法，或Gabor變換、主成分分析（PCA）等基于圖像的方法，獲取面部圖像形狀或紋理上的變化特征[2]。

深度學(xué)習(xí)（Deep Learning，DL）是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，源自人工神經(jīng)網(wǎng)絡(luò)，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋圖像、聲音、文本等數(shù)據(jù)。深度學(xué)習(xí)屬于無監(jiān)督學(xué)習(xí)，通過組合低層特征形成更加抽象的高層特征或?qū)傩蕴卣?，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示，學(xué)習(xí)更有用的特征，從而最終提高分類或預(yù)測(cè)的準(zhǔn)確性[3]。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是深度學(xué)習(xí)框架的一種。CNN的特征檢測(cè)層通過訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在使用CNN時(shí)，避免了顯式的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；再者由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)。CNN以其局部權(quán)值共享的特殊結(jié)構(gòu)在語(yǔ)音識(shí)別和圖像處理方面有著獨(dú)特的優(yōu)越性，其布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點(diǎn)避免了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度[5]。

1　卷積神經(jīng)網(wǎng)絡(luò)（CNN）

1.1卷積神經(jīng)網(wǎng)絡(luò)（CNN）

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，它的基本結(jié)構(gòu)就是輸入層、卷積層（conv）、子采樣層（pooling）、全連接層、輸出層（分類器）。一個(gè)經(jīng)典的CNN結(jié)構(gòu)如圖1所示。

圖1　一個(gè)經(jīng)典的CNN結(jié)構(gòu)圖

（1）卷積網(wǎng)絡(luò)中層與層之間變換都是一個(gè)特征提取的過程，得到的每一層由多個(gè)二維平面組成，每個(gè)平面為特征處理后的特征映射圖（feature map，簡(jiǎn)稱fm）。輸入層原始圖像，網(wǎng)絡(luò)中的每一個(gè)特征提取層 （卷積層）都緊跟著一個(gè)二次提取的計(jì)算層（子采樣層），這種特有二次特征提取結(jié)構(gòu)使得卷積網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)有較大形變時(shí)具有一定的容忍能力。卷積層+子采樣層一般會(huì)有若干個(gè)，具體的操作過程如下：

①卷積過程：用一個(gè)可訓(xùn)練濾波器fx對(duì)輸入圖像（或上一層的feature map）進(jìn)行卷積處理，而后加上偏置bx，得到卷積層Cx；

②子采樣過程：對(duì)每個(gè)鄰域內(nèi)四個(gè)像素求和得到一個(gè)像素，通過標(biāo)量Wx+1加權(quán)，然后增加偏置bx+1，再通過一個(gè)sigmoid激活函數(shù)，得到一個(gè)縮小約為1/4的特征映射圖Sx+1。

卷積和子采樣的過程如圖2所示。

圖2　卷積和子采樣過程圖

卷積層是特征提取層，使用卷積運(yùn)算可以使原信號(hào)特征得到增強(qiáng)，同時(shí)降低噪音。子采樣層用于二次特征提取，可看作一個(gè)模糊濾波器。

（2）全連接層（F層）相當(dāng)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中多層感知機(jī)（MLP）中的隱含層（HiddenLayer），與上一層是全連接的，計(jì)算過程是將上一層輸出結(jié)果乘以權(quán)重向量，再加上一個(gè)偏置，然后將其傳給sigmoid函數(shù)。

（3）輸出層，及分類層，由歐式徑向基函數(shù)（Euclidean Radial Basis Function）單元組成，每個(gè)類別對(duì)應(yīng)一個(gè)單元。輸出層使用Logistics回歸，計(jì)算輸入樣本屬于各類別的概率。

1.2CNN用于圖像分類

CNN是人工神經(jīng)網(wǎng)絡(luò)的一種，是當(dāng)前語(yǔ)音分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)，其最著名的特點(diǎn)是局部感受野和權(quán)值共享機(jī)制。輸入圖像的一小部分區(qū)域（局部感受區(qū)域）作為CNN層級(jí)結(jié)構(gòu)中最低層的輸入，依次傳輸?shù)较乱粚樱繉佣纪ㄟ^數(shù)字濾波器獲取數(shù)據(jù)最顯著的特征。一個(gè)映射面上的神經(jīng)元使用的權(quán)值相同，網(wǎng)絡(luò)參數(shù)的個(gè)數(shù)會(huì)減少很多，降低了參數(shù)選擇帶來的復(fù)雜度，使得特征映射具有唯一不變形。在輸入數(shù)據(jù)為多維圖像時(shí)這些優(yōu)點(diǎn)尤為明顯，圖像可以直接作為網(wǎng)絡(luò)輸入，避免了傳統(tǒng)方法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。

CNN起初用于ImageNet（目前圖像識(shí)別領(lǐng)域最大的數(shù)據(jù)庫(kù)），分類效果得到大幅度提高，結(jié)果令人驚嘆，很好地回應(yīng)了外界對(duì)于Deep Learning的質(zhì)疑[6]。目前基于CNN的深度學(xué)習(xí)方法在圖像識(shí)別領(lǐng)域有比較深入且廣泛的研究和應(yīng)用[4-5]。

2　AlexNet

在ImageNet上的圖像分類比賽中，AlexNet網(wǎng)絡(luò)結(jié)構(gòu)模型贏得了2012屆的冠軍，是CNN的經(jīng)典模型。在AlexNet提出者的著作中其結(jié)構(gòu)如圖3所示。

AlexNet共有8層，其中5個(gè)為卷積層，2個(gè)為全連接層，1個(gè)是輸出分類層。其中：

（1）第一和第二個(gè)卷積層后分別緊跟一個(gè)歸一化層（norm層）；

圖3　AlexNet網(wǎng)絡(luò)結(jié)構(gòu)圖

（2）子采樣操作緊跟在第一第二個(gè)norm層，以及第5個(gè)卷積層后；

（3）最后一層是具有1000個(gè)輸出的類別判定層，針對(duì)ImageNet的1000類圖片。

AlexNet的倒數(shù)第二層能夠很好地描述圖像的全局特征，所以使用其倒數(shù)第二層的輸出作為圖像的特征，能夠很好地描述圖像，很適合用于圖像分類。本文使用AlexNet網(wǎng)絡(luò)模型對(duì)人臉表情圖像進(jìn)行特征提取。

3　Caffe

Caffe是一個(gè)清晰高效的深度學(xué)習(xí)框架，它具有以下優(yōu)點(diǎn)：

（1）上手快：可指定網(wǎng)絡(luò)模型與相應(yīng)配置，無須編碼。

（2）速度快：快速運(yùn)行、處理海量數(shù)據(jù)，可實(shí)現(xiàn)GPU 和CUP無縫切換。

（3）模塊化：可使用Caffe提供的類型自定義模型，便于擴(kuò)展。

（4）開放性：可再現(xiàn)公開的代碼和網(wǎng)絡(luò)模型。

在Caffe平臺(tái)上可以使用提供的各種網(wǎng)絡(luò)模型（如AlexNet）對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，或使用訓(xùn)練好的模型提取新數(shù)據(jù)特征和分類等。

4　實(shí)驗(yàn)

4.1實(shí)驗(yàn)設(shè)計(jì)

（1）實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)所使用的圖片集融合了以下三部分：

①日本女演員表情庫(kù)（JAFFE）；

②部分CK+數(shù)據(jù)庫(kù)內(nèi)表情達(dá)到峰值時(shí)的表情；

③使用攝像頭采集的部分人臉表情圖。

此數(shù)據(jù)集中共包含295張正面人臉表情圖像，既有亞洲也有歐美的，又有彩色的也有黑白的，且光照角度等不盡相同。這樣選擇的數(shù)據(jù)集覆蓋了膚色、民族和色彩維度的各種變化，能夠有力地衡量特征提取方法的魯棒性。表情共分7種類型，分別為neutral，happy，disgust，angry，fear，sad和surprise。每張圖片自帶類標(biāo)，以便訓(xùn)練和預(yù)測(cè)時(shí)統(tǒng)計(jì)預(yù)測(cè)正確率。

部分表情數(shù)據(jù)集圖片如圖4所示。

圖4　樣本圖片集部分預(yù)覽

（2）實(shí)驗(yàn)步驟：

①指定模型文件和配置文件，指明使用AlexNet網(wǎng)絡(luò)模型處理輸入圖像；

②將實(shí)驗(yàn)圖像集隨機(jī)分為訓(xùn)練集（275張）和測(cè)試集（20張），并尺寸歸一化為256×256；

③將尺寸歸一化后的所有295張人臉表情圖像分別作為輸入數(shù)據(jù)，直接輸入Caffe進(jìn)行特征提??；

④將AlexNet倒數(shù)第二層（第7層）的輸出結(jié)果作為Caffe提取的相應(yīng)圖片的深度特征；

⑤使用LibSVM對(duì)訓(xùn)練集進(jìn)行歸一化、交叉驗(yàn)證、參數(shù)尋優(yōu)等一系列操作，繼而對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)結(jié)果1。

（3）對(duì)比試驗(yàn)：

①將尺寸歸一化后的圖像灰度化后直接作為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)輸入LibSVM，得到預(yù)測(cè)結(jié)果2；

②使用PCA對(duì)原始數(shù)據(jù)進(jìn)行特征提取，得到eigenface特征，并使用LibSVM對(duì)訓(xùn)練集和測(cè)試集的eigenface進(jìn)行訓(xùn)練和預(yù)測(cè)，得到預(yù)測(cè)結(jié)果3。

4.2實(shí)驗(yàn)結(jié)果

AlexNet倒數(shù)第二層提取的特征作為特征1，直接灰度化后的圖像作為特征2，PCA處理后得到的eigenface作為特征3，分別輸入LibSVM進(jìn)行訓(xùn)練、分類。使用三種方法提取特征的預(yù)測(cè)結(jié)果如表1所示：

表1　三種特征對(duì)應(yīng)預(yù)測(cè)結(jié)果

4.3實(shí)驗(yàn)結(jié)論

通過三種方法預(yù)測(cè)結(jié)果準(zhǔn)確率的對(duì)比，不難發(fā)現(xiàn)使用AlexNet倒數(shù)第二層提取的特征比其他兩種方法的結(jié)果要好很多，這說明CNN對(duì)于提取圖像的本質(zhì)特征有優(yōu)于其他一般方法的特點(diǎn)；而且在膚色、臉型、光照環(huán)境等諸多外界因素的干擾下，使用CNN提取的特征仍能達(dá)到相對(duì)較好的分類效果?？梢?，CNN用于一般自然條件下的人臉表情自身具有巨大優(yōu)勢(shì)。本次實(shí)驗(yàn)具備一定數(shù)據(jù)集規(guī)模，也覆蓋了一部分拍攝環(huán)境變化，相信對(duì)于更大數(shù)據(jù)規(guī)模和更多環(huán)境變化下的人臉表情識(shí)別，基于CNN的深度學(xué)習(xí)框架將發(fā)揮更大的作用。

5　結(jié)語(yǔ)

基于深度學(xué)習(xí)的研究已經(jīng)成為當(dāng)今機(jī)器智能領(lǐng)域的熱門方向，越來越多的科研人員將目光鎖定在深度學(xué)習(xí)的研究和應(yīng)用上。而卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為一種受歡迎的深度學(xué)習(xí)框架，在圖像識(shí)別和圖像分類方面的優(yōu)勢(shì)也越來越明顯。人臉表情識(shí)別是圖像識(shí)別的一種，卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)化網(wǎng)絡(luò)模型、自動(dòng)訓(xùn)練參數(shù)等特點(diǎn)，使其在人臉表情識(shí)別方面也具有較好的研究潛力和應(yīng)用前景。相信在不久的未來，深度學(xué)習(xí)會(huì)給人臉表情識(shí)別和情緒檢測(cè)技術(shù)帶來越來越多的突破。

參考文獻(xiàn)：

[1]董士海.人機(jī)交互的進(jìn)展及面臨的挑戰(zhàn)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2004,01:1-13.

[2]薛雨麗,毛峽,郭葉,呂善偉.人機(jī)交互中的人臉表情識(shí)別研究進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào),2009,05:764-772.

[3]余凱,賈磊,陳雨強(qiáng),徐偉.深度學(xué)習(xí)的昨天、今天和明天[J].計(jì)算機(jī)研究與發(fā)展,2013,09:1799-1804.

[4]李衛(wèi).深度學(xué)習(xí)在圖像識(shí)別中的研究及應(yīng)用[D].武漢理工大學(xué),2014.

[5]許可.卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上的應(yīng)用的研究[D].浙江大學(xué),2012.

[6]A.Krizhevsky,I.Sutskever,G.E.Hinton.ImageNet Classification with Deep Convolutional Neural Networks[C].In Advances in Neural Information Processing Systems 25（NIPS'2012）,2012.

作者簡(jiǎn)介：

張昭旭（1992-），女，河北邢臺(tái)人，碩士研究生，研究方向?yàn)槎嗝襟w計(jì)算

收稿日期：2015-12-15修稿日期：2015-12-30

Research on Feature Extraction Based on CNN Deep Learning Model

ZHANG Zhao-xu
（College of Computer Science,Sichuan University,Chengdu 610065）

Abstract：

Convolutional Neural Network(CNN),as a deep learning framework,shows great performance in extracting feature accurately and reducing model complexity.In consideration of the CNN's advantage in image processing,proposes a feature extraction method based on CNN. Extracts face expression images'features using a 8-layered AlexNet model,and Support Vector Machine(SVM)is used for prediction.Prediction results indicate that CNN outperforms other classical methods in extracting image essential features.

Keywords:

Deep Learning;Convolutional Neural Network;AlexNet;Face Expression Recognition;Feature Extraction

利用立體光流估計(jì)運(yùn)動(dòng)物體狀態(tài)

岳鑫，高飛

（西安工業(yè)大學(xué)理學(xué)院，西安710021）

摘要：

針對(duì)在無法獲取相關(guān)視頻內(nèi)容先驗(yàn)知識(shí)的前提下進(jìn)行視頻中兩幀之間物體運(yùn)動(dòng)預(yù)估的問題。提出利用雙目立體標(biāo)定結(jié)合立體光流場(chǎng)估計(jì)物體在三維空間中的運(yùn)動(dòng)的方法。介紹由時(shí)域光流和視域光流所組成的立體光流場(chǎng)的原理，推導(dǎo)利用立體光流場(chǎng)計(jì)算空間距離公式。通過實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析表明該方法準(zhǔn)確性較高，使機(jī)器基于光流法的雙目視覺條件下對(duì)運(yùn)動(dòng)物體的判定有較好效果。

關(guān)鍵詞：

立體光流場(chǎng)；時(shí)域光流；視域光流；物體運(yùn)動(dòng)預(yù)估；雙目立體標(biāo)定

基金項(xiàng)目：

陜西省教育廳科研計(jì)劃項(xiàng)目（No.2013JK0590）

文章編號(hào)：1007-1423（2016）03-0045-05

DOI：10.3969/j.issn.1007-1423.2016.03.011

0　引言

視覺心理學(xué)認(rèn)為人與被觀察物體發(fā)生相對(duì)運(yùn)動(dòng)時(shí)，被觀察物體表面帶光學(xué)特征部位的移動(dòng)給人提供了運(yùn)動(dòng)及結(jié)構(gòu)的信息。與此相似，當(dāng)攝像機(jī)代替人眼與景物目標(biāo)間有相對(duì)運(yùn)動(dòng)時(shí)所觀察到的亮度模式運(yùn)動(dòng)就稱為光流[1]。光流法是針對(duì)運(yùn)動(dòng)物體模型，利用目標(biāo)在圖像中運(yùn)動(dòng)的信息來獲得目標(biāo)的位置，其可將圖像中移動(dòng)物體的像素與速度關(guān)聯(lián)，或者等價(jià)地，與表示像素在連續(xù)兩幀圖像之間的位移關(guān)聯(lián)，能夠較為準(zhǔn)確的描述物體的運(yùn)動(dòng)狀態(tài)，具有較高的準(zhǔn)確度。故在工業(yè)生產(chǎn)制造和軍事領(lǐng)域中光流場(chǎng)計(jì)算技術(shù)具有廣泛的應(yīng)用[2]。例如在各類機(jī)器人視覺系統(tǒng)、各種基于運(yùn)動(dòng)分析的跟蹤系統(tǒng)、地對(duì)空導(dǎo)彈火控系統(tǒng)、自動(dòng)飛行器著陸與精確導(dǎo)航系統(tǒng)以及車內(nèi)視頻監(jiān)控系統(tǒng)等領(lǐng)域中，均利用了光流場(chǎng)計(jì)算技術(shù)。

在傳統(tǒng)光流場(chǎng)計(jì)算技術(shù)[3-4]的基礎(chǔ)上，本文提出基于立體光流場(chǎng)對(duì)運(yùn)動(dòng)物體進(jìn)行特征分析的方法。利用兩部基本同方位角度的相機(jī)所獲取的圖像信息計(jì)算時(shí)域光流和視域光流，從而計(jì)算出運(yùn)動(dòng)物體在三維空間中的狀態(tài)。經(jīng)過實(shí)驗(yàn)論證，通過該方法所獲得的相關(guān)狀態(tài)信息較為準(zhǔn)確，達(dá)到了檢測(cè)物體運(yùn)動(dòng)狀態(tài)的目。

1　立體光流場(chǎng)原理

1.1時(shí)域光流

時(shí)域光流是一種簡(jiǎn)單實(shí)用的圖像運(yùn)動(dòng)的表達(dá)方式[5]，通常定義為一個(gè)圖像序列中的圖像亮度模式的表觀運(yùn)動(dòng)，即空間物體表面上的點(diǎn)的運(yùn)動(dòng)速度在視覺傳感器的成像平面上的表達(dá)。

在2D+t維（t為正整數(shù)，其表示3D和更高維度）的情況下，假設(shè)位于（x，y，t）的體積像素的亮度是 I （x，y，t）。該體積像素在兩個(gè)圖像幀之間移動(dòng)了ΔX、ΔY、ΔZ。通過推導(dǎo)可得以下關(guān)系式：

1.2時(shí)域光流

視域光流是指視覺傳感器的瞬時(shí)移動(dòng)，即在傳感器移動(dòng)前后空間物體未發(fā)生運(yùn)動(dòng)的表達(dá)方式。定義為視覺傳感器的運(yùn)動(dòng)通過物體表面上的點(diǎn)在移動(dòng)的視覺傳感器的成像平面上的表達(dá)。如圖1所示，為達(dá)到視覺傳感器瞬間移動(dòng)的目的，需要引入兩個(gè)視覺傳感器，即為左右相機(jī)，其分別代表傳感器移動(dòng)前和移動(dòng)后的位置。

圖1　立體時(shí)域光流示意圖

依據(jù)時(shí)域光流場(chǎng)的定義即可推導(dǎo)視域光流場(chǎng)的表達(dá)式：

假設(shè)物體位移很小，可以根據(jù)泰勒級(jí)數(shù)得出：

其中 H.O.T為公式（3）中的高階項(xiàng)（High Order Term），由此可以推出：

或者：

則可得出如下結(jié)論：

上式V

x

和V

y

分別表示從x

l

到x

r

和從y

l

到y(tǒng)

r

的速率，其稱為I

v

（x

r

，y

r

，τ）的視域光流。

1.3立體光流

立體光流是兩個(gè)時(shí)域光流和兩個(gè)視域光流的集合。其中，兩個(gè)時(shí)域光流是通過物體表面上點(diǎn)的運(yùn)動(dòng)速度在左右相機(jī)成像平面上所表達(dá)的，兩個(gè)視域光流通過物體表面上的點(diǎn)在移動(dòng)視覺傳感器的成像平面上所表達(dá)，即：

其中，Itl為左相機(jī)前后兩幀的時(shí)域光流，Itr為右相機(jī)前后兩幀的時(shí)域光流，Iv1為左右相機(jī)在前一幀的視域光流，Iv2為左右相機(jī)在后一幀的視域光流。

2　立體光流場(chǎng)對(duì)物體空間運(yùn)動(dòng)估計(jì)

在給定屏幕坐標(biāo)和相機(jī)內(nèi)參數(shù)矩陣的情況下，利用立體視覺[6-7]可以將圖像二維點(diǎn)重投影到三維空間中去，由此通過計(jì)算即可得到所攝場(chǎng)景的深度信息。重投影矩陣[8]如下：

在上式中，除了cx'外的所有參數(shù)都來自左圖像，cx'是主點(diǎn)在右圖像上的x坐標(biāo)，Tx為x方向的平移量。設(shè)主光線在無窮遠(yuǎn)處相交，則有：cx=cx'，并且有（cx-cx'）Tx=0。若給定一個(gè)二維齊次點(diǎn)和其關(guān)聯(lián)的視差d，可以得到此點(diǎn)投影到三維中的關(guān)系式如下：

由此可得出，三維坐標(biāo)即為（X/W，Y/W，Z/W）。

在世界坐標(biāo)系下，三維空間中物體沿坐標(biāo)系方向位移分別為ΔX、ΔY、ΔZ:

其中下標(biāo)為1的元素為運(yùn)動(dòng)前的參數(shù)，下標(biāo)為2的元素為運(yùn)動(dòng)后的參數(shù)。

由上式關(guān)于Q的矩陣可以得到運(yùn)動(dòng)前后參數(shù)：

其中d=xl-xr=Iv，再通過公式（10）（11）（12）得到：其中Iv1、Iv2為前一幀和后一幀的視域光流。

3　實(shí)驗(yàn)過程

本實(shí)驗(yàn)采用兩個(gè)圖像分辨率均為640×480的USB相機(jī)，兩個(gè)相機(jī)間距約為7厘米。實(shí)驗(yàn)分為兩個(gè)部分，實(shí)驗(yàn)一是對(duì)于雙目相機(jī)的標(biāo)定，實(shí)驗(yàn)二是利用標(biāo)定結(jié)果和立體光流法對(duì)物體運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì)。由于標(biāo)定過程不是實(shí)驗(yàn)重點(diǎn)，實(shí)驗(yàn)一過程不再贅述。雙目相機(jī)標(biāo)定結(jié)果如表1所示，其中左右相機(jī)光軸距離計(jì)算值為71.95301毫米，實(shí)際測(cè)量值為7厘米。則標(biāo)定結(jié)果較為準(zhǔn)確，可以利用其計(jì)算物體運(yùn)動(dòng)狀態(tài)。

表1　相機(jī)標(biāo)定結(jié)果

進(jìn)行實(shí)驗(yàn)二時(shí)，對(duì)由給定方向移動(dòng)的物體進(jìn)行拍攝，左右相機(jī)同時(shí)獲取圖像序列，并將圖像序列分解為單幀的圖像。針對(duì)前后序列的圖像由公式（13）計(jì)算出立體光流，最終得到如圖2所示的物體在三維空間中移動(dòng)示意圖。由圖2可以看到同一物體表面上點(diǎn)移動(dòng)的位移和方向基本一致，且與實(shí)驗(yàn)設(shè)計(jì)移動(dòng)方向基本一致。

圖2　物體在三維空間中移動(dòng)示意圖

圖3即為實(shí)驗(yàn)過程截圖，其中圖（a）和圖（b）為基于左相機(jī)視角觀測(cè)物體移動(dòng)的前后圖像，圖（c）和圖（d）為基于右相機(jī)視角觀測(cè)物體移動(dòng)的前后圖像，圖（e）和圖（f）分別表示左右相機(jī)的時(shí)域光流，圖（g）和圖（h）分別表示物體移動(dòng)前后的視域光流。

圖3　實(shí)驗(yàn)過程截圖

4　實(shí)驗(yàn)分析

表2為通過提取圖2中各直線端點(diǎn)的坐標(biāo)點(diǎn)所得到的圖像物體中各點(diǎn)的位移，由此可以計(jì)算出在X方向上各點(diǎn)位移的標(biāo)準(zhǔn)差為0.003，Y方向上的標(biāo)準(zhǔn)差為0.003，Z方向的標(biāo)準(zhǔn)差為0.024，數(shù)據(jù)基本穩(wěn)定。計(jì)算出物體在X、Y、Z方向上移動(dòng)的均值分別為0.17、0.066、-0.28而實(shí)際測(cè)量中分別為0.2、0、0.3?？梢钥闯鲈赬 和Z方向上測(cè)量結(jié)果與實(shí)際結(jié)果較為吻合。Y方向上由于拍攝位置在較高的位置對(duì)Y方向的影響較大，若為同一水平面上則不會(huì)出現(xiàn)較大的誤差。

表2　圖像中物體各點(diǎn)移動(dòng)的位移（單位：米）

5　結(jié)語(yǔ)

立體光流法分別計(jì)算出四個(gè)光流場(chǎng)，其中兩個(gè)為時(shí)域光流場(chǎng)，另外兩個(gè)為視域光流場(chǎng)，用來對(duì)物體運(yùn)動(dòng)進(jìn)行計(jì)算時(shí)，可以較為客觀地描述物體的運(yùn)動(dòng)。通過對(duì)比計(jì)算出的物體的位移量與實(shí)際測(cè)量的位移量，誤差值較小。

本算法通過建立立體光流的模型，給出了物體在三維空間運(yùn)動(dòng)場(chǎng)與立體光流場(chǎng)的關(guān)系和物體在三維場(chǎng)運(yùn)動(dòng)狀態(tài)的求解方法。并通過實(shí)驗(yàn)求出物體在三維運(yùn)動(dòng)場(chǎng)中的運(yùn)動(dòng)，取得了好的效果，對(duì)運(yùn)用立體光流法檢測(cè)目標(biāo)狀態(tài)具有一定的借鑒作用。

[1]章毓晉.圖象工程（下冊(cè)），圖象理解與計(jì)算機(jī)視覺［M］.北京：清華大學(xué)出版社，2000.

[2]陳震，高滿屯，沈允文.圖象光流場(chǎng)計(jì)算技術(shù)研究進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)，2002，7A（5）:434-439.

[3]關(guān)震宇，李杰，楊歡，等.基于直線稀疏光流場(chǎng)的微小型無人機(jī)姿態(tài)信息估計(jì)方法研究[J].兵工學(xué)報(bào)，2014（11）:1851-1859.

[4]陳偉杰，王睿.復(fù)雜場(chǎng)景下灰度圖像的運(yùn)動(dòng)目標(biāo)跟蹤[J].計(jì)算機(jī)與現(xiàn)代化，2007（10）:110-113.

[5]Xun Cao，Bovik，A.C.，Yao Wang，Qionghai Dai.Converting 2D Video to 3D:An Efficient Path to a 3D Experience.Multimedia，IEEE，2011

[6]羅桂娥.雙目立體視覺深度感知與三維重建若干問題研究[D].中南大學(xué)，2012.

[7]范路橋，段班祥，周文瓊，等.基于計(jì)算機(jī)雙目立體視覺的排爆機(jī)器人自動(dòng)抓取的研究和實(shí)現(xiàn)[J].計(jì)算機(jī)與現(xiàn)代化，2013，08 （8）:192-196.

[8]張宏.基于雙目立體視覺的三維重建技術(shù)研究[D].華中科技大學(xué)，2007.

[9]潘光遠(yuǎn).光流場(chǎng)算法及其在視頻目標(biāo)檢測(cè)中的應(yīng)用研究[D].上海交通大學(xué)，2008.

[10]裴巧娜.基于光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤技術(shù)[D].北方工業(yè)大學(xué)，2009.

[11]楊葉梅.基于改進(jìn)光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)[J].計(jì)算機(jī)與數(shù)字工程，2011（09）:108-110.

[12]孫承志，熊田忠，吉順平，等.基于差分的光流法在目標(biāo)檢測(cè)跟蹤中的應(yīng)用[J].機(jī)床與液壓，2010，第14期:59-62.

[13]周富強(qiáng)，邾繼貴，楊學(xué)友，等.雙目視覺傳感器的現(xiàn)場(chǎng)標(biāo)定技術(shù)[J].儀器儀表學(xué)報(bào)，2000，02期:142-145.

[14]祝琨，楊唐文，阮秋琦，等.基于雙目視覺的運(yùn)動(dòng)物體實(shí)時(shí)跟蹤與測(cè)距[J].機(jī)器人，2009，31（4）:327-334.

[15]岳曉峰，祁歡.基于張正友平面模板法的雙目立體視覺系統(tǒng)標(biāo)定[J].機(jī)械工程師，2014，第2期:1-3.

[16]王政，胡志雄.基于張正友標(biāo)定算法的內(nèi)參數(shù)線性與非線性解算[J].鄭州師范教育，2013，02期.

[17]徐潺.雙相機(jī)單目視覺測(cè)量系統(tǒng)標(biāo)定方法研究[D].湖南科技大學(xué)，2014.

Stereo Optical Flow Field;Time-Domain Optical Flow;Horizonoptical Flow;Object Motion Estimation;Binocular Vision Calibration

Estimating the Moving Objects by Stereo Optical Flow

YUE Xin，GAO Fei
(School of Science,Xi'an Technological Unviersity,Xi'an 710021)

1007-1423（2016）03-0033-05

10.3969/j.issn.1007-1423.2016.03.008

岳鑫（1991-），男，陜西西安人，在讀碩士研究生，本科，研究方向?yàn)楣鈱W(xué)、數(shù)字圖像處理高飛（1986-）男，陜西韓城人，助理工程師，本科，研究方向?yàn)楣鈱W(xué)、數(shù)字圖像處理

2015-12-04

2016-01-10

近年來，受益與計(jì)算機(jī)技術(shù)的飛速發(fā)展，計(jì)算機(jī)視覺得到了極大的關(guān)注。研究一種通過同步攝像頭采集到的幀，對(duì)其進(jìn)行全景圖像拼接，并且將拼接結(jié)果不失真輸出到特定的球幕進(jìn)行全景視頻播放，得到一種身臨現(xiàn)場(chǎng)的監(jiān)控體驗(yàn)，可達(dá)到和監(jiān)控人員親臨現(xiàn)場(chǎng)相當(dāng)?shù)男Ч?。?shí)驗(yàn)結(jié)果表明，該方法能夠較好地應(yīng)用于全景監(jiān)控領(lǐng)域，具有較高的實(shí)用價(jià)值。

全景監(jiān)控；全景圖；全景視頻；全景播放

In order to obtain object motion estimation between two frames in the video for lack of prior knowledge of the video content,presents a motion estimation method(algorithm)in three-dimensional space based on binocular vision and stereo optical flow field.Firstly,proposes the principle of stereo optical flow field composed of time-domain optical flow and horizon optical flow.Then,deduces the calculation formula for space distance of stereo optical flow field.Finally,designs an experiment to confirm high accuracy and the effectiveness of the proposed method.