胡紅權(quán)

摘 要： 視頻監(jiān)控中運(yùn)動圖像序列三維重建一直是三維重建研究的重點(diǎn)，其重建效果會對運(yùn)動圖像的清晰度產(chǎn)生影響。但當(dāng)前三維重建方法都是通過獲取二維視頻監(jiān)控中的運(yùn)動圖像序列，通過基于Java Applet與Java Application編程，采用體繪制法完成視頻監(jiān)控中二維運(yùn)動圖像序列的三維重建，該方法無法保證重建后的圖像質(zhì)量，導(dǎo)致圖像清晰度不高。為此，提出基于圖像特征點(diǎn)提取與匹配的視頻監(jiān)控中運(yùn)動圖像序列三維重建方法。首先，對視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)進(jìn)行檢測，并對特征點(diǎn)一定鄰域內(nèi)圖像的紋理、結(jié)構(gòu)以及其他特征進(jìn)行統(tǒng)計(jì)，通過對運(yùn)動圖像序列特征點(diǎn)的特征比較，完成運(yùn)動圖像序列特征點(diǎn)提取與匹配；然后，對視頻監(jiān)控中運(yùn)動圖像序列的結(jié)構(gòu)和運(yùn)動初始化，并進(jìn)行視頻監(jiān)控相機(jī)的自標(biāo)定，實(shí)現(xiàn)對視頻監(jiān)控中運(yùn)動圖像序列的三維重建。實(shí)驗(yàn)結(jié)果表明，所提方法能夠有效提高三維重建后視頻監(jiān)控中運(yùn)動圖像序列的清晰度，減少三維重建流程，提高運(yùn)動圖像序列重建效率，具有良好的使用價(jià)值。

關(guān)鍵詞： 視頻監(jiān)控； 清晰度； 特征點(diǎn)； 匹配； 運(yùn)動圖像序列； 三維重建

中圖分類號： TN911.73?34； TP391 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2018）03?0067?04

Abstract： The three?dimensional （3D） reconstruction of moving image sequences in video surveillance is always the research importance of 3D reconstruction. But the current 3D reconstruction method adopts the volume rendering method to realize the 3D reconstruction of two?dimensional motion image sequences in video surveillance by means of acquiring the moving image sequences in two?dimensional video surveillance， and adopting Java Applet and Java Application programming， which can′t guarantee the reconstructed image quality， and has low image resolution. Therefore， an image feature points extraction and matching based 3D reconstruction method of moving image sequences in video surveillance is proposed. The feature points of motion image sequences in video surveillance are detected， and their image texture in a certain neighborhood， structure and other characteristics are calculated. The characteristics of the feature points of the motion image sequences are compared to realize the feature points extraction and matching of feature points of the motion image sequence. The structure and motion of the moving image sequence in video surveillance are initialized， and the self?calibration of the video surveillance camera is performed to realize the 3D reconstruction of the moving image sequence in video surveillance. The experimental results show that the method can increase the definition of the reconstructed moving image sequences in video surveillance effectively， reduce the 3D reconstruction process， improve the reconstruction efficiency of moving image sequence， and has high application value.

Keywords： video surveillance； definition； feature point； matching； moving image sequence； 3D reconstruction

0 引 言

隨著科技的發(fā)展，人們生活水平的提高，對圖像視覺產(chǎn)生更高要求，為滿足人們的視覺要求，三維重建技術(shù)應(yīng)運(yùn)而生[1]。隨著對三維重建技術(shù)研究的深入，三維重建技術(shù)趨于成熟，開始在各領(lǐng)域中應(yīng)用[2]。當(dāng)應(yīng)用在視頻監(jiān)控運(yùn)動圖像序列三維重建中時(shí)，有利于提高視頻監(jiān)控圖像的清晰度，因此視頻監(jiān)控中運(yùn)動圖像序列的三維重建越來越受到重視[3]。目前運(yùn)動圖像序列三維重建大多通過開發(fā)交互操作的三維重建系統(tǒng)，利用射影幾何中的交比不變性理論，通過監(jiān)控相機(jī)內(nèi)外部參數(shù)和像差修正參數(shù)分離的標(biāo)定方法，實(shí)現(xiàn)視頻監(jiān)控中運(yùn)動圖像序列的三維重建[4]。這種方法需要開發(fā)三維重建系統(tǒng)，不但重建成本高，且不易于操作[5]。該方法引起了重大反響，對該問題的研究也成為相關(guān)專家學(xué)者研究的重點(diǎn)，并取得了豐碩的研究成果[6?7]。endprint

文獻(xiàn)[8]通過將二維視頻監(jiān)控中運(yùn)動圖像序列數(shù)據(jù)直接堆壘起來，利用閾值分割、線性內(nèi)插等方法，獲得直觀性較好的三維視頻監(jiān)控中運(yùn)動圖像序列。通過對重建圖像進(jìn)行旋轉(zhuǎn)、截取等操作，獲得了不同方向的三維圖形。但這種方法計(jì)算過程過于簡單，無法保證三維重建后視頻監(jiān)控中運(yùn)動圖像序列的質(zhì)量。文獻(xiàn)[9]提出基于分割的視頻監(jiān)控中運(yùn)動圖像序列三維重建方法，但該方法存在一定的主觀性。文獻(xiàn)[10]提出基于多幅圖像的視頻監(jiān)控中運(yùn)動圖像序列三維重建方法，利用角點(diǎn)檢測算法提取視頻監(jiān)控中運(yùn)動圖像序列的邊緣和內(nèi)容特征，通過將極線約束和SIFT特征描述算子相結(jié)合，完成特征點(diǎn)匹配，從而得到特征點(diǎn)的三維坐標(biāo)。根據(jù)這些坐標(biāo)，完成視頻監(jiān)控中運(yùn)動圖像序列三維重建，但這種方法過程復(fù)雜，花費(fèi)時(shí)間長，難以被廣泛使用。

針對上述問題，提出基于圖像特征點(diǎn)提取與匹配的視頻監(jiān)控中運(yùn)動圖像序列三維重建方法。實(shí)驗(yàn)結(jié)果表明，所提方法能夠提高三維重建后運(yùn)動圖像序列的清晰度，減少三維重建流程，提高運(yùn)動圖像序列三維重建效率。

1 視頻監(jiān)控中運(yùn)動圖像序列三維重建

三維重建可歸結(jié)為利用圖像上的像素點(diǎn)恢復(fù)相機(jī)位置，投影矩陣以及三維空間中點(diǎn)的坐標(biāo)。因此，需要對視頻監(jiān)控中運(yùn)動圖像序列進(jìn)行三維重建，視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)提取與匹配是前提，然后通過線性時(shí)域?qū)?zhǔn)，完成視頻監(jiān)控中運(yùn)動圖像序列的三維重建。

1.1 視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)提取與匹配

完成視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)的提取與匹配工作。首先對視頻監(jiān)控中運(yùn)動圖像序列的特征點(diǎn)進(jìn)行檢測，分析特征點(diǎn)的空間位置信息以及尺度信息，并統(tǒng)計(jì)特征點(diǎn)在一定鄰域內(nèi)圖像的紋理、結(jié)構(gòu)以及其他特征，并將統(tǒng)計(jì)值組合，將組合的統(tǒng)計(jì)值作為特征點(diǎn)的特征向量，使視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)具備可區(qū)分性，最后利用特征點(diǎn)特征向量的相似度，將相似度最高并滿足一定閾值的點(diǎn)作為對應(yīng)匹配點(diǎn)，從而完成視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)匹配。

首先利用LoG尺度空間特征點(diǎn)檢測算子完成視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)檢測，其用公式表示為：

式中分別表示空間內(nèi)坐標(biāo)。對式（1）進(jìn)行拉普拉斯變換并規(guī)范化得到：

式中表示拉普拉斯變換系數(shù)。設(shè)定拉普拉斯響應(yīng)值為視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)判斷指標(biāo)，當(dāng)導(dǎo)數(shù)為0時(shí)，對式（2）求極值，得到：

將其拉普拉斯響應(yīng)值與空間相鄰的26個(gè)點(diǎn)的響應(yīng)值做比較，通過式（3）確定空間位置和尺度空間巔峰值，完成視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)檢測。

設(shè)定表示視頻監(jiān)控中運(yùn)動圖像序列高斯尺度空間，通過對原始視頻監(jiān)控中運(yùn)動圖像序列的尺度二維高斯函數(shù)做卷積運(yùn)算得到：

式中：表示視頻監(jiān)控中運(yùn)動圖像序列方向卷積操作；表示特征點(diǎn)平面坐標(biāo)；表示視頻監(jiān)控中運(yùn)動圖像序列尺度，其大小與視頻監(jiān)控中運(yùn)動圖像序列平滑程度成反比。通過對高斯差分視頻監(jiān)控中運(yùn)動圖像序列進(jìn)行非最大值抑制，完成視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)的尺度空間和位置空間定位。

式中：表示視頻監(jiān)控中運(yùn)動圖像序列兩個(gè)相鄰尺度空間的因子倍數(shù)。根據(jù)視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)尺度空間和位置空間定位，利用SURF方法進(jìn)行特征點(diǎn)匹配。通過積分圖生成特征向量，利用雙數(shù)計(jì)算結(jié)果降低運(yùn)算量，避免特征向量生成時(shí)對圖像重復(fù)運(yùn)算。

通過上述論述，完成視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)的檢測，根據(jù)視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)的特征進(jìn)行比較，完成特征匹配。

1.2 視頻監(jiān)控中運(yùn)動圖像序列三維重建

在1.1節(jié)論述的基礎(chǔ)上，通過視頻監(jiān)控中運(yùn)動圖像序列結(jié)構(gòu)和運(yùn)動的初始化，實(shí)現(xiàn)視頻監(jiān)控中運(yùn)動圖像序列結(jié)構(gòu)和運(yùn)動的恢復(fù)。

選擇圖像匹配點(diǎn)多且圖像之間距離較遠(yuǎn)的兩幅視頻監(jiān)控中的運(yùn)動圖像。為滿足圖像距離要求，通過從經(jīng)過平均平面變換的點(diǎn)和目標(biāo)圖像中的對應(yīng)點(diǎn)中值距離對其進(jìn)行計(jì)算。

首先對主框架進(jìn)行初始化，利用下式進(jìn)行計(jì)算：

然后對結(jié)構(gòu)進(jìn)行初始化，完成對測量點(diǎn)調(diào)整矯正。其矯正公式為：

式中：表示圖像的矯正量。在圖像上的矯正量很小的情況下，該近似是準(zhǔn)確的，且計(jì)算量很小，提高了視頻監(jiān)控中運(yùn)動圖像序列三維重建的準(zhǔn)確度。

在對視頻監(jiān)控中運(yùn)動圖像序列特征點(diǎn)進(jìn)行矯正后，通過線性三角形法來初始化與其對應(yīng)的三維空間的點(diǎn)。在每一幅視頻監(jiān)控的運(yùn)動圖像序列中，分別測量將這些方程組合成的形式，得到關(guān)于的線性方程，將進(jìn)行擴(kuò)展，得到以下公式，其中前兩個(gè)是線性獨(dú)立的。

式中：表示的行，關(guān)于的向量是線性的，形成與近似的方程，得到：

式（12）的最小二乘解則為初始化的視頻監(jiān)控中運(yùn)動圖像序列三維空間點(diǎn)坐標(biāo)的齊次表示。

然后對視頻監(jiān)控中的相機(jī)進(jìn)行自標(biāo)定，自標(biāo)定指直接由未標(biāo)定的多幅圖像完成視頻監(jiān)控相機(jī)內(nèi)參數(shù)的設(shè)定，從而根據(jù)視頻監(jiān)控圖像完成度量重構(gòu)的計(jì)算，提高計(jì)算的靈活性。

設(shè)定表示視頻監(jiān)控相機(jī)的視點(diǎn)，表示三維空間坐標(biāo)系中某一點(diǎn)的空間坐標(biāo)。視頻監(jiān)控相機(jī)的有效焦距表示圖像平面與光心間的距離，表示視頻監(jiān)控相機(jī)模型下點(diǎn)坐標(biāo)，從空間的三維坐標(biāo)到平面坐標(biāo)的轉(zhuǎn)換步驟可分為兩步。

對三維空間坐標(biāo)系到視頻監(jiān)控相機(jī)坐標(biāo)系的坐標(biāo)轉(zhuǎn)換，可表示成：

式中：表示視頻監(jiān)控相機(jī)的旋轉(zhuǎn)矩陣；表示視頻監(jiān)控相機(jī)的平移向量，可表示為：

式中：分別表示視頻監(jiān)控中運(yùn)動圖像序列三維點(diǎn)在坐標(biāo)變換過程中沿軸、軸和軸三個(gè)方向的平移量。

在視頻監(jiān)控中，相機(jī)模型下透視投影變換可表示為：

通過上述方法，完成視頻監(jiān)控中運(yùn)動圖像序列的坐標(biāo)轉(zhuǎn)換，實(shí)現(xiàn)視頻監(jiān)控中運(yùn)動圖像序列的紋理映射，從而完成視頻監(jiān)控中運(yùn)動圖像序列三維重建。

2 實(shí)驗(yàn)結(jié)果與分析

為了證明本文提出的基于圖像特征點(diǎn)提取與匹配的視頻監(jiān)控中運(yùn)動圖像序列三維重建方法的有效性，進(jìn)行仿真實(shí)驗(yàn)，實(shí)驗(yàn)在Windows 7 Ultimate的操作系統(tǒng)下進(jìn)行，CPU型號是3.2 GHz的Intel Core I3，運(yùn)行平臺為Microsoft Visual Studio.NET 2010。通過將本文提出的三維重建方法與文獻(xiàn)[6?7]所提三維重建方法進(jìn)行對比，完成本次實(shí)驗(yàn)。endprint

首先對三種視頻監(jiān)控中運(yùn)動圖像序列三維重建方法重建后的圖像清晰度進(jìn)行對比，設(shè)清晰度的單位為像素，其計(jì)算過程如下：

式中：表示通過種方法進(jìn)行三維重建的清晰度，分別表示種方法的轉(zhuǎn)換系數(shù)；表示視頻監(jiān)控相機(jī)的旋轉(zhuǎn)矩陣；表示的矯正向量。

通過計(jì)算，得到三種方法進(jìn)行重建后的圖像清晰度對比結(jié)果，如表1所示。

為了更明顯地表示三種方法的重建結(jié)果，將表1轉(zhuǎn)換成折線圖形式，得到的對比結(jié)果如圖1所示。

從表1，圖1可以看出，無論通過哪種方法進(jìn)行三維重建，都有利于提高視頻監(jiān)控中運(yùn)動圖像序列的清晰度，且重建后視頻監(jiān)控中運(yùn)動圖像序列清晰度隨著原視頻監(jiān)控中運(yùn)動圖像序列清晰度的提高而提高，但本文所提方法對應(yīng)的圖像清晰度隨著原視頻監(jiān)控中運(yùn)動圖像序列清晰度的提高，提高速度相比文獻(xiàn)[6?7]較快，且從三條折線的起點(diǎn)可以看出，本文所提方法進(jìn)行三維重建的原始清晰度較高。

對三種視頻監(jiān)控中運(yùn)動圖像序列三維重建方法進(jìn)行時(shí)間對比。為保證實(shí)驗(yàn)的準(zhǔn)確性，進(jìn)行了500次實(shí)驗(yàn)，以每50次實(shí)驗(yàn)結(jié)果作為一組數(shù)據(jù)，得到平均耗時(shí)，具體計(jì)算過程如下所示：

式中：代表實(shí)驗(yàn)結(jié)果次數(shù)；表示實(shí)驗(yàn)花費(fèi)的總時(shí)間；表示實(shí)驗(yàn)中的休息時(shí)間。得到三種視頻監(jiān)控中運(yùn)動圖像序列三維重建方法耗時(shí)對比，對比結(jié)果如圖2所示。

圖2中，折線的起點(diǎn)表示三種方法的理論耗時(shí)。通過圖2可以看出，本文所提方法花費(fèi)時(shí)間較少，且實(shí)際耗時(shí)與理論耗時(shí)差距小，說明利用此方法進(jìn)行視頻監(jiān)控中運(yùn)動圖像序列三維重建的重建效果較穩(wěn)定。

3 結(jié) 語

隨著科技水平和生活質(zhì)量的提高，人們對視覺要求越來越強(qiáng)烈。對視頻監(jiān)控中運(yùn)動圖像序列三維重建可提高視頻監(jiān)控中運(yùn)動圖像序列視覺效果。本文所提基于圖像特征點(diǎn)提取與匹配的視頻監(jiān)控中運(yùn)動圖像序列三維重建方法，有利于降低三維重建耗時(shí)，提高重建后圖像質(zhì)量，具有良好的使用價(jià)值。

參考文獻(xiàn)

[1] 高欣健，張旭東，高亞捷，等.基于單幅灰度圖像的快速三維重建方法研究[J].機(jī)械工程學(xué)報(bào)，2014，50（2）：42?47.

GAO Xinjian， ZHANG Xudong， GAO Yajie， et al. Fast method of 3D surface reconstruction based on single gray image [J]. Journal of mechanical engineering， 2014， 50（2）： 42?47.

[2] 趙春宇，孫偉，陳許蒙.微慣性傳感器加速的序列圖像三維重建方法[J].光學(xué)精密工程，2016，24（10）：559?566.

ZHAO Chunyu， SUN Wei， CHEN Xumeng. 3D reconstruction of sequence images accelerated by micro inertial sensors [J]. Optics and precision engineering， 2016， 24（10）： 559?566.

[3] 羅宇，宋歌，楊紅雨.基于圖像識別的建筑物三維重建[J].計(jì)算機(jī)工程與設(shè)計(jì)，2015，36（1）：191?196.

LUO Yu， SONG Ge， YANG Hongyu. 3?D rebuilding based on recognition of image [J]. Computer engineering and design， 2015， 36（1）： 191?196.

[4] 魏楚亮，羅培羽，洪曉斌，等.基于單張照片模式的三維圖像重建新方法研究[J].中國測試，2014，40（2）：23?26.

WEI Chuliang， LUO Peiyu， HONG Xiaobin， et al. Research on a new method of 3D image reconstruction based on single photo mode [J]. China measurement & test， 2014， 40（2）： 23?26.

[5] 張丹，呂學(xué)強(qiáng)，肖詩斌，等.基于輪廓線法的汽車類外觀專利圖像三維重建[J].計(jì)算機(jī)應(yīng)用與軟件，2015，32（4）：170?174.

ZHANG Dan， L? Xueqiang， XIAO Shibin， et al. 3D reconstruction of automobile design patent images based on contour algorithm [J]. Computer applications and software， 2015， 32（4）： 170?174.

[6] 丁偉利，陳瑜，馬鵬程，等.基于陣列圖像的自適應(yīng)光場三維重建算法研究[J].儀器儀表學(xué)報(bào)，2016，37（9）：2156?2165.

DING Weili， CHEN Yu， MA Pengcheng， et al. Study on adaptive light field 3D reconstruction algorithm based on array image [J]. Chinese journal of scientific instrument， 2016， 37（9）： 2156?2165.

[7] 張聰炫，陳震，黎明.單目圖像序列光流三維重建技術(shù)研究綜述[J].電子學(xué)報(bào)，2016，44（12）：3044?3052.

ZHANG Congxuan， CHEN Zhen， LI Ming. Review of the 3D reconstruction technology based on optical flow of monocular image sequence [J]. Acta electronica sinica， 2016， 44（12）： 3044?3052.

[8] 沈振一，孫韶媛，趙海濤.基于PP?MRF模型的單目車載紅外圖像三維重建[J].東華大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，41（3）：341?347.

SHEN Zhenyi， SUN Shaoyuan， ZHAO Haitao. Three?dimensional reconstruction from monocular vehicular infrared images based on PP?MRF model [J]. Journal of Donghua University （natural science edition）， 2015， 41（3）： 341?347.

[9] 于春和，祁樂陽.基于HALCON的雙目攝像機(jī)標(biāo)定[J].電子設(shè)計(jì)工程，2017，25（19）：190?193.

YU Chunhe， QI Leyang. Binocular camera based on HALCON [J]. Electronic design engineering， 2017， 25（19）： 190?193.

[10] 隋巧燕，董洪偉，劉蕾.雙目下點(diǎn)云的三維人臉重建[J].現(xiàn)代電子技術(shù)，2015，38（4）：102?105.

SUI Qiaoyan， DONG Hongwei， LIU Lei. 3?D point cloud face reconstruction with binocular system [J]. Modern electronics technique， 2015， 38（4）： 102?105.endprint