林曉菊

摘 ?要： 為了解決傳統(tǒng)的人體運(yùn)動(dòng)軌跡跟蹤系統(tǒng)在進(jìn)行水下跟蹤時(shí)模型三維重建時(shí)間長(zhǎng)，得到的跟蹤軌跡與人體實(shí)際運(yùn)動(dòng)軌跡不符的問題，基于三幀差法設(shè)計(jì)一種新的人體運(yùn)動(dòng)軌跡跟蹤系統(tǒng)。該系統(tǒng)針對(duì)水下環(huán)境進(jìn)行深入研究，在硬件架構(gòu)中設(shè)立了初始化層、運(yùn)動(dòng)檢測(cè)層和人體跟蹤層，并構(gòu)建三維人體模型、運(yùn)動(dòng)特征提取模塊和運(yùn)動(dòng)特征分割模塊，以此確定人體的邊界特征、灰度特征、輪廓特征和膚色特征。引用三幀差法設(shè)立系統(tǒng)軟件流程，共分為圖像檢測(cè)、差分圖像獲得、閾值處理、連通性分析、圖像判別五步。為檢測(cè)跟蹤系統(tǒng)效果，與傳統(tǒng)跟蹤系統(tǒng)進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果表明，基于三幀差法設(shè)計(jì)的人體水下運(yùn)動(dòng)軌跡跟蹤系統(tǒng)可以在短時(shí)間內(nèi)構(gòu)建出三維模型，繪制的跟蹤軌跡與實(shí)際運(yùn)行軌跡相似度高于傳統(tǒng)跟蹤系統(tǒng)。

關(guān)鍵詞： 水下跟蹤系統(tǒng); 圖像檢測(cè); 差分圖像獲得; 圖像判別; 人體運(yùn)動(dòng)軌跡; 運(yùn)動(dòng)軌跡跟蹤

中圖分類號(hào)： TN02?34; TP391.4 ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）13?0051?05

Design of human body underwater motion trajectory tracking system

based on three?frame difference method

LIN Xiaoju

（Guizhou Institute of Technology， Guiyang 550000， China）

Abstract： The traditional human motion trajectory tracking system used for underwater tracking has long 3D model reconstruction time， and the obtained tracking trajectory cant match the actual motion trajectory of the human body. A new human motion trajectory tracking system is designed on the basis of three?frame difference method. The system is deeply researched according to the underwater environment. The initialization layer， motion detection layer and human tracking layer are set up in hardware architecture. The three?dimensional human body model， motion feature extraction module and motion feature segmentation module are constructed to determine the boundary features， grayscale features， contour features and skin color features of the human body. The system software flow is set up by three?frame difference method， which is divided into the steps of image detection， differential image acquisition， threshold processing， connectivity analysis and image discrimination. In order to detect the effect of the tracking system， the proposed tracking system is compared with traditional tracking systems by means of experiment. The results show that the human underwater motion trajectory tracking system based on three?frame difference method can construct a three?dimensional model in a short time， and the similarity of the drawn tracking trajectory and actual running trajectory is higher than that of traditional tracking systems.

Keywords： underwater tracking system; image detection; differential image acquisition; image discrimination; human motion trajectory; motion trajectory tracking

0 ?引 ?言

近年來，人體運(yùn)動(dòng)軌跡成為重點(diǎn)研究對(duì)象，在智能監(jiān)控、體育運(yùn)動(dòng)分析、動(dòng)畫設(shè)計(jì)等領(lǐng)域都有著重要應(yīng)用[1]。人體運(yùn)動(dòng)軌跡跟蹤是一個(gè)復(fù)雜的問題，而水下跟蹤更加復(fù)雜，目前比較有效的水下跟蹤系統(tǒng)是利用特殊光學(xué)標(biāo)記的跟蹤系統(tǒng)，該系統(tǒng)可以根據(jù)人體在水下反應(yīng)的光線進(jìn)行跟蹤[2]。然而這種方法造價(jià)昂貴，需要使用大量昂貴設(shè)備，操作過于繁瑣，很難從真正意義上推廣使用[3]。

作為兩幀差法的改進(jìn)算法，三幀差法能夠連續(xù)截取三幀視頻進(jìn)行差分運(yùn)算，在消除運(yùn)動(dòng)背景之后，精確地提取出運(yùn)動(dòng)目標(biāo)的輪廓信息[4]。三幀差算法會(huì)先計(jì)算出相鄰兩幀的差分圖像，在差分圖像中選取合適的閾值，通過二值化處理得到二值化圖像。每一個(gè)像素點(diǎn)得到的二值圖像利用邏輯運(yùn)算尋找出共同部分，從而確定運(yùn)動(dòng)目標(biāo)的輪廓信息[5]。

綜上所述，本文基于三幀差法設(shè)計(jì)了一種新的人體運(yùn)動(dòng)軌跡跟蹤系統(tǒng)，同時(shí)使用人機(jī)交互技術(shù)和智能監(jiān)控技術(shù)，能夠識(shí)別大量基礎(chǔ)工作，并且對(duì)人的行為進(jìn)行自動(dòng)監(jiān)視和追蹤[6]。本文設(shè)計(jì)的運(yùn)動(dòng)軌跡跟蹤系統(tǒng)在傳統(tǒng)系統(tǒng)上進(jìn)行了加強(qiáng)，對(duì)硬件和軟件進(jìn)行優(yōu)化設(shè)計(jì)，加入了多種姿態(tài)參數(shù)，能夠綜合分析系統(tǒng)提煉的跟蹤數(shù)據(jù)，引進(jìn)三維人體模型，使跟蹤工作變得更加簡(jiǎn)單，提高定位的精準(zhǔn)性。多個(gè)攝像機(jī)同時(shí)在水下拍攝視頻，拍攝結(jié)果統(tǒng)一輸入到中心系統(tǒng)中，借助計(jì)算機(jī)視覺技術(shù)提取有效的運(yùn)動(dòng)參數(shù)和結(jié)構(gòu)信息，從而得到更加可靠的運(yùn)動(dòng)模型。本文設(shè)計(jì)的跟蹤系統(tǒng)不需要引入過于復(fù)雜的設(shè)備，只需要使用普通的攝像機(jī)就可以完成跟蹤任務(wù)，防水處理使它即使面對(duì)復(fù)雜的水下環(huán)境也可以完成跟蹤。

1 ?人體水中運(yùn)動(dòng)軌跡跟蹤系統(tǒng)硬件設(shè)計(jì)

本文基于三幀差法設(shè)計(jì)的人體水中運(yùn)動(dòng)軌跡跟蹤系統(tǒng)在硬件中引入了人體三維重建模型，通過重建技術(shù)反映人體在水下的運(yùn)動(dòng)狀況，三維重建精度高，跟蹤準(zhǔn)確性強(qiáng)。

1.1 ?人體水中運(yùn)動(dòng)軌跡跟蹤系統(tǒng)硬件總結(jié)構(gòu)設(shè)計(jì)

本文設(shè)計(jì)的人體水中運(yùn)動(dòng)軌跡跟蹤系統(tǒng)硬件共有三層，分別為初始化層、運(yùn)動(dòng)檢測(cè)層和人體跟蹤層，每層負(fù)責(zé)的工作不同。初始化層負(fù)責(zé)將攝像機(jī)定位，并將所有視頻數(shù)據(jù)初始化處理;運(yùn)動(dòng)檢測(cè)層能夠提取運(yùn)動(dòng)特征參數(shù)，監(jiān)測(cè)運(yùn)動(dòng)區(qū)域;人體跟蹤層內(nèi)部設(shè)立追蹤模型和濾波框架，以二維方式和三維方式輸出跟蹤結(jié)果[7]。

系統(tǒng)硬件選用的處理器為PIV處理器，工作頻率為2.4 GHz，處理一幀圖像的時(shí)間大約為2 min，拍攝所用的PC機(jī)為DDR PC機(jī)，存儲(chǔ)內(nèi)存高達(dá)256 MB。由于在跟蹤過程中會(huì)產(chǎn)生一定的誤差，所以設(shè)立了優(yōu)化跟蹤框架，使得到的輪廓特征和邊界特征參數(shù)都可以在優(yōu)化特征框架中進(jìn)行優(yōu)化處理，確保跟蹤系統(tǒng)的工作性能[8]。由于水下場(chǎng)景背景復(fù)雜，提取邊界特征十分困難，所以引入膚色約束特征，利用多攝像機(jī)完成跟蹤工作，使跟蹤系統(tǒng)在計(jì)算機(jī)中重建的結(jié)果與人在水下的真實(shí)運(yùn)動(dòng)軌跡相符。

基于三幀差法設(shè)計(jì)的人體水中運(yùn)動(dòng)軌跡跟蹤系統(tǒng)硬件總體結(jié)構(gòu)如圖1所示。

分析圖1可知，初始化層內(nèi)部擁有一個(gè)多關(guān)節(jié)描述的人體模型，該模型能夠精準(zhǔn)地模仿人體在水下肢體的真實(shí)行動(dòng)，并且能夠?qū)z像機(jī)采集到的視頻數(shù)據(jù)進(jìn)行標(biāo)定，計(jì)算不同視角反射出來的投影矩陣[9]。

運(yùn)動(dòng)檢測(cè)層能夠?qū)⑦\(yùn)動(dòng)區(qū)域的前景和背景分割出來，區(qū)分檢測(cè)，提取圖像底層特征，使運(yùn)動(dòng)特征和運(yùn)動(dòng)模型呈現(xiàn)對(duì)應(yīng)關(guān)系，運(yùn)動(dòng)檢測(cè)模塊會(huì)特別區(qū)分膚色區(qū)域，將膚色區(qū)域作為重點(diǎn)跟蹤對(duì)象。

圖1 ?人體水中運(yùn)動(dòng)軌跡跟蹤系統(tǒng)硬件總體結(jié)構(gòu)

人體跟蹤層內(nèi)部設(shè)有多個(gè)圖像坐標(biāo)系，可以根據(jù)視角不同建立不同的模型圖像，優(yōu)化粒子濾波框架會(huì)自動(dòng)求解人體運(yùn)動(dòng)姿態(tài)，輸出結(jié)果分為二維圖形和三維模型兩種[10]。

針對(duì)系統(tǒng)硬件中的主要功能模塊進(jìn)行研究。

1.2 ?三維人體模型設(shè)計(jì)

為了能夠更好地使用提取出來的參數(shù)，建立三維人體模型，模型分為兩部分：第一部分能夠表示運(yùn)動(dòng)學(xué)特性，被稱為骨架結(jié)構(gòu);第二部分能夠表示人體運(yùn)動(dòng)的外觀特性，被稱為身體外觀。骨架結(jié)構(gòu)的各個(gè)關(guān)節(jié)之間存在不同的連接關(guān)系，本文引用解剖學(xué)理念在骨架關(guān)節(jié)上設(shè)立節(jié)點(diǎn)，通過改變節(jié)點(diǎn)的平移向量和旋轉(zhuǎn)向量來改變骨架結(jié)構(gòu)的運(yùn)動(dòng)方式。骨架結(jié)構(gòu)內(nèi)部設(shè)立24個(gè)自由度，調(diào)整參數(shù)可改變關(guān)節(jié)中的自由度。

圖2 ?人體骨架結(jié)構(gòu)

在研究出骨架結(jié)構(gòu)后，便可以定義附加在骨架結(jié)構(gòu)上的外觀模型，外觀模型用來描述人體外形，為更加貼近人體形態(tài)，要利用多個(gè)投影得來的圖像，通過不同形狀反映人體器官。本文設(shè)立的人體外觀模型如圖3所示。

圖3 ?人體外觀模型

1.3 ?運(yùn)動(dòng)特征提取模塊設(shè)計(jì)

本文利用攝影機(jī)來定位運(yùn)動(dòng)特征，攝像機(jī)和攝像機(jī)之間的距離比較遠(yuǎn)，所以不能直接使用標(biāo)定板得到外部參數(shù)。因此，本文在傳統(tǒng)系統(tǒng)的基礎(chǔ)上進(jìn)行改進(jìn)，以標(biāo)定的方法提取運(yùn)動(dòng)特征，在保證精度的同時(shí)提高提取速度[11]。標(biāo)定模塊擁有4個(gè)定標(biāo)圓盤，通過這4個(gè)圓盤確定出一個(gè)統(tǒng)一的坐標(biāo)系，為方便標(biāo)定，圓盤處于同一平面，所有的攝影機(jī)都要提供相同的參數(shù)。4個(gè)圓盤的擺放方式為順時(shí)針擺放，擺放圖形為四邊形[ABCD]，將圓盤A和圓盤B連接，并設(shè)立線段[AB]所在的射線為[x]軸，沿著[x]軸旋轉(zhuǎn)90°得到的射線為[y]軸，垂直于[x]軸平面并指向地面的軸為[z]軸。沿著[xy]軸攝像機(jī)圓盤的擺放方式如圖4所示。

圖4 ?[xy]軸攝像機(jī)圓盤擺放方式

1.4 ?運(yùn)動(dòng)特征分割模塊設(shè)計(jì)

利用三幀差法提取出來的視頻圖像為像素點(diǎn)集合，如果直接與三維模型進(jìn)行匹配，則難以匹配成功，所以提取的運(yùn)動(dòng)特征要與人體模型建立對(duì)應(yīng)關(guān)系。使用切割法和圖像融合法將人體從圖像中分割出來，并將外輪廓和邊界提取出來，分析灰度值，判斷梯度和不同的顏色特征，結(jié)合研究使分割結(jié)果更加可靠[12]。此外，加入圖像切割器，使系統(tǒng)在不影響整體分割結(jié)果的前提下對(duì)錯(cuò)誤的像素點(diǎn)進(jìn)行修正，降低噪聲，確保工作過程的穩(wěn)定性。

分割的主要特征有圖像的灰度特征、圖像的邊界特征、圖像的外輪廓特征以及圖像的膚色特征。提取的圖像特征如圖5所示。

圖5 ?提取的圖像特征

灰度特征是可以直接作為匹配的重要特征值，每一個(gè)三維模型都會(huì)對(duì)應(yīng)一個(gè)灰度特征模板。邊界特征通過視頻投影得到，分析人體在水下各段肢體的邊界從而得到邊界特征。外輪廓特征的提取可以幫助跟蹤系統(tǒng)不受到圖像紋理和顏色的干擾，魯棒性更強(qiáng)。膚色特征作為約束特征，可以降低跟蹤系統(tǒng)在水下跟蹤的工作難度。

2 ?人體水中運(yùn)動(dòng)軌跡跟蹤系統(tǒng)軟件設(shè)計(jì)

在設(shè)計(jì)出硬件結(jié)構(gòu)之后，對(duì)軟件進(jìn)行設(shè)計(jì)。由于水下采集的視頻序列具有連續(xù)性的特點(diǎn)，所以本文引用的計(jì)算方法為三幀差法，該算法能夠在相鄰兩幀圖像中建立灰度差，通過分析灰度差之間的絕對(duì)值是否超過閾值，判斷運(yùn)動(dòng)目標(biāo)，從而得到更加精準(zhǔn)的跟蹤結(jié)果。對(duì)于運(yùn)動(dòng)較快的物體，三幀差法尤其適用[13]?；谌龓罘ǖ娜梭w水中運(yùn)動(dòng)軌跡跟蹤系統(tǒng)軟件流程圖如圖6所示。

圖6 ?三幀差法跟蹤系統(tǒng)軟件流程圖

計(jì)算時(shí)，需要格外注意閾值[T]的選擇，如果閾值數(shù)值選擇過小，那么將會(huì)難以抑制圖像中的噪聲干擾;如果閾值數(shù)值選擇過大，部分目標(biāo)信息可能會(huì)被掩蓋。當(dāng)場(chǎng)景光線發(fā)生改變時(shí)，閾值[T]的數(shù)值也有可能發(fā)生改變。

3 ?實(shí)驗(yàn)結(jié)果對(duì)比與分析

3.1 ?實(shí)驗(yàn)?zāi)康?/p>

為了檢測(cè)本文研究的基于三幀差法的人體水中運(yùn)動(dòng)軌跡跟蹤系統(tǒng)的實(shí)際效果，與傳統(tǒng)跟蹤預(yù)測(cè)系統(tǒng)進(jìn)行對(duì)比。

3.2 ?實(shí)驗(yàn)參數(shù)設(shè)置

設(shè)置實(shí)驗(yàn)參數(shù)如表1所示。

3.3 ?實(shí)驗(yàn)結(jié)果與分析

根據(jù)上述參數(shù)進(jìn)行實(shí)驗(yàn)，選用本文研究的基于三幀差法的人體水中運(yùn)動(dòng)軌跡跟蹤系統(tǒng)和傳統(tǒng)跟蹤系統(tǒng)，對(duì)同一個(gè)人在水中的運(yùn)動(dòng)軌跡進(jìn)行跟蹤，記錄跟蹤軌跡的三維重建時(shí)間以及重建的跟蹤軌跡，根據(jù)得到的結(jié)果對(duì)兩種系統(tǒng)的性能進(jìn)行具體分析。

得到的實(shí)驗(yàn)結(jié)果如下所示：

1） 模型三維重建時(shí)間結(jié)果對(duì)比

分析表2可知，根據(jù)水下環(huán)境的復(fù)雜程度，本文分為五個(gè)等級(jí)，等級(jí)A代表水下環(huán)境最為良好，跟蹤起來也相對(duì)簡(jiǎn)單，等級(jí)E代表水下環(huán)境最為復(fù)雜，跟蹤起來相對(duì)困難。隨著水下環(huán)境復(fù)雜度的增加，跟蹤系統(tǒng)構(gòu)建三維模型的時(shí)間也在不斷增加，但是本文跟蹤系統(tǒng)花費(fèi)時(shí)間遠(yuǎn)遠(yuǎn)小于傳統(tǒng)系統(tǒng)花費(fèi)時(shí)間。

表1 ?實(shí)驗(yàn)參數(shù)表

表2 ?重建時(shí)間實(shí)驗(yàn)對(duì)比結(jié)果

2） 人體運(yùn)動(dòng)軌跡跟蹤結(jié)果對(duì)比

圖7 ?人體運(yùn)動(dòng)軌跡跟蹤結(jié)果

觀察圖7可知，在相同的跟蹤時(shí)間內(nèi)，本文預(yù)測(cè)系統(tǒng)得到的運(yùn)動(dòng)軌跡與實(shí)際運(yùn)動(dòng)軌跡十分相符，出現(xiàn)多個(gè)重合點(diǎn)，而傳統(tǒng)預(yù)測(cè)系統(tǒng)得到的運(yùn)動(dòng)軌跡與實(shí)際運(yùn)動(dòng)軌跡相差很大。由此可見，本文設(shè)計(jì)的預(yù)測(cè)系統(tǒng)構(gòu)建模型時(shí)間更短，預(yù)測(cè)結(jié)果準(zhǔn)確性更高，更適合在水下環(huán)境預(yù)測(cè)人體運(yùn)動(dòng)軌跡。

4 ?結(jié) ?語

本文針對(duì)水下環(huán)境進(jìn)行重點(diǎn)研究，利用三幀差法設(shè)計(jì)并實(shí)現(xiàn)了一種適應(yīng)于水下的人體運(yùn)動(dòng)軌跡跟蹤系統(tǒng)，系統(tǒng)內(nèi)部設(shè)計(jì)了多個(gè)攝像機(jī)，能夠精準(zhǔn)全面地提取水下人體的運(yùn)動(dòng)特征。引用三幀差法之后，系統(tǒng)的魯棒性得以增強(qiáng)。通過傳統(tǒng)系統(tǒng)和本文設(shè)計(jì)的系統(tǒng)在水下的跟蹤實(shí)驗(yàn)對(duì)比結(jié)果可知，基于三幀差法設(shè)立的系統(tǒng)能夠較為精準(zhǔn)地跟蹤到人體在水中的運(yùn)動(dòng)軌跡，并且在短時(shí)間內(nèi)進(jìn)行三維重建，針對(duì)錯(cuò)誤參數(shù)進(jìn)行自主恢復(fù)，在水下運(yùn)動(dòng)分析以及動(dòng)畫制作等領(lǐng)域都有著廣闊的發(fā)展前景。