尹丹丹,劉 強(qiáng),侯曉凌

(1. 鄭州科技學(xué)院信息化建設(shè)與管理中心,河南 鄭州 450064;2. 鄭州科技學(xué)院信息工程學(xué)院,河南 鄭州 450064;3. 山西大同大學(xué)計(jì)算機(jī)與網(wǎng)絡(luò)工程學(xué)院,山西 大同 037009)

1 引言

當(dāng)前,目標(biāo)跟蹤技術(shù)被廣泛應(yīng)用于交通指導(dǎo)[1]、人機(jī)交互、虛擬影像等領(lǐng)域。為了更全面發(fā)揮目標(biāo)跟蹤技術(shù)的應(yīng)用價(jià)值,對虛擬三維空間VR成像小區(qū)域目標(biāo)跟蹤方法提出了更高的要求,不僅要求較高的小區(qū)域范圍內(nèi)目標(biāo)跟蹤效率,還要求其具有良好的精準(zhǔn)性[2],因此研究虛擬三維空間VR成像小區(qū)域目標(biāo)跟蹤方法具有重要意義。

陳富健[3]等人將反遮擋機(jī)制引入到虛擬三維空間VR成像小區(qū)域目標(biāo)跟蹤過程中,首先通過小區(qū)域目標(biāo)圖像的置信度峰值與變化趨勢設(shè)置不同的跟蹤模式,然后將對應(yīng)的跟蹤策略輸入到孿生時(shí)間神經(jīng)網(wǎng)絡(luò)模型中,最后通過模型學(xué)習(xí)訓(xùn)練輸出結(jié)果,完成虛擬三維空間VR成像小區(qū)域目標(biāo)的跟蹤。該方法沒有消除圖像中的噪聲,導(dǎo)致跟蹤精度低、圖像處理效果差。湯張泳[4]等人使用殘差神經(jīng)網(wǎng)絡(luò)模型提取虛擬三維空間VR圖像的深度特征,然后針對不同的特征從圖像中分割不同位置的信息作為搜索區(qū)域,最后引入自適應(yīng)特征融合算法,利用自適應(yīng)權(quán)重融合出所有位置信息的分布圖,完成虛擬三維空間VR成像小區(qū)域目標(biāo)的跟蹤。該方法沒有對圖像降噪,也沒有利用濾波器剔除背景噪聲,導(dǎo)致圖像處理效果差、跟蹤成功率低。王美霞[5]等人采用灰度化算法處理虛擬三維空間VR成像小區(qū)域目標(biāo)圖像,然后采用均值濾波算法提升圖像質(zhì)量,最后利用虛擬-現(xiàn)實(shí)技術(shù)計(jì)算出目標(biāo)圖像的三維坐標(biāo)值,完成虛擬三維空間VR成像小區(qū)域目標(biāo)的跟蹤。該方法沒有構(gòu)建約束函數(shù),導(dǎo)致算法的跟蹤效率較低。

VR圖像的單位沉浸性、交互性、智能化是區(qū)別于二維圖像的新特征,圖像所在三維空間的立體化也導(dǎo)致了圖像目標(biāo)具有較高的覆蓋率,目標(biāo)跟蹤難度較大。為了解決上述方法中存在的問題,提出基于背景約束與卷積特征的虛擬三維空間VR成像小區(qū)域目標(biāo)跟蹤方法。

2 成像過程與圖像降噪

2.1 虛擬三維空間VR成像過程

虛擬三維空間VR成像過程對小區(qū)域目標(biāo)的跟蹤具有重要意義。利用空間自旋算法獲取圖像,具體步驟如下:

1)引入三維成像自旋模型[6],如圖1所示。由于目標(biāo)圖像與模型的距離存在一定差異,所以利用干涉處理算法[7]提取目標(biāo)圖像的位置信息,然后融入三維立體算法,計(jì)算出目標(biāo)圖像的時(shí)變位置坐標(biāo),公式如下所示

圖1 三維成像自旋模型

(1)

式中,φ代表調(diào)整參數(shù);M、N代表兩個(gè)不同的目標(biāo)圖像;t表示時(shí)刻;S表示距離:σ為干涉處理系數(shù)。

2)根據(jù)得到的時(shí)變位置坐標(biāo)可以獲取目標(biāo)圖像不同時(shí)刻的相位項(xiàng)差,公式如下所示

(2)

3)根據(jù)式(2)可以推導(dǎo)出目標(biāo)圖像之間的參考距離,由于相位項(xiàng)差不是固定不變的,因此為了避免產(chǎn)生相位模糊現(xiàn)象,利用如下公式保證相位項(xiàng)差固定。

(3)

其中,D表示目標(biāo)圖像點(diǎn)距離X坐標(biāo)軸的距離。

4)相位項(xiàng)差固定后,將目標(biāo)圖像在X軸和Z軸的時(shí)變位置坐標(biāo)重構(gòu)。通過將不同坐標(biāo)軸的時(shí)變坐標(biāo)結(jié)合即可獲得虛擬三維空間VR圖像。

(4)

2.2 圖像降噪

利用空間自旋算法獲取的虛擬三維空間VR圖像,其中存在大量椒鹽噪聲和高斯噪聲,為了避免噪聲對跟蹤結(jié)果產(chǎn)生干擾,利用中值濾波和小波系數(shù)變化消除圖像中的噪聲[8],具體步驟如下:

1)椒鹽噪聲的存在會(huì)隨機(jī)改變虛擬三維空間VR圖像的像素值,基于中值濾波和小波系數(shù)變化降噪法,首先引入4×4中值濾波,大范圍去除圖像中的椒鹽噪聲。

2)引入haar小波提升模型。利用模型的可逆轉(zhuǎn)變化得到提升小波系數(shù),實(shí)現(xiàn)虛擬三維空間VR圖像的分解[9],將圖像分為高頻圖像和低頻圖像。公式如下所示:

(5)

式中,e代表實(shí)際值與預(yù)測值之間的誤差;u表示的是圖像低頻區(qū)域;k表示虛擬三維空間圖像的像素點(diǎn);l表示的是預(yù)測函數(shù)。

3)高頻圖像可以清晰體現(xiàn)虛擬三維空間VR圖像的紋理特征,因此高斯噪聲主要存在于高頻圖像中。利用高頻圖像的小波系數(shù)來預(yù)測噪聲標(biāo)準(zhǔn)方差,然后利用小波系數(shù)降噪法消除高頻圖像中的高斯噪聲,公式如下所示

(6)

其中,η代表噪聲標(biāo)準(zhǔn)差;median為中間值;Q表示小波系數(shù);A、B分別表示兩個(gè)不同圖像的尺寸。

4)低頻圖像可以表達(dá)虛擬三維空間VR圖像的輪廓特征,所以散斑噪聲大部分存在于其中,將變化后的低頻圖像通過小波系數(shù)實(shí)行閾值量化處理,公式如下所示,其中V代表閾值函數(shù)。

(7)

5)將處理后的高頻圖像與低頻圖像通過小波系數(shù)重新融合[10]到一起,獲得去除噪聲后的虛擬三維空間VR圖像。

3 基于背景約束與卷積特征的圖像小區(qū)域目標(biāo)跟蹤

在濾波器訓(xùn)練過程中引入背景約束[11],然后通過設(shè)置卷積特征濾波器與峰值信號比檢測方法,完成目標(biāo)跟蹤,具體步驟如下所示;

1)首先設(shè)置一個(gè)目標(biāo)響應(yīng)器,然后將降噪后的虛擬三維空間目標(biāo)圖像輸入到其中求解相關(guān)濾波器算子,公式如下所示

(8)

式中,φ代表相關(guān)濾波器算子;μ為擬合正則項(xiàng);?表示相關(guān)濾波器自參數(shù);F為目標(biāo)圖像局部特征;g為高斯目標(biāo)回應(yīng);c為自變量集合;h表示濾波算子;⊙表示相關(guān)濾波運(yùn)算。

2)為了抑制背景信息,以原目標(biāo)函數(shù)為基礎(chǔ),構(gòu)建新的背景約束正則函數(shù)P[12],公式如下所示

(9)

3)引入目標(biāo)函數(shù),將其與式(9)中的約束正則函數(shù)組合[13],背景圖形樣本的噪聲響應(yīng)值計(jì)算式如下所示

(10)

4)將目標(biāo)與背景區(qū)域的特征展開[14],用矩陣模型G表達(dá),公式如下所示

(11)

5)根據(jù)矩陣模型,將目標(biāo)函數(shù)轉(zhuǎn)換成對濾波器自參數(shù)求導(dǎo)的過程,當(dāng)導(dǎo)數(shù)為零時(shí),濾波器自參數(shù)可用如下公式表示

(12)

式中,U表示導(dǎo)數(shù);J表示響應(yīng)矩陣。

6)利用卷積定理,在頻域中對濾波器的元素求解,即通過哈達(dá)瑪原理,使其維度與背景區(qū)域的特征維度相呼應(yīng),此時(shí)濾波器在任意維度的表達(dá)式C、Ch可用如下公式表示

(13)

7)通過響應(yīng)圖的融合[15]計(jì)算出相應(yīng)融合結(jié)果,得到最終響應(yīng)結(jié)果,然后在最大響應(yīng)處找到目標(biāo)圖像位置,更新濾波器參數(shù),完成虛擬三維空間VR成像小區(qū)域目標(biāo)的跟蹤,具體公式如下所示

(14)

其中,R表示最終響應(yīng);w為更新后的濾波器參數(shù);ρ為學(xué)習(xí)率;r表示濾波響應(yīng)系數(shù)。

4 實(shí)驗(yàn)與分析

為了驗(yàn)證基于背景約束與卷積特征的虛擬三維空間VR成像小區(qū)域目標(biāo)跟蹤方法的整體有效性,需要對其做如下測試。

將算法的跟蹤精度、跟蹤效率、成功率和圖像處理效果作為指標(biāo),采用基于背景約束與卷積特征的虛擬三維空間VR成像小區(qū)域目標(biāo)跟蹤方法、文獻(xiàn)[4]提出的基于自適應(yīng)特征融合的圖像目標(biāo)跟蹤方法和文獻(xiàn)[5]提出的基于虛擬現(xiàn)實(shí)技術(shù)的圖像目標(biāo)跟蹤方法做出對比測試。

1)跟蹤精度驗(yàn)證

在虛擬三維空間VR成像小區(qū)域目標(biāo)跟蹤結(jié)果中,采用位置跟蹤誤差作為評價(jià)各方法跟蹤精度的指標(biāo)。位置跟蹤誤差數(shù)值越大,表明方法的跟蹤精度越低;位置跟蹤誤差數(shù)值越小,表明方法的跟蹤精度越高。測試結(jié)果如圖2所示。

圖2 不同算法的跟蹤位置誤差

由圖2可知,對于虛擬三維空間VR成像小區(qū)域目標(biāo)的跟蹤,研究方法的跟蹤位置誤差數(shù)值遠(yuǎn)低于文獻(xiàn)方法的跟蹤位置誤差。說明研究方法的跟蹤精度更高。并且隨著實(shí)驗(yàn)次數(shù)的增加,研究方法的跟蹤位置誤差數(shù)值比較穩(wěn)定,沒有出現(xiàn)明顯波動(dòng),而文獻(xiàn)方法的跟蹤誤差精度上下波動(dòng)較大,說明研究方法跟蹤精度的穩(wěn)定性優(yōu)于文獻(xiàn)算法。

2)跟蹤效率驗(yàn)證

跟蹤效率是評價(jià)算法效率的主要指標(biāo),效率越快,表明算法的效率越高;效率越慢,表明算法的效率越低。采用不同方法跟蹤100幅虛擬三維空間VR成像小區(qū)域目標(biāo)圖像,對比不同方法的跟蹤效率。不同方法的測試結(jié)果如表1所示。

表1 不同算法的跟蹤效率

分析表1中的數(shù)據(jù)可知,研究方法的跟蹤效率在16幅·s-1附近波動(dòng),文獻(xiàn)方法的跟蹤效率分別在35幅·s-1和29幅·s-1附近波動(dòng)。通過對比發(fā)現(xiàn),在不同實(shí)驗(yàn)序號下研究方法的跟蹤效率均高于文獻(xiàn)方法的跟蹤效率,表明研究方法的跟蹤效率更高。

3)圖像目標(biāo)跟蹤成功率驗(yàn)證

在上述實(shí)驗(yàn)的環(huán)境下,對比不同方法和基于虛擬現(xiàn)實(shí)技術(shù)的圖像目標(biāo)跟蹤方法跟蹤虛擬三維空間VR成像小區(qū)域目標(biāo)圖像的成功率,測試結(jié)果用圖3表示。

圖3 不同算法的成功率

分析圖3可知,針對虛擬三維空間VR成像小區(qū)域目標(biāo)的跟蹤,在不同實(shí)驗(yàn)序號下,研究方法的跟蹤成功率均高于當(dāng)前已有的兩種方法的跟蹤成功率。并且研究方法的跟蹤成功率穩(wěn)定性強(qiáng)于文獻(xiàn)方法的跟蹤成功率。

4)圖像處理主觀效果可視化驗(yàn)證

為了體現(xiàn)實(shí)驗(yàn)的直觀性,采用不同方法處理圖4(a)中的虛擬三維空間VR圖像,不同方法的處理結(jié)果分別如圖4(b)、圖4(c)和圖4(d)所示。

圖4 不同算法處理圖像效果

分析圖4可知,針對虛擬三維空間VR成像小區(qū)域目標(biāo)圖像的處理,研究方法處理的圖像清晰、視覺效果好;文獻(xiàn)方法處理的圖像亮度值低;基于虛擬現(xiàn)實(shí)技術(shù)的圖像目標(biāo)跟蹤方法處理的圖像細(xì)節(jié)失真,表明研究方法處理圖像效果強(qiáng)于文獻(xiàn)方法。研究方法在對虛擬三維空間VR成像小區(qū)域目標(biāo)跟蹤過程中,采用中值濾波和小波系數(shù)變化消除圖像中的噪聲,進(jìn)而在跟蹤過程中不受噪聲的影響,表明研究方法具有良好的抗噪聲能力。

5 結(jié)束語

目前虛擬三維空間VR成像小區(qū)域目標(biāo)跟蹤算法存在跟蹤精度低、效率慢以及圖像處理后細(xì)節(jié)保留效果差等問題,為此提出基于背景約束與卷積特征的虛擬三維空間VR成像小區(qū)域目標(biāo)跟蹤方法。該算法首先獲取虛擬三維空間VR圖像,然后對圖像作出降噪處理,避免噪聲在跟蹤過程中產(chǎn)生干擾,進(jìn)而解決了傳統(tǒng)方法中存在的問題,提高了算法的跟蹤精度和跟蹤效率的同時(shí),也提升了算法的成功率和圖像處理效果。提高了圖像的保真度、保證了圖像質(zhì)量,同時(shí)提升了壓縮效率,為虛擬三維空間VR成像小區(qū)域目標(biāo)的跟蹤奠定了基礎(chǔ)。