單盛

基于虛擬現(xiàn)實(shí)的復(fù)雜場景非顯著目標(biāo)跟蹤方法研究

單盛

（安徽電子信息職業(yè)技術(shù)學(xué)院 軟件工程學(xué)院，安徽 蚌埠 233000）

為避免復(fù)雜場景中的干擾因素影響非顯著目標(biāo)跟蹤準(zhǔn)確度，提出基于虛擬現(xiàn)實(shí)的復(fù)雜場景非顯著目標(biāo)跟蹤方法。通過中值濾波設(shè)置圖像窗口大小，統(tǒng)計(jì)相鄰像素點(diǎn)最大中值，定義復(fù)雜場景特征區(qū)間?；谔摂M現(xiàn)實(shí)技術(shù)轉(zhuǎn)換跟蹤平面三維信息，利用正交原理計(jì)算空間位置，對應(yīng)區(qū)間目標(biāo)坐標(biāo)。設(shè)定模糊邏輯集合，采用最大隸屬度量方法構(gòu)建隸屬度函數(shù)，在復(fù)雜場景內(nèi)跟蹤非顯著目標(biāo)，完成非顯著目標(biāo)跟蹤。設(shè)定多組目標(biāo)跟蹤場景，分別在影響因素較少、光感條件變化強(qiáng)烈、快速運(yùn)動過程中和遮擋干擾背景五組條件下，測試非顯著目標(biāo)跟蹤效果。實(shí)驗(yàn)結(jié)果表明，所提方法在上述設(shè)定中均可以完成準(zhǔn)確跟蹤，定位得到目標(biāo)物。

虛擬現(xiàn)實(shí)；復(fù)雜場景；非顯著目標(biāo)；目標(biāo)跟蹤

在目標(biāo)跟蹤過程中，極易出現(xiàn)目標(biāo)被遮擋等情況，并在較為復(fù)雜的環(huán)境中，很難實(shí)現(xiàn)準(zhǔn)確獲取定位目標(biāo)。對于國內(nèi)外的目標(biāo)跟蹤技術(shù)研究，美國和英國成立了專門的監(jiān)控部門，對全國范圍內(nèi)的人體和事物進(jìn)行跟蹤，不僅能夠精準(zhǔn)地識別人體及部分人體部位，還能夠定位到具體位置以及追蹤其歷史位置[1]。

目標(biāo)跟蹤作為監(jiān)控領(lǐng)域內(nèi)的一項(xiàng)基本技術(shù)，能夠準(zhǔn)確地定位運(yùn)動對象，并通過多種運(yùn)算方法，獲取目標(biāo)點(diǎn)與監(jiān)測點(diǎn)的距離，完成有效監(jiān)控。隨著計(jì)算機(jī)的發(fā)展，國內(nèi)從收錄發(fā)達(dá)國家的優(yōu)秀跟蹤方法，到自主研發(fā)新的目標(biāo)跟蹤方法，目前在具體目標(biāo)追蹤和定位上，已經(jīng)具備了較成熟的處理算法，包括概率統(tǒng)計(jì)和分類器算法以及視覺處理算法等。不論是哪一種算法，都可以對實(shí)時跟蹤場景內(nèi)的目標(biāo)，從局部板塊中匹配到所需信息，并具體描述其行動軌跡[2]。但隨著目標(biāo)場景的不斷變化以及目標(biāo)特征的復(fù)雜化，在相似背景條件下和光照影響下，難以呈現(xiàn)出精準(zhǔn)的位置預(yù)測結(jié)果。

虛擬現(xiàn)實(shí)技術(shù)能在虛擬世界中，交互現(xiàn)實(shí)世界中的事物，并通過計(jì)算機(jī)對物體的位置和角度特征實(shí)現(xiàn)技術(shù)增強(qiáng)[3]。該技術(shù)逐一疊加虛擬場景和顯示場景，在虛擬和現(xiàn)實(shí)的融合中，利用虛擬技術(shù)生成真實(shí)物體的虛擬圖像，分析和處理虛擬圖像，還原現(xiàn)實(shí)世界中目標(biāo)的具體位置。本文以虛擬現(xiàn)實(shí)技術(shù)為前提，提出復(fù)雜場景下非顯著目標(biāo)的跟蹤方法，為準(zhǔn)確定位目標(biāo)提供理論參考。

1 中值濾波定義復(fù)雜場景特征區(qū)間

濾波器能夠排序圖像窗口的像素，在濾波器選擇過后，圖像當(dāng)前窗口內(nèi)的區(qū)域像素點(diǎn)，可以通過排列順序所決定[4]。一般在非線性濾波器中，中值濾波可以作為較為常見的排序標(biāo)準(zhǔn)，其在復(fù)雜場景非顯著目標(biāo)跟蹤過程中，可以對圖像自身的模糊程度具有更好的降噪效果，如行進(jìn)中的步態(tài)跟蹤，可以獲取較高的清晰度圖像，實(shí)現(xiàn)準(zhǔn)確跟蹤。

統(tǒng)計(jì)濾波最大中值方法需要依次濾波去除等對滑動窗口內(nèi)4個方向上的像素點(diǎn)后，再將選擇的最大值作為輸出結(jié)果。設(shè)置滑動窗口為2+1正方形大小，則其像素點(diǎn)個數(shù)為8+1，對其最大中值濾波器進(jìn)行定義，表達(dá)式為[5]

在此基礎(chǔ)上設(shè)置滑動窗口為5×5標(biāo)準(zhǔn)，最大中值濾波像素位置關(guān)系為，如下：

式中，像素位置點(diǎn)為[6-8]。排列4個方向上的對角線，如圖1所示。

圖1中分別呈現(xiàn)兩條對角線以及在中心像素點(diǎn)位置上，兩條垂直方向的像素過濾情況。

而對復(fù)雜場景特征區(qū)間分類時，可以采用卷積模板來表示中值濾波的響應(yīng)函數(shù)，按照4個方向上的像素分布情況，根據(jù)目標(biāo)大小定義矩陣模板大小[9]。表現(xiàn)為3×3和5×5的兩種模式，如下：

2 基于虛擬現(xiàn)實(shí)技術(shù)對應(yīng)區(qū)間目標(biāo)坐標(biāo)位置

對目標(biāo)的定位跟蹤需要對其具體坐標(biāo)定位，按照虛擬現(xiàn)實(shí)技術(shù)轉(zhuǎn)換目標(biāo)三維數(shù)據(jù)，將采集的二維復(fù)雜場景圖像信息過渡為三維目標(biāo)空間信息，以此追蹤目標(biāo)點(diǎn)的位置坐標(biāo)，實(shí)現(xiàn)非顯著性目標(biāo)跟蹤。

通過三角面內(nèi)的坐標(biāo)位置，將輸出的作為定位數(shù)據(jù)，同時完成虛擬迭代跟蹤非顯著目標(biāo)。

3 模糊邏輯構(gòu)建隸屬度函數(shù)跟蹤非顯著目標(biāo)

模糊邏輯是將模糊集合理論、模糊推理過程相結(jié)合，在現(xiàn)實(shí)問題上解決復(fù)雜的非線性映射關(guān)系，按照模糊化和去模糊化的模塊組合形式。在邏輯系統(tǒng)內(nèi)輸入待追蹤的包含非顯著目標(biāo)的復(fù)雜場景圖像，并將其轉(zhuǎn)化成設(shè)定好的模糊集合，根據(jù)對應(yīng)的模糊規(guī)則，推導(dǎo)出非顯著目標(biāo)所在位置，進(jìn)一步提高跟蹤效果。

表1 貝葉斯分類規(guī)則

表2 模糊變化準(zhǔn)則

4 實(shí)驗(yàn)測試分析

通過虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用，設(shè)計(jì)了復(fù)雜場景內(nèi)非顯著目標(biāo)的跟蹤方法，為驗(yàn)證其具有應(yīng)用效果，設(shè)計(jì)下述實(shí)驗(yàn)。實(shí)驗(yàn)分別設(shè)置多組實(shí)驗(yàn)場景，序號為A-E，對設(shè)定的目標(biāo)物跟蹤，以驗(yàn)證本文方法的準(zhǔn)確性。

4.1 基本場景內(nèi)跟蹤測試

為驗(yàn)證本文方法能夠進(jìn)行實(shí)時有效跟蹤，首先測試挑戰(zhàn)因素較少的場景，在其內(nèi)部跟蹤目標(biāo)物，并完成目標(biāo)定位。設(shè)置該環(huán)境中包含多個植被，定位跟蹤其中的“較矮”樹木，具體測試結(jié)果如圖2所示。

圖2 場景A測試跟蹤結(jié)果

本文方法對描述場景進(jìn)行虛擬化設(shè)置，關(guān)聯(lián)到目標(biāo)任務(wù)，不僅真實(shí)地還原了環(huán)境中的物體特征，也準(zhǔn)確地完成了任務(wù)目標(biāo)跟蹤，具有較好的實(shí)際應(yīng)用效果。其主要原因是所提方法利用正交原理計(jì)算空間位置，獲取了對應(yīng)區(qū)間目標(biāo)坐標(biāo)，提高了物體特征還原度。

4.2 強(qiáng)烈光感變化場景

根據(jù)前文實(shí)驗(yàn)結(jié)果來看，此次設(shè)計(jì)的跟蹤方法均具有一定應(yīng)用效果，因此在剩余的四組場景，均設(shè)置為具有挑戰(zhàn)性的測試內(nèi)容。設(shè)定場景B內(nèi)被跟蹤目標(biāo)，會在強(qiáng)烈光感變化下發(fā)生曝光，以此追蹤光照后的微小目標(biāo)。在博物館內(nèi)的展品臺中，標(biāo)記燈光下壁畫中的人物，測試結(jié)果如圖3所示。

圖3 場景B跟蹤效果對比

在擬建過程中，本文方法通過中值濾波設(shè)置了圖像窗口大小，并統(tǒng)計(jì)相鄰像素點(diǎn)最大中值，避免了光感對目標(biāo)任務(wù)跟蹤的影響，在完成了燈光下壁畫中的人物的準(zhǔn)確跟蹤，對光感變化具有較強(qiáng)魯棒性，具有較好的實(shí)際應(yīng)用效果。

4.3 干擾物設(shè)定下測試結(jié)果

在場景C內(nèi)引入干擾項(xiàng)目，設(shè)定a組目標(biāo)為跟蹤對象，b組目標(biāo)為干擾對象，利用本文跟蹤方法對目標(biāo)進(jìn)行定位。建立單個相似對象和多個相似對象的干擾組別，測試結(jié)果如圖4所示。

圖4 場景C跟蹤效果對比

根據(jù)圖4可知，本文方法在出現(xiàn)干擾時沒有發(fā)生偏移，可以準(zhǔn)確對目標(biāo)進(jìn)行定位，且可以完成連續(xù)跟蹤。說明本文方法采用最大隸屬度量方法構(gòu)建隸屬度函數(shù)，實(shí)現(xiàn)了復(fù)雜場景內(nèi)非顯著目標(biāo)跟蹤，具有較好的跟蹤效果。

4.4 出現(xiàn)遮擋時目標(biāo)跟蹤結(jié)果

考慮到目標(biāo)跟蹤過程中，會出現(xiàn)遮擋現(xiàn)象，場景D中設(shè)置遮擋項(xiàng)目，以農(nóng)場為測試環(huán)境，跟蹤定位到被遮擋的牛和豬，兩個對象，測試結(jié)果如圖5所示。

圖5 場景D跟蹤效果對比

圖5中本文方法沒有發(fā)生偏移，能夠?qū)δ繕?biāo)對象進(jìn)行跟蹤，說明本文方法具有較好的應(yīng)用效果。其主要原因是本文方法預(yù)先設(shè)置了圖像窗口大小，獲取了目標(biāo)相鄰像素點(diǎn)的最大中值，提高了跟蹤效果。

4.5 快速運(yùn)動過程中目標(biāo)跟蹤結(jié)果

在場景E為目標(biāo)物快速運(yùn)動狀態(tài)，選擇行走過程中的行為特征為跟蹤目標(biāo)，持續(xù)地跟蹤定位手和腳，結(jié)果如圖6所示。

圖6 場景E測試跟蹤結(jié)果

圖6中，本文方法設(shè)定模糊邏輯集合，依據(jù)構(gòu)建的隸屬度函數(shù)能夠判斷目標(biāo)模糊狀態(tài)，實(shí)現(xiàn)全過程的持續(xù)跟蹤，且定位效果非常準(zhǔn)確，具有跟蹤應(yīng)用價值。

4.6 信息熵客觀測試

采用本文方法與文獻(xiàn)[2]方法、文獻(xiàn)[3]方法三種跟蹤上述6幅不同場景的圖像，統(tǒng)計(jì)所跟蹤圖像信息熵，對比結(jié)果如圖7所示。從圖7可以看出，采用本文方法的跟蹤結(jié)果信息熵均高于兩種對比方法，對比結(jié)果有效驗(yàn)證本文方法具有較高的跟蹤性能，其主要原因是所提方法利用中值濾波算法獲取了跟蹤目標(biāo)信息，提高了場景中目標(biāo)的識別效果，獲取了更多目標(biāo)的像素點(diǎn)信息。

圖7 信息熵對比

4.7 峰值信噪比客觀測試

表3是應(yīng)用本文方法與文獻(xiàn)[2]方法、文獻(xiàn)[3]方法，對圖2場景A進(jìn)行增強(qiáng)去噪時的平均峰值信噪比對比表。從表3可以看出，應(yīng)用本文方法后的平均峰值信噪比與兩種對比方法相比更高，RGB三個通道的平均峰值信噪比達(dá)到60 dB以上。說明應(yīng)用本文方法對圖2場景A進(jìn)行去噪增強(qiáng)后，圖像更加真實(shí)，更能滿足實(shí)際工作中對非顯著性目標(biāo)跟蹤的要求。

表3 圖像增強(qiáng)去噪平均峰值信噪比 dB

5 結(jié)束語

本文利用虛擬現(xiàn)實(shí)技術(shù)提出復(fù)雜場景內(nèi)的非顯著目標(biāo)跟蹤方法，在實(shí)驗(yàn)測試的論證下，對不同場景內(nèi)的目標(biāo)物跟蹤和定位，提高了跟蹤準(zhǔn)確性。后續(xù)研究中會設(shè)置更加復(fù)雜的場景環(huán)境，為精準(zhǔn)定位和跟蹤目標(biāo)物，提供更加有效的跟蹤方法，為定點(diǎn)追蹤提供理論支持。

[1] 張博. 基于卡爾曼預(yù)測粒子濾波的復(fù)雜場景圖像目標(biāo)跟蹤算法[J]. 自動化與儀表，2022, 37(06): 74-78.

[2] 劉志強(qiáng)，任世恒. 復(fù)雜場景下基于OSA改進(jìn)的多目標(biāo)跟蹤算法研究[J]. 信息技術(shù)，2022(04): 123-129.

[3] 馮欣，殷一皓，吳浩銘，等. 目標(biāo)關(guān)聯(lián)學(xué)習(xí)的端到端多目標(biāo)檢測與跟蹤聯(lián)合方法[J]. 重慶理工大學(xué)學(xué)報（自然科學(xué)），2022, 36(04): 143-152.

[4] 林春蕾，潘光永. 基于Retinex算法的艦船無線傳感網(wǎng)絡(luò)目標(biāo)跟蹤方法[J]. 艦船科學(xué)技術(shù)，2022, 44(06): 149-152.

[5] 盧超超，彭煒. 基于無線傳感人臉識別的空間弱小人體目標(biāo)跟蹤方法[J]. 傳感技術(shù)學(xué)報，2022, 35(03): 405-411.

[6] 何子述，蘇洋，程婷. 基于共址MIMO雷達(dá)組網(wǎng)系統(tǒng)的機(jī)會協(xié)同目標(biāo)跟蹤方法[J]. 空天防御，2022, 5(01): 6-11.

[7] 陳淑玲. 基于虛擬現(xiàn)實(shí)的定位技術(shù)的研究與應(yīng)用[J]. 廣西廣播電視大學(xué)學(xué)報，2022, 33(01): 32-36.

[8] 達(dá)凱，楊燁，朱永鋒，等. 視場非完全重疊的分布式雷達(dá)多目標(biāo)跟蹤方法[J]. 雷達(dá)學(xué)報，2022, 11(03): 459-468.

[9] 張昀普，單甘霖. 道路約束下多傳感器協(xié)同地面目標(biāo)跟蹤的管理方法[J]. 兵工學(xué)報，2022, 43(03): 542-555.

[10] 王小平，施新嵐. 道路復(fù)雜交通場景下的改進(jìn)MDnet目標(biāo)跟蹤算法[J]. 重慶交通大學(xué)學(xué)報（自然科學(xué)版），2021, 40(12): 19-26.

[11] 安雷，李召瑞，吉兵. 輻射風(fēng)險和多目標(biāo)跟蹤精度約束下的傳感器調(diào)度方法[J]. 現(xiàn)代防御技術(shù)，2021, 49(06): 62-73, 89.

[12] 羅宏等，藍(lán)耿，聶良剛，等. WSN中利用改進(jìn)FOA-GRNN和迭代Cubature卡爾曼濾波的實(shí)時目標(biāo)跟蹤方法[J]. 計(jì)算機(jī)應(yīng)用與軟件，2021, 38(12): 135-141, 219.

[13] 王恒軍. 一種復(fù)雜背景下非線性圖像目標(biāo)跟蹤算法[J]. 自動化與儀器儀表，2021(10): 17-20.

[14] 周士琪，王耀南，鐘杭. 融合視覺顯著性再檢測的孿生網(wǎng)絡(luò)無人機(jī)目標(biāo)跟蹤算法[J]. 智能系統(tǒng)學(xué)報，2021, 16(03): 584-594.

[15] 黃珍，潘穎. 基于移動增強(qiáng)現(xiàn)實(shí)技術(shù)的復(fù)雜場景視頻圖像多目標(biāo)跟蹤[J]. 遼東學(xué)院學(xué)報（自然科學(xué)版），2021, 28(01): 39-43.

[16] 顧亞雄，李鑫，陳苗苗. 復(fù)雜場景下高置信度更新策略的互補(bǔ)跟蹤算法[J]. 激光與光電子學(xué)進(jìn)展，2021, 58(12): 522-530.

[17] 張正本，劉丹. 基于局部顯著邊緣特征的紅外圖像目標(biāo)輪廓跟蹤算法[J]. 河南工學(xué)院學(xué)報，2020, 28(05): 11-15.

[18] 方嵐，于鳳芹. 自適應(yīng)在線判別外觀學(xué)習(xí)的分層關(guān)聯(lián)多目標(biāo)跟蹤[J]. 中國圖象圖形學(xué)報，2020, 25(04): 708-720.

[19] 李蕊，朱喜梅，周民，等. 基于虛擬現(xiàn)實(shí)技術(shù)的船舶航向自動跟蹤控制方法[J]. 艦船科學(xué)技術(shù)，2020, 42(02): 67-69.

[20] 聶春萌，楊建偉. 虛擬現(xiàn)實(shí)系統(tǒng)中多自由度電磁跟蹤方法仿真[J]. 計(jì)算機(jī)仿真，2019, 36(04): 330-333.

Research on non-salient target tracking method in complex scene based on virtual reality

SHAN Sheng

(Software College, Anhui Vocational College of Electronics & Information Technology, Anhui Bengbu 233000, China)

In order to avoid the interference factors in complex scenes affecting the tracking accuracy of non-significant targets, a virtual reality based non-significant target tracking method in complex scenes is proposed. Set the size of the image window through median filtering, count the maximum median of adjacent pixels, and define the feature interval of complex scene. Based on virtual reality technology, the three-dimensional information of tracking plane is converted, and the spatial position and the corresponding interval target coordinates are calculated by using the orthogonal principle. The fuzzy logic set is set, and the membership function is constructed by using the maximum membership measure method to track non-significant targets in complex scenes and complete the tracking of non-significant targets. Multiple sets of target tracking scenarios were set up to test the tracking effect of non-significant targets under five groups of conditions, namely, less influencing factors, strong changes in light perception conditions, rapid movement and occlusion interference background. The experimental results show that the proposed method can accurately track and locate the target in the above settings.

virtual reality；complex scene；non-significant target；target tracking

2022-08-10

安徽省高校自然科學(xué)研究項(xiàng)目“虛擬現(xiàn)實(shí)技術(shù)在影視動畫中的實(shí)時場景交互應(yīng)用研究”（KJ2021A1487）

單盛（1981-），男，安徽蚌埠人，講師，碩士，主要從事數(shù)字媒體技術(shù)應(yīng)用研究，baibaissy@yeah.net。

TP391.41

A

1007-984X(2023)01-0053-06