亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于多層深度特征的尺度相關(guān)粒子濾波算法

        2021-07-06 02:15:10馬媛媛楊小軍
        關(guān)鍵詞:跟蹤器濾波器尺度

        馬媛媛,楊小軍

        (長安大學(xué) 信息工程學(xué)院,陜西 西安 710064)

        0 引 言

        計(jì)算機(jī)視覺[1-3]已經(jīng)研究了幾十年,目標(biāo)跟蹤問題通常是在目標(biāo)運(yùn)動(dòng)時(shí)估計(jì)目標(biāo)在圖像平面上的軌跡問題。雖然在文獻(xiàn)中已經(jīng)對建立魯棒跟蹤框架做了大量的努力,但當(dāng)目標(biāo)出現(xiàn)外觀突變或遮擋時(shí),跟蹤器往往會(huì)受到影響從而導(dǎo)致跟蹤目標(biāo)失敗。

        近年來,基于判別式的相關(guān)濾波器被證明能夠在跟蹤速度上有顯著提高且能精準(zhǔn)跟蹤目標(biāo),因此得到了廣泛應(yīng)用。為了跟蹤,一個(gè)相關(guān)過濾器通過計(jì)算每個(gè)學(xué)習(xí)模板(或過濾器)相對于測試圖像樣本的點(diǎn)積來評估相似度。利用卷積定理可以加快相關(guān)濾波器的計(jì)算速度,它表明空間域的卷積可以計(jì)算為頻域傅里葉變換的元素乘。雖然CSK[4]和KCF[5]方法在準(zhǔn)確性和魯棒性方面都達(dá)到了最優(yōu),但這些基于相關(guān)濾波器的跟蹤器并不處理尺度變化。為了處理目標(biāo)對象的尺度變化,Danelljan等人[6]提出了一種新的DSST跟蹤器,通過分別學(xué)習(xí)平移和尺度估計(jì)的相關(guān)濾波器,提出一種新的尺度自適應(yīng)方法來精確估計(jì)目標(biāo)的大小。盡管DSST跟蹤器在學(xué)習(xí)基于判別相關(guān)濾波器的魯棒尺度估計(jì)方面表現(xiàn)良好,但在金字塔尺度表示中,它不能很好地處理局部遮擋和完全遮擋。

        另一方面,粒子濾波[7-8]可用于處理大尺度變化和局部遮擋。通過增加粒子數(shù)來提高跟蹤性能。但是,由于計(jì)算量的增加,跟蹤效率會(huì)降低。將外觀自適應(yīng)模型[9]集成到粒子濾波框架中,其中粒子數(shù)取決于噪聲方差。與之前的方法不同,粒子濾波框架的主要區(qū)別在于觀測模型,在觀測模型中采用相關(guān)濾波器來減少粒子的數(shù)量。

        然而,由于粒子濾波采樣過程計(jì)算量大,其實(shí)時(shí)應(yīng)用受到限制。針對以上問題,該文提出了一種新的目標(biāo)跟蹤算法,用尺度相關(guān)濾波器來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)特征,通過對所獲得的置信圖進(jìn)行加權(quán)融合,以得出目標(biāo)的位置。該算法有效克服了上述問題,具有較強(qiáng)的魯棒性。

        1 粒子濾波器

        提出的粒子濾波框架是基于貝葉斯順序的重要性抽樣技術(shù),該方法利用有限的加權(quán)樣本集遞歸逼近后驗(yàn)分布,以估計(jì)動(dòng)態(tài)系統(tǒng)的狀態(tài)變量的后驗(yàn)分布。對象在時(shí)刻t狀態(tài)變量的參數(shù)為st,yt。st表示目標(biāo)狀態(tài)變量,yt表示觀測變量。因此,視頻跟蹤可以建模為這樣一個(gè)問題:

        st=p(st|y1:t-1)=

        (1)

        當(dāng)一個(gè)新的觀測變量產(chǎn)生時(shí),用貝葉斯定理更新目標(biāo)狀態(tài):

        (2)

        (3)

        (4)

        2 尺度相關(guān)粒子濾波器

        2.1 尺度相關(guān)濾波器

        KCF跟蹤[5]的基本思想是在探索循環(huán)矩陣結(jié)構(gòu)的同時(shí),利用大量的負(fù)樣本來增強(qiáng)檢測器跟蹤的鑒別能力,以獲得高效率。KCF跟蹤器使用在P×Q像素的圖像x上訓(xùn)練的相關(guān)濾波器w來建模目標(biāo)對象的外觀,所有的循環(huán)移位Xp,q,生成高斯函數(shù)標(biāo)簽rp,q的訓(xùn)練樣本。目的是找到最優(yōu)權(quán)重w。

        (5)

        (6)

        F,F-1分別表示傅里葉變換及其反變換,其中r={r(p,q)}。給定學(xué)習(xí)的α和目標(biāo)外觀模型x,通過計(jì)算響應(yīng)映射,在新的一幀中進(jìn)行任務(wù)跟蹤。

        通過使用基于KCF跟蹤提出的區(qū)分尺度空間的跟蹤器,計(jì)算圖像位置尺度維度的分?jǐn)?shù)。設(shè)S為尺度濾波器的大小,提取一個(gè)以P×R像素目標(biāo)中心的圖像補(bǔ)丁In,將訓(xùn)練樣本ft,scale在規(guī)模水平n下的值ft,scale(n)設(shè)為In的d維特征描述符,然后構(gòu)建尺度樣本ft,scale,去訓(xùn)練一個(gè)尺度濾波器ht,scale。

        (7)

        為了估計(jì)目標(biāo)的平移量,采用標(biāo)準(zhǔn)平移濾波器。通常情況下,兩幀之間的目標(biāo)尺度差相對于平移的差異較小。因此對給定的新的一幀,首先應(yīng)用平移過濾器ht,trans,然后用尺度濾波器ht,scale估計(jì)目標(biāo)新位置,用提取訓(xùn)練樣本的方法在該位置提取一個(gè)尺度訓(xùn)練樣本zt,scale,通過在傅里葉域計(jì)算最大尺度相關(guān)性得分,得到最終的尺度估計(jì)結(jié)果來估計(jì)當(dāng)前目標(biāo)狀態(tài)。

        (8)

        其中,A,B是前一幀中更新的濾波器的分子和分母。

        最后,利用下式對尺度濾波器進(jìn)行更新,用新樣本進(jìn)行尺度變換。在這種情況下,使用一維高斯函數(shù)作為期望的相關(guān)輸出。

        (9)

        (10)

        其中,η為尺度濾波器模型更新的學(xué)習(xí)率,t為第t個(gè)圖像塊。

        2.2 尺度相關(guān)粒子濾波器

        通過尺度相關(guān)濾波器,利用粒子的循環(huán)位移信息,將粒子引導(dǎo)到目標(biāo)物體的局部模式。為了簡單起見,定義尺度相關(guān)濾波算子,對于狀態(tài):ScfRd→Rd。

        (11)

        (12)

        使用加權(quán)權(quán)重,在時(shí)刻t目標(biāo)對象的最佳狀態(tài)估計(jì)為:

        (13)

        3 基于多層深度特征的尺度相關(guān)粒子濾波

        3.1 目標(biāo)特征的提取

        當(dāng)出現(xiàn)嚴(yán)重的遮擋或物體外觀變異時(shí),基于像素的淺層特征不能很好地處理。故采用已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)特征(deep convolutional neural network feature,CNN deep feature)[10-11]對目標(biāo)的外觀進(jìn)行編碼,這樣特征既能有很好的層表達(dá),又能保留準(zhǔn)確的空間信息。由CNN層數(shù)與語義信息和空間細(xì)節(jié)的關(guān)系可以看出,在靠前的層中,更容易確定圖像的一些定位信息,但是圖像的語義信息并不豐富;而在靠后的層中,圖像的語義信息更容易確定,空間信息則不易于獲取。因此可以得出低層特征具有更多的空間信息,對目標(biāo)能夠進(jìn)行更為精準(zhǔn)的定位,而高層特征則具有較多的語義信息,能夠更好地處理目標(biāo)劇烈變化以及防止跟蹤器漂移,可以對目標(biāo)進(jìn)行范圍定位。

        采用CNN提取目標(biāo)特征,不僅保留其最后一層輸出結(jié)果,同時(shí)中間層的輸出也保留下來,具體保留的是3、4、5三個(gè)層。

        在以目標(biāo)為中心的幀中裁剪出搜索窗口,用CNN獲取搜索的窗口特征。但在CNN中,由于池操作的存在,使得隨著層深度的增加,特征的空間分辨率會(huì)逐漸減小。需要用余弦窗對每一層提取的特征通道進(jìn)行加權(quán),對特征進(jìn)行升采樣之后才能夠提取特征。

        (14)

        其中,xi表示升采樣后的特征圖,hk表示升采樣前的特征圖,i表示位置,k表示k領(lǐng)域的特征向量,α表示插值的權(quán)值。

        在此過程用到CNN的3、4、5層,每一層的輸出特征為x(大小為M×N×D),將M維和N維上的所有循環(huán)移位作為訓(xùn)練樣本,每一個(gè)移位樣本x(m,n),都有一個(gè)高斯函數(shù)標(biāo)簽,然后可以通過公式(8)學(xué)習(xí)到跟x同樣尺寸的尺度相關(guān)濾波器。

        空間域的卷積對應(yīng)于傅里葉域中的逐元素乘法,所以卷積層的濾波器頻域表示可以寫作公式(15),Y是高斯標(biāo)簽的頻域表示。這樣使得目標(biāo)函數(shù)最小化。

        (15)

        (16)

        3.2 跟蹤以及模板更新

        文中算法是在粒子濾波和相關(guān)濾波的基礎(chǔ)上提出的。首先,使用粒子濾波器的概率系統(tǒng)轉(zhuǎn)移模型繪制樣本并重新采樣,然后使尺度相關(guān)濾波器應(yīng)用于每個(gè)粒子,計(jì)算每個(gè)樣本三層CNN特征的響應(yīng)圖進(jìn)行融合,利用尺度相關(guān)濾波器的響應(yīng)更新權(quán)重。最后,根據(jù)這些響應(yīng)圖計(jì)算加權(quán)平均得到目標(biāo)的位置。

        F(αk)t=(1-η)F(αk)t-1+ηF(αk)

        (17)

        (18)

        其中,η是學(xué)習(xí)速率參數(shù)。

        4 實(shí)驗(yàn)結(jié)果與分析

        4.1 實(shí)驗(yàn)環(huán)境及參數(shù)

        實(shí)驗(yàn)運(yùn)行平臺(tái)為MATLAB R2016b,所有實(shí)驗(yàn)均在Inter Core i7 CPU,主頻2.00 GHz,8 GB內(nèi)存的電腦上完成。實(shí)驗(yàn)對所有視頻序列采用一致參數(shù):正則化參數(shù)設(shè)置為λ=0.01,尺度金字塔取33層。另外,通過增加粒子數(shù)可以提高性能,但運(yùn)行時(shí)性能會(huì)受到影響。設(shè)置合理的粒子數(shù)為6,這樣可以有效地權(quán)衡跟蹤器的準(zhǔn)確性和效率。

        4.2 數(shù)據(jù)和評估方法

        選取標(biāo)準(zhǔn)測試數(shù)據(jù)集OTB100[12]中的視頻序列進(jìn)行實(shí)驗(yàn),視頻序列為Biker、Bird1、Bird2、Blurbody、BlurCar1、BlurCar2、BlurCar3、Box、Car1、ClifBar,這些視頻序列包含目標(biāo)變化中的各類顏色以及運(yùn)動(dòng)挑戰(zhàn),如運(yùn)動(dòng)模糊、尺度變化、快速運(yùn)動(dòng)和旋轉(zhuǎn)、遮擋等。

        為了評估這些跟蹤器,在測試序列中從第一幀的基礎(chǔ)真值位置初始化它們,并采用距離精度(distance precision,DP)、成功率(success rate,SR)作為評價(jià)指標(biāo)[13]。其中距離精度(DP)表示中心位置誤差(CLE)小于或者等于閾值像素T0的幀數(shù)(一般選取閾值為20像素)占視頻總幀數(shù)的百分比。中心位置誤差(CLE)如下,表示預(yù)估目標(biāo)與實(shí)際目標(biāo)中心的歐氏距離。

        DP=lDP(CLE≤T0)/l

        (19)

        其中,lDP表示中心位置誤差小于或者等于閾值的幀數(shù),l是當(dāng)前視頻的總幀數(shù)。而成功率(SR)表示跟蹤所得的目標(biāo)區(qū)域MT和目標(biāo)真實(shí)區(qū)域MG所得的重疊率大于等于閾值T1(一般設(shè)為0.5),表示跟蹤成功。通常用成功率圖曲線下方的面積(AUC)去評估是否跟蹤成功。

        (20)

        4.3 定量分析

        將該文提出的算法與其他較為優(yōu)越的算法進(jìn)行比較。比較的算法有CSK[4]、KCF[5]、DCF[14]、fDSST[6]和SRDCF[15]。提出的算法由于使用多層深度特征的尺度相關(guān)粒子濾波器,因此在面對各種運(yùn)動(dòng)挑戰(zhàn)時(shí),更具魯棒性。在不同的視頻幀中,提出的算法都取得了較好的結(jié)果。跟蹤結(jié)果精確度和成功率如圖1所示。

        圖1 算法精確度、成功率

        為了進(jìn)一步驗(yàn)證提出的算法在跟蹤過程中的魯棒性,圖2給出了該算法與其他算法在旋轉(zhuǎn)、尺度變化、遮擋等各種干擾因素下的算法精確度與成功率的對比。

        (b)尺度變化

        (c)遮擋

        (d)形變

        從圖2得出,提出的算法基于粒子濾波框架,對每一個(gè)模擬目標(biāo)的狀態(tài)分布的粒子,提取CNN特征,并用尺度相關(guān)濾波器來訓(xùn)練特征,對所得置信圖進(jìn)行加權(quán)計(jì)算,最后得出目標(biāo)的位置。因此該算法能夠在大多數(shù)干擾因素下取得較好的跟蹤效果。

        4.4 定性分析

        為了體現(xiàn)提出的算法的跟蹤性能,在標(biāo)準(zhǔn)測試數(shù)據(jù)集上選取了一些視頻序列進(jìn)行測試,對不同算法的跟蹤結(jié)果進(jìn)行對比,如圖3所示。

        (a)Bird2_1

        (b)Biker_1

        (c)BlurBody_1

        (d)Bird1_1

        圖3 算法在不同視頻下的跟蹤結(jié)果

        綜合上述實(shí)驗(yàn)的對比結(jié)果,可知文中算法對目標(biāo)在快速運(yùn)動(dòng)以及尺度變化和遮擋旋轉(zhuǎn)方面更為優(yōu)越。從圖3中可以看出,在Bird2_1視頻序列中,由于目標(biāo)存在快速運(yùn)動(dòng)以及尺度的變化,對算法跟蹤產(chǎn)生干擾,由99幀可以看出,文中算法較其他算法能夠準(zhǔn)確地跟蹤目標(biāo)。在Birker_1序列中,文中算法由于使用基于貝葉斯順序重要性抽樣技術(shù)的粒子濾波框架,能夠更好地跟蹤目標(biāo)。在BlurBody_1視頻序列中,存在運(yùn)動(dòng)模糊的干擾,但文中算法依然精確地跟蹤到目標(biāo)。在Bird1_1視頻序列中第64幀目標(biāo)在快速運(yùn)動(dòng)時(shí)被跟丟,但文中算法卻由于跟蹤精度較高,仍能有效地跟蹤到目標(biāo),具有較好的魯棒性,同時(shí)也說明,文中算法在處理快速運(yùn)動(dòng)時(shí)更為優(yōu)越。

        5 結(jié)束語

        該文提出了一種基于多層深度特征的尺度相關(guān)粒子濾波方法?;诹W訛V波框架,對每一個(gè)模擬目標(biāo)的狀態(tài)分布的粒子,提取CNN特征,用尺度相關(guān)濾波器來訓(xùn)練特征,對每一層作置信度評分之后由粗到精地對所獲得的三個(gè)置信圖融合得到訓(xùn)練特征之后的響應(yīng)圖,最后根據(jù)這些響應(yīng)圖計(jì)算加權(quán)平均,確定目標(biāo)的位置。該算法可以解決部分或者全部遮擋的問題,在準(zhǔn)確性以及魯棒性方面有較好的提高。在選定的視頻序列上的對比結(jié)果表明,該算法得益于新的尺度相關(guān)粒子濾波器模式,優(yōu)于相關(guān)的一些算法。

        猜你喜歡
        跟蹤器濾波器尺度
        基于無擾濾波器和AED-ADT的無擾切換控制
        光伏跟蹤器陣列跟蹤精度的測算方法研究
        太陽能(2022年3期)2022-03-29 05:15:50
        財(cái)產(chǎn)的五大尺度和五重應(yīng)對
        淺析一種風(fēng)光儲(chǔ)一體化跟蹤器
        太陽能(2020年3期)2020-04-08 03:27:10
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        超長待機(jī)的自行車位置跟蹤器
        開關(guān)電源EMI濾波器的應(yīng)用方法探討
        電子制作(2018年16期)2018-09-26 03:26:50
        雙向多軌跡判定方法在目標(biāo)跟蹤中的應(yīng)用研究
        宇宙的尺度
        太空探索(2016年5期)2016-07-12 15:17:55
        基于TMS320C6678的SAR方位向預(yù)濾波器的并行實(shí)現(xiàn)
        成年奭片免费观看视频天天看| 337p日本欧洲亚洲大胆| 柠檬福利第一导航在线| 高清在线亚洲中文精品视频| 日本经典中文字幕人妻| 日韩精品视频高清在线| 又粗又黄又猛又爽大片免费| 美女胸又www又黄的网站| 免费在线观看蜜桃视频| 二区视频在线免费观看| 亚洲综合色婷婷七月丁香| japanese无码中文字幕| 亚洲女同精品久久女同| 中文字幕人妻在线少妇| 精品久久香蕉国产线看观看亚洲| 国产精品密播放国产免费看 | 一区二区三区在线观看视频免费| 亚洲一区二区三区四区精品在线| 色综合视频一区中文字幕| a观看v视频网站入口免费| 蜜臀久久久精品国产亚洲av| 国产一区二区三区日韩精品 | 国产人成精品免费久久久| 国产精品久久久久影院| 无码天堂亚洲国产av麻豆| 女同性恋看女女av吗| 久久精品国产亚洲av果冻传媒 | 中国精学生妹品射精久久| 成人国产在线播放自拍| 黄射视频在线观看免费| 免费观看的av毛片的网站| 国产无套视频在线观看香蕉| 中文字幕亚洲中文第一| 色一情一乱一伦麻豆| 又大又粗弄得我出好多水| 中文字幕亚洲精品第一页| 久久伊人这里都是精品| 国产成人精品一区二区三区免费| 精品国产午夜久久久久九九| 亚洲精品女同一区二区三区| 亚洲av不卡一区二区三区|