亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        通道可靠局部秩變換的目標(biāo)跟蹤算法

        2022-05-10 09:09:36李均利田竟民
        關(guān)鍵詞:精確度特征融合

        李 麗,李均利,田竟民

        (四川師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院,成都610101)

        1 引 言

        目標(biāo)跟蹤的主要任務(wù)是根據(jù)目標(biāo)在當(dāng)前幀的位置信息去預(yù)測目標(biāo)在后續(xù)幀中的位置[1].目標(biāo)跟蹤技術(shù)在人與機(jī)器交互領(lǐng)域[2]、監(jiān)控領(lǐng)域[3]、機(jī)器人技術(shù)領(lǐng)域[4]、醫(yī)學(xué)診查領(lǐng)域[5]等展現(xiàn)出了優(yōu)異的性能.在實(shí)際應(yīng)用時(shí),要想準(zhǔn)確的對目標(biāo)進(jìn)行跟蹤仍舊會遇到許多挑戰(zhàn).如光照變化、遮擋、形體變換等因素都會對目標(biāo)跟蹤的準(zhǔn)確性有影響.

        相關(guān)濾波跟蹤算法為跟蹤領(lǐng)域的熱點(diǎn)[6].2010年,Bolme等[7]在目標(biāo)跟蹤算法中引入相關(guān)濾波思想,提出MOSSE(Minimum Output Sum of Squared Error Filter)算法,該算法利用灰度特征來表示跟蹤的目標(biāo).2012年,Henriques等[8]在MOSSE算法中加入核方法,提出具有循環(huán)結(jié)構(gòu)的檢測跟蹤C(jī)SK(Circulant Structure of Tracking-by-detection with Kernel)算法,解決了樣本不足的問題.但由于CSK算法中為單通道灰度特征,所以當(dāng)目標(biāo)遇到各種復(fù)雜情況時(shí),比較容易出現(xiàn)跟蹤漂移的情況.為提升算法的跟蹤魯棒性,Henriques等將CSK算法的灰度特征改為梯度方向直方圖(Histogram Oriented Gradients,HOG)特征,提出KCF(Kernelized Correlation Filters)目標(biāo)跟蹤算法[9],極大提高了跟蹤精確度.2014年,Danelljan等[10]提出CN(Color Name)跟蹤算法,提取目標(biāo)的CN特征,利用主成成分分析的方法將CN特征的維度降為2維,提高了算法的魯棒性;Li等[11]將梯度直方圖HOG和顏色屬性CN特征融合,提出SAMF(Scale Adaptive Multiple Feature)跟蹤算法,SAMF算法通過構(gòu)建尺度池獲得多尺度樣本,求解目標(biāo)位置并對目標(biāo)進(jìn)行尺度估計(jì).2015年,Danelljan等[12]加入空間正則項(xiàng)提出了SRDCF(Spatially Regularized Discriminative Correlation Filter)跟蹤算法,解決了邊界效應(yīng)問題,且使算法的跟蹤精確度得到提高.2017年,Galoogahi等[13]提出BACF(Background-Aware Correlation,BACF)跟蹤算法.BACF算法為了解決邊界效應(yīng)且提升跟蹤精確度,將跟蹤濾波器裁剪為目標(biāo)大小.2018年,Li等[14]通過引入時(shí)間正則項(xiàng),提出了STRCF算法(Learning Spattial-Temporal Regularized Correlation Filter,STRCF),提升了算法的跟蹤成功率.

        為解決使用目標(biāo)當(dāng)前幀樣本訓(xùn)練跟蹤器時(shí),以上算法在跟蹤目標(biāo)的過程中遇到跟蹤目標(biāo)被大面積遮擋,這時(shí)獲取的訓(xùn)練樣本會被污染,從而導(dǎo)致跟蹤模型漂移,致使跟蹤算法不能夠準(zhǔn)確跟蹤目標(biāo)的問題.本文利用通道可靠性系數(shù)和經(jīng)驗(yàn)選擇方法評估各個(gè)特征通道響應(yīng)圖,以此提高跟蹤器對跟蹤目標(biāo)的描述能力,從而提高目標(biāo)跟蹤的成功率.

        2 核相關(guān)濾波跟蹤算法

        核相關(guān)濾波KCF(KernelCorrelation Filters)跟蹤算法[9]在目標(biāo)視頻序列的第一幀中,初始化目標(biāo)的中心位置,之后使用目標(biāo)的位置信息去預(yù)測下一幀目標(biāo)的最佳位置,最后用檢測結(jié)果更新訓(xùn)練樣本和目標(biāo)檢測器.KCF方法利用嶺回歸訓(xùn)練檢測器,檢測器在包含目標(biāo)的周圍選擇跟蹤窗口,得到大小m×n的樣本圖像塊x.再對xi進(jìn)行循環(huán)移位,i∈{0,…,m-1}×{0,…,n-1},每一個(gè)yi都對應(yīng)一個(gè)樣本xi的高斯標(biāo)簽,構(gòu)成的訓(xùn)練樣本集為(xi,yi).第t幀中構(gòu)建訓(xùn)練器的函數(shù)為:

        (1)

        式(1)中,f為分類函數(shù),f(x)=wTx;x為樣本;w為權(quán)重系數(shù);yi為樣本標(biāo)簽;λ為正則化參數(shù),防止過擬合;‖·‖為范數(shù)運(yùn)算;λ‖w‖2為懲罰項(xiàng).由嶺回歸得:

        w=(XTX+λI)-1XTy

        (2)

        式(2)中,w為權(quán)重系數(shù);X為樣本循環(huán)矩陣;λ為正則化參數(shù);y為高斯標(biāo)簽函數(shù);I為單位矩陣.在傅里葉域,式(2)寫為:

        (3)

        在跟蹤算法中引入核函數(shù),其核函數(shù)表示為k(x,x′)=φT(x)φ(x′),φT(x)和φ(x′)表示映射函數(shù).高維空間的樣本權(quán)重組合為:

        w=∑iαiφ(xi)

        (4)

        式(4)中,φ(x)為映射函數(shù);αi為樣本xi的分量.利用嶺回歸與核函數(shù)理論得到分類器(4)的閉式解為:

        α=(k+λI)-1y

        (5)

        式(5)中,k為核矩陣,其元素kij=k(xi,xj)=〈φ(xi),φ(xj)〉;I為單位矩陣;yi為向量y的元素;α在對偶空間的解為:

        (6)

        (7)

        式(7)中,F(xiàn)-1表示IFFT變換;σ為高斯函數(shù)帶寬.第t+1幀時(shí),設(shè)輸入圖像為z,分類器響應(yīng)表示如式(4)所示.

        f(z)=wTz=∑iαik(z,xi)

        (8)

        式(8)中,xi為訓(xùn)練樣本;z為檢測區(qū)域.第t+1幀響應(yīng)為:

        (9)

        3 通道可靠局部秩變換的跟蹤算法

        3.1 局部秩變換特征表示方法

        本文使用的局部秩變換(Local Rank Transformation,LRT)特征,具有光照不敏感性,突出圖像邊緣信息的特點(diǎn)[15].首先將跟蹤目標(biāo)的原始圖像映射到CIELab顏色空間,在CIELab顏色空間L通道上應(yīng)用局部變換方法獲取跟蹤目標(biāo)的特征圖譜[16].圖1為提取局部秩變換特征的示例圖,從左至右分別為跟蹤目標(biāo)的原始圖、L通道圖和局部秩變換特征圖.由局部秩變換特征圖可以看出目標(biāo)的邊緣信息比較突出,這有利于跟蹤器對目標(biāo)的跟蹤.

        圖1 LRT特征示例

        本文結(jié)合LRT特征的特點(diǎn)對LRT特征和Lab三通道目標(biāo)特征進(jìn)行融合,得到目標(biāo)融合特征圖.使用映射函數(shù)使特征向量近似于交叉核函數(shù)的效果[17].交叉核定義如式(10)所示,映射函數(shù)如式(11)所示.

        (10)

        (11)

        式(10)中x,z為樣本,n為樣本數(shù)量;式(11)中N為離散化層數(shù),U(x)為一元函數(shù),R(·)為舍入函數(shù).樣本映射之后交叉核如式(12)所示.

        (12)

        從式(12)可分析出,特征映射相近于交叉核關(guān)系,這種逐一比較的操作可用矩陣運(yùn)算替代,且符合圖像處理的方式.本文使用的16通道特征圖是對4通道特征圖(LRT+Lab)中每個(gè)元素逐一應(yīng)用特征映射方法進(jìn)行擴(kuò)展得到.這樣能通過特征提取區(qū)域的大小來保留多少特征信息.

        3.2 訓(xùn)練器更新機(jī)制

        在跟蹤過程中,用當(dāng)前幀的跟蹤目標(biāo)作為訓(xùn)練樣本對目標(biāo)模型進(jìn)行更新.算法模型更新時(shí),對濾波器各參數(shù)進(jìn)行更新的方法為線性差值.

        (13)

        (14)

        3.3 算法流程

        本文基于KCF將HOG特征[18]替換為LRT特征,提出通道可靠局部秩變換的目標(biāo)跟蹤算法(Object Tracking Algorithm Based OnReliable Channel Local Rank Transform,RCLRT).通過考慮干擾目標(biāo)的影響,利用經(jīng)驗(yàn)選擇的特征通道和根據(jù)通道可靠性系數(shù)選擇的特征通道進(jìn)行實(shí)驗(yàn)比較,選擇能夠準(zhǔn)確反映目標(biāo)的特征通道,從而更加突出目標(biāo)的特征,提高跟蹤精確度.

        算法流程如下:

        輸入:第1幀圖像并初始化目標(biāo)

        輸出:所有序列每幀中目標(biāo)的中心位置

        1)提取局部秩變換特征,通過式(3)求解濾波器

        2)利用式(4)計(jì)算各通道響應(yīng)圖,選擇可靠的通道響應(yīng)圖

        3)將選擇的響應(yīng)圖進(jìn)行融合得到融合響應(yīng)圖,尋找融合響應(yīng)圖中響應(yīng)值最大的位置即為目標(biāo)的位置.

        3.4 利用可靠的特征通道選擇的位置濾波

        RCLRT中采用LRT特征,共16維特征通道,16維的特征通道中有些特征通道不能清晰地描述目標(biāo),如圖2所示.

        圖2 原始目標(biāo)圖和特征通道圖

        可以看出,特征通道中有很多干擾目標(biāo)的背景信息或相似目標(biāo),使得特征通道不能真實(shí)地反映目標(biāo).在進(jìn)行響應(yīng)圖計(jì)算時(shí),如果將全部特征通道的權(quán)重相加,那么會影響對目標(biāo)定位的精確性.因此本文將測試通道響應(yīng)圖的可靠性,通過可靠性系數(shù),選擇最大的兩個(gè)值所對應(yīng)的特征通道的響應(yīng)圖,使其融合得到融合響應(yīng)圖.與經(jīng)驗(yàn)選擇的兩個(gè)特征通道的融合響應(yīng)圖進(jìn)行實(shí)驗(yàn)比較,選擇響應(yīng)最好的融合響應(yīng)圖為最終的響應(yīng)圖.以此估計(jì)目標(biāo)的位置,提高跟蹤精確度.

        由于不相同的可靠性系數(shù)指標(biāo)對不相同的模型評價(jià)效果存在差異,因此本文選擇次峰與主峰比、響應(yīng)最大值、峰值旁瓣值,3個(gè)可靠性系數(shù)指標(biāo)對RCLRT進(jìn)行評價(jià).在OTB50[19]數(shù)據(jù)集中,選擇20個(gè)視頻測試的結(jié)果如圖3所示.

        圖3 可靠性指標(biāo)測試結(jié)果圖

        圖3中RCLRT1、RCLRT2和RCLRT3分別為次主峰與主峰比、響應(yīng)最大值和峰值旁瓣值作為可靠性系數(shù)的跟蹤結(jié)果.可以看出峰值旁瓣值更能準(zhǔn)確評估RCLRT模型.次主峰與主峰比見式(15).

        (15)

        式(15)中,Pmax1為主峰峰值;Pmax2為次峰峰值.RSFMP反映了跟蹤目標(biāo)的突出性,值越大,響應(yīng)圖越干凈,跟蹤效果越好,那么可靠性越高.

        計(jì)算各通道RSFMP后,選取特征通道中RSFMP值最大的兩個(gè)所對應(yīng)的特征通道響應(yīng)圖,將這兩個(gè)響應(yīng)圖作為可靠性響應(yīng)圖并融合得融合響應(yīng)圖:

        S=RSFMPmax1+RSFMPmax2

        (16)

        本文用到的峰值旁瓣比作為可靠性系數(shù)時(shí),其計(jì)算公式如式(17)所示.

        (17)

        式(17)中,gmax表示響應(yīng)輸出矩陣的最大值峰值,峰值附近11×11之外的區(qū)域定義為旁瓣;us1表示為“旁瓣”區(qū)域的均值;σs1表示“旁瓣”區(qū)域的標(biāo)準(zhǔn)差,PSR衡量相關(guān)性峰值.利用融合響應(yīng)圖尋找響應(yīng)最大值位置,作為目標(biāo)估計(jì)位置.

        4 實(shí)驗(yàn)與分析

        本文提出的跟蹤算法,使用的電腦CPU型號為Intel i7-9750H(2.60GHz),內(nèi)存為16G,Matlab版本為R2016a,Opencv版本為3.4.2.采用Matlab+C語言(Open CV)編寫.

        本文算法評估方式采用OPE(one-pass evaluation),即用經(jīng)驗(yàn)標(biāo)注(ground-truth)的位置初始化第1幀中目標(biāo)的位置,然后利用跟蹤器持續(xù)跟蹤目標(biāo),最終計(jì)算出跟蹤目標(biāo)的精確度和成功率.

        1)精確度.指追蹤算法估計(jì)的目標(biāo)位置(bounding box)的中心點(diǎn)與經(jīng)驗(yàn)標(biāo)注的目標(biāo)的中心點(diǎn)之間的距離小于給定閾值的視頻幀的百分比.

        為了更好地比較利用可靠性系數(shù)選擇的特征通道響應(yīng)圖和經(jīng)驗(yàn)選擇的特征通道響應(yīng)圖對估計(jì)目標(biāo)位置的性能.先將經(jīng)驗(yàn)選擇的16種特征通道響應(yīng)圖組合進(jìn)行比較,根據(jù)實(shí)驗(yàn)結(jié)果,選擇最好的組合再與利用可靠性系數(shù)選擇的3種組合進(jìn)行對比實(shí)驗(yàn).采用的數(shù)據(jù)集為上文選取的20個(gè)視頻序列.

        圖4是16種特定特征通道組合算法測試排在前10的結(jié)果.結(jié)合表1可以看出,局部秩變換特征的特征通道2和特征通道7進(jìn)行組合,無論在精確度還是成功率上,其性能表現(xiàn)都是最好的.因此本文利用RCLRT27算法與RCLRT1、RCLRT2和RCLRT3進(jìn)行對比實(shí)驗(yàn).

        圖4 經(jīng)驗(yàn)選擇測試結(jié)果

        表1 10種算法的精確度、成功率

        為分析算法在遮擋、背景雜亂和快速運(yùn)動(dòng)等方面的表現(xiàn)性能,本文在OTB50的數(shù)據(jù)集上選擇了4個(gè)視頻序列進(jìn)行特定場景測試,選擇的視頻序列如表2所示,視頻序列屬性有形變(DEF)、背景雜亂(BC)、平面外旋轉(zhuǎn)(OPR)、遮擋(OCC)、尺度變化(SV)、平面內(nèi)旋轉(zhuǎn)(IPR)、光照變化(IV).

        表2 視頻序列屬性

        4.1 定性分析

        圖5為本文算法與比較算法在特定視頻序列的結(jié)果.視頻從上至下、從左至右分別是Bolt2(第1,7,16,117,292幀)、Jogging1(第1,65,81,121,252幀)、Dancer(第1,15,90,151,215幀)、Faceocc2(第1,264,389,562,812幀),通過分析跟蹤結(jié)果可知RCLRT27算法的跟蹤成功率和精確度較好.

        圖5 4種算法跟蹤結(jié)果

        在Bolt2序列中,目標(biāo)為短跑運(yùn)動(dòng)員,背景比較雜亂,目標(biāo)有快速運(yùn)動(dòng)和形變等特點(diǎn).7幀時(shí)所有算法均可跟蹤目標(biāo),但在16幀及16幀之后,目標(biāo)發(fā)生較大形變時(shí)只有RCLRT27能夠準(zhǔn)確估計(jì)目標(biāo)位置,在跟蹤過程中,其他的跟蹤器多次出現(xiàn)跟蹤漂移或者跟蹤失敗.

        在Jogging1序列中,在65幀時(shí)所有算法均可跟蹤目標(biāo);在81幀目標(biāo)離開遮擋物之后,只有RCLRT27能夠?qū)崿F(xiàn)目標(biāo)的準(zhǔn)確定位;在121幀,目標(biāo)徹底離開遮擋物時(shí),僅有RCLRT27與RCLRT3能夠準(zhǔn)確估計(jì)目標(biāo)位置.

        在Dancer序列中,目標(biāo)在運(yùn)動(dòng)過程中出現(xiàn)了大幅度旋轉(zhuǎn)、光照變化和形變.在15幀時(shí),目標(biāo)旋轉(zhuǎn)幅度較小,所有算法均可跟蹤目標(biāo)但只有RCLRT27能夠準(zhǔn)確的估計(jì)目標(biāo)的位置;在90幀時(shí),目標(biāo)的形變和旋轉(zhuǎn)較大時(shí),僅有RCLRT27與RCLRT1能預(yù)測目標(biāo)位置,其余跟蹤器出現(xiàn)了嚴(yán)重的漂移.在151幀時(shí),RCLRT2徹底跟蹤失?。粡目傮w來說,RCLRT27始終都能夠準(zhǔn)確的估計(jì)目標(biāo)的位置.

        在Faceocc2序列中,所有算法均可跟蹤目標(biāo),在389幀時(shí),目標(biāo)發(fā)生了旋轉(zhuǎn),僅有RCLRT27能夠?qū)崿F(xiàn)目標(biāo)的準(zhǔn)確定位,其他算法在跟蹤目標(biāo)過程中跟蹤框都發(fā)生了偏移.

        RCLRT27通過經(jīng)驗(yàn)選擇的特征通道2和特征通道7進(jìn)行組合,形成最終的響應(yīng)圖,突出目標(biāo)在響應(yīng)圖中的位置,當(dāng)目標(biāo)有多種屬性變化時(shí)也能夠準(zhǔn)確跟蹤目標(biāo).

        4.2 定量分析

        本文經(jīng)驗(yàn)選擇的特征通道算法RCLRT27和3個(gè)可靠性指標(biāo)算法RCLRT1、RCLRT2和RCLRT3在OTB50數(shù)據(jù)集上進(jìn)行測試,結(jié)果如圖6所示.曲線下面積越大則對應(yīng)的算法性能越好,結(jié)果表明在在成功率曲線與精確度曲線中RCLRT27均優(yōu)于其他算法.

        圖6 OTB50數(shù)據(jù)集測試結(jié)果

        4.3 與其他算法比較

        選擇使用梯度方向直方圖(HOG)特征的KCF算法和使用顏色特征的CN算法與本文使用LRT特征的RCLRT27算法在4個(gè)具有挑戰(zhàn)性的序列上進(jìn)行比較.視頻從上至下、從左至右分別是Bolt2(第1,12,30,41幀)、Jogging1(第1,74,85,130幀)、Dancer(第1,50,128,222幀)、Faceocc2(第1,520,600,808幀),通過對3個(gè)算法在不同視頻序列的跟蹤結(jié)果進(jìn)對比分析如圖7所示,可以發(fā)現(xiàn)在目標(biāo)快速運(yùn)動(dòng),短時(shí)完全遮擋時(shí),RCLRT27算法的跟蹤質(zhì)量和魯棒性都較KCF和CN算法更好.3種算法在4個(gè)挑戰(zhàn)性視頻序列的精確度、成功率和速率如表3所示,可知本文算法RCLRT27在精確度和成功率上都有最好的結(jié)果,其平均速率為56.7fps,滿足實(shí)時(shí)性要求.

        表3 精確度、成功率值和速率

        圖7 3種算法跟蹤結(jié)果

        為對比算法在遮擋、光照變化及背景雜亂時(shí)的表現(xiàn),本文使用中心位置誤差和重疊率評價(jià)算法的跟蹤結(jié)果.

        1)中心位置誤差

        (18)

        式(18)中,O表示目標(biāo)中心位置;Ot為人工標(biāo)定的實(shí)際中心位置.誤差用像素來表示,即兩個(gè)中心點(diǎn)之間像素點(diǎn)的個(gè)數(shù),中心位置誤差越小表示算法越好,如圖8所示,RCLRT27的中心位置誤差最低,在發(fā)生遮擋或形變或背景雜亂時(shí)變化較小.為進(jìn)一步比較,列出平均中心位置誤差,見表4.可以看出,RCLRT27平均中心位置誤差均是最小的,RCLRT27更加突出跟蹤目標(biāo),受干擾因素的影響較小,提高了目標(biāo)跟蹤精度.

        圖8 中心位置誤差跟蹤結(jié)果

        表4 平均中心位置誤差對比表

        2)重疊率

        (19)

        圖9 重疊率跟蹤結(jié)果圖

        表5 平均重疊率對比表

        5 結(jié) 論

        本文提出通道可靠局部秩變換的目標(biāo)跟蹤算法,通過經(jīng)驗(yàn)選擇的特征通道2和特征通道7進(jìn)行融合得到RCLRT27,更加準(zhǔn)確的表征目標(biāo),突出目標(biāo)在響應(yīng)圖中的位置,提升了目標(biāo)跟蹤精確度和成功率.實(shí)驗(yàn)結(jié)果表明,RCLRT27在目標(biāo)出現(xiàn)遮擋、快速旋轉(zhuǎn)、背景雜亂時(shí),定位精度都有提高;在短暫遮擋后重新出現(xiàn)時(shí),跟蹤器也能精準(zhǔn)定位目標(biāo).本文算法只對目標(biāo)進(jìn)行了位置估計(jì),未做尺度估計(jì),后續(xù)工作將引入尺度估計(jì),考慮將本文的LRT特征與其他手工特征或者深度特征進(jìn)行融合來進(jìn)一步提高目標(biāo)的跟蹤精確度.

        猜你喜歡
        精確度特征融合
        村企黨建聯(lián)建融合共贏
        融合菜
        從創(chuàng)新出發(fā),與高考數(shù)列相遇、融合
        研究核心素養(yǎng)呈現(xiàn)特征提高復(fù)習(xí)教學(xué)精確度
        《融合》
        “硬核”定位系統(tǒng)入駐兗礦集團(tuán),精確度以厘米計(jì)算
        如何表達(dá)“特征”
        不忠誠的四個(gè)特征
        抓住特征巧觀察
        線性代數(shù)的應(yīng)用特征
        河南科技(2014年23期)2014-02-27 14:19:15
        国产精品美女主播在线| 亚洲综合天堂av网站在线观看| 中国老熟妇506070| 比比资源先锋影音网| 精品日韩欧美| av黄色大片久久免费| 国产av国片精品有毛| 欧美 国产 日产 韩国 在线| 久久亚洲午夜牛牛影视| 亚洲一区二区三区免费的视频| 精品亚洲成a人在线观看| 日韩人妻ol丝袜av一二区 | 国产欧美一区二区精品性色| 亚洲日本国产乱码va在线观看| 蜜桃av福利精品小视频| 人妻少妇被猛烈进入中文字幕| 性色av浪潮av色欲av| 成黄色片视频日本秘书丝袜| 午夜亚洲精品一区二区| 狠狠综合亚洲综合亚洲色| 青青草原精品99久久精品66 | 亚洲24小时在线免费视频网站| 国产精品亚洲av一区二区三区| 亚洲 欧美 偷自乱 图片| 国产精品久久一区二区三区| 亚洲综合伦理| 亚洲乱码中文字幕一线区 | 精品不卡久久久久久无码人妻| 亚洲中文字幕一二区精品自拍| 永久免费a∨片在线观看| 一个人在线观看免费视频www| 日本成熟妇人高潮aⅴ| 日本中文字幕官网亚洲| 波多野结衣中文字幕一区二区三区| 三叶草欧洲码在线| 亚洲综合国产精品一区二区99| 国产一区二区在三区在线观看| 亚洲国产精品无码aaa片| 中文无码制服丝袜人妻av| 久久国产av在线观看| 青青青爽在线视频免费播放|