亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        融合時空特征的隧道場景跨相機車輛實時跟蹤方法

        2023-12-27 14:52:58茍鈴滔宋煥生張朝陽劉蒞辰孫士杰
        計算機工程與應(yīng)用 2023年24期
        關(guān)鍵詞:關(guān)聯(lián)檢測

        茍鈴滔,宋煥生,張朝陽,文 雅,劉蒞辰,孫士杰

        長安大學 信息工程學院,西安 710064

        目前,交通視頻監(jiān)控系統(tǒng)相機已對高速公路實現(xiàn)了全覆蓋。高速公路隧道作為高速公路中的特殊路段,視頻相機布設(shè)相較于高速公路一般路段而言更加密集。使用跨相機多目標跟蹤技術(shù)對隧道交通場景中的車輛目標進行實時的跟蹤,可以有效監(jiān)測大范圍內(nèi)多車輛的運動軌跡,并監(jiān)測隧道內(nèi)車輛目標的運行狀態(tài),對保障隧道交通運行安全和提升管理效率具有重要的意義。同時,相應(yīng)的技術(shù)方案可以應(yīng)用于行人追蹤[1]、智慧交通[2]等相關(guān)領(lǐng)域。

        跨相機跟蹤旨在通過建立多個相機間的目標關(guān)聯(lián)模型,獲取每個目標在多相機下的完整軌跡,其通常由兩個子任務(wù)組成:第一是單相機跟蹤,旨在同時定位并跟蹤多個感興趣目標;第二是跨相機關(guān)聯(lián),旨在關(guān)聯(lián)多個相機下的目標,對多個相機下的同一目標賦予相同ID。

        單相機下目標跟蹤算法[3]通常可分為基于相關(guān)濾波[4-6]的跟蹤方法和基于深度學習的跟蹤方法。相關(guān)濾波的主要思想是通過濾波模板與輸入幀做相關(guān)運算,最大輸出響應(yīng)的位置即為目標位置,核相關(guān)濾波算法[6]使用傅里葉變換快速計算大量樣本響應(yīng)值,其速度較快但是精度較低?;谏疃葘W習目標跟蹤算法大多遵循檢測跟蹤范式,通過對目標檢測[7-8]結(jié)果進行關(guān)聯(lián)來跟蹤目標。許多跟蹤方法采用卷積神經(jīng)網(wǎng)絡(luò)提取的Re-ID 特征進行目標關(guān)聯(lián)[9-11],DeepSORT[12]算法在SORT[13]算法基礎(chǔ)上使用卷積神經(jīng)網(wǎng)絡(luò)提取目標特征,并使用卡爾曼濾波器預測目標的運動狀態(tài),結(jié)合運動特征與外觀特征進行目標級聯(lián)匹配。StrongSORT[14]、FairMOT[15]算法在DeepSORT 的基礎(chǔ)上對目標檢測、重識別方法進行升級。這些方法能在單相機下取得較好的跟蹤效果,但是速度較慢,難以滿足實時性要求。ByteTrack[16]算法中提出了一種減少ID 切換的數(shù)據(jù)關(guān)聯(lián)組件,其保留低分檢測框用于二次匹配,減少了跟蹤目標ID切換,取得了先進的性能表現(xiàn),并且該方法可作為通用組件擴展到其他跟蹤器上。

        跨相機關(guān)聯(lián)的核心在于提取有效的特征對不同相機下的同一目標關(guān)聯(lián),現(xiàn)有關(guān)聯(lián)方法大多基于目標重識別,文獻[17]提出通過軌跡到目標分配方法解決跨相機軌跡匹配問題,并使用受限非負矩陣分解算法來計算滿足一組約束的最優(yōu)分配解決方案。文獻[18]提出通過目標檢測和特征匹配生成單個相機下軌跡,然后通過多相機重新識別模塊匹配生成的軌跡。文獻[19]根據(jù)隧道的特點設(shè)計了一種基于車道的時間掩碼算法對軌跡匹配域進行約束,該方法基于隧道車輛不變道的假設(shè),但是真實隧道場景中車輛會變道超車,導致此方法效果不佳。文獻[20]將聚類損失和軌跡一致性損失被引入到車輛重新識別訓練框架中,以訓練更適合聚類任務(wù)的軌跡特征。文獻[21]開發(fā)了一種時空注意力機制來產(chǎn)生強大的軌跡表征,然后通過交通拓撲推理修剪錯誤匹配候選者。上述方法都使用了車輛重識別,盡管提取特征的方法各有不同,但是這都在一定程度上增大了計算開銷,難以滿足實時跟蹤的要求,并且其僅應(yīng)用于光照較好的白晝場景,在隧道場景下,相機視野區(qū)域通常沒有重疊,且隧道環(huán)境照度較低,同時車輛尺度變化、同型車輛特征相似較高等客觀因素的影響,導致隧道交通場景下的車輛目標重識別關(guān)聯(lián)精度較差,難以滿足實際應(yīng)用需求。

        針對上述隧道場景下跨相機車輛跟蹤存在的問題,本文以隧道場景視頻為數(shù)據(jù),通過相機標定[22]建立多相機下的統(tǒng)一時空坐標系,在YOLOv7[23]目標檢測算法的每個ELAN模塊中加入歸一化注意力機制[24],更加關(guān)注感興趣區(qū)域,同時抑制不顯著特征的權(quán)重,實現(xiàn)高精度的車輛目標檢測,其次,在卡爾曼濾波的基礎(chǔ)上結(jié)合車輛速度進行目標位置預測,并結(jié)合二次關(guān)聯(lián)策略[16]與間隔幀方法實現(xiàn)單相機下車輛目標跟蹤,減少了目標ID切換,降低遮擋與低照度對車輛跟蹤的影響。通過分析車輛車型特征與時空特征,構(gòu)建以車輛時空相似性矩陣和車型相似性矩陣為基礎(chǔ)的跨相機軌跡匹配代價矩陣,采用匈牙利算法完成車輛目標匹配,從而實現(xiàn)跨相機車輛目標跟蹤。

        1 所提算法

        本文提出的跨相機車輛跟蹤算法框架如圖1 所示。輸入為多個連續(xù)相機拍攝的視頻,檢測模塊獲取車輛目標檢測框,跟蹤模塊獲得單個相機下車輛軌跡,相似性模塊計算相鄰相機下軌跡的車型相似性和時空相似性代價,匹配模塊對車輛目標進行匹配關(guān)聯(lián),最后輸出多相機下完整的車輛軌跡。

        圖1 跨相機車輛跟蹤框架Fig.1 Cross-camera vehicle tracking framework

        1.1 車輛目標檢測

        目標跟蹤的前置任務(wù)是目標檢測,本文使用YOLOv7[23]模型檢測車輛,并且在網(wǎng)絡(luò)的每個ELAN模塊后面引入輕量級的高效歸一化注意力模塊[24](normalization-based attention module,NAM),其在CBAM[25]的基礎(chǔ)上重新設(shè)計了通道注意力模塊和空間注意力模塊,使用批標準化(batch normalization,BN)的比例因子表示權(quán)重的重要性,能夠降低不顯著特征的權(quán)重,使其在保持相似性能的同時更具有計算效率。比例因子計算如式(1)所示,比例因子衡量通道的方差并表明它們的重要性。

        其中,μb、δb分別是每個批次數(shù)據(jù)b的均值和標準差,均值即對每個通道的像素值取平均值,標準差是分別計算各個通道像素值的標準差,然后取各通道標準差的平均值作為整個圖像批次數(shù)據(jù)的標準差,γ和β是可訓練的仿射變換參數(shù),使用均值為0、標準差為0.01高斯噪聲初始化。通道注意力子模塊結(jié)構(gòu)如圖2所示。

        圖2 通道注意力機制Fig.2 Channel attention module

        通道注意力模塊計算如式(2)所示:

        其中,輸入特征為F1,輸出Mc,權(quán)重

        空間注意力機制子模塊如圖3所示,將比例因子應(yīng)用于空間維度來衡量像素的重要性。

        圖3 空間注意力機制Fig.3 Spatial attention module

        空間注意力計算如式(3)所示:

        其中,輸入特征為F2,輸出為Ms,α為縮放因子,權(quán)重

        網(wǎng)絡(luò)輸入的圖片尺寸為640×640,輸出每個目標的分類、邊界框和置信度。將車輛分為汽車、卡車、公共汽車共三個類別,輸入p個連續(xù)相機的視頻集合V,V={Vi,i∈(1,2,…,p)},V的目標檢測結(jié)果集合為D。將置信度大于0.5 的檢測框定義為高分檢測框,置信度小于0.5大于0.1的檢測框定義為低分檢測框,丟棄置信度低于0.1的檢測框,并且過濾距離圖像邊緣小于10個像素的檢測框,因為此類檢測框為車輛目標初始進入攝像機視野時產(chǎn)生,檢測框中車輛不完整,影響檢測跟蹤精度。

        1.2 單相機車輛目標跟蹤

        1.2.1 多相機世界坐標系

        為了實現(xiàn)跨相機車輛跟蹤,本文構(gòu)建了統(tǒng)一的多相機世界坐標系,如圖4 所示,以隧道入口處第一個相機在路面的投影作為原點,x軸垂直于車輛行進方向,y軸沿車輛行進方向,z軸垂直于路面。結(jié)合相機標定和目標檢測結(jié)果可以得到車輛在世界坐標系中的實時位置。

        圖4 多相機世界坐標系Fig.4 Multi-camera world coordinate system

        1.2.2 單相機車輛跟蹤

        跟蹤器輸入為檢測結(jié)果集合D,每條軌跡由軌跡點集合N構(gòu)成,N={Nk,k∈(1,2,…,q)},每個軌跡節(jié)點Nk由目標檢測結(jié)果、速度向量和節(jié)點在世界坐標系中位置組成。跟蹤算法示意圖如圖5所示。

        圖5 單相機跟蹤算法示意圖Fig.5 Schematic diagram of single camera tracking algorithm

        軌跡狀態(tài)分為未確認態(tài)、確認態(tài)、丟失態(tài)和完成態(tài)。軌跡狀態(tài)轉(zhuǎn)移流程如圖6 所示,軌跡狀態(tài)轉(zhuǎn)換規(guī)則如下:初始時為高分檢測框目標創(chuàng)建軌跡,其為未確認態(tài)軌跡,連續(xù)跟蹤tcon次轉(zhuǎn)為確認態(tài)軌跡,否則丟棄此未確認態(tài)軌跡,確認態(tài)軌跡未匹配上檢測框時轉(zhuǎn)為丟失態(tài),丟失態(tài)軌跡連續(xù)丟失超過tlose次轉(zhuǎn)為完成態(tài),丟失態(tài)軌跡匹配成功轉(zhuǎn)為確認態(tài)。

        圖6 軌跡狀態(tài)轉(zhuǎn)移流程圖Fig.6 Flow chart of trajectory state transfer process

        單相機跟蹤在SORT算法基礎(chǔ)上引入BYTE關(guān)聯(lián)策略,現(xiàn)有的大多數(shù)的關(guān)聯(lián)方法只使用檢測置信度高于某一閾值的檢測框關(guān)聯(lián),丟棄低置信度檢測框,而低分檢測框通常是由于遮擋產(chǎn)生,BYTE關(guān)聯(lián)策略考慮低分檢測框,能降低漏檢、減少軌跡ID切換,其具體步驟如下:

        (1)初始時為每個高分檢測框目標創(chuàng)建新軌跡,并使用卡爾曼濾波算法對目標運動位置進行預測。只用高分框節(jié)點新建軌跡,減少了因遮擋產(chǎn)生的ID切換,從而保證了更高的跟蹤準確率。

        (2)第一次關(guān)聯(lián)使用高分檢測框與所有軌跡進行匈牙利匹配,若匹配成功,則將高分檢測框?qū)?yīng)的檢測節(jié)點加入軌跡,并根據(jù)狀態(tài)轉(zhuǎn)換規(guī)則進行軌跡狀態(tài)更新;使用未匹配的高分框新建一條軌跡。

        (3)第二關(guān)聯(lián)使用低分框與未匹配的軌跡進行匈牙利匹配。若匹配成功,則將低分框?qū)?yīng)的節(jié)點加入軌跡,并根據(jù)狀態(tài)轉(zhuǎn)換規(guī)則進行軌跡狀態(tài)更新;丟棄未匹配到軌跡的低分框目標。

        為了提高跟蹤算法實時性,采取間隔幀法檢測跟蹤,經(jīng)過實驗分析,間隔1 幀時實時性較高且對跟蹤精度影響較小,即每隔1幀進行一次檢測跟蹤。在軌跡為未確認態(tài)時使用卡爾曼濾波預測軌跡節(jié)點,并計算車輛目標在世界坐標系中運動的平均速度,在軌跡轉(zhuǎn)為確認態(tài)之后,利用車輛目標速度預測軌跡節(jié)點在下一次檢測幀中出現(xiàn)的位置。實驗結(jié)果表明,本文設(shè)計的跟蹤算法精度較高,能滿足實際使用需求。

        1.2.3 車輛時空圖

        時空圖展示了一段時間內(nèi)路面車輛目標在時間和空間上的關(guān)系,是反映車輛實時位置的重要方式。時空圖的x軸垂直于車道方向,y軸沿車道方向,t軸為時間。單相機下車輛時空圖如圖7所示,圖7(a)為原始時空圖,圖7(b)為經(jīng)過濾波之后的時空圖,圖中一條曲線代表一條軌跡。

        圖7 車輛軌跡時空圖Fig.7 Vehicle trajectory spatiotemporal map

        隧道相機安裝間距通常在150 m左右,使用單相機跟蹤算法跟蹤車輛目標,軌跡長度約為80 m,由于隧道場景存在照度較低、車輛遮擋等問題,會產(chǎn)生多余的小軌跡,此類軌跡影響對隧道車輛運行狀態(tài)的感知,過濾此類軌跡能提高匹配精度,因此過濾掉軌跡長度小于20 m 的軌跡。為減小標定帶來的誤差,對軌跡節(jié)點x坐標進行均值濾波,對節(jié)點y、t坐標進行線性回歸處理,軌跡濾波縮小待關(guān)聯(lián)軌跡集合,利于車輛目標關(guān)聯(lián)。

        1.3 多相機車輛目標關(guān)聯(lián)

        本文設(shè)計的多相機關(guān)聯(lián)算法如下,設(shè)兩個相機為C1、C2,建立兩個待匹配軌跡隊列T1、T2,將相機C1的完成態(tài)軌跡放入T1,相機C2 的確認態(tài)軌跡放入T2,T1={T1i,i∈(1,2,…,m)},T2={T2j,j∈(1,2,…,n)},T1、T2中待匹配目標個數(shù)分別為m、n,利用兩個隊列中的軌跡構(gòu)建車輛時空相似性矩陣和車型相似性矩陣,融合兩個矩陣構(gòu)成跨相機軌跡匹配代價矩陣,采用匈牙利算法完成不同相機下的車輛目標匹配,實現(xiàn)跨相機車輛目標跟蹤,獲取多相機下的車輛全局軌跡,并生成隧道交通場景的車輛目標全局時空圖。

        1.3.1 車型相似性

        車輛車型屬性分別為汽車、卡車、公共汽車,車型相似性代價函數(shù)如式(4)所示:

        在目標檢測精度較高的情況下,同型車輛匹配代價較小,本文取為0,不同車型車輛匹配代價較大,本文取為100。增大不同類型車輛之間的匹配代價能增加匹配正確率,使用目標檢測判斷車型有一定誤差,因此沒有簡單的將不同車型匹配代價置為無窮大。基于車型相似性代價,構(gòu)建車型相似性代價矩陣,如式(5)所示:

        1.3.2 車輛時空特征相似性

        對于T1 中的一條軌跡T1i,T2 中的一條軌跡T2j,通過軌跡T1i節(jié)點平均速度與時間間隔預測車輛目標出現(xiàn)在下一個相機中的節(jié)點位置,并計算預測節(jié)點與T2j第一個軌跡節(jié)點之間的時空距離。時空距離示意圖如圖8中fst(T1i,T2j)所示。

        圖8 軌跡時空距離示意圖Fig.8 Schematic diagram of trajectory spatialtemporal distance

        圖8 中d1代表軌跡T1i所構(gòu)成的向量,d2表示軌跡T1i第一個軌跡節(jié)點與T2j第一個軌跡節(jié)點形成的向量,d3表示T1i最后一個軌跡節(jié)點與T2j第一個軌跡節(jié)點形成的向量。軌跡時空代價fst(T1i,T2j)計算如式(6)所示:

        通過軌跡時空距離構(gòu)建時空相似性矩陣,如式(7)所示:

        1.3.3 車輛目標關(guān)聯(lián)

        引入權(quán)重λ融合相鄰相機之間車輛車型相似性代價矩陣和時空相似性代價矩陣構(gòu)成匹配代價矩陣Cm×n,表示兩個相機之間m條完成態(tài)軌跡和n條確認態(tài)軌跡之間的匹配代價,如式(8)所示:

        λ表示車型相似性代價矩陣和時空相似性代價矩陣的權(quán)重,當兩個相機相距較近時,時空相似性準確率較高,當兩個相機相距較遠時,時空相似性準確率下降,因此需要根據(jù)具體的場景設(shè)置參數(shù)λ。求解匹配結(jié)果時可以將此問題轉(zhuǎn)化為帶權(quán)二分圖的最優(yōu)匹配問題,使用匈牙利算法進行求解,將代價矩陣Cm×n輸入匈牙利算法進行軌跡匹配,矩陣中元素值越小,代表兩條軌跡之間匹配概率越大,匹配結(jié)果中選擇元素值最小的優(yōu)先匹配,匹配成功的T2j軌跡ID置為與其匹配的軌跡T1i的ID,當元素值大于設(shè)定閾值時,軌跡匹配失敗,如果軌跡T1i未匹配成功,則表示該車輛目標還未到達下一個相機,后續(xù)匹配再進行處理,如果軌跡T2j未匹配成功,則認為該軌跡為視頻開始時第一次出現(xiàn),賦予一個新的軌跡ID。將完成匹配的軌跡從待匹配隊列T2 中刪除,再讀取下一幀圖像跟蹤結(jié)果中確認態(tài)軌跡加入待匹配隊列進行匹配,在相鄰相機下進行軌跡匹配,最終形成大范圍實時車輛軌跡圖,實現(xiàn)多相機實時跟蹤。

        2 實驗與分析

        2.1 實驗數(shù)據(jù)集

        本文建立的目標檢測數(shù)據(jù)集采用多個高速公路隧道相機所拍攝的圖片,相機拍攝高度5~8 m,圖片尺寸為1 920×1 080,共28 685 張圖片,其中訓練集23 382 張圖片,驗證集2 500張圖片,測試集2 803張圖片,將車輛標注為Car、Truck、Bus 三類,數(shù)據(jù)涵蓋各種常見隧道場景,包括高、低拍攝角度,高、低光照條件,樣本數(shù)量分布如表1所示。

        表1 目標檢測數(shù)據(jù)集車輛數(shù)量Table 1 Number of vehicles in target detection dataset

        Car類別標注框41 483個,Truck類別標注框23 549個,Bus類別標注框2 855個。目標檢測數(shù)據(jù)集部分圖片如圖9所示。

        圖9 目標檢測數(shù)據(jù)集示意圖Fig.9 Schematic diagram of object detection dataset

        跨相機車輛跟蹤大多使用AI City 挑戰(zhàn)賽[26]數(shù)據(jù)集,此數(shù)據(jù)集為白晝郊區(qū)道路場景,為了測試隧道場景跨相機車輛跟蹤算法效果,本文構(gòu)建了跨相機跟蹤數(shù)據(jù)集(cross-camera tracking dataset,CCTD),數(shù)據(jù)集共8段連續(xù)相機視頻,視頻幀率25 FPS,大小為1 920×1 080。拍攝視頻的相機間隔均為150 m,隧道長度1 200 m,每段視頻錄制起始時間相同,每段時長10 min,使用UltimateLabeling 工具對視頻逐幀進行標注,并對每個相機進行參數(shù)標定??缦鄼C車輛數(shù)量及標注框數(shù)量如表2所示。

        表2 跨相機車輛數(shù)量分布表Table 2 Cross-camera vehicle number distribution table

        每段視頻中包含車輛數(shù)量超過70 輛,車輛跟蹤數(shù)據(jù)集部分圖片如圖10 所示,展示了多個車輛在不同相機中出現(xiàn)的位置。

        圖10 車輛跟蹤數(shù)據(jù)集圖片F(xiàn)ig.10 Pictures of vehicle tracking dataset

        2.2 評價指標

        目標檢測實驗采用準確率(precision,P)、召回率(recall,R)、多個類別平均精度(mean average precision,mAP),每秒檢測幀數(shù)(frames per second,F(xiàn)PS)幾項性能指標評判算法的性能。

        多目標跟蹤常用的評價指標為多目標跟蹤準確度(multi-object tracking accuracy,MOTA)和多目標跟蹤精確度(multi-object tracking precision,MOTP),計算如式(9)、(10)所示:

        其中,mt、fpt、et表示檢測器在視頻第t幀時漏檢、誤檢和錯誤匹配的目標數(shù),gt表示第t幀真實的目標數(shù)量。表示第t幀中目標與第i個檢測框之間距離,ct表示第t幀匹配成功目標個數(shù)。

        對于跨相機跟蹤,ID相關(guān)的指標是最重要的,IDTP是真正ID 數(shù)量,IDFP是假正ID 數(shù)量,IDFN是假負ID 數(shù)量,識別精確度IDP是指每個車輛ID 識別精確度,識別召回率IDR指車輛ID識別的召回率,IDF1 是每個框中車輛ID識別的F值,其計算如式(11)所示:

        軌跡匹配正確率(trajectory match accuracy,TMA)表示不同相機下車輛目標車輛匹配正確程度,其計算如式(12)所示:

        其中,N為匹配正確車輛數(shù)量,S為全部車輛數(shù)量。

        2.3 實驗環(huán)境及訓練策略

        實驗所用處理器為Intel Core i9-10900K,RAM 為32 GB,GPU為NVIDIA GeForce RTX 3090,顯存24 GB,系統(tǒng)為Ubuntu18.04,軟件環(huán)境CUDA v11.2、OpenCV 4.5.0。

        訓練迭代300 個epoch,batch_size 設(shè)為8,初始學習率1E-3,動量因子0.93,權(quán)重衰減系數(shù)0.000 5,訓練損失如圖11所示。

        圖11 訓練損失曲線圖Fig.11 Training loss curve

        2.4 單相機車輛檢測跟蹤

        2.4.1 車輛目標檢測實驗

        車輛目標檢測消融實驗如表3所示,數(shù)據(jù)集采用本文所提出的隧道車輛目標檢測數(shù)據(jù)集。

        表3 車輛檢測算法消融實驗Table 3 Vehicle detection algorithm ablation experiment

        實驗結(jié)果表明,本文在引入NAM模塊之后,YOLOv7檢測器精度提升了1.05個百分點,并且對檢測速度影響較小,證明了該模塊的有效性。

        2.4.2 單相機車輛跟蹤實驗

        經(jīng)過實驗比較,本文將單相機車輛跟蹤實驗將連續(xù)跟蹤次數(shù)tcon轉(zhuǎn)為確認態(tài)參數(shù)設(shè)置為3,丟失tlose次轉(zhuǎn)為完成態(tài)參數(shù)設(shè)置為5。為了評估本文單相機跟蹤算法的有效性,在CCTD 上對比了現(xiàn)有效果較優(yōu)的SORT[13]、DeepSORT[12]、ByteTrack[16]、StrongSORT[14]、Fairmot[15]、BoT-SORT[27]車輛跟蹤算法,實驗結(jié)果如表4所示。此處的FPS為單位時間內(nèi)檢測與跟蹤整體處理幀數(shù)。

        表4 單相機車輛跟蹤算法對比Table 4 Comparison of single camera vehicle tracking algorithms

        本文所提的單相機跟蹤算法MOTA 達到82.1%,MOTP 達到79.6%,速度達到了115 FPS,與ByteTrack相比,MOTA 提升了2.5 個百分點,主要是由于檢測算法的先進性。與基于重識別的Fairmot、StrongSORT 算法相比,MOTA 分別提升7.6與6.7個百分點,主要是因為BYTE關(guān)聯(lián)策略能夠減少目標ID切換,提升跟蹤準確度。與基于ByteTrack 改進的BoT-SORT 相比,MOTA提升了1.3 個百分點,主要是因為所用速度預測方法能更加精確的預測目標位置。與SORT、DeepSORT 算法相比,性能也有大幅提升。

        本文方法可以同時對多段視頻進行車輛目標實時檢測跟蹤,整體性能較優(yōu),證明了本文所提算法的優(yōu)越性與可行性。在多個隧道中跟蹤結(jié)果可視化如圖12所示,圖中曲線為車輛目標軌跡,可以看出本文所提出的單相機跟蹤算法在照度較低和隧道口光照突變的條件下仍能較好地跟蹤車輛。

        圖12 車輛跟蹤結(jié)果圖Fig.12 Vehicle tracking diagram

        為評估本文單相機跟蹤所用跟蹤方法各個模塊的有效性,在CCTD上所做消融實驗如表5所示。

        表5 跟蹤算法消融實驗Table 5 Tracking algorithm ablation experiment

        相較于原始算法,加入速度預測模塊,MOTA 和MOTP 分別提升了3.9和2.4個百分點,加入BYTE關(guān)聯(lián)策略,MOTA 和MOTP 分別提升了7.1 和8.6 個百分點,加入間隔幀方法MOTA 和MOTP 有所下降,但是速度提升較大,達到121 FPS,在不影響實際跟蹤效果的情況下,降低部分精度換取實時性的提升,三個模塊同時加入,跟蹤速度達到115 FPS,MOTA 達到82.1%,在速度和精度之間取得較好平衡。

        2.4.3 跨相機車輛軌跡匹配實驗

        當確認態(tài)軌跡隊列T2 大小為3 時計算代價矩陣,進行一次匈牙利匹配,將匹配完成的軌跡ID更新,并將匹配完成的軌跡移出隊列并設(shè)置為匹配態(tài),最終形成全局軌跡。本文跨相機目標匹配方法在CCTD 上8 段視頻中測試結(jié)果如表6所示。

        表6 多相機目標匹配結(jié)果Table 6 Multi-camera target matching results 單位:%

        實驗結(jié)果表明,跨相機跟蹤IDF1 達到80.2%,平均匹配正確率達到94.9%,證明了本文所提出的軌跡拼接方法的有效性,該方法能夠滿足隧道場景多相機車輛目標實時跟蹤,為隧道交通實時運行狀態(tài)監(jiān)測提供保障。在CCTD上經(jīng)過實驗對比,不同車型車輛λ取不同值時的車輛匹配正確率如表7 所示,λ取0.7 時車輛軌跡匹配關(guān)聯(lián)效果最佳。

        表7 λ 靈敏度實驗Table 7 λ sensitivity experiments

        不同場景車輛密度不同,選取車流量不同的三條隧道場景進行測試,隧道1為低車流量場景,隧道2為中等車流量場景,隧道3為高車流量場景,場景圖如圖13所示。

        圖13 不同車流量隧道場景圖Fig.13 Scenarios of tunnels with different traffic flow

        在不同的場景下車輛目標匹配結(jié)果對比如表8 所示,車流量較小時車輛匹配正確率較高,車流密度增大時,車輛之間互相遮擋,會造成車輛匹配正確率下降。

        表8 不同車輛密度場景車輛匹配結(jié)果Table 8 Vehicle detection algorithm ablation experiment 單位:%

        為了驗證本文方法的先進性,與其他基于重識別的匹配方法在CCTD上對比結(jié)果如表9所示。

        表9 跨相機跟蹤方法對比Table 9 Comparison of cross-camera tracking methods 單位:%

        TRACTA[17]、LACE[18]、LBTM[19]、VFST[20]方法均基于重識別技術(shù),與這些方法相比,本文方法的各項指標較優(yōu),主要是由于本文方法檢測跟蹤精度較高,能夠產(chǎn)生有效的車輛軌跡,隧道場景照度較低,使用重識別模型難以區(qū)分同類型車輛目標,而本文方法利用時空特征能夠克服此影響。

        相鄰相機軌跡關(guān)聯(lián)結(jié)果如圖14所示。相機C1、C2中a、b兩條軌跡為同一車輛,在時空圖上進行軌跡關(guān)聯(lián)。在所有相鄰相機之間進行軌跡關(guān)聯(lián),最終形成全隧道車輛軌跡時空圖,實現(xiàn)隧道場景跨相機車輛實時跟蹤。

        3 結(jié)論

        本文針對隧道環(huán)境照度低、現(xiàn)有跟蹤方法精度與實時性較差的問題,提出了一種基于YOLOv7與卡爾曼濾波算法的跟蹤器,首先在YOLOv7中加入歸一化注意力模塊,提高目標檢測精度,然后在卡爾曼濾波算法基礎(chǔ)上利用車輛速度進行位置預測,并且引入BYTE關(guān)聯(lián)策略增加召回率,提高跟蹤精度,使用間隔幀法提高跟蹤精度,最后利用車型相似性和車輛時空位置關(guān)系進行相鄰相機軌跡拼接,實現(xiàn)實時大范圍隧道跨相機車輛目標跟蹤,本文所提方法在實際隧道場景進行測試精度較高,能有效反映隧道車輛實時運行狀態(tài),具有一定的實用價值。

        需要指出的是,本文方法在車輛較多或者發(fā)生擁堵時表現(xiàn)不佳,有待進一步提高,同時需要考慮如何將算法應(yīng)用到更加復雜的高速路場景。

        猜你喜歡
        關(guān)聯(lián)檢測
        不懼于新,不困于形——一道函數(shù)“關(guān)聯(lián)”題的剖析與拓展
        “不等式”檢測題
        “一元一次不等式”檢測題
        “一元一次不等式組”檢測題
        “苦”的關(guān)聯(lián)
        當代陜西(2021年17期)2021-11-06 03:21:36
        “幾何圖形”檢測題
        “角”檢測題
        “一帶一路”遞進,關(guān)聯(lián)民生更緊
        當代陜西(2019年15期)2019-09-02 01:52:00
        奇趣搭配
        智趣
        讀者(2017年5期)2017-02-15 18:04:18
        女同性恋亚洲一区二区| 三上悠亚久久精品| 国产精品多人P群无码| 精产国品一二三产区m553麻豆| 日韩成人极品在线内射3p蜜臀| 中文字幕Aⅴ人妻一区二区苍井空| 国产成人久久综合第一区| 中文字幕人妻激情在线视频| 人妖一区二区三区四区| 免费中文熟妇在线影片| 日本丰满妇人成熟免费中文字幕| 日韩精品免费一区二区中文字幕 | 麻豆AV无码久久精品蜜桃久久| 中文字幕乱码亚洲美女精品一区| 国产高清在线一区二区不卡| 久久人妻少妇嫩草av无码专区| 91久久青青草原线免费| 性感人妻一区二区三区| 国产精品一区二区黄色| 成人免费无码大片a毛片软件 | 亚洲av日韩综合一区尤物| 国产大片黄在线观看| 亚洲av日韩av永久无码色欲| 校花高潮一区日韩| 白白色青青草视频免费观看| 亚洲综合av一区二区三区蜜桃| 国产精品9999久久久久| 在线精品日韩一区二区三区| 日本精品av中文字幕| 久久国产成人精品av| 国产自偷亚洲精品页65页| 久久夜色精品国产噜噜噜亚洲av | 手机看片久久国产免费| 免费一级毛片麻豆精品| 亚洲av国产精品色a变脸| 欧美性猛交aaaa片黑人| 精品亚洲欧美无人区乱码| 国产成人精品cao在线| 亚洲国产系列一区二区| 亚洲精品国产av天美传媒| 精品一精品国产一级毛片|