袁 首，喬勇軍，蘇 航，陳青華，劉 星,2

(1.海軍航空大學(xué)，山東 煙臺 264001； 2.中國人民解放軍91967部隊(duì)， 河北 邢臺 054102)

1 引言

對監(jiān)控探頭中的目標(biāo)軌跡進(jìn)行預(yù)測是一個廣泛關(guān)注的熱點(diǎn)，在智能監(jiān)控、安防保障、自動駕駛等領(lǐng)域有許多應(yīng)用。而當(dāng)前該方面的研究集中在單個監(jiān)控探頭中的軌跡預(yù)測，即在同一監(jiān)控探頭中預(yù)測目標(biāo)的未來軌跡。這樣使得在單個監(jiān)控探頭之外，目標(biāo)接下來將出現(xiàn)在哪里便無從分析，不適用于一個區(qū)域的預(yù)測判斷，如果組建一個包含多監(jiān)控探頭的系統(tǒng)便可以解決這類問題。這和以往的工作不一樣，之前使用軌跡信息進(jìn)行行人重識別或是跟蹤是后置性的，而這次是先驗(yàn)性的，即利用軌跡來預(yù)測目標(biāo)接下來會出現(xiàn)在哪個監(jiān)控探頭中，便于監(jiān)視人員提前做出預(yù)警與判斷。

在軌跡預(yù)測方面，近年來較為活躍。如Alahi等[1]提出了Social lstm、Gupta等[2]提出了Social gan、李琳輝等[3]在此基礎(chǔ)上探索不同池化層帶來的影響、Sadeghian等[4]提出了Sophie，均關(guān)注于通過提取社會交往的特征，來避免在群體運(yùn)動中與他人的碰撞；另一方面，Liang等[5]提出的從非最低點(diǎn)視點(diǎn)提取人體姿態(tài)，或是Styles[6]提出的利用光流也考慮到了將環(huán)境約束應(yīng)用于軌跡預(yù)測。但是以上研究均是在單個監(jiān)控探頭中使用的，無法很好地適用于當(dāng)前的要求。

而當(dāng)前明確用于行人軌跡預(yù)測的數(shù)據(jù)集如UCY[7]、ETH[8]、Stanford Drone[9]等，使用鳥瞰的角度來記錄，但卻是單監(jiān)控探頭下進(jìn)行的；而DuckMTMC[10]等多監(jiān)控探頭的數(shù)據(jù)集已經(jīng)不再公開提供，無法使用。因此對于構(gòu)建模型的應(yīng)用場景，需要自行搭建一個相關(guān)數(shù)據(jù)集進(jìn)行使用。

為此，以跨監(jiān)控探頭軌跡預(yù)測作為應(yīng)用背景，設(shè)計了一個跨監(jiān)控探頭軌跡預(yù)測的模型，構(gòu)建了相關(guān)基線作對比。為了進(jìn)行實(shí)驗(yàn)驗(yàn)證，構(gòu)建了一個具有多監(jiān)控探頭視頻的數(shù)據(jù)集，包含的視頻內(nèi)容復(fù)雜度高，也繼而提出了一種自動手動相結(jié)合的數(shù)據(jù)標(biāo)注方式，有效減少了人力消耗。實(shí)驗(yàn)驗(yàn)證證明跨監(jiān)控探頭軌跡預(yù)測問題被有效地解決，也為相關(guān)領(lǐng)域的研究做出了一些前期的貢獻(xiàn)。

2 預(yù)測模型設(shè)計

AMVS中每個監(jiān)控探頭使用的模型均包含三大部分，一個基于門控循環(huán)單元(GRU)和全連接層(FC)的Bounding Box處理器，用于從過去軌跡的Bounding Box中提取時間特征；一個基于Average Pooling的池化模塊，用于處理交互信息；以及一個預(yù)測器，用于根據(jù)學(xué)習(xí)的特征生成未來的Bounding Box做預(yù)測。整體的AMVS模型結(jié)構(gòu)如圖1所示。

圖1 AMVS模型結(jié)構(gòu)框圖Fig.1 AMVS model diagram

2.1 處理器

2.2 池化模塊

視頻中會有人員相互影響的情況出現(xiàn)，使用池化模塊可以對交互信息進(jìn)行綜合分析。

在常見的池化匯集方法Max Pooling、Gumbel Pooling和Average Pooling中進(jìn)行選擇。由于處理器產(chǎn)生的信息包含了許多的有效特征，而Max Pooling容易過度的過濾，無法有效保留有用的特征信息，進(jìn)行最大池化反倒產(chǎn)生不好的結(jié)果。Gumbel Pooling適用于人員非常密集且雜亂的情況，但是針對人員目的性較強(qiáng)時就容易出現(xiàn)過度分析的問題。而本研究中所構(gòu)建的數(shù)據(jù)集人員密集度不高但軌跡的線性強(qiáng)，因而采用Average Pooling即平均池化的方法可以對場景進(jìn)行更好地建模。

選定好Average Pooling作為池化模塊后，其接收到處理器送來的δi，總結(jié)行人下一步所需要的全部信息，輸出池化向量δo，為下一步預(yù)測器的預(yù)測做準(zhǔn)備。

2.3 預(yù)測器

此外，由于長短期記憶網(wǎng)絡(luò)(LSTM)和GRU在時序處理方面均具有突出的表現(xiàn)，研究中也嘗試了將模型中的GRU模塊更換為LSTM模塊，其余部分相同，也可以得出適用于跨監(jiān)控探頭軌跡預(yù)測的模型，這在3.3節(jié)的實(shí)驗(yàn)驗(yàn)證中可以得到證實(shí)，也在另一方面證明了所提出的AMVS模型具有良好的擴(kuò)展性。

3 實(shí)驗(yàn)與結(jié)果分析

首先針對跨監(jiān)控探頭軌跡預(yù)測情景設(shè)計了模型AMVS，之后為評估所研究的內(nèi)容，構(gòu)建了跨監(jiān)控探頭軌跡預(yù)測數(shù)據(jù)集(across monitoring vidicon trajectory prediction dataset，AMVTP)，并在該數(shù)據(jù)集上進(jìn)行驗(yàn)證。實(shí)驗(yàn)將從AMVTP數(shù)據(jù)集的實(shí)用性以及AMVS模型的有效性兩部分展開。實(shí)驗(yàn)運(yùn)行在Windows 10操作系統(tǒng)，使用PyTorch 1.1.0，GPU為NVIDIA GEFORCE RTX 2080 Ti，使用Cuda10.1以及Cudnn v7.5.0進(jìn)行加速。

3.1 視頻數(shù)據(jù)集制作

為了實(shí)驗(yàn)驗(yàn)證上述設(shè)計方法的可行性，首先需要快速且高質(zhì)量的獲取一個跨監(jiān)控探頭軌跡預(yù)測數(shù)據(jù)集AMVTP，因此，提出了一種手動自動相結(jié)合的構(gòu)建方式，數(shù)據(jù)集構(gòu)建流程如圖2所示。流程主要分成三大部分，下面將依次進(jìn)行說明。

圖2 數(shù)據(jù)集構(gòu)建流程框圖Fig.2 Dataset construction flowchart

3.1.1獲取視頻

選取了某基地在室內(nèi)外架設(shè)的12個監(jiān)控探頭中10天360個小時的數(shù)據(jù)作為視頻來源。由于需要進(jìn)行跨監(jiān)控探頭軌跡預(yù)測，保證行人從一個監(jiān)控探頭出去后可以在下個探頭中觀測到，繪制了監(jiān)控探頭間的拓?fù)潢P(guān)系，如圖3所示。同時為了增強(qiáng)適用性，視頻數(shù)據(jù)選取包含室內(nèi)外的場景、人群與車等。考慮到由于天氣狀況導(dǎo)致能見度不同，也會對視頻監(jiān)控產(chǎn)生影響，而大氣科學(xué)對相關(guān)定義較細(xì)，與之結(jié)合這里只需做簡易的分別，規(guī)定能見度在20 km(含)以上為極好，15(含)～20 km為好，10(含)～15 km為一般，1(含)～10 km為較差，0.3(含)～1 km為差，0.3(含)km為極差，繼而對監(jiān)控時能見度進(jìn)行記錄，如圖4所示為監(jiān)控探頭2在不同能見度下拍攝的視頻數(shù)據(jù)示例。因?yàn)楸Ｃ芤?，在一些部位打上了馬賽克，下同。

圖3 監(jiān)控探頭間的拓?fù)潢P(guān)系示意圖Fig.3 Monitoring vidicon topology view

圖4 監(jiān)控探頭2在不同能見度下拍攝的情景圖Fig.4 The scene taken by monitoring vidicon 2 in different visibility

3.1.2視頻過濾

在上一步獲取到了相關(guān)視頻數(shù)據(jù)之后，為了保證訓(xùn)練視頻的質(zhì)量，需要對其進(jìn)行半自動方法予以過濾。去除掉因?yàn)樽x取錯誤而無法打開的視頻文件，同時針對其中模糊不清或是因能見度過差而導(dǎo)致無法使用算法檢測的文件予以丟棄，由于算法可能存在棄真的情況，再對舍棄的視頻文件進(jìn)行手動的驗(yàn)證，保證留下來的視頻真實(shí)可用。

1) 使用python中Anaconda自帶的imageio庫進(jìn)行視頻讀取處理，預(yù)先使用conda-forge命令安裝編譯好的ffmpeg，而且可以讀取某一幀的視頻，如果出現(xiàn)視頻無法打開等讀取有誤的問題，則將有問題的視頻遷移至“廢棄”文件夾中，以便于后續(xù)手動的驗(yàn)證。

2) 完成步驟1后，對于那些因?yàn)楦鞣N原因而導(dǎo)致模糊，從而無法運(yùn)用目標(biāo)檢測和跟蹤算法標(biāo)記出來的視頻數(shù)據(jù)進(jìn)行舍棄，使用較為先進(jìn)且便捷的Mask R-CNN[14]方法進(jìn)行目標(biāo)檢測、SORT[15]方法進(jìn)行目標(biāo)跟蹤，予以預(yù)訓(xùn)練。針對于未能完成檢測跟蹤的視頻，也將其遷移至“廢棄”文件夾中，之后進(jìn)行手動的核實(shí)。

3) 在“廢棄”文件夾中，針對于視頻無法讀取的情況，看是否由于格式損壞導(dǎo)致，可以使用MP4視頻文件修復(fù)器(HD Video Repair Utility)進(jìn)行修復(fù)；由于檢測算法導(dǎo)致無法識別的目標(biāo)，對其進(jìn)行手動核對判斷是否有行人，后續(xù)采用識別精度更高、基于回歸的YOLOv4[16]目標(biāo)檢測算法和Deep SORT[17]跟蹤方法進(jìn)行預(yù)訓(xùn)練標(biāo)定。以上進(jìn)行完成之后，對那些依舊無法讀取或者識別的視頻予以刪除，而對于誤檢至“廢棄”文件夾的視頻予以恢復(fù)至原始文件，將視頻數(shù)量進(jìn)行平衡[18]。

至此，完成了視頻過濾的工作，在這個過程中，采用了自動與手動相結(jié)合的方式進(jìn)行，獲取到過濾后的視頻文件2 364份，其中自動2 013份，手動351份，占比14.8%。

3.1.3視頻數(shù)據(jù)標(biāo)注

由于對跨監(jiān)控探頭軌跡進(jìn)行研究，所以軌跡需要先行在單個監(jiān)控探頭進(jìn)行標(biāo)記，之后再進(jìn)行監(jiān)控探頭間的關(guān)聯(lián)。為了保證關(guān)聯(lián)信息的準(zhǔn)確，同時降低手動消耗，繼續(xù)采取半自動標(biāo)注的思想，接下來將闡述所提出的方法。

3) 最后采用手動驗(yàn)證上述得出的匹配是否真實(shí)正確，選定IOU≥0.5，手動的驗(yàn)證可以保證標(biāo)注的質(zhì)量，去除了錯誤的檢測和匹配。本次構(gòu)建得到了一個具有1 182個匹配離入對的集合，其中1 034個正確，148個錯誤，手動檢出的錯誤占總匹配數(shù)的12.5%。

3.1.4數(shù)據(jù)集概覽

至此，構(gòu)建得到了一個具有2 064個視頻文件，1 034個離入對匹配的跨監(jiān)控探頭數(shù)據(jù)集，有用時長共約5 h。無論是視頻過濾還是視頻標(biāo)注階段，手動占比均在15%以下，比當(dāng)前視頻數(shù)據(jù)集構(gòu)建時的平均水平降低約30%～50%，使人力資源消耗控制在低水平。

表1所示為數(shù)據(jù)集具體參數(shù)，圖5所示為標(biāo)定好的離入對匹配示例。

表1 AMVTP具體參數(shù)

續(xù)表(表1)

圖5 不同監(jiān)控探頭下標(biāo)定好的離入對示例圖Fig.5 Examples of calibrated leaving and accessing pairs under different monitoring vidicons

3.2 AMVTP數(shù)據(jù)集實(shí)用性驗(yàn)證

3.2.1基線創(chuàng)建

現(xiàn)有的軌跡預(yù)測方法如Social-LSTM[1]、Social-GAN[2]等是依照單監(jiān)控探頭軌跡預(yù)測設(shè)計，用于直接比較跨監(jiān)控探頭是不合適的，為了進(jìn)行公平有效地比較，創(chuàng)建了以下的基線。

1) 實(shí)際距離最短法。根據(jù)實(shí)際測量到的監(jiān)控探頭之間的物理距離(見圖6)，預(yù)測目標(biāo)將出現(xiàn)在距離最近的探頭中。

2) 轉(zhuǎn)換過渡頻次法。根據(jù)計算得到的轉(zhuǎn)換過渡頻次(見圖7)，預(yù)測目標(biāo)將出現(xiàn)在對應(yīng)的出現(xiàn)頻次最高的探頭中。

3) 軌跡最相似法。在訓(xùn)練集中找到與當(dāng)前觀測到的軌跡最相似的那個，并預(yù)測二者具有相同的軌跡，目標(biāo)繼而進(jìn)入相同的下一個監(jiān)控探頭中。

4) Hand-crafted特征法。從Bounding Box中提取素材，構(gòu)建了10維Hand-crafted特征。包含x和y方向的速度，x和y方向的加速度，最后觀察到的Bounding Box的高度和寬度，以及它的4個坐標(biāo)。根據(jù)監(jiān)控探頭捕捉到的二維坐標(biāo)系統(tǒng)計算所有特征，并用全連接層對其進(jìn)行分類。

除此以外，使用歸一化的Bounding Box坐標(biāo)作為輸入，為每個監(jiān)控探頭采用一個單獨(dú)的網(wǎng)絡(luò)模型，簡單設(shè)計了3種學(xué)習(xí)方法。

5) 全連接網(wǎng)絡(luò)。具有雙層結(jié)構(gòu)，每層有128個隱藏單元。

6) GRU。標(biāo)準(zhǔn)GRU，每層有128個隱藏單元。

7) LSTM。標(biāo)準(zhǔn)LSTM，每層有128個隱藏單元。

圖6 各監(jiān)控探頭間距離示意圖Fig.6 Distance between monitoring vidicons

圖7 監(jiān)控探頭間轉(zhuǎn)換頻次示意圖Fig.7 Monitor conversion frequency between vidicons

3.2.2實(shí)驗(yàn)評估

1) 評價指標(biāo)

為了驗(yàn)證數(shù)據(jù)集的實(shí)用性，使用3.2.1創(chuàng)建的基線方法，分別給定一個監(jiān)控探頭，來計算top 1和top 3的預(yù)測準(zhǔn)確率(Accuracy)，之后再將所有結(jié)果取均值。

2) 實(shí)驗(yàn)設(shè)置

因?yàn)閿?shù)據(jù)集包含的能見度種類較多，因而實(shí)驗(yàn)具有挑戰(zhàn)性。使用5-fold交叉驗(yàn)證來評估每個模型，驗(yàn)證集和測試集的記錄時間與訓(xùn)練集不同。在每個fold中，選擇10天進(jìn)行訓(xùn)練，剩下的5 d被分成相同大小的驗(yàn)證集和測試集。針對基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，每種都訓(xùn)練了10個epoch，batch size值選用16，學(xué)習(xí)率為1×10-3，全連接層之間的dropout系數(shù)設(shè)置為0.2。

3) 結(jié)果討論

如表2所示為實(shí)驗(yàn)得到的Accuracy。在預(yù)測top1時，效果最佳的是LSTM，其實(shí)應(yīng)用于學(xué)習(xí)網(wǎng)絡(luò)的策略都較為優(yōu)異，主要是有足夠的數(shù)據(jù)進(jìn)行訓(xùn)練。而除了實(shí)際距離最短法之外的基線也取得了近似70%的Accuracy，因?yàn)槠浍@取了相當(dāng)數(shù)量的數(shù)據(jù)集信息。而top3的Accuracy表現(xiàn)結(jié)果明顯優(yōu)于top1，因?yàn)閺霓D(zhuǎn)換過渡圖就可以發(fā)現(xiàn)，一個目標(biāo)接下來最多有4個監(jiān)控探頭可以觀測到，絕大部分是3個，其中全連接網(wǎng)絡(luò)表現(xiàn)效果最好，其余的除實(shí)際距離最短法之外的效果差異不大。實(shí)際距離最短法之所以效果一般，是因?yàn)槠溥^于理想化，沒有考慮現(xiàn)實(shí)情況，因而評估時可以去除。

表2 Accuracy預(yù)測結(jié)果

綜上，在AMVTP數(shù)據(jù)集上驗(yàn)證top1的平均結(jié)果為71.1%，top3的平均結(jié)果為88.5%，可以作為跨監(jiān)控探頭軌跡預(yù)測任務(wù)的數(shù)據(jù)支撐。

3.3 AMVS模型有效性驗(yàn)證

3.3.1數(shù)據(jù)集

實(shí)驗(yàn)采用AMVTP數(shù)據(jù)集，相關(guān)介紹已在前文敘述。

3.3.2基線創(chuàng)建

1) 訓(xùn)練集均值法。針對某一個特定監(jiān)控探頭所有訓(xùn)練集的觀測值做處理，并且取其ground truth標(biāo)簽的均值作為結(jié)果。

2) 實(shí)際距離最短法。構(gòu)建方法同3.2.1。

3) 軌跡最相似法。構(gòu)建方法同3.2.1。

4) Hand-crafted特征法。構(gòu)建方法同3.2.1。

5) 1D-CNN?？紤]到軌跡預(yù)測涉及時間序列任務(wù)，而1D-CNN作為循環(huán)模型的實(shí)際使用便有很強(qiáng)的參考價值。在這里使用Yagi等[19]提出的網(wǎng)絡(luò)體系結(jié)構(gòu)，輸入的信息包括Location-Scale Stream、Ego-Motion Stream、Pose Stream三個卷積與反卷積層，并將信息匯總后輸入到Channel-wise Concatenation用于描述中間深度特征，最后使用一個全連層FC進(jìn)行軌跡的預(yù)測。

6) 2D-1D-CNN。受到Xie等[20]提出的視頻分類模型的啟發(fā)，為了減少網(wǎng)絡(luò)參數(shù)的數(shù)量，使用獨(dú)立的2D和1D卷積層而不是3D層來進(jìn)行特征提取與預(yù)測。輸入的視頻信息經(jīng)過卷積層、Max Pooling層、時空卷積層、2D3D初始塊、全連接層FC的處理，實(shí)現(xiàn)軌跡的預(yù)測。

7) CNN-GRU。借鑒Luc等[21]的思想，使用預(yù)測未來卷積特征的策略來預(yù)測未來的實(shí)例分割地圖。首先訓(xùn)練一個卷積自動編碼器，得到一個大小為128的特征向量，然后將該編碼作為預(yù)測未來特征向量GRU的輸入，直至收斂，對其進(jìn)行解碼，與GRU進(jìn)行端到端訓(xùn)練，最后輸入到全連接層FC進(jìn)行軌跡預(yù)測。

8) AMVS模型法。構(gòu)建方法同第二章。包含AMVS-GRU和AMVS-LSTM兩種。

3.3.3實(shí)驗(yàn)評估

1) 評價指標(biāo)

由于根據(jù)目標(biāo)在單個監(jiān)控探頭中的軌跡預(yù)測接下來其會在哪個監(jiān)控探頭中出現(xiàn)，關(guān)注點(diǎn)是目標(biāo)接下來出現(xiàn)的監(jiān)控探頭的正確性，因而傳統(tǒng)評價軌跡預(yù)測的指標(biāo)如平均位移誤差(ADE)和最終位移誤差(FDE)起到的作用并不高。在本文中，采用直觀的評價方法，計算所有模型的平均精度(AP)，并且繪制precision-recall曲線(PRC)。之所以不采取受試者工作特征曲線(ROC)，是因?yàn)樵诒緦?shí)驗(yàn)中正例(對象存在)和負(fù)例(無對象存在)樣本比例懸殊較大，ROC在這種情況下表現(xiàn)得過于完美，而PRC則可以正確反映問題。

2) 實(shí)驗(yàn)設(shè)置

對于AMVS方法，為每個監(jiān)控探頭訓(xùn)練一個單獨(dú)的模型。同時保持處理器和池化模塊不變，并將預(yù)測器更改為大小為12的全連接輸出層，即AMVTP數(shù)據(jù)集中的監(jiān)控探頭數(shù)量。在輸出層中，使用二元交叉熵作為損失函數(shù)和sigmoid作為激活函數(shù)。sigmoid激活函數(shù)將每個Bounding Box輸出映射為0～1之間的值，即目標(biāo)出現(xiàn)在該監(jiān)控探頭的概率，在k個監(jiān)控探頭組中，將概率最大的認(rèn)為是目標(biāo)下一個將出現(xiàn)的監(jiān)控探頭。采用交叉驗(yàn)證方法，并使用Adam優(yōu)化器進(jìn)行訓(xùn)練，學(xué)習(xí)率分別1×10?3，提取的特征向量大小為128，batch size為64。

3) 結(jié)果討論

每個模型的AP值如表3所示，PRC如圖8所示。從其中可以看出，相比于創(chuàng)建的基線方法，提出的AMVS模型在數(shù)據(jù)集上取得了很好的效果。AMVS中的LSTM和GRU兩種方法平均的AP值為0.873，比實(shí)際距離最短法提高了76.7%，比軌跡最相似法提高了26.3%，比訓(xùn)練集均值法提高了13.7%，比Hand-crafted特征法提高了10.5%，比1D-CNN提升了6.1%，比CNN-GRU提升了5.2%，比2D-1D-CNN提升了5.1%?？梢园l(fā)現(xiàn)，AMVS模型中的LSTM和GRU兩個分支表現(xiàn)效果近似，因?yàn)槠涠继崛×藭r序信息進(jìn)行處理，而且在本數(shù)據(jù)量一般的情況下，性能差別不大，使用處理器、池化模塊、預(yù)測器3部分可以很好地把相關(guān)信息輸入并進(jìn)行處理，同時摒棄噪聲的干擾，后續(xù)繼續(xù)提升效果準(zhǔn)備在預(yù)測器前加入貝葉斯算法進(jìn)行先驗(yàn)二分類，從而提升預(yù)測效果。訓(xùn)練集均值法會比Hand-crafted特征法表現(xiàn)效果稍好，是因?yàn)槠溽槍Ρ緮?shù)據(jù)集進(jìn)行了特定的處理，有過擬合的傾向。而軌跡最相似法也針對數(shù)據(jù)集做了專門處理但是表現(xiàn)不佳，認(rèn)為是一個人離開某一監(jiān)控探頭后可能會在多個探頭中出現(xiàn)，進(jìn)而會出現(xiàn)多個近似軌跡，導(dǎo)致算法分類滯后。實(shí)際距離最短法效果最差是因?yàn)檫^于理想化從而忽視了行人運(yùn)動時的現(xiàn)實(shí)情景，例如2個監(jiān)控探頭距離最近但是分別位于室內(nèi)外從而行人不可能緊接出現(xiàn)。1D-CNN使用循環(huán)模型和卷積反卷積層進(jìn)行處理，可以很好地把軌跡信息描述中間的深度特征，但是由于后續(xù)沒有良好的支撐，所以準(zhǔn)確度有待提升。CNN-GRU和2D-1D-CNN效果近似，是因?yàn)檫@里GRU塊起到了和1D2D卷積層類似的提取特征并且預(yù)測的作用，但性能無法繼續(xù)提升，我們考慮是因?yàn)镃NN當(dāng)網(wǎng)絡(luò)層次加深之后，使用梯度下降算法使得結(jié)果收斂于局部最優(yōu)解。

表3 各模型的AP值

圖8 各模型的PRC曲線Fig.8 PRC of each model

4 結(jié)論

提出了一種針對跨監(jiān)控探頭軌跡預(yù)測問題的解決方案。針對預(yù)測目標(biāo)接下來會在哪個探頭中出現(xiàn)的問題，創(chuàng)建了跨監(jiān)控探頭的系統(tǒng)模型AMVS，為了便于問題的研究，構(gòu)建了一個跨監(jiān)控探頭的數(shù)據(jù)集AMVTP，并且提出了一整套手動自動結(jié)合的方式進(jìn)行標(biāo)注。在AMVTP數(shù)據(jù)集上的實(shí)驗(yàn)表明，該模型可以有效地進(jìn)行預(yù)測，彌補(bǔ)了該領(lǐng)域研究的空白。

跨監(jiān)控探頭下的軌跡預(yù)測是一個復(fù)雜的問題，后續(xù)將對目標(biāo)出現(xiàn)的時間與位置以及多目標(biāo)軌跡不同時的預(yù)測等問題進(jìn)行深入的研究。