期治博，杜磊，霍如,4，楊帆，黃韜

（1.北京郵電大學(xué)網(wǎng)絡(luò)與交換國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100876；2.中國(guó)信息通信研究院工業(yè)互聯(lián)網(wǎng)與物聯(lián)網(wǎng)研究所，北京 100083；3.北京工業(yè)大學(xué)信息學(xué)部，北京 100124；4.網(wǎng)絡(luò)通信與安全紫金山實(shí)驗(yàn)室，江蘇 南京 211111）

0 引言

隨著新一代信息技術(shù)的發(fā)展，城市的智能化程度不斷提升，智慧城市迅速崛起并成為城市發(fā)展的新理念和新方向。智慧城市利用物聯(lián)網(wǎng)、云計(jì)算、邊緣計(jì)算和人工智能等新型計(jì)算技術(shù)，將城市規(guī)劃、設(shè)計(jì)、建設(shè)、管理和運(yùn)營(yíng)等領(lǐng)域智能化，實(shí)現(xiàn)更加高效的城市運(yùn)行。智慧城市的發(fā)展使城市監(jiān)控?cái)z像頭的數(shù)量急劇增加，這對(duì)城市建設(shè)和安防帶來了顯著改善。然而，現(xiàn)有的城市視頻監(jiān)控設(shè)備是各自獨(dú)立的，不利于城市建設(shè)中大數(shù)據(jù)分析的整合[1]。因此，研究多攝像頭視頻協(xié)同處理，從龐大的視頻數(shù)據(jù)中挖掘價(jià)值，成為未來城市互聯(lián)監(jiān)控的發(fā)展方向和重點(diǎn)。多攝像頭視頻數(shù)據(jù)的處理也是許多視覺智能應(yīng)用的基礎(chǔ)，如物體檢測(cè)和跟蹤、物體視覺定位、物體速度估計(jì)等?？焖侔l(fā)展的網(wǎng)絡(luò)技術(shù)對(duì)這些智能應(yīng)用提供了支持并使之成為熱點(diǎn)[2]。因此，多攝像頭視頻分析引起了眾多學(xué)者的關(guān)注。

現(xiàn)有的多攝像頭視頻分析方法大多基于獨(dú)立視頻流進(jìn)行處理[3]。具體而言，這些方法適用于同一場(chǎng)景下多個(gè)攝像頭同時(shí)采集不同角度的視頻，然而在對(duì)這些采集的視頻進(jìn)行分析時(shí)，主要針對(duì)每個(gè)攝像頭的單個(gè)視頻流進(jìn)行處理。為了在成本和精度之間進(jìn)行權(quán)衡，通常采用幀采樣或級(jí)聯(lián)濾波器去除較不重要的視頻幀以減少視頻量，從而降低成本。然而，所有的調(diào)整和壓縮操作都是在單個(gè)視頻流內(nèi)進(jìn)行的，不同攝像頭采集的視頻處理是相互獨(dú)立的，這導(dǎo)致了視頻分析中計(jì)算和存儲(chǔ)資源的線性增加。因此，基于這些視頻分析方法，多攝像頭視頻分析需要較大的計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源。

為了提高實(shí)時(shí)多攝像頭視頻分析的效率并降低處理時(shí)延，可以在邊緣端對(duì)多攝像頭視頻進(jìn)行協(xié)同分析。它通過構(gòu)建多個(gè)攝像頭之間的關(guān)聯(lián)性來減少待分析視頻的數(shù)據(jù)量，縮減后的視頻可以在邊緣端或傳輸?shù)皆贫诉M(jìn)行進(jìn)一步的處理，從而降低整體視頻數(shù)據(jù)的冗余度，減輕邊緣端和云端視頻處理的工作量，進(jìn)而減少處理時(shí)延。同時(shí)相較于上述獨(dú)立視頻流分析，這種方法對(duì)計(jì)算能力和存儲(chǔ)資源等方面的要求較低。

因此，實(shí)現(xiàn)多攝像頭視頻的協(xié)同分析主要涉及以下2 個(gè)問題。1) 實(shí)時(shí)的視頻處理方法。實(shí)時(shí)視頻處理需要豐富的計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源，但攝像頭本身的視頻處理能力有限，難以支持大規(guī)模且實(shí)時(shí)的視頻數(shù)據(jù)檢測(cè)和分析。因此，考慮利用配備邊緣服務(wù)器來擴(kuò)展攝像頭的視頻處理能力是必要的。將視頻傳輸?shù)竭吘壏?wù)器進(jìn)行處理，利用邊緣計(jì)算將云端計(jì)算能力下沉到邊緣端，可以減輕攝像頭的負(fù)擔(dān)，并降低計(jì)算和傳輸時(shí)延。2) 多個(gè)攝像頭之間的關(guān)聯(lián)性。在相同時(shí)段和場(chǎng)景下，不同角度攝像頭所拍攝的視頻片段之間存在一定的關(guān)聯(lián)性。這可能包括從不同角度拍攝了同一個(gè)目標(biāo)的不同面，或者同一個(gè)目標(biāo)在不同攝像頭的視頻中先后出現(xiàn)。由于不同攝像頭的空間布局和視角關(guān)系通常很復(fù)雜，因此需要計(jì)算和處理不同視頻片段之間的關(guān)聯(lián)性，并作為后續(xù)視頻壓縮處理的依據(jù)。

為了應(yīng)對(duì)上述問題，本文提出了一種邊緣端多攝像頭視頻協(xié)同分析方法。該方法基于機(jī)器學(xué)習(xí)算法，設(shè)計(jì)關(guān)鍵窗口模型和多攝像頭關(guān)聯(lián)程度計(jì)算策略，為后續(xù)的視頻數(shù)據(jù)量縮減和進(jìn)一步的視頻處理做準(zhǔn)備。本文主要的研究工作總結(jié)如下。

1) 提出了一種新穎的多攝像頭視頻協(xié)同分析方法。該方法首先對(duì)每個(gè)攝像頭采集的視頻進(jìn)行目標(biāo)檢測(cè)；然后根據(jù)目標(biāo)檢測(cè)的結(jié)果生成關(guān)鍵窗口，對(duì)視頻進(jìn)行特征提取和初步篩選；隨后結(jié)合提取的特征利用重識(shí)別技術(shù)對(duì)檢測(cè)到的目標(biāo)進(jìn)行標(biāo)注，并根據(jù)標(biāo)注結(jié)果計(jì)算多攝像頭之間的關(guān)聯(lián)程度值；最后基于關(guān)聯(lián)程度值對(duì)視頻進(jìn)行壓縮處理。

2) 設(shè)計(jì)了用于表示不同攝像頭視頻幀中感興趣區(qū)域（RoI,region of interest）的關(guān)鍵窗口。首先對(duì)視頻幀進(jìn)行分塊處理，然后基于包括重要目標(biāo)的區(qū)域塊構(gòu)建關(guān)鍵窗口。同時(shí)本文提出多攝像頭關(guān)聯(lián)性計(jì)算策略，基于攝像頭關(guān)鍵窗口中目標(biāo)的標(biāo)注結(jié)果，計(jì)算不同攝像頭之間的關(guān)聯(lián)程度。

3) 提出了一種GC-ReID 算法來實(shí)現(xiàn)多攝像頭視頻協(xié)同分析方法。GC-ReID 結(jié)合圖卷積網(wǎng)絡(luò)（GCN,graph convolutional network）和重識(shí)別（ReID,re-identification）技術(shù)，利用GCN 對(duì)各攝像頭中的重要目標(biāo)進(jìn)行快速檢測(cè)，并結(jié)合關(guān)鍵窗口迅速提取視頻數(shù)據(jù)特征。同時(shí)，利用ReID 對(duì)關(guān)鍵窗口的數(shù)據(jù)特征進(jìn)行快速標(biāo)注，結(jié)合計(jì)算策略得到多攝像頭之間的關(guān)聯(lián)程度值。

1 相關(guān)工作

對(duì)于引言中所討論的問題，近期已有學(xué)者進(jìn)行了相關(guān)的研究。其中，一些學(xué)者結(jié)合不同的視頻處理策略和邊緣計(jì)算的能力提出了在邊緣服務(wù)器上進(jìn)行視頻分析的方法；另一些學(xué)者在結(jié)合邊緣計(jì)算技術(shù)的基礎(chǔ)上，研究視頻分析中多個(gè)攝像頭之間的資源競(jìng)爭(zhēng)；此外，還有學(xué)者關(guān)注多個(gè)攝像頭檢測(cè)到的目標(biāo)之間的匹配關(guān)聯(lián)性。本節(jié)對(duì)這些相關(guān)研究進(jìn)行簡(jiǎn)要回顧和分析。

現(xiàn)有的視頻分析研究主要利用邊緣或云的計(jì)算能力進(jìn)行視頻分析和處理，以從視頻中提取關(guān)鍵特征和有效信息。Yang 等[3]提出了基于檢測(cè)的跟蹤方法，適用于邊緣端高分辨率視頻的分析。趙羽等[4]提出了一種部署在邊緣端的視頻處理方法，利用輕量級(jí)的神經(jīng)網(wǎng)絡(luò)和聯(lián)邦學(xué)習(xí)分場(chǎng)景訓(xùn)練模型。Gao 等[5]提出了一種針對(duì)云邊緣視頻流的智能視頻處理架構(gòu)，在云端部署并執(zhí)行基于深度神經(jīng)網(wǎng)絡(luò)（DNN,deep neural network）的視頻增強(qiáng)方法。然而，這些研究?jī)H考慮對(duì)單個(gè)攝像頭采集的視頻進(jìn)行分析，而未涉及跨攝像頭和多攝像頭的視頻分析和處理。

關(guān)于視頻分析中多個(gè)攝像頭的資源競(jìng)爭(zhēng)研究主要關(guān)注攝像頭視頻的任務(wù)卸載和計(jì)算資源分配。Chen 等[6]研究了多服務(wù)器和多用戶的異質(zhì)視頻分析任務(wù)卸載問題，基于博弈論進(jìn)行卸載算法設(shè)計(jì)，最終使多服務(wù)器多用戶的視頻分析任務(wù)卸載達(dá)到納什均衡。Yang 等[7]提出了終端、邊緣和云協(xié)同的實(shí)時(shí)視頻分析方法，通過對(duì)終端攝像頭進(jìn)行資源分配，使其能夠根據(jù)實(shí)時(shí)視頻生成高質(zhì)量的視頻幀。Wang 等[8]研究了多個(gè)視頻流在同一邊緣節(jié)點(diǎn)上共享上傳鏈路時(shí)的配置自適應(yīng)和帶寬分配問題，提出了聯(lián)合優(yōu)化配置適應(yīng)和帶寬分配的在線算法。Ran 等[9]提出了在邊緣端部署算力更強(qiáng)的服務(wù)器，利用深度學(xué)習(xí)模型來確定終端視頻分析任務(wù)的最佳卸載策略，并以時(shí)延和準(zhǔn)確率等作為目標(biāo)來優(yōu)化資源調(diào)度。Hung 等[10]通過引入主導(dǎo)需求來確定多種資源和準(zhǔn)確性之間的平衡，并利用層次聚類縮小搜索空間，同時(shí)平衡了視頻查詢的資源效益和準(zhǔn)確性損失。上述多攝像頭視頻分析方法主要研究邊緣系統(tǒng)下多攝像頭視頻分析任務(wù)的分配和卸載，而對(duì)于攝像頭本身視頻數(shù)據(jù)進(jìn)行協(xié)同處理的方法較少，缺乏對(duì)不同攝像頭視頻數(shù)據(jù)之間關(guān)系的細(xì)致分析，并且對(duì)視頻畫面之間的關(guān)聯(lián)程度考慮有限。

一些學(xué)者研究了多個(gè)攝像頭檢測(cè)到的目標(biāo)之間的匹配關(guān)聯(lián)性，并提出了進(jìn)行協(xié)同視頻處理的方法。Guo 等[11]提出了多人物多攝像頭實(shí)時(shí)視頻跟蹤框架，設(shè)計(jì)了基于時(shí)間的運(yùn)動(dòng)模型研究視頻采樣幀之間的精確時(shí)間間隔，并利用改進(jìn)的多人匹配級(jí)聯(lián)方案提高攝像頭間人員再識(shí)別的準(zhǔn)確性。Chung 等[12]提出了一種多攝像頭多目標(biāo)車輛跟蹤系統(tǒng)，利用車輛行為、合成數(shù)據(jù)和多種增強(qiáng)技術(shù)執(zhí)行視頻數(shù)據(jù)的上下文約束，從而減少跨攝像頭的分析時(shí)間。Li 等[13]提出了一種車輛跟蹤系統(tǒng)，包括基于特征提取的車輛檢測(cè)和再識(shí)別模型、單攝像機(jī)跟蹤、增強(qiáng)軌跡預(yù)測(cè)和多級(jí)關(guān)聯(lián)方法。Liu 等[14]提出了一種基于遮擋感知的多目標(biāo)多攝像頭跟蹤框架，設(shè)計(jì)了目標(biāo)間信息模塊提高匹配精度，并利用目標(biāo)間關(guān)聯(lián)發(fā)掘軌跡相似性，最后通過聚類對(duì)不同攝像頭之間的目標(biāo)軌跡進(jìn)行匹配。Li 等[15]設(shè)計(jì)了視頻分析系統(tǒng)Reducto，根據(jù)不同的外部條件自定義濾波器對(duì)多攝像頭的視頻幀進(jìn)行過濾，并通過丟棄視頻片段中的幀來權(quán)衡傳輸成本和準(zhǔn)確性。盡管上述多攝像頭協(xié)同分析方法考慮到了攝像頭檢測(cè)到目標(biāo)的匹配和關(guān)聯(lián)度，但缺少對(duì)攝像頭本身之間關(guān)聯(lián)性的考慮，導(dǎo)致關(guān)鍵視頻幀的篩選力度不足，甚至可能會(huì)錯(cuò)失關(guān)鍵目標(biāo)物體。因此，挖掘多個(gè)攝像頭之間的實(shí)時(shí)關(guān)聯(lián)并實(shí)現(xiàn)更高效的協(xié)同視頻分析具有更重要的意義。

2 多攝像頭視頻數(shù)據(jù)協(xié)同分析模型構(gòu)建

本節(jié)提出了一種多攝像頭視頻協(xié)同分析（MVCA,multi-camera video collaborative analysis）方法。如圖1 所示，該方法適用于同一環(huán)境中配備有多個(gè)攝像頭的場(chǎng)景。這些攝像頭從不同的角度和方向采集場(chǎng)景視頻，并將其傳輸?shù)竭吘壏?wù)器。邊緣服務(wù)器對(duì)接收到的視頻進(jìn)行分析和處理，其中包括使用GCN 算法建立關(guān)鍵窗口，利用ReID 算法的結(jié)果計(jì)算多攝像頭之間的關(guān)聯(lián)程度。關(guān)聯(lián)程度值可以作為對(duì)視頻進(jìn)行壓縮的參考依據(jù)。最后，將壓縮后的視頻在邊緣端或者傳輸?shù)皆品?wù)器進(jìn)行深入分析和處理。這種方法大大減少了視頻處理數(shù)據(jù)量，降低了系統(tǒng)時(shí)延，并減輕了邊緣服務(wù)器和云服務(wù)器的負(fù)擔(dān)，有助于最大化邊緣系統(tǒng)的整體效用。GCN 和ReID 的構(gòu)建和訓(xùn)練在云服務(wù)器離線完成，然后分別部署到直連邊緣服務(wù)器和主邊緣服務(wù)器上。

圖1 MVCA 方法框架

2.1 邊緣系統(tǒng)模型

本文在邊緣側(cè)部署了多個(gè)攝像頭，以捕獲多個(gè)角度的實(shí)時(shí)視頻數(shù)據(jù)。攝像頭集合表示為N={n1,n2,n3,…,nx}，其中，x為攝像頭的數(shù)量。邊緣服務(wù)器由一個(gè)主邊緣服務(wù)器Ms 及與攝像頭直接連接的直連邊緣服務(wù)器M={m1,m2,m3,…,mx}組成。每個(gè)攝像頭都與一個(gè)直連邊緣服務(wù)器相連。主邊緣服務(wù)器用于計(jì)算多個(gè)攝像頭之間的關(guān)聯(lián)程度，而直連邊緣服務(wù)器用于生成關(guān)鍵窗口。壓縮后的視頻可以在主邊緣服務(wù)器或者由直連邊緣服務(wù)器傳輸?shù)皆品?wù)器進(jìn)行進(jìn)一步分析，如圖1 所示。通過權(quán)衡視頻分析開銷和分析粒度，本文對(duì)若干時(shí)間段的視頻數(shù)據(jù)進(jìn)行了分析，每個(gè)時(shí)間段T的最小分析單元為一個(gè)時(shí)隙t，t∈T={t0,t1,t2,…,ty}，y為時(shí)間段T中最后一個(gè)時(shí)隙的編號(hào)。在每個(gè)時(shí)間段T的開始，不同攝像頭拍攝的視頻以一個(gè)時(shí)隙為單位進(jìn)行分割并依次上傳至直連邊緣服務(wù)器。邊緣系統(tǒng)模型的參數(shù)和含義如表1 所示。

表1 邊緣系統(tǒng)模型的參數(shù)和含義

1) 通信模型

如上文所述，多個(gè)攝像頭N拍攝的視頻將同時(shí)傳輸?shù)礁髯缘闹边B邊緣服務(wù)器進(jìn)行進(jìn)一步處理。因此，本文使用頻分多址（FDMA,frequency division multiple access）技術(shù)來處理多攝像頭的視頻傳輸任務(wù)。根據(jù)香農(nóng)定理，可以得到攝像頭nz（0≤z≤x，x表示攝像頭的數(shù)量）的傳輸速率為

與一些現(xiàn)有的研究[16-17]類似，本文所提方法中忽略了主邊緣服務(wù)器在得到多攝像頭關(guān)聯(lián)程度值后返回結(jié)果到各直連邊緣服務(wù)器的時(shí)間成本。這是因?yàn)樵谝曨l分析和處理過程中，傳輸和分析結(jié)果所需要的時(shí)間代價(jià)比傳輸和處理視頻數(shù)據(jù)所需要的時(shí)間代價(jià)要小很多。因此，當(dāng)攝像頭nz將拍攝的視頻單元傳輸?shù)较鄳?yīng)的邊緣服務(wù)器時(shí)，其傳輸時(shí)延為

雖然在本文中忽略了主邊緣服務(wù)器返回結(jié)果到各直連邊緣服務(wù)器的時(shí)間成本，但是直連邊緣服務(wù)器會(huì)將生成的關(guān)鍵窗口區(qū)域和檢測(cè)到的特征傳輸?shù)街鬟吘壏?wù)器和云服務(wù)器，因此本文也采用FDMA 來處理多個(gè)直連邊緣服務(wù)器的數(shù)據(jù)傳輸任務(wù)。同樣根據(jù)香農(nóng)定理，可以得到直連邊緣服務(wù)器mz（0≤z≤x，x表示直連邊緣服務(wù)器的數(shù)量，也是攝像頭的數(shù)量）的傳輸速率為

同樣，當(dāng)直連邊緣服務(wù)器mz將關(guān)鍵窗口和提取的特征數(shù)據(jù)傳輸?shù)街鬟吘壏?wù)器或云服務(wù)器時(shí)，其傳輸時(shí)延為

2) 計(jì)算模型

與現(xiàn)有研究[8]類似，本文使用虛擬并行處理技術(shù)[18]來支持同時(shí)執(zhí)行多個(gè)攝像頭視頻分析，從而實(shí)現(xiàn)對(duì)多個(gè)視頻進(jìn)行并行處理。在計(jì)算模型中，攝像頭nz所采集視頻數(shù)據(jù)中每個(gè)字節(jié)的計(jì)算需求為Cr（CPU 周期）。因此，直連邊緣服務(wù)器和主邊緣服務(wù)器在處理視頻時(shí)的計(jì)算時(shí)延為

其中，F(xiàn)e表示執(zhí)行視頻處理的邊緣服務(wù)器的CPU頻率。本文設(shè)定所提方法中邊緣系統(tǒng)的總時(shí)延Dtotal由傳輸時(shí)延和計(jì)算時(shí)延組成，即

2.2 感興趣區(qū)域與關(guān)鍵窗口建立

為了便于發(fā)現(xiàn)不同攝像頭之間的視頻數(shù)據(jù)關(guān)聯(lián)性，本文設(shè)計(jì)了一種對(duì)攝像頭采集的視頻幀進(jìn)行分塊的方法。具體而言，攝像頭nz拍攝的視頻幀被劃分為大小相同的塊狀區(qū)域。這些塊狀區(qū)域是相對(duì)較小的矩形，它們共同構(gòu)成并覆蓋了視頻幀的整個(gè)畫面。如圖2 所示，每個(gè)攝像頭采集的視頻幀畫面被劃分為16 個(gè)矩形區(qū)域塊，按照從左到右和從上到下的順序，索引分別為1～16。攝像頭nz的區(qū)域塊集合用表示，其中第i個(gè)區(qū)域塊被表示為如圖2(a)所示，攝像頭1 采集視頻幀的左上角，其中第一行的區(qū)域塊可以表示為R1,1、R1,2、R1,3和R1,4，其余的區(qū)域塊依次類推。需要注意的是，視頻幀中的每個(gè)區(qū)域塊并不特定于某一幀或某一時(shí)隙，進(jìn)行區(qū)域分塊是為了能夠更精確地劃分?jǐn)z像頭所采集的視頻幀畫面。

圖2 攝像頭1～4 在時(shí)隙t 內(nèi)采集的視頻幀畫面

在本文提出的MVCA 方法中，首先需要使用機(jī)器學(xué)習(xí)算法對(duì)不同攝像頭采集的視頻幀進(jìn)行快速檢測(cè)，檢測(cè)結(jié)果中可能包含目標(biāo)物體的區(qū)域塊即感興趣區(qū)域，例如，移動(dòng)的人或物體都屬于重要目標(biāo)物體。這些感興趣區(qū)域構(gòu)成了關(guān)鍵窗口。在視頻分析過程中，本文優(yōu)先處理關(guān)鍵窗口內(nèi)的區(qū)域塊，因?yàn)檫@些區(qū)域塊包含目標(biāo)物體，而關(guān)鍵窗口以外的區(qū)域塊動(dòng)態(tài)性較差且缺乏目標(biāo)物體，所以處理優(yōu)先級(jí)級(jí)別較低，甚至被忽略而不進(jìn)行分析和處理。在本文中，構(gòu)成關(guān)鍵窗口的最小元素是以上所設(shè)計(jì)的區(qū)域塊。攝像頭nz的關(guān)鍵窗口用表示，即是包含目標(biāo)物體的所有區(qū)域塊的集合。例如，圖2(b)展示了攝像頭2 的關(guān)鍵窗口，即斜紋陰影標(biāo)注的區(qū)域塊，包括區(qū)域塊1～8。這些區(qū)域塊是通過目標(biāo)檢測(cè)選擇得到的，共同構(gòu)成了攝像頭2 的關(guān)鍵窗口。因此，圖2 中攝像頭1～4 的關(guān)鍵窗口分別表示為

在進(jìn)行視頻數(shù)據(jù)處理時(shí)，為每個(gè)攝像頭設(shè)計(jì)一個(gè)包含最少區(qū)域塊的關(guān)鍵窗口非常重要，特別是當(dāng)人們希望關(guān)鍵窗口適用于較長(zhǎng)的分析時(shí)間時(shí)。這樣在對(duì)視頻進(jìn)行處理時(shí)，只需要分析關(guān)鍵窗口中的區(qū)域就能夠提取到視頻數(shù)據(jù)中的關(guān)鍵信息，從而有效減少了視頻數(shù)據(jù)的處理量。本文提出的GC-ReID 利用GCN[19]快速檢測(cè)視頻中的目標(biāo)物體用以生成關(guān)鍵窗口，更詳細(xì)的介紹見第3 節(jié)。

2.3 多攝像頭關(guān)聯(lián)性構(gòu)建

為了進(jìn)一步減少視頻數(shù)據(jù)的分析量，本文設(shè)計(jì)了多攝像頭關(guān)聯(lián)性的構(gòu)建方法。其主要原理是采用機(jī)器學(xué)習(xí)算法對(duì)于關(guān)鍵窗口中的目標(biāo)物體進(jìn)行檢測(cè)并提取特征，然后對(duì)提取的特征進(jìn)行分類。根據(jù)分類結(jié)果為關(guān)鍵窗口中每個(gè)檢測(cè)到的物體分配一個(gè)ID 號(hào)。然而，由于這些攝像頭處于同一場(chǎng)景下，不同攝像頭采集的視頻幀往往會(huì)捕捉到相同的目標(biāo)物體。因此，通過分類算法，同一物體將被賦予相同的ID 號(hào)。例如，圖2(a)和圖2(b)分別表示在同一環(huán)境中2 個(gè)不同的攝像頭拍攝的畫面。利用GC-ReID 中的ReID 算法，可以識(shí)別2 個(gè)畫面中相同的人物，為其分配相同的ID 號(hào)。假設(shè)同一場(chǎng)景下同一時(shí)隙檢測(cè)到的目標(biāo)物體的集合為L(zhǎng)={l1,l2,l3,…,lo}。雖然角度不同，但是人物l1、l2、l3、l4和l5同時(shí)出現(xiàn)在攝像頭1 和攝像頭2的視頻幀中，即他們?cè)? 個(gè)攝像頭中都被檢測(cè)到。然而，人物l6只出現(xiàn)在圖2(b)中，即只被攝像頭2檢測(cè)到。

依次類推，表2 中列出了10 個(gè)所檢測(cè)到目標(biāo)物體的所有區(qū)域塊集合RSt。

表2 圖2 中區(qū)域塊的集合

根據(jù)表2 可以觀察到，不同攝像頭之間檢測(cè)到相同目標(biāo)物體的數(shù)量存在差異。當(dāng)2 個(gè)攝像頭檢測(cè)到相同目標(biāo)物體數(shù)量較多時(shí)，可以認(rèn)為它們之間的關(guān)聯(lián)性較強(qiáng)。為了便于分析不同攝像頭之間的關(guān)聯(lián)性，本文使用式(14)來計(jì)算關(guān)聯(lián)程度值A(chǔ)S。

3 多攝像頭視頻數(shù)據(jù)協(xié)同分析方法實(shí)現(xiàn)

本文設(shè)計(jì)了GC-ReID 算法用于實(shí)現(xiàn)多攝像頭視頻協(xié)同分析方法。如圖3 所示，各攝像頭直連的邊緣服務(wù)器并行執(zhí)行GCN 算法，從多個(gè)攝像頭采集的視頻數(shù)據(jù)中篩選關(guān)鍵特征，并根據(jù)這些特征建立關(guān)鍵窗口模型。隨后，直連邊緣服務(wù)器將關(guān)鍵窗口的內(nèi)容傳輸?shù)街鬟吘壏?wù)器。主邊緣服務(wù)器使用ReID 算法，將GCN 的結(jié)果和提取的關(guān)鍵窗口的內(nèi)容作為輸入，對(duì)關(guān)鍵窗口中檢測(cè)到的目標(biāo)物體進(jìn)行篩選并分配ID 號(hào)。根據(jù)ReID算法的處理結(jié)果，計(jì)算不同攝像頭之間的關(guān)聯(lián)程度值。隨后將關(guān)聯(lián)程度值返回到直連邊緣服務(wù)器，根據(jù)這些關(guān)聯(lián)程度值對(duì)多個(gè)攝像頭采集的視頻進(jìn)行壓縮和優(yōu)化。最后，壓縮后的視頻可以選擇在主邊緣服務(wù)器或者傳輸?shù)皆品?wù)器上進(jìn)行進(jìn)一步分析和處理，例如目標(biāo)檢測(cè)和目標(biāo)跟蹤等。GCN 和ReID 算法的構(gòu)建和訓(xùn)練均事先在云服務(wù)器完成并下發(fā)到邊緣服務(wù)器。

圖3 GC-ReID 的總體流程

3.1 關(guān)鍵窗口的建立

本文采用GCN 提取攝像頭采集的視頻幀的關(guān)鍵特征，并檢測(cè)其中的目標(biāo)物體。最后，根據(jù)包含這些目標(biāo)物體的區(qū)域塊構(gòu)建每個(gè)攝像頭的關(guān)鍵窗口，詳細(xì)結(jié)構(gòu)如圖4 所示。

圖4 GCN 的結(jié)構(gòu)

圖4 中的輸入是連續(xù)的視頻幀片段，由攝像頭采集并上傳到直連邊緣服務(wù)器。輸入GCN 模塊后先使用兩層卷積層初步提取視頻幀的特征。然后將處理后的連續(xù)視頻幀建模為圖G={V,E}。其中，節(jié)點(diǎn)集合為V={v1,v2,…,vz}，z表示節(jié)點(diǎn)的數(shù)量；邊集合為E=Etemp∪Esema，Etemp表示時(shí)間邊，Esema表示語義邊。一個(gè)節(jié)點(diǎn)表示一個(gè)視頻幀，一條邊表示一對(duì)節(jié)點(diǎn)之間的依賴關(guān)系。隨后使用圖卷積結(jié)構(gòu)塊提取特征。圖卷積結(jié)構(gòu)塊包含2 個(gè)圖卷積流：時(shí)間流操作固定的時(shí)態(tài)相鄰特征，語義流自適應(yīng)地將語義上下文聚合到視頻幀特征中。下面將描述2 種卷積流邊的設(shè)計(jì)以及圖卷積過程。

1) 時(shí)間邊

2) 語義邊

語義邊Esema是由動(dòng)態(tài)邊卷積的概念定義的[20]，它是根據(jù)圖節(jié)點(diǎn)之間的特征距離動(dòng)態(tài)構(gòu)建的。語義邊的作用是從語義相關(guān)的視頻幀中收集信息。圖G中每個(gè)節(jié)點(diǎn)vi的語義邊Esema的定義為

其中，nri(k)表示節(jié)點(diǎn)vi的第k個(gè)近鄰節(jié)點(diǎn)索引，K表示近鄰節(jié)點(diǎn)索引數(shù)量。nri(k)是在圖卷積塊上動(dòng)態(tài)確定的，通過它能夠更新整個(gè)圖卷積塊中本質(zhì)上攜帶語義上下文信息的節(jié)點(diǎn)。因此，Esema可以自適應(yīng)地改變以表示新的語義上下文級(jí)別。

3) 圖卷積和流聚合

圖G中所有節(jié)點(diǎn)的特征表示為Y=[y1,y2,…,yz] ∈Rc×z，其中，c表示每個(gè)視頻幀的特征維度。本文使用單層邊卷積[20]來進(jìn)行圖卷積操作GC。

其中，W∈R2c×c′表示可訓(xùn)練的權(quán)重矩陣，A∈Rz×z表示不帶自環(huán)（節(jié)點(diǎn)和它本身之間的邊）的鄰接矩陣，[*,*]表示列的矩陣串聯(lián)。本文將A中的第(i,j)個(gè)元素表示為A(i,j)=1{(vi,vj)∈E}，其中，1{*}是指示函數(shù)。圖卷積結(jié)構(gòu)模塊中的2 個(gè)卷積流都分別設(shè)計(jì)了32 條路徑來增加轉(zhuǎn)換的多樣性。

圖卷積結(jié)構(gòu)模塊的輸出是語義流和時(shí)間流以及輸入的聚合，可以用式(19)表示。

2 種圖卷積流都遵循分裂-轉(zhuǎn)換-合并的策略，首先，使用多個(gè)卷積流來對(duì)圖進(jìn)行更新和聚合，輸出作為進(jìn)一步提取的特征。然后，將提取的特征輸入定位模塊，其中錨點(diǎn)定義的子圖由固定大小的特征表示。最后，定位模塊對(duì)視頻幀中的目標(biāo)物體進(jìn)行定位和檢測(cè)，根據(jù)定位結(jié)果結(jié)合關(guān)鍵窗口的建立方法輸出關(guān)鍵窗口。

3.2 多攝像頭關(guān)聯(lián)性的構(gòu)建

本文采用DiDi-MTMC[21]算法為關(guān)鍵窗口中檢測(cè)到的目標(biāo)物體分配ID 號(hào)。該算法將從視頻幀中提取的特征進(jìn)行融合，并結(jié)合融合后的特征進(jìn)行分類。該算法可為多個(gè)攝像頭拍攝視頻幀中的每個(gè)目標(biāo)物體（本文場(chǎng)景中為人）分配一個(gè)唯一的ID 號(hào)。通過對(duì)這些ReID 的結(jié)果進(jìn)行篩選，并根據(jù)計(jì)算策略計(jì)算多個(gè)攝像頭之間的關(guān)聯(lián)程度。

GC-ReID 算法如算法1 所示。

算法1GC-ReID 算法

3.3 視頻壓縮

攝像頭采集的視頻經(jīng)過邊緣服務(wù)器的處理后傳輸?shù)皆品?wù)器進(jìn)行進(jìn)一步的處理。在邊緣服務(wù)器進(jìn)行處理可以得到每個(gè)攝像頭的關(guān)鍵窗口和攝像頭之間的關(guān)聯(lián)程度。因此，本文可以結(jié)合關(guān)鍵窗口和攝像頭之間的關(guān)聯(lián)程度對(duì)多個(gè)攝像頭采集的視頻進(jìn)行視頻幀篩選和壓縮。壓縮后的視頻能夠減少視頻數(shù)據(jù)量，并提升云端視頻處理的效率。

在視頻壓縮過程中，首先根據(jù)當(dāng)前時(shí)段各攝像頭生成的視頻幀的關(guān)鍵窗口對(duì)視頻畫面進(jìn)行分割，去除關(guān)鍵窗口以外的視頻幀區(qū)域，只保留關(guān)鍵窗口區(qū)域進(jìn)行后續(xù)分析。然后，如果邊緣端或者云端工作人員想要查看特定攝像頭采集的視頻或者某個(gè)攝像頭中重要物體出現(xiàn)的畫面，主邊緣服務(wù)器會(huì)對(duì)選定攝像頭與其余攝像頭的關(guān)聯(lián)程度值進(jìn)行排序。根據(jù)排序結(jié)果，優(yōu)先傳輸關(guān)聯(lián)程度較高的攝像頭視頻幀的關(guān)鍵窗口區(qū)域到主邊緣服務(wù)器或云服務(wù)器進(jìn)行進(jìn)一步的分析和操作。這樣，只需處理關(guān)聯(lián)程度較高的幾個(gè)攝像頭的關(guān)鍵區(qū)域，可以大大縮減視頻分析的數(shù)據(jù)量，同時(shí)提升分析效率。

4 實(shí)驗(yàn)結(jié)果及分析

本文通過相關(guān)實(shí)驗(yàn)，從不同評(píng)價(jià)指標(biāo)的角度來對(duì)所提出的MVCA 方法的性能進(jìn)行分析。此外，本文還將MVCA 方法與其他方法進(jìn)行了比較，并對(duì)結(jié)果進(jìn)行了討論。

4.1 實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集

仿真實(shí)驗(yàn)是在SALSA 數(shù)據(jù)集[22]的錄制視頻上進(jìn)行的。該數(shù)據(jù)集展示了某學(xué)術(shù)會(huì)議海報(bào)會(huì)場(chǎng)（如圖 2所示）中不同人員的活動(dòng)和交流情況，該會(huì)場(chǎng)配備了4 個(gè)不同方向的攝像頭，分別是攝像頭1、2、3和4。每個(gè)攝像頭可以利用直連邊緣服務(wù)器生成各自的關(guān)鍵窗口，并實(shí)時(shí)檢測(cè)和分配人員的ID 號(hào)。所采集的視頻編碼標(biāo)準(zhǔn)和格式分別為H.264 視頻編碼標(biāo)準(zhǔn)和在主要網(wǎng)絡(luò)廣播應(yīng)用中支持流媒體的MP4 格式。仿真環(huán)境邊緣服務(wù)器的配置包括一個(gè)英特爾酷睿i5-10400F CPU 和一個(gè)擁有8 GB 內(nèi)存的Nvidia GeForce GTX 1080 GPU。實(shí)驗(yàn)中視頻片段的持續(xù)時(shí)間設(shè)定為2 s，幀率為30 Hz。

4.2 實(shí)驗(yàn)結(jié)果分析

進(jìn)行多攝像頭視頻協(xié)同分析時(shí)，本文需要在保持分析效果較好的前提下，盡量降低處理的代價(jià)。為了評(píng)價(jià)視頻分析方法的性能，需要考慮準(zhǔn)確性和代價(jià)。本文使用準(zhǔn)確率、系統(tǒng)時(shí)延和視頻壓縮率作為性能評(píng)價(jià)指標(biāo)。為了驗(yàn)證所提出的MVCA 方法的性能，本節(jié)設(shè)計(jì)了消融實(shí)驗(yàn)和不同方法的性能比較。通過對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行詳細(xì)的數(shù)據(jù)和理論分析，進(jìn)一步驗(yàn)證了所提方法的有效性。

1) 性能評(píng)價(jià)指標(biāo)

準(zhǔn)確率。本文采用準(zhǔn)確率Accuracy 作為指標(biāo)之一來對(duì)方法的性能進(jìn)行評(píng)價(jià)，如式(20)所示。其中，Qtrue表示場(chǎng)景中的實(shí)際人數(shù)，Qdec表示檢測(cè)到的人數(shù)。然而，由于本文使用的數(shù)據(jù)集未提供場(chǎng)景中的實(shí)際人數(shù)，因此在實(shí)驗(yàn)仿真中使用YOLO V3 方法[23]的檢測(cè)結(jié)果作為人員檢測(cè)的正確基線。

系統(tǒng)時(shí)延。系統(tǒng)時(shí)延可以反映視頻分析方法的實(shí)時(shí)性，低時(shí)延會(huì)有更好的用戶體驗(yàn)。在本文中，視頻以及處理后的數(shù)據(jù)在攝像頭和直連邊緣服務(wù)器之間、直連邊緣服務(wù)器和主邊緣服務(wù)器之間、直連邊緣服務(wù)器和云服務(wù)器之間進(jìn)行傳輸會(huì)產(chǎn)生傳輸時(shí)延。此外，關(guān)鍵窗口的生成和多攝像頭關(guān)聯(lián)程度的計(jì)算會(huì)產(chǎn)生計(jì)算時(shí)延。本文的系統(tǒng)時(shí)延主要包括傳輸時(shí)延和計(jì)算時(shí)延，如式(6)所示。

視頻壓縮率。為了在保持準(zhǔn)確性的前提下降低系統(tǒng)時(shí)延并提升系統(tǒng)效用，視頻分析方法需要減少視頻分析量。因此，本文將視頻壓縮率Rc 作為本文方法的性能評(píng)價(jià)指標(biāo)之一，如式(21)所示。其中，Bcomp表示壓縮后的視頻數(shù)據(jù)量，Binit表示原始視頻數(shù)據(jù)量，視頻數(shù)據(jù)量的單位為MB。本文實(shí)驗(yàn)重點(diǎn)觀察攝像頭1 及其檢測(cè)到的目標(biāo)物體，并根據(jù)關(guān)聯(lián)程度來決定是否選擇處理和分析其他攝像頭采集或處理后的視頻幀。

2) MVCA 方法性能分析

為了驗(yàn)證關(guān)鍵窗口和多攝像頭關(guān)聯(lián)性的作用，首先進(jìn)行消融實(shí)驗(yàn)，將本文提出的MVCA 方法與只使用ReID 方法（沒有關(guān)鍵窗口，用No-key window 表示）、使用文獻(xiàn)[17]中STS 方法的幀采樣模型（替代MVCA 中的關(guān)鍵窗口模型）以及只構(gòu)建關(guān)鍵窗口模型而不進(jìn)行多視頻協(xié)同處理的方法（沒有關(guān)聯(lián)性構(gòu)建，用No-association 表示）進(jìn)行比較。圖5 分別展示了MVCA、No-key window、STS幀采樣和No-association 在準(zhǔn)確率、系統(tǒng)時(shí)延和視頻壓縮率3 個(gè)方面的對(duì)比。

圖5 MVCA、No-key window、STS 幀采樣和No-association 的性能比較

在準(zhǔn)確率方面，MVCA 和No-association 的準(zhǔn)確率較高，這是因?yàn)樗鼈兝藐P(guān)鍵窗口模型有效減少了視頻中非重要目標(biāo)物體的干擾。STS 幀采樣的準(zhǔn)確率次高，該方法雖然減少了非關(guān)鍵幀的數(shù)量，但是對(duì)關(guān)鍵目標(biāo)物體所在的區(qū)域劃分不夠準(zhǔn)確，容易受到非重要目標(biāo)物體的影響，且可能會(huì)移除包含關(guān)鍵目標(biāo)的畫面。No-key window 的準(zhǔn)確率相對(duì)較低，這是由于該方法沒有對(duì)視頻幀進(jìn)行篩選或切割，其中的一些非重要目標(biāo)會(huì)對(duì)檢測(cè)準(zhǔn)確率造成影響。

在系統(tǒng)時(shí)延和視頻壓縮率方面，MVCA 方法有著最低的系統(tǒng)時(shí)延和最高的視頻壓縮率，相比于No-key window，MVCA 利用關(guān)鍵窗口模型篩選感興趣區(qū)域縮減了視頻數(shù)據(jù)量；相比于No-association 方法，MVCA 重點(diǎn)分析關(guān)聯(lián)程度值較高的攝像頭視頻，因此進(jìn)一步減少了需要處理的視頻量，降低了傳輸和計(jì)算時(shí)延；STS 幀采樣方法雖然通過刪減非關(guān)鍵幀的方式減少了所需處理的視頻量，但其處理后的視頻量比關(guān)鍵窗口處理后多，因此可知關(guān)鍵窗口模型比幀采樣更有效。

綜上所述，關(guān)鍵窗口對(duì)視頻中重要目標(biāo)物體檢測(cè)準(zhǔn)確率的提升和系統(tǒng)時(shí)延的降低具有顯著作用。多攝像頭關(guān)聯(lián)性則可作為進(jìn)一步減少視頻處理量的有效依據(jù)。

3) 不同多攝像頭視頻分析方法的性能比較

本節(jié)比較了本文提出的MVCA 方法與第1 節(jié)相關(guān)工作中介紹的一些先進(jìn)的多攝像頭視頻分析方法。這些方法包括REDUCTO、文獻(xiàn)[11]方法和文獻(xiàn)[14]方法。圖6 分別展示了MVCA、REDUCTO、文獻(xiàn)[11]和文獻(xiàn)[14]方法在準(zhǔn)確率、系統(tǒng)時(shí)延和視頻壓縮率3 個(gè)方面的對(duì)比。

圖6 MVCA、REDUCTO、文獻(xiàn)[11]和文獻(xiàn)[14]方法的性能比較

在準(zhǔn)確率方面，文獻(xiàn)[11]方法準(zhǔn)確率最高，這是因?yàn)樵摲椒ㄡ槍?duì)每個(gè)攝像頭的視頻幀建立了運(yùn)動(dòng)模型，并對(duì)所有幀都基于時(shí)間進(jìn)行了詳細(xì)的分析。MVCA 的準(zhǔn)確率次高，原因是其在利用關(guān)鍵窗口進(jìn)行視頻壓縮時(shí)，忽略了部分非關(guān)鍵窗口區(qū)域中的重要目標(biāo)物體，從而影響了準(zhǔn)確率。REDUCTO和文獻(xiàn)[14]方法的準(zhǔn)確率都不理想，這是由于REDUCTO 采用幀過濾的方法，有較高的可能性刪除包含目標(biāo)物體的關(guān)鍵幀；而文獻(xiàn)[14]方法在構(gòu)建目標(biāo)間的信息模塊時(shí)候著重考慮目標(biāo)本身的特征，未考慮目標(biāo)在視頻幀中位置的變化。

在系統(tǒng)時(shí)延和視頻壓縮率方面，文獻(xiàn)[14]方法具有最低的系統(tǒng)時(shí)延和最高的視頻壓縮率，這是由于該方法在構(gòu)建目標(biāo)間的信息模塊時(shí)僅關(guān)注目標(biāo)本身特征，未考慮幀間目標(biāo)特征，因此時(shí)間復(fù)雜度較低；同時(shí)，在多目標(biāo)分析時(shí)采用的聚類方法僅結(jié)合提取的目標(biāo)特征數(shù)據(jù)，未對(duì)多個(gè)攝像頭采集的視頻幀本身進(jìn)行聯(lián)合處理，因此數(shù)據(jù)量較少。MVCA 的系統(tǒng)時(shí)延次低而視頻壓縮率次高，這是由于利用關(guān)鍵窗口對(duì)視頻幀進(jìn)行分割實(shí)現(xiàn)視頻壓縮，并結(jié)合多攝像頭關(guān)聯(lián)性模型對(duì)傳輸?shù)皆品?wù)器的視頻實(shí)現(xiàn)進(jìn)一步壓縮。REDUCTO 在系統(tǒng)時(shí)延和視頻壓縮率方面的表現(xiàn)不如前兩者，原因是其雖然采用了幀過濾方法壓縮視頻，但后續(xù)對(duì)多攝像頭處理的壓縮力度不足。文獻(xiàn)[11]方法具有最高的系統(tǒng)時(shí)延和最低的視頻壓縮率，這是由于該方法對(duì)所有視頻幀基于時(shí)間建立模型進(jìn)行詳細(xì)分析，未進(jìn)行幀刪減等操作，同時(shí)建立了多人匹配級(jí)聯(lián)模型，因此耗時(shí)較多；該方法的視頻壓縮僅通過多人匹配級(jí)聯(lián)模型實(shí)現(xiàn)，因此壓縮幅度較小。

綜合考慮多個(gè)評(píng)價(jià)指標(biāo)，本文提出的MVCA方法在準(zhǔn)確率、系統(tǒng)時(shí)延和視頻壓縮率3 個(gè)方面整體優(yōu)于其他方法。

5 結(jié)束語

本文研究了智慧城市場(chǎng)景下多攝像頭視頻分析的問題，提出了一種高效的解決方法MVCA。該方法能夠?qū)崟r(shí)地對(duì)多攝像頭采集的視頻進(jìn)行協(xié)同分析。具體而言，通過快速建立視頻流的關(guān)鍵窗口來定義感興趣區(qū)域，并在此基礎(chǔ)上快速構(gòu)建攝像頭之間的關(guān)聯(lián)性。通過獲取關(guān)聯(lián)程度值，有效地減少了視頻數(shù)據(jù)的分析量，從而提高了多攝像頭視頻分析的效率，減輕了邊緣服務(wù)器的負(fù)擔(dān)，并提升了邊緣系統(tǒng)的性能。在SALSA 數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，本文提出的MVCA 方法降低了系統(tǒng)時(shí)延，提高了視頻壓縮率，并且保持了95.6%的準(zhǔn)確率。

在未來的工作中，筆者將考慮任務(wù)卸載和時(shí)間空間屬性在多攝像頭視頻分析中的應(yīng)用，以進(jìn)一步平衡邊緣服務(wù)器的負(fù)載，提升邊緣系統(tǒng)的效用。