亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        車聯(lián)網(wǎng)中視頻語義驅動的資源分配算法

        2021-08-16 10:45:38陳九九馮春燕郭彩麗楊洋孫啟政朱美逸
        通信學報 2021年7期
        關鍵詞:語義優(yōu)化檢測

        陳九九,馮春燕,郭彩麗,楊洋,孫啟政,朱美逸

        (北京郵電大學北京先進信息網(wǎng)絡實驗室,北京 100876)

        1 引言

        當前,在車聯(lián)網(wǎng)場景中,車輛端通常配備或部署多個高清攝像頭,據(jù)數(shù)據(jù)統(tǒng)計,90%以上的行車環(huán)境信息可以通過攝像頭采集和獲取[1]。同時,計算機視覺技術采用智能算法,以深度學習為代表的人工智能技術對攝像頭采集到的大量視頻數(shù)據(jù)的語義進行充分理解和分析,從而完成自動駕駛中安全類、信息類、交通效率類等各種業(yè)務的智能決策處理[2]。這些基于視頻語義理解的大量任務,比如目標檢測等,對車輛端的計算能力帶來極大挑戰(zhàn),目前的解決方案是車輛僅對視頻做一些簡單計算后借助車聯(lián)網(wǎng)將視頻語義理解任務卸載到計算資源豐富的移動邊緣計算服務器(通常部署在路邊單元側)進行協(xié)同計算[3],以支持車聯(lián)網(wǎng)中輔助駕駛等多種不同業(yè)務的需求。

        車輛端到邊緣服務器端的大量計算任務卸載需求,給車輛端到邊緣服務器端的通信資源帶來了巨大的壓力,亟須研究高效的資源分配方式來提高車聯(lián)網(wǎng)中的資源利用率,更好地服務于視頻語義理解任務,促進車聯(lián)網(wǎng)系統(tǒng)中通信傳輸與智能計算過程的融合。

        車聯(lián)網(wǎng)中傳統(tǒng)的資源分配方式主要分為兩類:基于服務質量(QoS,quality of service)的資源分配方法[4-5]和基于用戶體驗質量(QoE,quality of experience)的資源分配方法[6-7]?;赒oS 的資源分配方法主要通過合理地分配帶寬、功率、時延等通信資源,以優(yōu)化網(wǎng)絡的吞吐量、傳輸速率、時延、抖動等網(wǎng)絡效率指標,面向的主體是通信系統(tǒng)的物理層或網(wǎng)絡層;基于QoE 的資源分配方法主要是通過分配通信資源以提升傳輸視頻的流暢度、清晰度、用戶滿意度等指標,滿足接收用戶的各種主觀需求。

        傳統(tǒng)的資源分配方法面向的主體是傳輸網(wǎng)絡或人類用戶,不考慮所傳輸?shù)囊曨l內容或語義信息。當視頻傳輸?shù)慕邮斩耸亲鳛闄C器的智能體,傳輸后的視頻用于目標檢測等語義理解任務時,它追求的目標不再是網(wǎng)絡效率或者用戶體驗,而是視頻理解或分析的準確率,因此傳統(tǒng)的QoS 或QoE 資源分配方法不再是最優(yōu)的,有必要針對視頻語義研究更高效的資源分配方法[8]。

        文獻[8]提出了視頻內容質量(QoC,quality of content)的概念,以最大化平均目標檢測精度為目標,給出了視頻編碼資源分配方案。但文獻[8]沒有給出具體的視頻內容質量量化模型,未從視頻語義角度出發(fā)考慮不同視頻的語義差異,且未考慮車聯(lián)網(wǎng)非穩(wěn)態(tài)信道條件下的資源分配。

        視頻傳輸?shù)慕邮斩耸亲鳛闄C器的智能體,它追求的目標是接收端在資源受限、視頻有損傳輸?shù)臈l件下最多最準確地理解視頻語義。以目標檢測為例,視頻語義是指待檢測的目標類別(如行人、汽車、信號燈)、目標數(shù)量、目標位置等。從視頻語義理解任務出發(fā),通過視頻語義區(qū)分不同視頻并合理地分配通信資源,使接收端最大程度地理解視頻語義,本文稱之為視頻語義驅動的資源分配指導方式?;谝陨戏治?,應對視頻語義理解需求和車聯(lián)網(wǎng)中通信資源緊缺的挑戰(zhàn),根源在于如何設計合理的資源分配指導模型和資源分配優(yōu)化方法,本文主要工作如下。

        1) 以目標檢測任務為例,提出了語義驅動的資源分配指導模型,并給出了基于回歸分析的模型參數(shù)求解算法。

        2) 基于資源分配指導模型,構建了車聯(lián)網(wǎng)場景中視頻語義驅動的資源分配優(yōu)化問題,將該問題轉化為凸問題并利用凸優(yōu)化算法求解。

        3) 為降低凸優(yōu)化算法的求解復雜度,提出了基于強化Q 學習的資源分配算法。

        2 系統(tǒng)模型及資源分配指導模型

        2.1 車聯(lián)網(wǎng)系統(tǒng)模型

        車聯(lián)網(wǎng)場景下,邊緣服務器負責分配通信資源以及完成視頻語義理解任務,車輛端負責視頻預處理的任務,如視頻壓縮等。一個典型的車聯(lián)網(wǎng)邊緣計算場景下的視頻傳輸系統(tǒng)模型如圖1 所示。

        圖1 車聯(lián)網(wǎng)邊緣計算場景視頻傳輸系統(tǒng)模型

        該系統(tǒng)由多輛裝有攝像頭的智能網(wǎng)聯(lián)車輛和邊緣服務器組成,車輛行駛在邊緣服務器的覆蓋區(qū)域。車輛通過攝像頭感知周圍環(huán)境,感知內容包括交通場景(如交通信號)以及運動物體(如行人和其他車輛),這些車輛視頻感知到的環(huán)境信息構成了視頻語義信息。車輛行駛過程中通過攝像頭采集到大量待分析的視頻供車輛做出輔助行駛決策,如車輛轉向、減速、變道等??紤]到采集視頻的數(shù)據(jù)量極大以及車輛的計算能力有限,視頻數(shù)據(jù)通過無線信道傳輸至邊緣服務器完成視頻語義的理解和分析,因此需要在資源受限的情況下最大限度地準確理解視頻語義。

        假設系統(tǒng)完成一次視頻傳輸?shù)目倳r長為T,本文定義一次視頻傳輸過程為車輛發(fā)起一個視頻傳輸請求到傳輸停止。整個系統(tǒng)的通信和計算過程如下。

        步驟1車輛發(fā)起視頻傳輸請求,對所采集的視頻進行預處理,獲取視頻信息并將其上傳到邊緣服務器,同時邊緣服務器獲取信道狀態(tài)信息(CSI,channel state information)[9-10]。該部分處理時間為t1。

        步驟2邊緣服務器獲取全部信息(包括所有視頻信息和CSI),根據(jù)視頻語義驅動的資源分配算法得到最優(yōu)資源分配結果。該過程處理時間為t2。因此,在視頻傳輸之前,總的處理時間為 Δt=t1+t2。

        步驟3車輛根據(jù)資源分配的結果完成視頻的編碼壓縮,通過無線信道傳輸?shù)竭吘壏掌?,該過程遵循無線視頻傳輸協(xié)議[11]。

        步驟4邊緣服務器將接收到的視頻進行解碼,對視頻進行語義理解并將結果反饋給各車輛端,同時邊緣服務器可將視頻存儲或用于其他任務,如道路交通情況分析等[12]。

        2.2 研究問題描述和定義

        根據(jù)2.1 節(jié)所述的系統(tǒng)模型,本文研究的關鍵是系統(tǒng)通信計算的步驟2,即如何構建視頻語義驅動的資源分配優(yōu)化問題,并設計相應算法求取最優(yōu)資源分配解。在本文所提的系統(tǒng)模型中,視頻傳輸?shù)慕邮斩诉吘壏掌魇侵悄荏w,它追求的目標是最準確地理解視頻語義,因此資源分配的最優(yōu)化目標為使用最少的通信資源代價盡可能獲得最高的視頻語義理解準確率。該資源優(yōu)化問題可以形式化描述為

        其中,x表示帶寬資源;F(x)表示資源分配指導函數(shù),即視頻語義理解準確率;g(x)≤xmax表示資源限制條件,g(x)為約束函數(shù);xmax為總資源最大值。

        上述語義驅動的資源優(yōu)化模型從理論上給出了資源分配算法的優(yōu)化方向。在不同場景中,優(yōu)化模型需要根據(jù)具體場景特點和視頻語義理解任務類型。在實際的語義理解任務中,如車聯(lián)網(wǎng)中應用極廣泛的目標檢測任務,視頻語義包括待檢測的目標類別、目標數(shù)量等,視頻語義理解準確率即目標檢測準確率。在目標檢測任務中,各評價指標如下

        其中,目標檢測準確率一般用來評估模型和算法的全局準確程度,正確檢測目標數(shù)用來反映正確檢測的數(shù)量程度。

        2.3 視頻語義驅動的資源分配指導模型

        在實際的視頻語義驅動的資源分配過程中,需要考慮具體的語義理解任務和通信資源限制帶來的影響,研究如何引入視頻語義理解準確率的評價指標來指導資源分配。本文以視頻語義理解的基礎任務、目標檢測為例,闡述具體的視頻語義理解準確度率的建模方法,詳細的建模過程如圖2 所示。

        圖2 語義理解準確率建模過程

        1) 考慮到視頻傳輸受通信資源的限制,需要對視頻進行處理。以帶寬資源為例,由于視頻傳輸?shù)拇a率必須小于或等于帶寬限制下的傳輸速率,因此需要對視頻進行壓縮處理以滿足帶寬資源約束條件。本文采用HEVC(high efficiency video coding)編碼方案[13](即H.265 視頻編碼壓縮標準)對視頻數(shù)據(jù)進行壓縮編碼處理,壓縮編碼過程中不同的視頻量化參數(shù)(QP,quantitative parameter)值對應不同壓縮步長,QP 值越小壓縮步長越小,視頻碼率越接近原始視頻碼率,傳輸所需的帶寬越大。

        2) 為探討帶寬限制下不同的壓縮處理對視頻語義理解準確率的影響,本文利用具有代表性的Faster-RCNN(region convolutional neural network)算法[14]對不同壓縮程度的視頻進行目標檢測,目標類型主要包括行人、車輛和交通信號燈等。本文數(shù)據(jù)集來自交通場景目標檢測應用最廣泛和最新的Caltech 數(shù)據(jù)集[15]和Waymo 數(shù)據(jù)集[16]。所選的2 個數(shù)據(jù)集中,20%的視頻數(shù)據(jù)用于測試,80%的視頻數(shù)據(jù)用于訓練。在不同QP 值的壓縮視頻下統(tǒng)計目標檢測的準確率,一些可視化的結果如圖2 所示。從圖2 可以看出,隨著QP 的增大,檢測準確率有所下降。

        3) 統(tǒng)計上述步驟中QP 值對應的檢測準確率的實驗數(shù)據(jù),并根據(jù)數(shù)據(jù)結果選擇適合的關系模型。指數(shù)關系模型為

        其中,q表示視頻量化參數(shù)QP 值,P表示檢測精度,α為模型參數(shù)。利用回歸方法求解模型參數(shù),并引入均方誤差(MSE,mean square error)作為損失函數(shù)。目標檢測準確率與QP 關系模型參數(shù)求解算法如算法1 所示。

        算法1目標檢測準確率與QP 關系模型參數(shù)求解算法

        基于Caltech 和Waymo 數(shù)據(jù)集的實驗,目標檢測準確率與QP 關系模型如圖3 所示,可以看出,模型在不同類別的檢測中均呈現(xiàn)較好的結果。根據(jù)算法1 得到的目標檢測準確率與QP 關系模型最優(yōu)參數(shù)如表1 所示。

        表1 目標檢測準確率與QP 關系模型的最優(yōu)參數(shù)

        圖3 目標檢測準確率與QP 關系模型

        不同QP 值下視頻的碼率不同,而碼率的大小決定了傳輸過程中的帶寬資源配置,基于文獻[8]的實驗結果,本文得到QP 值與視頻碼率的關系模型為

        其中,Rm為第m輛車所采集視頻的碼率,β1,β2為模型參數(shù)。QP 值與視頻碼率的關系模型參數(shù)求解算法如算法2 所示。

        算法2QP 值與視頻碼率的關系模型參數(shù)求解算法

        4) 利用梯度下降法迭代求解直至收斂

        采用H.265 視頻編碼壓縮標準,通過車輛端采集的視頻數(shù)據(jù)集,基于算法2 本文得到QP 值與視頻碼率關系模型的最優(yōu)參數(shù)結果如表2 所示。在H.265 標準下,視頻輸出碼率越大,則視頻QP 值越小,即視頻被壓縮的程度低,因此QP 值與視頻碼率呈負相關關系,則在模型中β2<0是恒成立的。

        表2 QP 值與視頻碼率的關系模型的最優(yōu)參數(shù)

        聯(lián)合式(4)和式(5),可得到檢測準確率與碼率的關系模型為

        碼率的大小與傳輸過程中的帶寬資源有關,至此,本文得到了面向視頻語義理解準確率(即目標檢測任務中的檢測準確率)的帶寬資源分配指導模型。

        基于上述分析和研究可知,實際中針對視頻語義理解任務,資源分配優(yōu)化準則為視頻語義理解準確率最大化,即資源分配的最優(yōu)化目標為使用最少的通信資源代價盡可能獲得最佳的視頻語義的理解結果。上述目標檢測準確率與碼率的關系模型給出了語義驅動的資源分配算法的優(yōu)化方向。

        3 車聯(lián)網(wǎng)場景下的資源分配優(yōu)化問題

        在車聯(lián)網(wǎng)場景下,由于無線視頻傳輸會消耗帶寬,而整體帶寬資源有限,因此設計一個高效的帶寬分配算法很重要,以在帶寬限制下,最大化正確理解的視頻語義。

        其中,Bm是為每個車輛分配的帶寬,Sm、hm和分別表示發(fā)射功率、信道增益和噪聲功率。

        為了簡化分析,假設發(fā)送端可以獲取接近完美的信道狀態(tài)信息[10]。將信道增益hm建模為獨立隨機變量,既考慮了大尺度衰落效應(包含路徑損耗hpl和陰影衰落hsd),也考慮了小尺度衰落效應。由于信道的大尺度衰落通常是由車輛位置決定的,而車輛位置在一個很短的傳輸時隙中變化極小[9],這里路徑損耗建模為hpl= 148.1+37.6lgdm,單位為dB。其中,dm為車輛m與邊緣服務器之間的距離。陰影模型設為標準差為8 dB、均值為0 的對數(shù)正態(tài)分布模型[9]。然而,小尺度衰落分量是時變的。本文把小尺度衰落系數(shù)表示為遵循單位方差、均值為0 的瑞利分布。考慮到車聯(lián)網(wǎng)中小尺度衰落的動態(tài)特性,本文將時變瑞利系數(shù)建模為獨立的一階自回歸過程[10],表示為

        其中,te為信道保持穩(wěn)定狀態(tài)的時間間隔,eh為由分布推導出的處理噪聲,為信道自相關函數(shù),J0(·)為第一類零階貝塞爾函數(shù),λc為中心載波波長,v m為車輛m的行駛速度。

        因此,本文提出的資源分配的目標是在約束條件下最優(yōu)地分配每輛車的帶寬資源,從而最大化正確理解的視頻語義,則優(yōu)化問題可以表示為

        其中,M為車輛總數(shù);N為目標類別總數(shù);δn為不同檢測類別的權重,不同類別的檢測目標(如人、車、交通燈)在語義分析任務中可能具有不同的重要性;Im,n為原視頻中待檢測的目標數(shù)量(密度),I m,n Pn為正確檢測到的目標數(shù)量,即可正確理解的視頻語義;Bm為車輛分配的帶寬;l為傳輸時隙序號。

        優(yōu)化問題P2 中各約束條件的實際意義如下。約束條件C1 表示視頻碼率不大于信道傳輸速率,這是基于信息傳輸理論的。約束條件C2 和C3 表示車聯(lián)網(wǎng)系統(tǒng)中帶寬資源的限制條件,所有車輛所分配的帶寬之和不大于總帶寬資源Bmax,同時分配給每輛車的帶寬資源不小于傳輸帶寬門限值Bmin,即帶寬分配的最小值。約束條件C4 表示目標檢測精度的取值范圍,在實際中,檢測精度應該大于任務需求的閾值Pmin。C5 表示車聯(lián)網(wǎng)中一段視頻的穩(wěn)定傳輸時間范圍。C6 表示整個視頻傳輸過程的時隙跨度,L表示最大的時隙數(shù)。

        4 基于凸優(yōu)化的資源分配算法

        首先,從優(yōu)化問題P2 中可以看出,當t∈ (Δt,T)時,CSI 隨時間變化,問題P2 是非凸的。但是在時間間隔te內,可以將信道狀態(tài)視為穩(wěn)定狀態(tài),因此可以將原問題分解為L個子問題,其中L=(T?Δt)te。根據(jù)第2 節(jié)中的分析,α1<0,α2>1且β2<0,又因為 ?P?q>0(?是求導運算符),函數(shù)P(q(Rm))在定義域中單調增加,當時取最大值。因此,在第一個傳輸時間間隔te中,資源分配問題P2 可以轉換為

        定理1結合式(4)~式(7),根據(jù)復合函數(shù)的規(guī)則,問題P3 是凸優(yōu)化問題。

        證明 對于第3 節(jié)中信道模型的定義,已知接近完美的CSI,并且式(8)中定義的小尺度衰落在持續(xù)時間te上是恒定的。在時間t∈(Δt,Δt+te)范圍內,信道增益hm恒定且不隨時間變化。

        2) 根據(jù)式(5),q(?)是凸且遞減的,因此函數(shù)是凸且遞減的。

        3) 根據(jù)式(4),P(?)是一個凹且遞減的函數(shù),因此復合函數(shù)是凹的。此外,根據(jù)模型參數(shù)求解算法的結果,即表1 和表2 的數(shù)值結果,α1<0,α2>1且β2<0,所以。

        4) 由于δn和Im,n是已知常數(shù),M和N是有限的正整數(shù),根據(jù)復合函數(shù)的規(guī)則,P3 的目標函數(shù)是凹函數(shù)和遞增函數(shù)的非負和。

        因為P3 中目標函數(shù)是凹的,并且由P3 中所有約束(C1~C4)確定的可行集是凸的,所以P3 中的優(yōu)化問題是凸的,證畢。

        因此,優(yōu)化問題可以用常規(guī)的凸優(yōu)化算法來解決,例如基于凸優(yōu)化工具箱(CVX,convex programming)[17]的凸優(yōu)化算法,具體算法過程如算法3所示,在基于凸優(yōu)化的資源分配算法中,分配的結果在每個傳輸時間間隔內更新。

        算法3基于凸優(yōu)化的資源分配算法

        輸入系統(tǒng)參數(shù)

        輸出最優(yōu)解B*,最優(yōu)解對應的目標函數(shù)值

        1) 初始化變量B=(B1,B2,…,BM)

        2) 確定優(yōu)化目標函數(shù)及約束條件,構建凸優(yōu)化問題

        3) 利用CVX 工具箱迭代求解優(yōu)化問題

        4) 輸出最優(yōu)解B*

        5) 根據(jù)最優(yōu)解計算目標函數(shù)的值并輸出

        算法3 中利用CVX 工具箱求最優(yōu)解主要是基于內點法[17],屬于多項式時間算法,因此算法3 的計算時間復雜度為O(L2),其中L表示輸入長度。

        5 基于強化學習的資源分配算法

        根據(jù)前述分析,基于凸優(yōu)化的資源分配時間復雜度為O(L2),屬于多項式計算時間復雜度,隨著輸入的增大,算法的計算量會快速增長,因此對邊緣服務器的實時計算能力提出了極大挑戰(zhàn)。為降低資源分配的復雜度,本文考慮借鑒強化學習中的Q-learning 算法[18],線下訓練Q值表,決策時只需要進行查詢Q值表即可,其訓練復雜度為O(L2),決策復雜度為O(1),因此可極大地降低復雜度,提高資源分配的效率。

        要采用強化Q 學習算法,通過訓練模型學習到帶寬資源分配的最優(yōu)值,需首先設計強化Q 學習關鍵的3 個要素,具體如下。

        1) 狀態(tài)空間,為M個車輛分配的帶寬S= {s|s= (B1,B2,…,Bm,…,BM),Bm∈(Bmin,Bmax)}。

        2) 動作空間,為M個車輛分配的帶寬變化。為簡化模型中的Q值表,假設帶寬變化的最小步長ΔB為總帶寬的1%。當M=3 時,每個動作對應只有2 個車輛的帶寬對應增減,因此整個動作空間一共有6 種動作組合的方式,可表示為

        其中,(i,j)表示(Bi+ΔB,Bj?ΔB),i,j=1,2,3。

        3) 環(huán)境反饋,為下一狀態(tài)和當前狀態(tài)的F的差值ΔF=F'?F。由于訓練目標是F取得最優(yōu)值,因此希望F往不斷增大的方向優(yōu)化。當F減小時,反饋函數(shù)為負值,獲得懲罰;當F增大時,反饋函數(shù)為正值,獲得獎勵;在選擇回合結束點時,需考慮本模型的特殊性,與強化Q 學習算法一般適用的場景不同,訓練F取得最優(yōu)值并不像游戲問題有明確的終點,相反地,F(xiàn)的最優(yōu)值是未知的,因此將邊界條件Bm

        本文中強化Q 學習3 個要素之間的關系如圖4所示。首先,智能體(邊緣服務器)根據(jù)狀態(tài)空間中的當前狀態(tài)s,在動作空間中選擇相應的動作a;其次,智能體執(zhí)行動作之后,觀測環(huán)境的變化;最后,智能體從環(huán)境中獲得反饋的獎勵值ΔF,并進入下一狀態(tài)s',循環(huán)執(zhí)行上述操作。

        圖4 強化Q 學習的要素關系

        除此之外,強化Q 算法訓練的效果和它的主要參數(shù)有較強的相關性,經過多次嘗試實驗,本文模型的主要參數(shù)設定如下:學習速率α=0.1,讓算法保留歷史訓練結果的90%,更注重過往經驗;折扣因子γ=0.9,讓算法考慮下一步效益的90%,更重視長遠利益;ε? greedy 策略中的ε=0.8,讓算法有20%的嘗試空間,避免陷入局部最優(yōu)。具體步驟如算法4 所示。

        算法4基于強化Q 學習的資源分配算法

        輸入動作空間,狀態(tài)空間,學習速率α,折扣因子,ε? greedy 策略參數(shù)ε,系統(tǒng)參數(shù)

        輸出Q值表

        1) 對于每回合循環(huán)

        2) 設置初始狀態(tài)Bm

        3) 對于每步循環(huán)

        4) 基于貪婪策略的動作選擇:生成隨機數(shù),若大于ε,執(zhí)行步驟6);若小于ε,根據(jù)Q值表選擇Q值最大的動作a

        5) 執(zhí)行a,觀測下一帶寬分配狀態(tài)s'和反饋的F值,計算得到變化量ΔF

        6) 更新Q值表

        7) 迭代s←s'

        8) 返回步驟3),直到Bm

        6 仿真分析

        6.1 仿真參數(shù)設置

        為符合現(xiàn)實車聯(lián)網(wǎng)環(huán)境,本節(jié)基于SUMO 交通仿真器,MATLAB R2019a,Pycharm 2019.1.1 平臺完成了仿真系統(tǒng)的構建。1) 構建的車聯(lián)網(wǎng)仿真環(huán)境是基于SUMO(simulation of urban mobility)生成的城市十字路口場景,每條道路包括4 條寬3.5 m的雙向車道,車輛的初始相對位置隨機生成。2) 為符合車聯(lián)網(wǎng)中真實的信道條件,路損模型使用3GPP TR 36.885 標準中的Winner 模型[19],如第3 節(jié)所述,同時考慮車聯(lián)網(wǎng)中由于車輛移動和建筑等造成的小尺度衰落,采用如式(8)所示的時變小尺度衰落模型,具體的系統(tǒng)仿真參數(shù)設置均基于3GPP TR 36.885,仿真數(shù)值匯總于表3。3) 考慮到實際中車聯(lián)網(wǎng)的時變非穩(wěn)態(tài)特性,仿真中每次實驗采用200 次獨立的蒙特卡羅仿真取平均值,以消除異常數(shù)據(jù)帶來的誤差。

        表3 系統(tǒng)仿真參數(shù)設置

        為符合實際中車輛和服務器的運算能力,視頻處理和目標檢測仿真實驗設置如下。1) GPU 型號為Tesla M40,視頻檢測器為Faster-RCNN,訓練和測試環(huán)境為Windows 10+CUDA 8.0+Tensorflow 2.1。2) 視頻編譯碼器使用H.265,視頻幀率為30 幀/秒,幀組大小為4 幀(包括一個I 幀和3 個P 幀),每段傳輸視頻大小為300 幀。3) 測試視頻來自使用較廣泛的真實數(shù)據(jù)集Caltech 交通視頻數(shù)據(jù)集,表4 中具體展示了不同車輛采集到的視頻的具體信息,3 段視頻的分辨率相同,其中視頻1 中待檢測平均目標密度最高,視頻2 中目標密度中等,視頻3 中目標密度最低。

        表4 測試視頻信息

        6.2 對比分析

        6.2.1 資源分配算法對比分析

        本節(jié)仿真驗證了本文所提的基于強化Q 學習的資源分配算法的收斂性,并對比了凸優(yōu)化算法、強化Q 學習算法以及粒子群算法的性能差異。各算法介紹如下:1) 凸優(yōu)化算法如算法3 所示,利用CVX 工具箱求最優(yōu)資源分配的解;2) 強化Q 學習算法如算法4 所示,根據(jù)動作選擇和環(huán)境反饋迭代學習來獲得最優(yōu)資源分配的解;3) 粒子群算法是一種應用廣泛的啟發(fā)式算法[20],將帶寬資源的分配初始化為M個隨機粒子(隨機解),然后通過在搜索空間中迭代獲取最優(yōu)解,在每一次的迭代中,粒子通過跟蹤最優(yōu)值來更新自己的速度和位置。

        圖5 展示了強化Q 學習算法的獎勵函數(shù)的收斂過程。大約在1 300 次迭代后,強化Q 學習算法的解趨于穩(wěn)定,這證明了本文所提的基于強化Q 學習資源分配算法的收斂性,在線下訓練中能通過有限次迭代得到穩(wěn)定Q值表。

        圖5 強化Q 學習的迭代收斂仿真

        圖6 展示了不同資源分配算法的性能對比。隨著總帶寬的增加,最大平均正確檢測目標數(shù)量增加并最后趨于穩(wěn)定,這是因為資源飽和造成收益減小。另外,強化Q 學習算法的性能與凸優(yōu)化算法的性能幾乎一致,證明強化Q 學習在降低復雜度的同時可獲得較好性能。本文所提的算法均優(yōu)于粒子群算法,這是因為粒子群算法在信道不穩(wěn)定的條件下容易陷入局部最優(yōu)解。

        圖6 不同資源分配算法性能對比

        6.2.2 資源分配方案對比分析

        本節(jié)仿真對比了不同資源指導方案下的性能差異,對比方案如下:1) 本文所提的視頻語義驅動的資源分配方案,通過所構建語義驅動的資源分配指導模型合理地分配通信資源,使邊緣服務器端最大程度地理解視頻語義;2) 文獻[8]中基于QoC 的資源分配方案,即邊緣服務器端平均目標檢測精度驅動的通信資源分配方案;3) 文獻[6]中基于QoE的資源分配方案,即傳輸視頻的用戶體驗質量驅動的通信資源分配方案;4) 文獻[5]中基于QoS 的資源分配方案,即車輛到邊緣服務器的鏈路傳輸效率驅動的通信資源分配方案。

        圖7 展示了不同資源分配方案下隨著總帶寬的增加,每幀視頻最大正確檢測目標的數(shù)量。這里使用檢測目標的數(shù)量來表示視頻的語義,如優(yōu)化問題P2 中所定義的。顯然,本文所提出的方案可以提高正確檢測目標的數(shù)量。也就是說,該方案保證了視頻傳輸結束后,能夠在邊緣服務器上正確檢測到更多的目標,能更好地完成視頻語義理解任務。從圖7可知,基于QoS 的資源分配方案性能最差,這是因為基于QoS 的方案不考慮視頻的語義信息,僅考慮網(wǎng)絡效率,因此會給冗余視頻(目標數(shù)量極少的視頻)分配較多的帶寬,而本文所提方案考慮了視頻的語義信息,會傾向于給目標數(shù)量更多的視頻分配更多的帶寬資源,具體給每輛車的帶寬分配結果如圖8 所示。結合圖7 和圖8 可知,有效的資源分配有助于在傳輸過程中保留更多的視頻語義信息,因此可以在邊緣服務器上更準確地理解視頻語義。

        圖7 不同資源分配方案的最大正確檢測目標數(shù)量

        圖8 不同方案的帶寬資源分配結果

        圖9 和圖10 分別展示了不同方案下的正確檢測概率和錯誤檢測概率的性能曲線,隨著帶寬資源的增加,所有方案的性能均有所提升,這是因為帶寬資源的增加保證了視頻的傳輸質量,所以邊緣服務器端能接收到更高質量的視頻,從而帶來了目標檢測任務的性能提升??梢钥闯觯疚乃岬姆桨傅恼_檢測概率和錯誤檢測概率的性能均是最優(yōu)的,這是由于在優(yōu)化問題的構建中,本文考慮了將正確檢測概率作為目標函數(shù)的乘積項,因此在資源分配的過程中會使資源分配向提升正確檢測概率性能的方向迭代。

        圖9 不同資源分配方案的正確檢測概率

        圖10 不同資源分配方案的錯檢或漏檢概率

        另外,目標正確檢測率和錯檢率的性能優(yōu)勢顯示語義驅動的資源分配方案更適合于視頻語義理解任務,高正確檢測概率和低錯誤檢測概率對輔助駕駛或自動駕駛業(yè)務具有重要的意義,更準確的檢測能優(yōu)化駕駛決策。

        6.2.3 車聯(lián)網(wǎng)場景下影響參數(shù)分析

        本節(jié)仿真分析了車聯(lián)網(wǎng)場景中常見的2 個指標(接入車輛數(shù)目和車輛行駛速度)對資源分配方案的性能影響。

        不同方案下,最大正確檢測目標數(shù)隨著車輛數(shù)目的變化如圖11 所示??梢钥闯?,隨著接入邊緣服務器車輛數(shù)目的增多,整體性能都呈下降趨勢,這是因為車輛的增多造成了車輛對資源的競爭更激烈,可分給每輛車的平均帶寬資源減少。但是,隨著車輛數(shù)目的增加,本文所提的視頻語義驅動的資源分配方法仍然保持性能最優(yōu),證明了本文方案在車輛數(shù)目較多場景下或者資源緊缺條件下的性能優(yōu)勢。

        圖11 最大正確檢測目標數(shù)隨著車輛數(shù)目變化

        隨車輛速度變化不同方案的性能變化如圖12所示。實驗設置總帶寬為1 MHz。隨著車輛行駛速度的增大,信號的傳輸過程產生多普勒頻移,造成干擾,導致傳輸速率下降。因此,隨著速度的增加,所有方案的性能均有所損失。從圖12 可以看出,本文方案在速度變化的條件下,依然保持最大的可正確檢測的目標數(shù)量,這是因為第3 節(jié)中考慮了信道條件隨速度的變化特性,本文所提資源分配方案能適應車聯(lián)網(wǎng)中信道快速變快的特性。

        圖12 隨車輛速度變化不同方案的性能變化

        7 結束語

        為實現(xiàn)車聯(lián)網(wǎng)環(huán)境下對視頻語義的高效傳輸和準確理解,以滿足輔助駕駛等業(yè)務的需求,本文研究了視頻語義驅動的資源分配問題。本文提出了視頻語義驅動的資源分配指導模型,以及在該模型指導下車聯(lián)網(wǎng)場景中的通信資源資源分配算法。實驗結果驗證了本文所提算法的性能優(yōu)勢,本文所提的資源分配方案更適用于以視頻語義理解任務為主的智能環(huán)境。順應通信技術與人工智能緊密結合的大趨勢,本文所提方案為以視頻語義理解為主要手段的智能駕駛時代存在的交通環(huán)境復雜、汽車通行效率低、道路安全問題突出等難點問題提供了一條新的解決途徑。

        猜你喜歡
        語義優(yōu)化檢測
        超限高層建筑結構設計與優(yōu)化思考
        房地產導刊(2022年5期)2022-06-01 06:20:14
        “不等式”檢測題
        “一元一次不等式”檢測題
        “一元一次不等式組”檢測題
        民用建筑防煙排煙設計優(yōu)化探討
        關于優(yōu)化消防安全告知承諾的一些思考
        一道優(yōu)化題的幾何解法
        語言與語義
        “上”與“下”語義的不對稱性及其認知闡釋
        小波變換在PCB缺陷檢測中的應用
        日本久久久久亚洲中字幕| 在线无码免费看黄网站| 成人性生交大片免费看7| 亚洲最新精品一区二区| 99精品国产丝袜在线拍国语| 蜜桃臀无码内射一区二区三区| 色诱视频在线观看| 亚洲男同帅gay片在线观看| 国产亚洲精品hd网站| 射进去av一区二区三区| 久久国产劲爆∧v内射-百度| 久久久噜噜噜www成人网| 国产资源精品一区二区免费| 女同中文字幕在线观看| 亚洲视频网站大全免费看| 亚洲毛片αv无线播放一区| 亚洲国产一区二区三区网| 日本女优中文字幕四季视频网站 | 男人的天堂av高清在线| 国产亚洲精品久久久久久| 午夜久久精品国产亚洲av| 亚洲成人av大片在线观看| 成人国产激情自拍视频 | 国产乱子伦一区二区三区| 日韩激情网| 美腿丝袜日韩在线观看| 夜夜揉揉日日人人青青| 亚洲免费视频播放| 在线偷窥制服另类| 亚洲精品一区二区三区四区久久 | 久久频道毛片免费不卡片| 91九色国产在线观看| 欧美性色欧美a在线播放| 亚洲旡码a∨一区二区三区| 免费va国产高清不卡大片| 亚洲一区二区三区重口另类| 永久黄网站色视频免费看| 91视频免费国产成人| 亚洲无av码一区二区三区| 国产精品天干天干综合网| 国产精品亚洲五月天高清|