袁帥,秦貴和,晏婕

(吉林大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,130000,長(zhǎng)春)

深度學(xué)習(xí)的理論和技術(shù)極大地促進(jìn)了諸多計(jì)算機(jī)視覺相關(guān)領(lǐng)域的發(fā)展,在機(jī)器人、自動(dòng)駕駛、物體檢測(cè)分類等方面都提供了新的思路方法,但是這類模型通常需要大量的人工處理費(fèi)用高昂的標(biāo)簽化數(shù)據(jù)集去進(jìn)行訓(xùn)練,缺乏標(biāo)準(zhǔn)化數(shù)據(jù)在某種程度上是深度學(xué)習(xí)領(lǐng)域研究的瓶頸,然而視頻圖像的預(yù)測(cè)研究則不受標(biāo)簽化數(shù)據(jù)集不足的限制,視頻數(shù)據(jù)無(wú)需過多人工的預(yù)處理,數(shù)據(jù)體量趨近于無(wú)限。在自動(dòng)駕駛等領(lǐng)域所使用的物體檢測(cè)、分類的方法均是基于對(duì)靜態(tài)圖片的學(xué)習(xí),如YOLO、Faster RCNN等模型對(duì)視頻內(nèi)容的學(xué)習(xí)本質(zhì)上仍然是不斷對(duì)單張圖像進(jìn)行物體檢測(cè),如果可以通過一段連續(xù)的視頻幀去預(yù)測(cè)未來(lái)下一幀的圖像將有助于提升視頻分類等方法的效果。2015年Srivastava等驗(yàn)證了預(yù)測(cè)得到視頻中提取的特征圖可以提高在兩個(gè)行為識(shí)別數(shù)據(jù)庫(kù)上分類的準(zhǔn)確率[1]。

Srivastava等應(yīng)用以編碼解碼器(EDF)為基礎(chǔ)結(jié)構(gòu)、以長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)為組成單元生成圖像[2]。Bhattacharjee等通過使用由2維卷積核構(gòu)造的2級(jí)生成器來(lái)生成幀圖像,在每一級(jí)生成器中通過圖像反池化技術(shù)來(lái)提高圖像分辨率[3],使用了生成對(duì)抗模型的框架以及變種的歸一化互相關(guān)算法、對(duì)比差異函數(shù)來(lái)共同控制網(wǎng)絡(luò)權(quán)值的變化,但是其損失函數(shù)中對(duì)抗部分的損失權(quán)值設(shè)置的極小,生成對(duì)抗的框架思想在整體模型中起到的影響有限,主要還是依賴傳統(tǒng)的像素級(jí)別的對(duì)比方法,如生成圖像與真實(shí)圖像像素的范式距離。Mathieu等在視頻幀的預(yù)測(cè)上同樣使用了多級(jí)生成器的思想[4],通過預(yù)測(cè)同一張圖像不同尺度上的采樣結(jié)果來(lái)逐步提高最終預(yù)測(cè)結(jié)果的分辨率。Liang等通過構(gòu)造一對(duì)互成對(duì)偶的生成對(duì)抗網(wǎng)絡(luò)來(lái)分別對(duì)視頻流中未來(lái)的幀和光流進(jìn)行預(yù)測(cè)[5],并通過將幀生成器直接生成的幀圖像與由光流生成器生成的光流所包裹的視頻流中的最后一幀圖像進(jìn)行融合,獲取尺寸為256像素×256像素的預(yù)測(cè)幀圖像,并且在對(duì)抗訓(xùn)練的過程中幀生成器和光流生成器不僅會(huì)使用自身對(duì)應(yīng)的判別器還會(huì)利用對(duì)方的判別器來(lái)獲得梯度反饋,但是其實(shí)光流本身就是一種蘊(yùn)含于原始圖像數(shù)據(jù)中的可以由人工直接從兩幀圖像計(jì)算得出的信息,直接使用多個(gè)判別器對(duì)單一的幀圖像生成器進(jìn)行評(píng)價(jià)以提取更多有效特征。Xiong等更為創(chuàng)造性地嘗試通過一幀圖像去直接預(yù)測(cè)未來(lái)連續(xù)的多幀圖像[6],同樣也利用了對(duì)偶對(duì)抗網(wǎng)絡(luò)的思想,但是不同于Liang等提出的網(wǎng)絡(luò)模型直接通過兩個(gè)生成器去生成和細(xì)化最終需要預(yù)測(cè)出的幀圖像,而不是通過圖像的后期融合。

上述方法大多應(yīng)用在一定的假設(shè)條件下:如視頻中主體對(duì)象運(yùn)動(dòng)變化幅度較小、沒有突發(fā)事件、背景為靜態(tài)、背景不參與圖像質(zhì)量評(píng)價(jià),且僅在預(yù)測(cè)較小尺度圖像時(shí)是可行的,但是當(dāng)分辨率的要求提高、圖像尺度增大時(shí)上述方法會(huì)產(chǎn)生模糊的結(jié)果。本文方法不基于以上假設(shè),模型的訓(xùn)練與測(cè)試均使用KITTI訓(xùn)練集,數(shù)據(jù)集中路況多變,視頻流中的物體對(duì)象變化劇烈,在評(píng)價(jià)最終預(yù)測(cè)結(jié)果時(shí)對(duì)預(yù)測(cè)生成的幀圖像包括前景與背景在內(nèi)的全部像素進(jìn)行計(jì)算以衡量生成的幀圖像的整體效果,一方面由于背景像素參與評(píng)價(jià),同尺度圖像參與峰值信噪比與結(jié)構(gòu)一致性度量等指標(biāo)計(jì)算的像素點(diǎn)數(shù)大幅增加,評(píng)價(jià)指標(biāo)更容易受圖像品質(zhì)影響。另一方面,拋開相鄰幀圖像之間的運(yùn)動(dòng)特征提取的問題,僅圖像生成本身就是一個(gè)復(fù)雜的過程,Ledig等通過使用殘差模塊構(gòu)成的生成器網(wǎng)絡(luò)提高了可生成圖像的分辨率[7],然而在這個(gè)過程中圖像信息的損失仍然不可避免。2017年Chen等使用多級(jí)生成模型串連[8]的方式去解決這個(gè)問題,在每一級(jí)網(wǎng)絡(luò)中重新輸入與本級(jí)模型特征圖分辨率相對(duì)應(yīng)的圖像數(shù)據(jù)來(lái)強(qiáng)化圖像特征,然而用這種方法直接應(yīng)用在視頻幀的預(yù)測(cè)中卻不足以提取出相鄰幀之間的運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)變化特征。

本文提出一種基于生成對(duì)抗框架的端到端的網(wǎng)絡(luò)模型(RB-GAN),利用級(jí)聯(lián)排布的殘差模塊構(gòu)造生成器[9],應(yīng)用雙判別器增強(qiáng)生成對(duì)抗網(wǎng)絡(luò)捕捉圖像細(xì)節(jié)紋理的能力,同時(shí)應(yīng)用感知網(wǎng)絡(luò)來(lái)進(jìn)一步提取視頻流中圖像之間的運(yùn)動(dòng)特征,在保證生成內(nèi)容與視頻流具有時(shí)空一致性的前提下,能夠生成更大分辨率的預(yù)測(cè)圖像。

1 生成對(duì)抗網(wǎng)絡(luò)模型

近年來(lái)Goodfellow等提出的生成對(duì)抗網(wǎng)絡(luò)(GANs)成為圖像檢測(cè)領(lǐng)域研究的熱點(diǎn)[10]。Mirza等提出的條件對(duì)抗網(wǎng)絡(luò)可以更加便捷地控制網(wǎng)絡(luò)的生成結(jié)果[11]。Isola等探索了利用生成對(duì)抗網(wǎng)絡(luò)的框架[12],將U-net作為網(wǎng)絡(luò)的生成器[13],從簡(jiǎn)單的語(yǔ)義圖像生成復(fù)雜的現(xiàn)實(shí)世界圖像,但是GANs局限于小尺度圖像的生成,難以呈現(xiàn)復(fù)雜場(chǎng)景中的細(xì)節(jié)。對(duì)于生成對(duì)抗網(wǎng)絡(luò)來(lái)說(shuō)生成大尺度的圖像仍然是一個(gè)難點(diǎn),網(wǎng)絡(luò)訓(xùn)練的不穩(wěn)定性仍然困擾著研究者。生成對(duì)抗網(wǎng)絡(luò)主要由生成器G和判別器D兩部分構(gòu)成,傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)通過將一個(gè)噪音向量映射為輸出圖像,判別器則用來(lái)區(qū)分輸入的數(shù)據(jù)是來(lái)自判別器還是來(lái)自生成器。在這里給出生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù)

minGmaxDLGAN(A,B)

(1)

其中LGAN(A,B)的定義如下

LGAN(A,B)=E(A,B)[lgD(A,B)]+

E(A)[1-lgD(A,G(A))]

(2)

圖1 生成器網(wǎng)絡(luò)模型的第1部分

式中:A、B為計(jì)算期望的因子。與VAE等深度網(wǎng)絡(luò)相比,在生成圖像的問題上原始的生成對(duì)抗網(wǎng)絡(luò)能夠生成人臉、室內(nèi)等給多樣化情景下的具有更高銳度的圖像數(shù)據(jù),其交替訓(xùn)練的生成器與判別器可以捕捉到更全面細(xì)致的訓(xùn)練數(shù)據(jù)的特征分布而不必依賴人工定義的特征,但是在生成更高分辨率的圖像時(shí),對(duì)生成器和判別器捕捉數(shù)據(jù)分布的能力提出了更高的要求:生成的圖像不僅包含準(zhǔn)確的全局特征(如本文中涉及到的街道、汽車、房屋等場(chǎng)景)也包含細(xì)致的局部特征(如本文中車輛表面的紋理、圖案)。另一方面預(yù)測(cè)幀圖像也不僅僅是單純的生成一幅圖像,更重要的是要捕捉輸入的視頻流中的運(yùn)動(dòng)特征以進(jìn)行合理的預(yù)測(cè),過去的研究在一定程度上證明了更深的網(wǎng)絡(luò)模型和將單純的幾個(gè)卷積操作制作成有跨層連接的單元模塊(如本文所用的殘差模塊)有利于捕捉圖像特征[14],能夠有效避免深度網(wǎng)絡(luò)中梯度消失的問題,本文算法通過使用多個(gè)級(jí)聯(lián)的殘差模塊實(shí)現(xiàn)這種深度生成器以生成具有復(fù)雜信息的圖像,同時(shí)多尺度判別器的聯(lián)合訓(xùn)練可以對(duì)全局和局部特征進(jìn)行全面的捕捉[15],感知網(wǎng)絡(luò)在圖像風(fēng)格轉(zhuǎn)換領(lǐng)域上所取得的成功也啟發(fā)了我們將其運(yùn)用在運(yùn)動(dòng)特征的捕捉上[16],本文提出的模型通過引入一個(gè)深度網(wǎng)絡(luò)作為感知網(wǎng)絡(luò)使用,利用其中間層特征差異進(jìn)一步加強(qiáng)梯度反饋以預(yù)測(cè)生成具有時(shí)空一致性的高分辨率視頻幀圖像。

1.1 生成器模型

1.2 多重判別器模型

圖2 生成器網(wǎng)絡(luò)模型的第2部分

minGmaxD1,D2∑p=1.2LGAN(G,Dp)

(3)

判別器中間層的損失函數(shù)為

(4)

圖3 判別器網(wǎng)絡(luò)結(jié)構(gòu)

1.3 感知網(wǎng)絡(luò)模型

Bhattacharjee等提出TCDM-GAN模型用于預(yù)測(cè)一段分辨率為128像素×256像素的視頻流未來(lái)連續(xù)的多幀,但是該方法在高分辨率的情況下即使僅預(yù)測(cè)一幀圖像誤差也較大,網(wǎng)絡(luò)收斂較慢。TCDM-GAN模型進(jìn)一步通過采用變種的歸一化互相關(guān)(NCC)算法來(lái)提高預(yù)測(cè)圖像的準(zhǔn)確率,但這種方法假定圖像中主體對(duì)象運(yùn)動(dòng)特征微小,并且需要人為設(shè)定NCC模板大小等關(guān)鍵參數(shù)。當(dāng)TCDM-GAN模型應(yīng)用在大尺度的圖像上的時(shí)候,超參數(shù)的設(shè)定將會(huì)變得難以確定,如果過小生成器難以模擬出圖像中物體運(yùn)動(dòng)的過程,如果過大圖像容易模糊,并且在不同場(chǎng)景下無(wú)法自適應(yīng),如車輛在高速路和在行人較多的城市交通路行駛時(shí),速度是不同的,反映到圖像上物體運(yùn)動(dòng)變化的幅度也有很大差異,NCC算法帶來(lái)了很大的計(jì)算量,使訓(xùn)練變得緩慢。本文提出一個(gè)自適應(yīng)的方法,不僅可以進(jìn)一步提高圖像的清晰度,還能提取出圖像幀之間這種運(yùn)動(dòng)變化的特征。受Johnson等工作的啟發(fā),本文算法引入一個(gè)預(yù)訓(xùn)練的VGG-19模型作為整個(gè)模型的感知網(wǎng)絡(luò)[17],將預(yù)測(cè)的幀與對(duì)應(yīng)的真值圖像分別與輸入序列的最后兩幀拼接并分別輸入VGG-19模型,模型分別提取出兩類輸入在VGG-19模型中的中間特征,并計(jì)算兩類中間特征的L1距離作為網(wǎng)絡(luò)損失函數(shù)的一部分,感知網(wǎng)絡(luò)的損失函數(shù)為

(5)

式中:N為VGG網(wǎng)絡(luò)中ReLU激活層數(shù);Mz為第z個(gè)激活層所產(chǎn)生的特征圖數(shù);VZ(A,B)代表第z個(gè)激活層在輸入A與B的幀圖像后所產(chǎn)生的VGG網(wǎng)絡(luò)特征圖。本文中θ取L1距離。

1.4 組合的損失函數(shù)

本文模型將生成器網(wǎng)絡(luò)、判別器網(wǎng)絡(luò)以及感知網(wǎng)絡(luò)的損失函數(shù)加權(quán)后線性組合在一起,構(gòu)成一個(gè)組合的損失函數(shù)并以此控制生成對(duì)抗網(wǎng)絡(luò)梯度下降的過程。組合的損失函數(shù)定義如下

Lcombin(A,B)=

λGANminGmaxD1,D2∑h=1,2LGAN(G,Dh)+

λPERLPER(AN-1,AN-2,B,B)+λMFLMF(A,B)

(6)

2 實(shí)驗(yàn)數(shù)據(jù)集

本實(shí)驗(yàn)采用KITTI數(shù)據(jù)集作為訓(xùn)練集和測(cè)試集[18],此數(shù)據(jù)集包含城市、居民區(qū)、道路、學(xué)校等多個(gè)不同場(chǎng)景下的具有較高分辨率的視頻流,并且視頻已經(jīng)被預(yù)處理為獨(dú)立的幀圖像。本實(shí)驗(yàn)取KITTI原始數(shù)據(jù)集中城市和居民區(qū)這兩個(gè)類別中的數(shù)據(jù)集,使用其中的灰度圖像,并將所有圖像預(yù)處理為統(tǒng)一大小1 024像素×512像素。這兩類數(shù)據(jù)共49個(gè)視頻流,共計(jì)36 881個(gè)圖像,本實(shí)驗(yàn)中將其中27 809張圖像作為訓(xùn)練集,余下9 072張圖像作為測(cè)試集,檢驗(yàn)?zāi)Ｐ陀?xùn)練結(jié)束后的準(zhǔn)確率。

3 殘差對(duì)抗網(wǎng)絡(luò)實(shí)驗(yàn)

3.1 生成器結(jié)構(gòu)設(shè)置

實(shí)驗(yàn)?zāi)Ｐ偷妮斎霝?張單通道256像素×512像素的灰度圖像,預(yù)測(cè)結(jié)果同樣為256像素×512像素的灰度圖像。模型通過使用3×3的卷積核提取輸入圖像特征,將其映射到1 024通道的特征圖,再經(jīng)過ReLU激活函數(shù)處理。本實(shí)驗(yàn)取7個(gè)殘差網(wǎng)絡(luò)模塊作為初始輸入圖像的特征提取。每個(gè)殘差網(wǎng)絡(luò)模塊包含兩個(gè)卷積層,并且在每個(gè)卷積層之后接一個(gè)規(guī)范化層,本模型不使用批規(guī)范化,而是實(shí)例規(guī)范化,實(shí)例規(guī)范化在生成清晰圖像時(shí)有更好的效果[19]。并且第一個(gè)卷積層的實(shí)例規(guī)范化層之后還會(huì)額外接一個(gè)ReLU激活函數(shù)來(lái)增加整體網(wǎng)絡(luò)的非線性程度。每個(gè)殘差模塊生成的特征圖的通道數(shù)都是1 024。每個(gè)殘差模塊的輸入都采用映射方式填充1圈。殘差模塊最后生成的特征圖經(jīng)過上采樣后的結(jié)果與對(duì)應(yīng)尺度的輸入圖像在通道維度相加(殘差網(wǎng)絡(luò)輸出1024通道的特征圖,輸入的為4張單通道的灰度圖像,相加后為1 028通道的輸入數(shù)據(jù)),結(jié)果作為下一層卷積層的輸入數(shù)據(jù),重復(fù)這兩步操作至分辨率滿足要求。每個(gè)卷積層仍然使用3×3的卷積核,搭配ReLU激活函數(shù),第一層卷積結(jié)果為64像素×128像素×512像素,經(jīng)過上采樣與卷積操作后,特征圖分辨率逐漸提升為128像素×256像素×256像素、256像素×512像素×128像素,最后采用一個(gè)卷積核為1×1的映射層將特征圖映射為256像素×512像素的灰度圖像。所有卷積步長(zhǎng)均為1。

3.2 判別器結(jié)構(gòu)設(shè)置

本文所提出的變種的生成對(duì)抗模型使用兩個(gè)判別器,除了輸入數(shù)據(jù)的尺度不同外,網(wǎng)絡(luò)結(jié)構(gòu)完全相同:判別器具有5個(gè)卷積層,均采用4×4的卷積核,前3層不采用池化技術(shù)而用卷積核移動(dòng)步長(zhǎng)為2的操作代替以達(dá)到更好的保留特征和減小中間過程特征圖尺寸的目的。第4、5層卷積操作的移動(dòng)步長(zhǎng)更改為1以進(jìn)行充分的提取特征。生成的特征圖的通道數(shù)分別為64、128、256、512、1。判別器每層輸入均使用常量0填充1圈。

3.3 對(duì)抗訓(xùn)練設(shè)置

實(shí)驗(yàn)中生成器、判別器交替訓(xùn)練。原始的生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練不穩(wěn)定,訓(xùn)練過程容易崩潰,在實(shí)驗(yàn)中使用了Wasserstein GAN[20]模型作為對(duì)抗訓(xùn)練的基礎(chǔ),Wasserstein GAN模型具有更好的穩(wěn)定性和更加合理的對(duì)抗結(jié)構(gòu)。本網(wǎng)絡(luò)模型不使用隨機(jī)梯度下降優(yōu)化器(SGD)而是選擇Adam作為優(yōu)化器[21],初始學(xué)習(xí)律設(shè)置為0.00 2,全部數(shù)據(jù)訓(xùn)練完100次前保持不變,接下來(lái)的100次學(xué)習(xí)率線性衰減到0。實(shí)驗(yàn)中感知器網(wǎng)絡(luò)采用VGG19網(wǎng)絡(luò)。損失函數(shù)權(quán)值分別取λGAN=1、λPER=10、λMF=10。

3.4 模型評(píng)價(jià)方法

本文使用評(píng)價(jià)模型常用的峰值信噪比(PSNR,設(shè)為P)和結(jié)構(gòu)相似性度量(SSIM,設(shè)為S)的方法來(lái)評(píng)價(jià)結(jié)果,在以往的工作中,往往只關(guān)注網(wǎng)絡(luò)輸出結(jié)果在運(yùn)動(dòng)區(qū)域的指標(biāo),將背景視為靜態(tài)的或者忽略背景較小的運(yùn)動(dòng)變化,這是不合適的,因?yàn)閺膶?shí)用的角度出發(fā),運(yùn)動(dòng)特征的捕捉雖然重要,但是生成的圖像整體效果(包括背景和前景)是否逼真也影響圖像最終的實(shí)用性。所以在實(shí)驗(yàn)中對(duì)完整的圖像進(jìn)行評(píng)估比較。峰值信噪比的計(jì)算方式如下

(7)

式中:R是預(yù)測(cè)的圖像與對(duì)應(yīng)真值的均方誤差,W為圖像強(qiáng)度最大值點(diǎn),本文R取值255.0。

通過采用結(jié)構(gòu)相似性指標(biāo)S來(lái)進(jìn)一步衡量模型生成的圖像與真實(shí)圖像在結(jié)構(gòu)上的相似程度,實(shí)驗(yàn)中所采用的結(jié)構(gòu)相似性度量的計(jì)算方式如下

(8)

式中:μA、μB分別為圖像A、B的像素值均值,σA、σB分別為圖像A、B的像素值標(biāo)準(zhǔn)差,取超參數(shù)C1=(Q1S)2,C2=(Q2S)2,取Q1為0.01,Q2為0.03,S為255.0(即像素強(qiáng)度的最大值)。上述的傳統(tǒng)評(píng)測(cè)方法計(jì)算上均過于依賴于圖像數(shù)據(jù)的均值,無(wú)法真實(shí)表現(xiàn)出圖像的清晰度與銳度,與人眼主觀感受差距較大,本文通過采用Mathieu提出的Sharpness方法來(lái)評(píng)價(jià)圖像銳度,設(shè)為Y,通過計(jì)算圖像相鄰像素?cái)?shù)值的差異給出了一種更加符合人眼主觀視覺感受的圖像評(píng)價(jià)指標(biāo),銳度的計(jì)算方式如下

(9)

3.5 與傳統(tǒng)方法的對(duì)比

在TensorFlow1.4平臺(tái)下使用一塊英偉達(dá)1080ti顯卡進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)以連續(xù)3幀單通道灰度圖像作為輸入(T=1,2,3),通過使用不同的模型方法訓(xùn)練200輪后預(yù)測(cè)出第4幀圖像作為最終結(jié)果(T=4)。實(shí)驗(yàn)輸入輸出的效果如圖4所示,預(yù)測(cè)的準(zhǔn)確率結(jié)果見表1。從圖4中可以明顯看出,RB-GAN模型生成了最清晰的結(jié)果。從表1中可以看出,本文提出的RB-GAN模型在預(yù)測(cè)未來(lái)一幀時(shí)生成的圖像雖然在P指標(biāo)上低于其他方法,尤其是低于以計(jì)算像素?cái)?shù)值距離為主要策略的L1和L2方法,但在圖像銳度上則明顯高于其他方法,銳度指標(biāo)趨近于1,較其他方法高出了1～2個(gè)數(shù)量級(jí),更好地還原圖像的細(xì)節(jié)紋理部分(圖4中方框區(qū)域被局部放大,便于觀察圖像細(xì)節(jié))。

應(yīng)當(dāng)注意到P取得最好效果的L1方法其本身就是完全基于兩幅圖像像素?cái)?shù)值的絕對(duì)距離計(jì)算梯度,方法的本質(zhì)就是令生成的圖像與真值圖像在整體像素值上盡可能接近而不關(guān)心生成圖像像素彼此之間的相對(duì)關(guān)系(所以這類方法都傾向于生成模糊的圖像,兩幅圖像每一對(duì)像素點(diǎn)之間都存在一定差異,但是整體的像素值差異很小),因此在使用L1和L2方法時(shí)即使生成的圖像模糊,這些圖像的數(shù)值指標(biāo)也極高,尤其是圖像尺度變大的時(shí)候,這種現(xiàn)象就更加明顯,這也是峰值信噪比這種基于計(jì)算兩幅圖像像素均方誤差的衡量指標(biāo)的弊端,而結(jié)構(gòu)相似性度量指標(biāo)采用了更加豐富的構(gòu)成方式,在計(jì)算的過程中采用圖像均值、標(biāo)準(zhǔn)差及其他超參數(shù),從表1中可以看出,本文方法在S這一指標(biāo)上與其他方法是較為接近的。而在不依賴于均值、標(biāo)準(zhǔn)差等反映平均特性的Y指標(biāo)上我們?nèi)〉昧藬?shù)量級(jí)上的優(yōu)勢(shì),同時(shí)基于這項(xiàng)評(píng)價(jià)指標(biāo)所生成的圖像也更加符合人眼主觀感受。

表1 實(shí)驗(yàn)預(yù)測(cè)幀的各項(xiàng)指標(biāo)對(duì)比

4 結(jié) 論

本文提出了一種基于生成對(duì)抗網(wǎng)絡(luò)框架利用殘差模塊構(gòu)造的網(wǎng)絡(luò)模型,可以有效預(yù)測(cè)一段路況視頻在時(shí)序上未來(lái)的一幀圖像,避免了傳統(tǒng)深度網(wǎng)絡(luò)模型過多的難以手動(dòng)設(shè)置的超參數(shù)。以往大部分研究工作均以生成256像素×256像素的圖像為基本目標(biāo),而本文模型生成的圖像的分辨率達(dá)到了256像素×512像素,比過去相關(guān)研究所預(yù)測(cè)的圖像的分辨率高2～4倍,輸出的幀圖像與輸入的一系列幀圖像在時(shí)空上具有良好一致性。在更加嚴(yán)格的Sharpness測(cè)評(píng)標(biāo)準(zhǔn)下本文提出的模型的準(zhǔn)確率提高了一個(gè)數(shù)量級(jí),達(dá)到了0.045,圖像的光影紋理等細(xì)節(jié)呈現(xiàn)的更加豐富準(zhǔn)確,符合人眼主觀感受。

(a)T=1的輸入圖像(b)T=2的輸入圖像(c)T=3的輸入圖像(d)T=4的預(yù)測(cè)圖像真值

(e) T=4的L1方法(f) T=4的L2方法(g) T=4的TCDM-GAN模型 (h) T=4的RB-GAN模型 預(yù)測(cè)結(jié)果 預(yù)測(cè)結(jié)果 預(yù)測(cè)結(jié)果 預(yù)測(cè)結(jié)果

(i) T=4的L1方法 (j) T=4的L2方法局部圖 (k) T=4的TCDM-GAN模型 (l) T=4的RB-GAN模型 局部圖 局部圖 局部圖 局部圖圖4 4種方法預(yù)測(cè)結(jié)果的對(duì)比實(shí)驗(yàn)