李亞杰，關(guān)勝曉，倪長(zhǎng)好

(中國(guó)科學(xué)技術(shù)大學(xué) 微電子學(xué)院，安徽 合肥230026)

0 引言

視頻描述任務(wù)是將計(jì)算機(jī)視覺信息轉(zhuǎn)換為人類能夠理解的自然語(yǔ)言句子的描述。將計(jì)算機(jī)視覺內(nèi)容理解和自然語(yǔ)言處理兩個(gè)領(lǐng)域相結(jié)合用于解決視頻描述是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。視頻描述涉及對(duì)許多實(shí)體的理解，這些實(shí)體包括場(chǎng)景、人物、物體、人的動(dòng)作、人與物體的交互、人與人的交互、其他事件以及事件發(fā)生的順序等。所有這些信息必須使用自然語(yǔ)言處理(Natural Language Processing，NLP)技術(shù)，以一種可壓縮的、語(yǔ)法正確的文本表達(dá)出來(lái)。視頻描述任務(wù)可以應(yīng)用于很多領(lǐng)域，如智能安防、盲人導(dǎo)航、視頻檢索、人機(jī)交互等。

目前視頻描述算法主要是基于編碼-解碼器架構(gòu)。 編碼器使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)或循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)對(duì)視頻信息進(jìn)行編碼，解碼器根據(jù)編碼特征使用RNN 生成視頻語(yǔ)言描述。 由于注意力機(jī)制在機(jī)器翻譯和目標(biāo)檢測(cè)等領(lǐng)域的成功，Li Yao[1]等人提出使用軟注意機(jī)制的TA 模型，在每一步解碼時(shí)不是簡(jiǎn)單地對(duì)視頻每幀的編碼信息進(jìn)行求平均，而是根據(jù)當(dāng)前解碼狀態(tài)以軟注意的方式獲取感興趣的時(shí)間特征，同時(shí)使用了3D 卷積特征和三個(gè)手工低級(jí)特征將時(shí)間和空間特征進(jìn)行結(jié)合。 Pan Yingwei[2]等人提出X-LAN 圖像描述模型， 該模型使用了類似Transformer[3]的結(jié)構(gòu)，并使用了雙線性池化技術(shù)來(lái)獲取圖像不同區(qū)域特征的高階交互，并同時(shí)考慮了空間和通道的注意力分布。 X-LAN 模型目前是針對(duì)圖像描述的，還沒有應(yīng)用于視頻領(lǐng)域，要使用目標(biāo)檢測(cè)技術(shù)獲取圖像不同區(qū)域的特征作為輸入，且以上模型都沒有使用視覺高級(jí)語(yǔ)義特征來(lái)輔助描述生成，不能獲取豐富的語(yǔ)言描述。 Gan Zhe[4]等人提出語(yǔ)義成分網(wǎng)絡(luò)(Semantic Compositional Network，SCN)進(jìn)行視覺描述，SCN 獲取視頻的高級(jí)語(yǔ)義特征并送入解碼器的LSTM 中用于輔助描述生成。 為了解決算法的過(guò)擬合問題，Chen Haoran[5]提出使用層歸一化和變分Dropout 方法來(lái)解決。

為了獲取更加豐富的時(shí)序特征，本文以X-LAN圖像描述模型作為基礎(chǔ)模型，并對(duì)解碼器中的LSTM進(jìn)行修改，使其可以使用語(yǔ)義檢測(cè)網(wǎng)絡(luò)，獲取視頻高級(jí)語(yǔ)義特征用于輔助解碼，并使用了層歸一化和變分Dropout 來(lái)緩解網(wǎng)絡(luò)過(guò)擬合問題。 為了解決視頻描述任務(wù)中的曝光偏差和訓(xùn)練損失與評(píng)測(cè)指標(biāo)不一致的問題，本文使用了強(qiáng)化學(xué)習(xí)對(duì)模型進(jìn)行微調(diào)。

1 相關(guān)工作

1.1 視頻描述

視頻描述的研究始于基于模板的經(jīng)典方法，主語(yǔ)、動(dòng)詞和賓語(yǔ)被分別檢測(cè)，然后使用句子模板連接，這些方法被稱為SVO-Triplets[6-7]。 然而深度學(xué)習(xí)的出現(xiàn)以及計(jì)算機(jī)視覺和自然語(yǔ)言處理的巨大進(jìn)步同樣影響了視頻描述領(lǐng)域。 因此最新的方法都是基于深度學(xué)習(xí)的體系結(jié)構(gòu)[8-9]，它們用2D/3D-CNN編碼視覺特征，并使用LSTM/GRU 學(xué)習(xí)序列。 通過(guò)在標(biāo)準(zhǔn)的編碼器-解碼器框架上引入額外的轉(zhuǎn)換進(jìn)行了改進(jìn)。 這些轉(zhuǎn)換包括注意力機(jī)制[1](模型學(xué)習(xí)模型關(guān)注的視頻部分)、序列學(xué)習(xí)[9](模型學(xué)習(xí)視頻幀的序列和相應(yīng)句子中的單詞序列)、語(yǔ)義屬性[10-11](利用了CNN 功能之外的視覺語(yǔ)義)以及利用生成文本對(duì)視覺內(nèi)容進(jìn)行了聯(lián)合建模[12]。

1.2 X-LAN

X-Linear 注意力模塊利用空間和逐通道的雙線性池化注意力機(jī)制來(lái)捕獲查詢特征和關(guān)鍵特征之間的高階相互作用，獲得注意力分布。 雙線性池化是一種計(jì)算兩個(gè)特征向量之間的外積運(yùn)算，該運(yùn)算可以實(shí)現(xiàn)特征向量中所有元素的二階交互，實(shí)現(xiàn)比線性池化更好的特征融合。 雙線性池化使得很多任務(wù)的性能都有所提高，如細(xì)粒度圖像識(shí)別、視覺問答和圖像識(shí)別等任務(wù)。 由于融合后的特征需要向量展開，維度會(huì)是特征向量通道數(shù)的平方。 為減少參數(shù)和計(jì)算量，Kong Shu[13]等人發(fā)現(xiàn)可以將映射矩陣W 進(jìn)行低秩分解，使用兩個(gè)低秩矩陣U+和U-來(lái)表示，減少了參數(shù)量。 Jin Hwa[14]等人在視覺問答任務(wù)上提出多模雙線性池化MLB，實(shí)現(xiàn)了視覺特征和文本特征的融合，并提出雙線性池化注意力。

X-LAN 模型由X-Linear 注意力模塊構(gòu)成，它使用了雙線性池化來(lái)獲得特征的高階交互。X-LAN原本是應(yīng)用在圖像描述任務(wù)中，本文對(duì)其進(jìn)行改進(jìn)提出XLSNet 模型，使其可以應(yīng)用于視頻描述任務(wù)中。原本X-LAN 模型的輸入視覺特征是Faster R-CNN[15]提取的不同目標(biāo)特征，它代表了圖像不同區(qū)域。 本文直接將CNN 提取的幀序列特征作為輸入。 原本X-LAN 模型并沒有使用視覺高級(jí)語(yǔ)義屬性，即解碼時(shí)沒有語(yǔ)義的指導(dǎo)，因此本文加入視頻的高級(jí)語(yǔ)義特征進(jìn)行輔助解碼，并將LSTM 修改為語(yǔ)義嵌入GRU。 本文還對(duì)GRU 單元引入了變分Dropout 和層歸一化層來(lái)防止模型過(guò)擬合問題。 基于交叉熵的模型優(yōu)化會(huì)帶來(lái)曝光偏差問題和優(yōu)化目標(biāo)與評(píng)測(cè)指標(biāo)不匹配問題， 最后使用強(qiáng)化學(xué)習(xí)對(duì)模型進(jìn)行微調(diào)。

2 本文方法

每個(gè) x 表示為視頻的一幀，每個(gè)y 表示為單詞表中的一個(gè)單詞。

本文實(shí)驗(yàn)使用GloVe[16]預(yù)訓(xùn)練模型來(lái)獲取單詞的嵌入表示，假設(shè)單詞嵌入維度為Dw，對(duì)于每描述句子Yi∈RLi×Dw可表示為：

2.1 CNN 特征提取

本文使用了在ImageNet[17]上預(yù)訓(xùn)練的64 個(gè)路徑的ResNeXt101[18]對(duì)視頻的每幀進(jìn)行特征提取，并使用ResNeXt101 的最后全局池化層的輸出作為視頻幀的特征表示，它是一個(gè)2 048 維的特征向量。第i 個(gè)視頻的特征表示為Vi∈RF×Dv：

CNN 網(wǎng)絡(luò)不僅可以提取圖像特征，而且還獲取了在ImageNet 上1 000 類的類別分布。 類別分布中包含了豐富的潛在語(yǔ)義信息，因此本文也將CNN網(wǎng)絡(luò)得到的類別分布作為語(yǔ)義信息加入到語(yǔ)義嵌入GRU 中。 第i 個(gè)視頻的分類語(yǔ)義信息表示為ci∈R1000：

其中ci，j表示一幀圖像的類別分布。 整個(gè)視頻的類別語(yǔ)義信息ci為所有幀的平均。

2.2 語(yǔ)義檢測(cè)網(wǎng)絡(luò)

語(yǔ)義檢測(cè)網(wǎng)絡(luò)(Semantic Detection Network，SDN)是一個(gè)多標(biāo)簽分類的多層感知器神經(jīng)網(wǎng)絡(luò)。 從詞匯表中去掉停止詞，并選擇K(K=300)個(gè)常見的名詞、動(dòng)詞、形容詞等作為語(yǔ)義標(biāo)簽，網(wǎng)絡(luò)的輸入為CNN提取的視頻的每幀特征的平均池化。假設(shè)有N 個(gè)視頻，，yi為第i 個(gè)視頻的語(yǔ)義標(biāo)簽。 計(jì)算如下：

其中SDN 表示語(yǔ)義檢測(cè)網(wǎng)絡(luò)，ti∈RK為第i 個(gè)視頻的語(yǔ)義特征，該語(yǔ)義特征與類別語(yǔ)義特征拼接一起作為視頻語(yǔ)義特征送入解碼器中。

2.3 語(yǔ)義嵌入GRU

循環(huán)網(wǎng)絡(luò)GRU 引入了門控機(jī)制，緩解了循環(huán)網(wǎng)絡(luò)的梯度消失問題， 它包含更新門zt和重置門rt。假設(shè)GRU 的輸入為xt∈RDx，上一個(gè)隱狀態(tài)為ht-1∈RDh，則計(jì)算如下：

其中Wz∈RDh×Dx，Uz∈RDh×Dh，Wr∈RDh×Dx，Ur∈RDh×Dh，W∈RDh×Dx，U∈RDh×Dh。

將語(yǔ)義信息嵌入到GRU 中就可以得到語(yǔ)義嵌入GRU（Semantic Embedding GRU,SEGRU），由于直接將語(yǔ)義嵌入到 GRU 中參數(shù)量大,網(wǎng)絡(luò)訓(xùn)練困難，因此采用因式分解技術(shù)降低參數(shù)量，使網(wǎng)絡(luò)訓(xùn)練成為可能。 將權(quán)值 W、U、V 轉(zhuǎn)換為語(yǔ)義相關(guān)的權(quán)值矩陣，SEGRU 計(jì)算如下：

其中s∈RDs為語(yǔ)義特征向量，v∈RDv為輸入視頻特征 向 量，P*1∈RDf×Ds，W*2∈RDf×Dx，U*2∈RDf×Dh，V*2∈RDf×Dv，P*3∈RDh×Df，P∈{W，U，V}， *∈{z，r，h}，Df為因式分解的中間維度。

由于訓(xùn)練數(shù)據(jù)少，且單詞出現(xiàn)頻率差異大，模型會(huì)出現(xiàn)過(guò)擬合現(xiàn)象。 傳統(tǒng)Dropout 技術(shù)通過(guò)隨機(jī)丟棄一些神經(jīng)元來(lái)緩解過(guò)擬合，但是直接將其使用在循環(huán)網(wǎng)絡(luò)中會(huì)損害循環(huán)網(wǎng)絡(luò)在時(shí)間維度上的記憶能力，因此本文使用變分的Dropout 方法，它是在每個(gè)時(shí)刻使用相同的丟棄掩碼。 加入Dropout 會(huì)降低收斂速度，而歸一化技術(shù)可以平滑損失函數(shù)加快收斂，在循環(huán)網(wǎng)絡(luò)中常用層歸一化技術(shù)。SEGRU 變?yōu)椋?/p>

其中LN 表示層歸一化，m*為Dropout 掩碼。

2.4 XLSNet

本文的XLSNet 是對(duì)X-LAN 的改進(jìn)。 XLSNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，它也是一個(gè)編碼-解碼器架構(gòu)的序列到序列模型。 左半部分為編碼器， 包含了CNN 特征提取，X-Linear 注意力編碼和語(yǔ)義檢測(cè)網(wǎng)絡(luò)SDN。 右半部分為解碼器，由語(yǔ)義嵌入SEGRU 和X-Linear 注意力模塊組成。 XLSNet 的主要改進(jìn)有：(1)輸入的視頻特征是時(shí)序信號(hào)，而原本的X-LAN編碼器是自注意力機(jī)制的，會(huì)使其丟失位置信息，因此先對(duì)視頻特征加入位置編碼[3]；(2)原始X-Linear注意力模塊中的二階特征交互使用的是后歸一化(在激活函數(shù)后)，本文將歸一化層提前到激活函數(shù)前；(3)增加語(yǔ)義檢測(cè)網(wǎng)絡(luò)SDN 提取高級(jí)語(yǔ)義信息，并使用SEGRU 替換LSTM 進(jìn)行解碼生成；(4)最終Softmax 之前的Linear 層的參數(shù)和WordEmbed 層的參數(shù)進(jìn)行捆綁，減少了網(wǎng)絡(luò)參數(shù)量，并起到正則化效果；(5)普通Dropout 在處理時(shí)序信號(hào)時(shí)會(huì)造成時(shí)序信息的破壞，損壞網(wǎng)絡(luò)在時(shí)間維上的記憶能力，因此將該層都替換成變分Dropout 層。

在進(jìn)行模型推斷時(shí)，首先對(duì)輸入視頻幀進(jìn)行均勻采樣，送入ResNext101 卷積網(wǎng)絡(luò)中提取幀特征，得到視頻幀序列特征。由于X-Linear 編碼器沒有位置信息，因此對(duì)輸入的幀使用位置編碼器[3]添加相對(duì)位置信息。 經(jīng)X-Linear 編碼器得到視頻的注意力特征Vatt和視頻嵌入特征Vembed。 同時(shí)對(duì)卷積特征在時(shí)間維上進(jìn)行均勻池化操作，并送入SDN 語(yǔ)義檢測(cè)網(wǎng)絡(luò)提取語(yǔ)義特征，并將該特征和CNN 的類別分類信息進(jìn)行連接得到語(yǔ)義特征s，再將s 送入解碼器進(jìn)行語(yǔ)言描述生成。

3 實(shí)驗(yàn)與分析

XLSNet 模型主要在MSVD[19]數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證。 MSVD 數(shù)據(jù)集共有1 970 個(gè)短視頻，每個(gè)視頻的平均時(shí)長(zhǎng)為10 s，每個(gè)視頻約有40 個(gè)人工描述的句子。 MSVD 數(shù)據(jù)集中每個(gè)描述的平均單詞數(shù)大約為7.1，共有80 839 個(gè)英語(yǔ)句子。 本文從訓(xùn)練集中獲得了12 596 個(gè)英語(yǔ)單詞作為詞匯表。

3.1 實(shí)驗(yàn)細(xì)節(jié)

本文使用ResNext101 作為卷積特征提取， 每個(gè)視頻均勻采樣得到35 幀圖像。 編碼器有兩層XLinear 注意力， 解碼器有一層X-Lieanr 注意力。 單詞嵌入使用GloVe 作為預(yù)訓(xùn)練權(quán)重，單詞嵌入維度為300 維。 SEGRU 的隱藏層設(shè)置為1 024，批處理大小為128，生成的語(yǔ)言描述長(zhǎng)度為20。 訓(xùn)練時(shí)使用Adam 作為優(yōu)化器，初始學(xué)習(xí)率為1×10-4，學(xué)習(xí)率每1 000 次迭代就衰減0.96，模型共訓(xùn)練20 次。

3.2 實(shí)驗(yàn)分析

3.2.1 語(yǔ)義嵌入分析

圖1 XLSNet 網(wǎng)絡(luò)基本結(jié)構(gòu)

由語(yǔ)義檢測(cè)模型提取的視頻語(yǔ)義特征可認(rèn)為包含了視頻中事物、場(chǎng)景以及關(guān)系信息，視頻經(jīng)過(guò)CNN 圖像分類器得到的最終1 000 類的類別分布可認(rèn)為是某種模式的語(yǔ)義信息，也是有助于語(yǔ)言解碼的， 因此本文送入解碼器的語(yǔ)義特征si=[ti，ci]，其中ti表示語(yǔ)義檢測(cè)網(wǎng)絡(luò)提取的語(yǔ)義特征，ci表示CNN 分類器得到語(yǔ)義特征。為了驗(yàn)證語(yǔ)義屬性對(duì)模型解碼的影響，本文嘗試了幾種不同的語(yǔ)義特征的組合模型：XLSNetno表示沒有使用語(yǔ)義特征，XLSNett表示只是使用了語(yǔ)義檢測(cè)網(wǎng)絡(luò)提取的語(yǔ)義特征t，XLSNetc表示只使用了CNN 分類器得到的類別分布語(yǔ)義特征c，XLSNets表示使用了兩個(gè)語(yǔ)義特征。 為了公平比較，四個(gè)模型的實(shí)驗(yàn)設(shè)置完全一樣。 表1顯示了四個(gè)模型和其他現(xiàn)有流行的視頻描述模型的結(jié)果比較。

從表1 可以看出：(1)XLSNets在所有對(duì)比模型中有5 個(gè)指標(biāo)達(dá)到最好，其中CIDEr 指標(biāo)達(dá)到了1.101 4，比SAM-SS 提高了7%，比XLSNetno提高了38%；(2)SAM-SS 也使用了高級(jí)語(yǔ)義嵌入，但是使用了2D 和3D 卷積提取視頻特征，而XLSNet 只使用了2D 卷 積 特 征，XLSNet 在CIDEr 和METEOR 指 標(biāo) 上顯著高于SAM-SS，且ROUGE 指標(biāo)相當(dāng)，這表明本文使用X-Lienar 注意力模塊進(jìn)行視頻特征交互的有效性；(3)在XLSNet 四個(gè)組合模型的比較中可以看出語(yǔ)義嵌入對(duì)模型性能帶來(lái)顯著的提升。 類別分布語(yǔ)義特征c 有助于提高除CIDEr 以外的其他指標(biāo)；語(yǔ)義特征t 對(duì)所有指標(biāo)都是有顯著的提升，且比類別分布語(yǔ)義特征c 影響更大；而將兩個(gè)語(yǔ)義特征組合后模型性能達(dá)到最好。

3.2.2 Dropout 和層歸一化的影響

為驗(yàn)證SEGRU 對(duì)過(guò)擬合的影響，本文以XLSNets基礎(chǔ)， 嘗試了刪除SEGRU 中的Dropout 和層歸一化，將模型表示為XLSNetf。 圖2 顯示了這兩層對(duì)最終性能的影響。 可以看到模型的性能顯著下降，這表明層歸一化和Dropout 對(duì)模型的性能至關(guān)重要，Dropout 有助于減少模型過(guò)擬合，層歸一化有助于加速模型收斂并優(yōu)化模型損失函數(shù)。

圖2 Dropout 和層歸一化對(duì)模型性能的影響

3.2.3 強(qiáng)化學(xué)習(xí)結(jié)果

本文使用了文獻(xiàn)[24]中提出的REINFORCE 強(qiáng)化學(xué)習(xí)方法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。 其中嘗試了兩種不同的獎(jiǎng)勵(lì)函數(shù)：(1)直接以CIDEr 指標(biāo)作為獎(jiǎng)勵(lì)，模型表示為XLSNetlr；(2)為綜合考慮所有指標(biāo)，將文獻(xiàn)[5]中的overall 作為獎(jiǎng)勵(lì)，模型表示為XLSNetrlo。 overall指標(biāo)計(jì)算如下：

其中mb表示到當(dāng)前第i 個(gè)批次上的指標(biāo)m 的最大得分，mi表示第i 批次上指標(biāo)m 的平均得分，m ∈{BLEU@4，CIDEr，METEOR，ROUGE}。 上式計(jì)算的是一個(gè)批次的得分，而不能作為獎(jiǎng)勵(lì)用于訓(xùn)練，本文需要得到每個(gè)樣本的得分，因此對(duì)該式進(jìn)行了改進(jìn)：

表1 不同語(yǔ)義結(jié)合和主流模型結(jié)果比較

從表2 可以看到：(1)引入強(qiáng)化學(xué)習(xí)后，模型全部指標(biāo)都有顯著的提升，其中XLSNetrl的CIDEr 指標(biāo)提升到1.193 9，提高了近8.4%；(2)雖然XLSNetrl只使用了CIDEr 作為獎(jiǎng)勵(lì)，但在提高CIDEr 指標(biāo)的同時(shí)也對(duì)其他指標(biāo)也帶來(lái)了提升；(3)XLSNetrlo的獎(jiǎng)勵(lì)綜合考慮了所有的指標(biāo)，其中BLEU 指標(biāo)達(dá)到最好，這可能在計(jì)算overall 獎(jiǎng)勵(lì)時(shí)需要對(duì)四個(gè)指標(biāo)權(quán)重進(jìn)行調(diào)參，而不是使用均勻權(quán)重0.25。

4 結(jié)束語(yǔ)

本文提出XLSNet 視頻描述模型，對(duì)X-LAN 進(jìn)行改進(jìn)，嵌入視頻高級(jí)語(yǔ)義信息來(lái)輔助解碼，只需要視頻幀的2D 卷積特征即可在各項(xiàng)指標(biāo)上獲得很不錯(cuò)的性能。 XLSNet 模型的編碼器使用的是多層X-Linear 注意力模塊，該模塊是使用雙線性池化來(lái)獲取特征之間的高階交互，從而提取豐富的視頻時(shí)序特征。 實(shí)驗(yàn)表明與其他使用雙流或多模態(tài)特性的算法相比，該模型更高效。 增加視頻的類別分布語(yǔ)義特征來(lái)豐富視頻的語(yǔ)義特征有助于模型解碼生成。 為解決循環(huán)網(wǎng)絡(luò)GRU 的過(guò)擬合問題提出的變分Dropout 和層歸一化有效地提高模型的解碼性能。 最后，由于視頻描述算法的曝光偏差和訓(xùn)練損失與評(píng)測(cè)指標(biāo)不一致問題，本文使用了兩種獎(jiǎng)勵(lì)函數(shù)進(jìn)行強(qiáng)化學(xué)習(xí)，進(jìn)一步提升了模型性能。

表2 強(qiáng)化學(xué)習(xí)訓(xùn)練結(jié)果