楊 有，陳立志，方小龍，潘龍?jiān)?/p>

（1.重慶國(guó)家應(yīng)用數(shù)學(xué)中心，重慶 401331；2.重慶師范大學(xué) 計(jì)算機(jī)與信息科學(xué)學(xué)院，重慶 401331）

0 引言

圖像描述生成是一個(gè)融合了計(jì)算機(jī)視覺和自然語(yǔ)言處理的跨模態(tài)任務(wù)，它是圖像處理的高級(jí)層次。從傳統(tǒng)基于檢索、模板的方法到后來(lái)基于編碼器-解碼器的深度學(xué)習(xí)方法［1-2］，圖像描述生成任務(wù)從只能生成單一形式的語(yǔ)句發(fā)展到現(xiàn)在可以生成精度更高、描述更加準(zhǔn)確的語(yǔ)句。在常規(guī)的編解碼框架中，使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［3］作為編碼器將圖像編碼為相應(yīng)特征，使用長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)作為解碼器將圖像特征解碼為對(duì)應(yīng)描述句子。2017 年，Vaswani 等［4］提出了一種完全依賴于注意力機(jī)制的Transformer 結(jié)構(gòu)，可以對(duì)圖像特征進(jìn)行關(guān)系建模，解決了循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）存在的時(shí)間依賴問(wèn)題。隨后，基于Transformer 結(jié)構(gòu)的各種變體［5-6］在圖像描述模型中應(yīng)運(yùn)而生。2018 年，Anderson 等［7］首次采 用Faster R-CNN（Faster Region-based CNN）［8］作為編碼器，提取圖像的顯著區(qū)域特征并應(yīng)用在圖像描述生成模型中，一經(jīng)問(wèn)世便取得了極其優(yōu)秀的表現(xiàn)。2019 年，Herdade 等［9］在Transformer 結(jié)構(gòu)之上，通過(guò)幾何注意合并對(duì)象事物之間的空間關(guān)系信息，證明了模型空間意識(shí)的重要性。以上的圖像描述生成模型雖然能產(chǎn)生描述圖像語(yǔ)義內(nèi)容的句子，但無(wú)法確切描述圖像事物的因果關(guān)系，存在潛在的視覺注意不合理問(wèn)題。2020 年，Wang 等［10］提出了一種新的無(wú)監(jiān)督特征表示學(xué)習(xí)方法，設(shè)計(jì)了基于視覺常識(shí)區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（Visual Commonsense Region-based CNN，VC R-CNN），該網(wǎng)絡(luò)通過(guò)因果關(guān)系訓(xùn)練得到視覺常識(shí)特征，可以捕捉圖像中上下文之間的潛在關(guān)系，在圖像描述生成模型上取得了很好的表現(xiàn)。

現(xiàn)有的圖像描述生成模型在使用多個(gè)特征進(jìn)行融合處理時(shí)，會(huì)出現(xiàn)特征信息利用不充分且融合方式單一的問(wèn)題，存在一定的局限性。文獻(xiàn)［10］中從圖像中提取視覺常識(shí)特征，但只是單一拼接到顯著區(qū)域特征上訓(xùn)練，并未充分利用視覺常識(shí)性信息。文獻(xiàn)［11］中使用了VGG（Visual Geometry Group）19 和ResNet（Residual Network）作為特征提取網(wǎng)絡(luò)，整體融合方式也只是單一拼接，沒(méi)有重點(diǎn)融合其中的關(guān)鍵信息，導(dǎo)致生成語(yǔ)句存在重要內(nèi)容缺失。

本文提出了基于Transformer 結(jié)構(gòu)的圖像描述生成模型，引入了一種全新的自適應(yīng)常識(shí)門（Adaptive Commonsense Gate，ACG）機(jī)制。為了提高對(duì)圖像深層關(guān)系的感知和表征性，提取視覺常識(shí)特征分層輸入到Transformer 編碼器中，使模型更好地從特征信息中感知圖像的因果關(guān)系。為了增強(qiáng)常識(shí)信息在Transformer 結(jié)構(gòu)上的利用效果并提高網(wǎng)絡(luò)收斂速度，本文改進(jìn)了兩種特征之間單一拼接的方式，在每一分層上設(shè)計(jì)了自適應(yīng)常識(shí)門（ACG）。這樣不僅可以降低模型收斂速度，而且能夠充分融合視覺常識(shí)信息和圖像編碼信息，生成更加符合語(yǔ)境的描述語(yǔ)句。

1 模型架構(gòu)

為了更好地實(shí)現(xiàn)并行處理，提高圖像描述的準(zhǔn)確度，模型使用了目前流行的完全基于注意力機(jī)制的Transformer 結(jié)構(gòu)，并在此基礎(chǔ)上重新設(shè)計(jì)了網(wǎng)絡(luò)。模型整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。模型大體分為3 個(gè)部分：特征提取網(wǎng)絡(luò)、融合ACG的編碼器和解碼器。其中I表示圖像，編碼端由多個(gè)自注意力（Self Attention，SA）塊和ACG 堆疊組成：自注意力塊負(fù)責(zé)對(duì)圖像特征進(jìn)行聚合操作，以此得到更高層次的圖像特征；ACG 負(fù)責(zé)融合視覺常識(shí)特征和圖像編碼特征，自適應(yīng)地決定兩者特征之間的權(quán)重。解碼端由多個(gè)掩碼自注意力塊和交叉注意力（Cross Attention，CA）塊組成，負(fù)責(zé)對(duì)編碼圖像進(jìn)行解碼操作，通過(guò)迭代解碼預(yù)測(cè)圖像標(biāo)題。

圖1 模型整體結(jié)構(gòu)Fig.1 Overall structure of model

1.1 特征提取網(wǎng)絡(luò)

通過(guò)目標(biāo)檢測(cè)任務(wù)中的Faster R-CNN 提取圖像的顯著區(qū)域特征以及VC R-CNN 提取圖像的視覺常識(shí)特征。Faster R-CNN 將區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）引入深度神經(jīng)網(wǎng)絡(luò)中，將最終層提取的圖像特征組合為顯著區(qū)域特征V={v1，v2，…，vN}。VC R-CNN 作為一種改進(jìn)的視覺區(qū)域編碼器，使用因果關(guān)系干預(yù)該區(qū)域的上下文對(duì)象，可以學(xué)習(xí)感知構(gòu)建知識(shí)，整體結(jié)構(gòu)如圖2 所示。

圖2 VC R-CNN結(jié)構(gòu)Fig.2 Structure of VC R-CNN

VC R-CNN 通過(guò)干擾因子字典（Confounder Dictionary，CD）存儲(chǔ)常識(shí)，它的實(shí)現(xiàn)與Faster R-CNN 相比，去除了RPN，不再訓(xùn)練網(wǎng)絡(luò)建議邊界框，而是直接將訓(xùn)練集中真實(shí)詞的邊界框坐標(biāo)輸入到其中，直接提取區(qū)域特征。在訓(xùn)練完成后的特征提取階段，只要給定圖片和邊界框坐標(biāo)，便可以獲得對(duì)應(yīng)的視覺常識(shí)特征C={c1，c2，…，cN}。文獻(xiàn)［11］中將視覺常識(shí)特征拼接到先前的顯著區(qū)域特征上作為新的融合特征用于模型輸入，如式（1）所示：

其中：vi∈Rd，ci∈Rd，vci∈R2d，[·，·]表示拼接操作；vci表示第i個(gè)顯著區(qū)域特征和第i個(gè)視覺常識(shí)特征拼接。

1.2 融合ACG的編碼器

設(shè)計(jì)自適應(yīng)常識(shí)門（ACG）的動(dòng)機(jī)來(lái)源于文獻(xiàn)［12］中的門控機(jī)制，在許多計(jì)算機(jī)視覺任務(wù)中得到了廣泛的應(yīng)用。采用門控機(jī)制的目的是建立信道特征依賴關(guān)系，可以更加有效地指導(dǎo)多通道信息之間的交互。ACG 將后續(xù)層和自注意力塊相結(jié)合，以此在編碼器中以同質(zhì)方式對(duì)圖像模態(tài)間和模態(tài)內(nèi)的常識(shí)性關(guān)系進(jìn)行建模。如圖3 所示，Vacg由顯著區(qū)域特征V和視覺常識(shí)特征C組合而成，其中：加法門類似殘差連接，可以保留重要的視覺常識(shí)信息，建立特征之間的依賴關(guān)系；乘法門擅長(zhǎng)處理梯度爆炸和消失問(wèn)題，使編碼信息能夠長(zhǎng)時(shí)間深層不受阻礙地傳播。ACG 的融合過(guò)程可由式（2）～（5）表示：

圖3 ACG機(jī)制Fig.3 ACG mechanism

其中：Wv、Wc、Wf是需要被學(xué)習(xí)的權(quán)重；bv、bc、bf為偏置項(xiàng)；gv為顯著區(qū)域特征的線性表示；gc為視覺常識(shí)特征的線性表示；fvc向量表示對(duì)gv和gc線性表示施加影響，在一定程度上能夠防止常識(shí)信息的疊加和信息冗余；“⊙”是點(diǎn)乘操作。

在Transformer 編碼器中利用自注意力塊進(jìn)行模態(tài)內(nèi)和跨模態(tài)交互，其中：利用了多頭注意力可以允許模型在不同的表示子空間里學(xué)習(xí)到相關(guān)的信息；同時(shí)與僅利用一層的多模態(tài)交互的注意力模塊相比，使用多個(gè)自注意力塊串聯(lián)可獲得不同層次的特征，提高多模態(tài)交互的能力。該過(guò)程可由式（6）～（8）表示：

其中：Q、K、V是3 個(gè)獨(dú)立線性映射；fmh-att是由n=8 個(gè)fdot-att函數(shù)組成的多頭注意力函數(shù)。對(duì)于每對(duì)(Qi，Ki，Vi)，模型都能將輸入映射到不同的子空間，通過(guò)多個(gè)自注意力塊串聯(lián)可以增加不同子空間的組合，進(jìn)一步增強(qiáng)模型的視覺表達(dá)能力。

在編碼器中將多個(gè)自注意力塊和ACG 堆疊串聯(lián)，可以更好地融合不同層次的視覺常識(shí)特征。獲取到ACG 的輸出特征后，下一步傳入到自注意力塊中，使用自注意力操作來(lái)獲得Vacg的置換不變編碼。在這種情況下，查詢、鍵和值是通過(guò)線性投影輸入特征獲得的，該操作如式（9）所示：

為了防止模型出現(xiàn)梯度消失問(wèn)題，采用殘差和歸一化的方式，特征Vacg經(jīng)過(guò)一個(gè)自注意力塊后的輸出記為，如式（10）所示：

其中：LayerNorm為歸一化層；S(·)函數(shù)執(zhí)行操作如式（6）～（8）。模型借鑒了殘差連接的思想，將處理后的特征與輸入特征相加，最后使用LayerNorm 對(duì)特征進(jìn)行歸一化。整個(gè)編碼模塊采用了與Transformer 編碼器［9］中不同的結(jié)構(gòu)，丟棄了前饋層，丟棄前饋層不會(huì)改變編碼器的性能，但會(huì)簡(jiǎn)化操作。

1.3 解碼器

Transformer 解碼器由掩碼自注意力（SA）塊和交叉注意力塊組成，如圖4 所示。掩碼自注意力塊的輸入是一個(gè)標(biāo)簽信息，可以嵌入到特征矩陣Y={y1，y2，…，yn},，n為輸入標(biāo)題長(zhǎng)度。掩碼自注意力塊作為解碼器的第一個(gè)子層，表示對(duì)標(biāo)題詞的自我注意，如（11）所示：

圖4 Transformer注意力塊Fig.4 Attention blocks of Transformer

其中：FFN(·)表示位置前饋網(wǎng)絡(luò)。線性詞嵌入層以F為輸入，將其轉(zhuǎn)換為dv維空間，其中dv為詞匯量；然后對(duì)每個(gè)單詞執(zhí)行Softmax 函數(shù)，預(yù)測(cè)字典中單詞的概率。解碼器包含N層，因此解碼器重復(fù)相同的過(guò)程N(yùn)次。

1.4 損失函數(shù)

2 實(shí)驗(yàn)準(zhǔn)備

2.1 實(shí)驗(yàn)數(shù)據(jù)集以及訓(xùn)練環(huán)境

本文使用MSCOCO 2014 數(shù)據(jù)集［13］來(lái)驗(yàn)證模型性能。MSCOCO 數(shù)據(jù)集是當(dāng)前圖像描述任務(wù)的最大離線數(shù)據(jù)集，包括82 783 幅訓(xùn)練圖像、40 504 幅驗(yàn)證圖像和40 775 幅測(cè)試圖像，每個(gè)圖像標(biāo)有5 個(gè)標(biāo)題。離線“Karpathy”數(shù)據(jù)分割［14］用于離線性能比較，這種分割在圖像描述工作中得到了廣泛的應(yīng)用，使用113 287 幅帶有5 個(gè)標(biāo)題的圖像進(jìn)行訓(xùn)練，并用5 000 幅圖像用于驗(yàn)證，5 000 幅圖像用于測(cè)試。

實(shí)驗(yàn)環(huán)境在Windows 操作系統(tǒng)下進(jìn)行，基于PyTorch1.9.0 深度學(xué)習(xí)框架，該框架支持GPU 運(yùn)算；用于測(cè)試的環(huán)境為Python 3.7；用于訓(xùn)練和測(cè)試的硬件配置為：Intel i7-9700 CPU 3.00 GHz 處理器，NVIDIA GeForce GTX 2080顯卡。

2.2 評(píng)分標(biāo)準(zhǔn)

為了對(duì)所提模型進(jìn)行定量的性能評(píng)價(jià)，實(shí)驗(yàn)采用了標(biāo)準(zhǔn)的客觀量化評(píng)分方法，其中包括BLEU（BiLingual Evaluation Understudy）、ROUGE_L（Longest common subsequence based Recall-Oriented Understudy for Gisting Evaluation）、METEOR（Metric for Evaluation of Translation with Explicit ORdering）、CIDEr（Consensus-based Image Description Evaluation）［15］以 及SPICE（Semantic Propositional Image Caption Evaluation）［16］等評(píng)價(jià)指標(biāo)。其中BLEU 是式（15）所示的基于n-grams 精確度的加權(quán)集合平均：

N取1、2、3、4，又可以分為BLEU-1、BLEU-2、BLEU-3、BLEU-4 這4 個(gè)指標(biāo)。在圖像描述生成中常采用BLEU-1、BLEU-4 對(duì)模型進(jìn)行分?jǐn)?shù)評(píng)估。

2.3 實(shí)驗(yàn)參數(shù)設(shè)置

參數(shù)設(shè)置方面，本文在編碼器和解碼器中使用N=3 個(gè)相同的層，單詞嵌入層的輸出維數(shù)為512，輸入的視覺特征也通過(guò)線性投影映射到512，前饋網(wǎng)絡(luò)的內(nèi)層維數(shù)為2 048。多頭注意采用h=8 個(gè)平行注意層。本文使用自適應(yīng)矩估計(jì)（ADAptive Moment estimation，ADAM）［17］優(yōu)化器訓(xùn)練，將beta1 和beta2 分別設(shè)置為0.9 和0.999，epsilon 設(shè)置為1×10-6。在語(yǔ)言文本生成模型中設(shè)定單詞時(shí)間步為20。為了生成更加合理的圖像文字描述，本文采用集束搜索Beam Search 的方式，將beam size 大小設(shè)置為3。

為了增強(qiáng)模型的魯棒性以及提高模型的訓(xùn)練速度，分別使用預(yù)先訓(xùn)練的Fatser R-CNN 模型提取圖像的顯著區(qū)域特征，使用VC R-CNN 模型提取圖像對(duì)應(yīng)視覺常識(shí)特征。訓(xùn)練中，本文設(shè)置模型學(xué)習(xí)速率初始化為3×10-4，輸入批處理大小為10，每次訓(xùn)練5 輪增加0.05 的計(jì)劃抽樣概率，進(jìn)行15 輪交叉熵?fù)p失訓(xùn)練；隨后使用自我批判的序列訓(xùn)練（Self-Critical Sequence Training，SCST）［18］強(qiáng)化學(xué)習(xí)方法訓(xùn)練，學(xué)習(xí)率大小設(shè)置為1×10-5，訓(xùn)練至30 輪結(jié)束。

3 實(shí)驗(yàn)與結(jié)果分析

本章驗(yàn)證本文提出的融合自適應(yīng)常識(shí)門的圖像描述模型的表現(xiàn)和性能。

3.1 實(shí)驗(yàn)結(jié)果定性分析

本文選取測(cè)試集中不同場(chǎng)景的圖像（如圖5 所示）進(jìn)行測(cè)試，各圖生成的描述實(shí)例如表1 所示，其中每個(gè)實(shí)例包含Transformer 基線模型、本文模型以及人為標(biāo)注的參考描述（HUMAN）。

表1 生成描述樣例Tab.1 Examples of generated captions

從表1 中可以發(fā)現(xiàn)，Transformer 基線模型生成的標(biāo)題符合語(yǔ)言邏輯，但描述內(nèi)容不夠準(zhǔn)確，甚至有些描述與圖像內(nèi)容不太匹配；而本文模型生成的標(biāo)題相對(duì)正確且更具有描述性。在圖5（a）、圖5（c）兩個(gè)場(chǎng)景中，基線模型產(chǎn)生了錯(cuò)誤的描述語(yǔ)句，而本文模型對(duì)圖5（a）描述出了“兩個(gè)人騎著摩托車”，對(duì)圖5（c）描述出了“給小貓喂香蕉”，生成了相對(duì)正確的標(biāo)題。從圖5（d）～（f）示例中可以看到，本文模型生成的語(yǔ)句不僅比基線模型效果更好，甚至比人工描述更加生動(dòng)形象，描述出了人工標(biāo)注也忽略了的一些重要點(diǎn)。例如對(duì)圖5（d）描述出了“一個(gè)大窗戶”、對(duì)圖5（e）描述出了“在水邊的草地上”、對(duì)圖5（f）描述出了“穿著綠色制服的足球運(yùn)動(dòng)員”；然而，相較于表達(dá)程度更深的人工標(biāo)注，機(jī)器產(chǎn)生的描述存在一定的局限性，如圖5（b）所示，本文模型和Transformer 基線模型僅僅只是描述出圖像中的內(nèi)容“一組飛機(jī)停在機(jī)場(chǎng)”，而人工標(biāo)注進(jìn)一步描述出了“在窗戶后面”。

圖5 不同情境下所選擇的測(cè)試圖片F(xiàn)ig.5 Test images selected in different scenarios

3.2 實(shí)驗(yàn)結(jié)果定量分析

為了進(jìn)一步驗(yàn)證模型的性能，使用了MSCOCO 2014 測(cè)試集來(lái)驗(yàn)證模型，并與當(dāng)前主流模型進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表2 所示。實(shí)驗(yàn)對(duì)比了循環(huán)融合網(wǎng)絡(luò)（Recurrent Fusion Network，RFNet）［1］、Up-Down［7］、對(duì)象關(guān) 系變壓 器（Object Relation Transformer，ORT）［9］、SCST［18］、分層注 意網(wǎng)絡(luò)（Hierarchical Attention Network，HAN）［19］、場(chǎng)景圖自動(dòng)編碼器（Scene Graph Auto-Encoder，SGAE）［20］、詞性堆疊交叉注意網(wǎng)絡(luò)（Part-Of-Speech Stacked Cross Attention Network，POSSCAN）［21］、SRT（Show Recall and Tell）［22］。

由表2 可知，本文模型提升了圖像描述的性能，并且在大多評(píng)價(jià)指標(biāo)上都優(yōu)于對(duì)比模型，包括最新的圖像描述生成模型POS-SCAN、SRT。本文模型在反映句子連貫性和準(zhǔn)確率的 BLEU-4 指標(biāo)上比POS-SCAN 模型提升了3.2%，比SRT模型提升了1.8%；在反映語(yǔ)義豐富程度的CIDEr 指標(biāo)上，對(duì)比POS-SCAN 模型提升了2.9%；在更反映圖像描述質(zhì)量的SPICE 指標(biāo)上，比POS-SCAN 模型提升了2.3%，對(duì)比SRT 模型提升了1.3%。

表2 不同圖像描述生成模型的評(píng)價(jià)指標(biāo)對(duì)比Tab.2 Comparison of different image caption generation models on evaluation indicators

表3 比較了不同方案的消融實(shí)驗(yàn)結(jié)果，包括：使用顯著區(qū)域特征作為模型輸入的基線模型，稱為TED（Transformer Encoder and Decoder）；使用文獻(xiàn)［10］中的方法單一拼接圖像顯著區(qū)域特征和視覺常識(shí)特征作為模型輸入的模型，稱為TED-VC（TED-Visual Commonsense）；將視覺常識(shí)特征分層輸入到Transformer 編碼器的模型，稱為TED-FVC（TED-Fusion of VC）；在Transformer 編碼器中加入自適應(yīng)常識(shí)門的模型，稱為TED-ACG（TED-Adaptive Commonsense Gate）。由表3 可知，TED-VC 相較于TED 有較小的提高，一定程度上反映了單一拼接的方法未能充分發(fā)揮視覺常識(shí)特征的優(yōu)勢(shì)。TEDFVC 相較于TED-VC 有了一些提高，說(shuō)明分層作用在一定程度增強(qiáng)了常識(shí)特征利用效果。在全部對(duì)比結(jié)果中，TED-ACG表現(xiàn)出了最好的性能，驗(yàn)證了ACG 可以更好地提取視覺常識(shí)信息，生成更符合圖像語(yǔ)義信息的內(nèi)容。

表3 消融實(shí)驗(yàn)的設(shè)置和結(jié)果Tab.3 Setting and results of ablation experiments

4 結(jié)語(yǔ)

本文提出了一種基于Transformer 結(jié)構(gòu)，融合自適應(yīng)常識(shí)門的圖像描述生成模型。使用Faster R-CNN 模型提取圖像顯著區(qū)域特征，使用VC R-CNN 模型提取視覺常識(shí)特征。通過(guò)將視覺常識(shí)特征分層輸入到Transformer 編碼器中，并在每一分層中設(shè)計(jì)使用了自適應(yīng)常識(shí)門，從而增強(qiáng)了模型對(duì)視覺常識(shí)信息的提取能力，同時(shí)進(jìn)一步融合了圖像的顯著區(qū)域信息和視覺常識(shí)信息。本文所提出的模型在圖像描述評(píng)價(jià)指標(biāo)上都取得較高分?jǐn)?shù)，其中BLEU-4、CIDEr 得分可以達(dá)到39.2 和129.6。實(shí)驗(yàn)結(jié)果表明，本文提出的模型泛化能力相較于傳統(tǒng)模型更好，在圖像描述生成任務(wù)上能取得出色的表現(xiàn)。下一步，將結(jié)合現(xiàn)有圖像描述的方法，在Transformer 架構(gòu)上研究更有效的特征融合方式。