葉龍，王正勇，何小海

（四川大學 電子信息學院，成都 610065）

0 引言

文本生成圖像［1］屬于自然語言處理和計算機視覺的融合任務，是圖像生成技術的熱點研究課題之一。文本生成圖像指從給定的自然語言描述中生成真實的和文本一致的圖像。文本生成圖像可應用于圖像描述生成［2-3］、視覺推理［4］、視覺問答［5］、醫(yī)療圖像生成［6］等多個領域。

近年來，隨著深度學習的快速發(fā)展，文本生成圖像的主流方法采用生成對抗網(wǎng)絡。早期，Mirza 等人［7］提出CGAN，Reed 等人［8］提出GAN-INT-CLS，但是使用這些方法生成的圖像的質(zhì)量和分辨率都較低。為了解決生成的圖像分辨率的問題，Zhang 等人［9］提出了Stack-GAN，主要是將生成高分辨率的圖像過程分成2 個階段。低分辨率的圖像是在第一階段生成，第一階段主要關注圖像的整體結(jié)構(gòu)；第二階段生成高分辨率的圖像，這個階段主要關注圖像的一些細節(jié)信息以及糾正第一階段生成圖像的一些錯誤。

多階段圖像生成的方法雖然解決了生成圖像分辨率低的問題，但是生成的圖像和輸入文本依然存在語義匹配較低的問題。AttnGAN［10］引入注意力機制，通過注意力把生成圖像和句子特征向量中最密切的部分聯(lián)系起來。DM-GAN［11］通過引入動態(tài)記憶化機制來使得初始圖像自適應地選擇重要的文本信息，但是依然存在生成圖像缺失、生成圖像質(zhì)量不高、低分辨率階段生成圖像與文本描述不相符的問題。

針對上述問題，本文提出了一種基于多模態(tài)融合的文本生成圖像方法，在圖像特征提取和文本描述提取時采用通道注意力來突出重要信息，同時將提取出的文本特征和圖像特征用雙線性池化［12］進行融合，從而得到文本信息和對應圖像信息之間的映射關系。

1 相關工作

1.1 通道注意力機制

近年來，通道注意力在視覺處理［13］等任務得到廣泛應用，其基本原理是通過對每個特征通道進行加權(quán)，來突出關鍵信息、抑制無效信息，從而達到提高特征表示能力的目的。Hu 等人提出了SENet［14］，SENet使用全局損失函數(shù)來自適應地調(diào)整每個通道的權(quán)重，SENet 在圖像分類方面效果顯著。

1.2 多模態(tài)融合注意力機制

AttnGAN 中加入了注意力來提升文本生成圖像的質(zhì)量，但是，文本信息和圖像信息之間的交互對于文本生成圖像是至關重要的，特別是文本特征和圖像特征之間的聯(lián)系以及對齊。最近，雙線性池化（MFB）在視覺問答方面表現(xiàn)出很好的效果，視覺問答需要做的是同時理解圖像內(nèi)容和文本內(nèi)容，文本生成圖像同樣也需要理解圖像內(nèi)容和文本內(nèi)容，因此，采用MFB 將文本信息和圖像信息進行融合編碼，這種多模態(tài)融合編碼能夠有效提升生成圖像的質(zhì)量。

1.3 文本生成圖像方法

文本生成圖像主流的方法是使用堆疊式網(wǎng)絡來生成高質(zhì)量的圖像。Zhang等人［9］提出了StackGAN，采用了2 個堆疊的生成器，第一階段關注圖像的背景、輪廓等基本信息，生成低分辨率的64?64 像素的圖片，第二階段彌補之前缺失的細節(jié)和紋理等高級特征，生成256?256 高分辨率的圖像。Xu 等人［10］提出了AttnGAN 模型，該模型在生成網(wǎng)絡中引入了自注意力機制，AttnGAN 實現(xiàn)了單詞與圖片中的某個子區(qū)域的對應，自動選擇字級條件以生成圖像不同子區(qū)域。2019年，Qiao 等人［15］提出了MirrorGAN 來實現(xiàn)圖像到文本，文本到圖像的雙重映射。Zhu 等人［11］提出的DMGAN 通過引入動態(tài)記憶化機制來使得初始圖像自適應地選擇重要的文本信息。然而現(xiàn)有的對文本編碼的方式，沒有考慮到文本信息與對應圖像之間的映射關系，導致第一階段生成的圖像和輸入文本的不匹配，也會導致后面兩級圖像的優(yōu)化受到影響。因此，本文基于DM-GAN 網(wǎng)絡進行改進，在圖像特征提取和文本描述提取時采用通道注意力來突出重要信息，在預訓練文本編碼器時引入了雙線性池化，將文本特征和圖像特征進行聯(lián)合編碼后，輸出一個新的融合后的特征向量，新的特征向量學習到圖像和文本之間的關系，因此可以生成更加真實的圖像。

2 基于多模態(tài)融合的生成對抗網(wǎng)絡

MLT-GAN 模型框架如圖1 所示。由圖1 可知，本文設計的MLT-GAN 由預訓練編碼器、生成對抗網(wǎng)絡和動態(tài)存儲三個模塊構(gòu)成。多模態(tài)融合注意力機制用于預訓練編碼器，是將文本特征輸入到多模態(tài)融合編碼器中，多模態(tài)融合編碼器將輸出特征向量fc和單詞特征矩陣W。隨機噪聲和多模態(tài)融合注意力向量相結(jié)合，輸入到生成對抗網(wǎng)絡中，三級生成器逐級生成高分辨率的圖像。單詞特征矩陣W主要是用來在動態(tài)存儲模塊中和初級圖像特征進行融合來生成下一級的圖像特征。上述過程的數(shù)學方法公式分別如下：

圖1 MLT-GAN 模型框架圖Fig.1 MLT-GAN model framework diagram

其中，CE是多模態(tài)融合編碼器；DM是動態(tài)存儲模塊；原始圖像特征是FR；G0，G1，G2表示三級生成器；s是從文本描述中提取的全局句子向量；F0，F(xiàn)1，F(xiàn)2是G0，G1，G2生成的圖像特征；z是隨機高斯噪聲。

2.1 多模態(tài)融合注意力編碼

本文設計了一種多模態(tài)融合編碼器來將圖像信息和文本信息進行聯(lián)合編碼和對齊。

多模態(tài)融合編碼器框架如圖2 所示。由圖2 可看到，多模態(tài)融合編碼器由4 部分組成，包括文本特征提取、圖像特征提取、通道注意力編碼和多模態(tài)融合注意力編碼。對此擬展開研究分述如下。

圖2 多模態(tài)融合編碼器框架圖Fig.2 Multimodal fusion encoder framework diagram

（1）文本特征提取。提取文本特征用的是雙向長短時網(wǎng)絡［12］（LSTM），雙向長短時網(wǎng)絡是將文本描述進行編碼，輸出一個單詞特征矩陣Wd?t和全局句子特征向量s。推得的數(shù)學公式為：

其中，t表示單詞的個數(shù)；d表示詞向量的維度；Ttext表示原文本描述；TE表示雙向LSTM 網(wǎng)絡。

（2）圖像特征提取。圖像特征提取采用InceptionV3 模型［13］。此處需用到的公式為：

（3）通道注意力編碼。為了突出圖像特征和文本描述特征中的重要信息，引入通道注意力，將特征提取后的圖像特征圖和文本特征向量輸入到通道注意力中，采用通道注意力對圖像特征圖和文本特征向量進行加權(quán)，使得生成的圖像多樣性更加豐富。圖像通道注意力和文本通道注意力如圖3、圖4 所示。

圖3 圖像通道注意力模塊Fig.3 Image channel attention module

圖4 文本通道注意力模塊Fig.4 Text channel attention module

在通道注意力模塊中，權(quán)重w的計算如下：

其中，y＝GGAP（R），是通過對輸入的特征圖經(jīng)過平均池化后得到；σ是Sigmoid函數(shù)；Q是權(quán)重矩陣。

假定接受的特征圖R∈RW×H×C，W、H、C分別表示特征圖的寬度、高度和通道維度。全局平均池化的計算公式如下：

權(quán)重矩陣Q的尺寸是k × C，針對每一個通道yi，對應的權(quán)重wi，僅需考慮相鄰的k個通道的相應加權(quán)（本文設置的是3），如下式所示：

（4）多模態(tài)融合注意力編碼。多模態(tài)融合注意力編碼主要是將文本特征和圖像特征的內(nèi)部聯(lián)系搭建起來，實現(xiàn)兩者的聯(lián)合編碼。經(jīng)過通道注意力的圖像特征和全局句子特征s′通過多模態(tài)融合注意力編碼后，融合成一個新的特征fc，本文采用的多模態(tài)融合注意力編碼方法是雙線性池化（Bilinear Pooling）。數(shù)學函數(shù)形式見如下：

雙線性池化具體細節(jié)如圖5 所示。由圖5 可看到，雙線性池化可以分解為2 個階段，首先，不同模態(tài)的特征被擴展到高維空間，然后進行元素相乘，接著經(jīng)過總和池化獲取向量的全局特征，再通過歸一化層來將高維特征進行壓縮輸出。

圖5 雙線性池化Fig.5 Bilinear pooling

2.2 經(jīng)典三級生成對抗網(wǎng)絡

由圖1 可知，MLT-GAN 模型采用了和StackGAN、StackGAN++、AttnGAN、DM-GAN 相類似的三級對抗生成網(wǎng)絡，分別為G0／D0，G1／D1，G2／D2。G0由一個大小為3?3 的卷積層、3 個上采樣層和一個全連接層組成，第一階段生成64×64 分辨率的圖像；第二階段G1和G2在G0的基礎上進行優(yōu)化，分別生成128?128 分辨率的圖像和256?256 分辨率的圖像，兩者的結(jié)構(gòu)一致，由2 個深度殘差網(wǎng)絡層、1 個上采樣層和1 個大小為3?3 的卷積網(wǎng)絡層組成。

2.3 動態(tài)存儲記憶模塊

動態(tài)存儲模塊存在于生成器G0與G1，生成器G1與生成器G2之間，該模塊的作用是在初始圖像的生成上，基于動態(tài)內(nèi)存將圖像質(zhì)量進行進一步的細化。動態(tài)存儲模塊框圖如圖6 所示。圖6中，動態(tài)存儲記憶模塊由4 部分組成，分別為：內(nèi)存寫入、鍵尋址、值讀取、響應。研究對此將給出探討論述如下。

圖6 動態(tài)存儲模塊框圖Fig.6 Dynamic storage block diagram

（1）模塊的輸入是：

其中，W表示單詞特征矩陣；Ri表示圖像特征；R0表示初始圖像特征；R1表示第二級圖像特征；R2表示第三級圖像特征；T表示單詞個數(shù)；Nw表示單詞特征維數(shù)；N表示圖像像素個數(shù)；Nr表示圖像像素特征矩陣的維度。

（2）內(nèi)存寫入門。主要通過內(nèi)存寫門來實現(xiàn)，通過選擇相關單詞來細化初始化圖像，對此可表示為：

其中，σ表示sigmoid函數(shù)；A為1?Nw維矩陣；B為1?Nr維矩陣；Mw（·）和Mr（·）表示1?1的卷積操作，Mw（·）和Mr（·）是以Nm維度把文字特征和圖像特征嵌入到同一個特征空間中。

（3）鍵尋址過程。在這一步中，使用密鑰存儲器檢索相關的存儲器，計算每個內(nèi)存槽的權(quán)重，作為內(nèi)存槽mi與圖像特征rj的相似概率，可由如下公式來求值：

其中，ai，j表示第i個內(nèi)存和第j個圖像特征的相似度，φK（）是1?1 的卷積網(wǎng)絡，目的是將內(nèi)存特征映射到Nr維度。

（4）值讀取過程。輸出記憶表示定義為根據(jù)相似概率的記憶加權(quán)求和，數(shù)學定義公式具體如下：

其中，φV（）為值內(nèi)存訪問進程，將內(nèi)存特性映射到Nr維數(shù)，φV（）實現(xiàn)1?1 的卷積操作。

（5）響應門。是用來完成響應步驟的，響應門是通過利用門控機制來及時控制信息以及圖像信息的更新。可由如下公式進行描述：

2.4 損失函數(shù)

MLT-GAN 的損失函數(shù)由2 部分組成，分別為生成器損失函數(shù)和判別器損失函數(shù)。文中對此可做闡釋解析如下。

（1）生成器損失函數(shù)L。由3 部分組成：分別為條件損失函數(shù)LCA、生成損失函數(shù)和深度多模態(tài)相似模型損失函數(shù)（DAMSM）LDAMSM。即可由下式來計算：

其中，λ1和λ2分別為條件損失LCA和深度多模態(tài)相似模型損失函數(shù)LDAMSM的權(quán)重。

其中，u（s）是句子特征的均值，∑（s）是句子對角協(xié)方差矩陣。u（s）和∑（s）由全連接層計算，式（22）中，第一項是無條件損失，目的是使得生成的圖像盡可能真實，第二項是條件損失，目的是使得圖像與輸入的句子相符合。條件損失LCA用來防止過擬合。

②LDAMSM。DAMSM 損失函數(shù)用來衡量圖像和文本描述的匹配程度，DAMSM 損失函數(shù)使生成的圖像更好地適應文本描述。

（2）判別器損失函數(shù)。由條件損失LCD和非條件損失LD組成，具體公式如下：

其中，

其中，無條件損失LD是用來區(qū)分生成的圖像和真實圖像，條件損失LCD是用來判斷輸入的句子和圖像是否符合。

3 實驗

3.1 實驗數(shù)據(jù)集

本文在Coco［16］和CUB［17］兩個數(shù)據(jù)集上分別進行了訓練和測試。其中，CUB 數(shù)據(jù)集是專門針對鳥類圖像的數(shù)據(jù)集，CUB 數(shù)據(jù)集收錄了200 種鳥類，數(shù)據(jù)集包括鳥類圖片和對應的文本描述。Coco 數(shù)據(jù)集包含了復雜場景、豐富的類別，共有80 個類別，數(shù)據(jù)集的具體情況見表1。

表1 數(shù)據(jù)集Tab.1 The experimental dataset

3.2 實驗過程

本文在公開數(shù)據(jù)集Coco 和CUB 數(shù)據(jù)集上訓練和測試了MLT-GAN。

實驗共由3 步組成，第一步預訓練多模態(tài)融合編碼器，第二步訓練整個模型，第三步測試整體模型的性能效果。對此內(nèi)容可做重點論述如下。

（1）預測訓練多模態(tài)融合編碼器。通過不同的任務預訓練多模態(tài)融合編碼器，來得到每個任務中文本信息與圖像信息之間的關系，可以得到對應此任務的文本與對應的圖像的融合編碼，運行的結(jié)果是保存訓練好的編碼器模型。

（2）訓練整個模型。在整個模型訓練過程中，首先加載已經(jīng)過訓練并保存了的編碼器模型，接著單獨訓練MLT-GAN 模型的剩余部分。

（3）測試整個模型的性能效果。分別在Coco數(shù)據(jù)集和CUB 數(shù)據(jù)集上進行測試，本文的MLTGAN 均生成了30 000張逼真圖像，通過計算相應的IS分數(shù)和FID分數(shù)，來衡量本文提出的MLT-GAN模型的性能好壞。

3.3 評價指標

本文采用FID［18］（Frechet Inception Distance）和IS［19］（Inception Score）分數(shù)來衡量MLT-GAN 的性能。對此，文中將進行研究表述見如下。

（1）IS。IS值越高，表示生成圖片的多樣性和品質(zhì)就越好，IS的公式如下：

其中，p（y ｜x）是預訓練圖像編碼器預測的對應標簽y的條件概率，p（y）則是預訓練圖像編碼器預測的對應標簽y的邊緣概率。

（2）FID得分。是指真實圖像與虛假圖像之間在特征方面的距離，當真實圖像與虛假圖像特征越近時，F(xiàn)ID值就越小。其計算方法為：

3.4 實驗結(jié)果

3.4.1 定量評價

本文從定量評價和定性評價兩個方面來評估MLT-GAN 模型的性能。本文使用在Coco 數(shù)據(jù)集和CUB 數(shù)據(jù)集的測試集中生成的30 000 張圖像來計算FID分數(shù)和IS分數(shù)，并與一些主流的對抗生成網(wǎng)絡進行了對比，實驗結(jié)果見表2、表3。

表2 不同模型在CUB 數(shù)據(jù)集上的FID和IS 分數(shù)Tab.2 FID and IS scores of different models on the CUB dataset

表3 不同模型在Coco 數(shù)據(jù)集上的FID和IS 分數(shù)Tab.3 FID and IS scores of different models on the Coco dataset

表2 列出了MLT-GAN 與部分主流的對抗生成網(wǎng)絡在CUB 數(shù)據(jù)集上的FID和IS分數(shù)。與本文的基礎網(wǎng)絡DM-GAN 模型相比，本文設計的MLTGAN 網(wǎng)絡的IS分數(shù)從4.75 提高到4.83，可知提升了2.11%，DM-GAN 模型的FID分數(shù)為16.09，而本文提出的MLT-GAN 模型的分數(shù)為15.26，顯然有所下降，說明本文提出的MLT-GAN 模型生成的鳥類圖像在圖像質(zhì)量和清晰度上有了明顯的改善。

表3 列出了MLT-GAN 與部分主流的對抗生成網(wǎng)絡在CUB 數(shù)據(jù)集上的FID和IS分數(shù)。與本文的基礎網(wǎng)絡DM-GAN 模型相比，本文設計的MLTGAN 網(wǎng)絡的IS分數(shù)從30.49 提高到30.92，DMGAN 模型的FID分數(shù)為32.64，而本文提出的MLTGAN 模型的分數(shù)為31.12，已出現(xiàn)明顯的下降，說明本文提出的MLT-GAN 模型生成的鳥類圖像在圖像質(zhì)量和多樣性上有了一定的改善。

通過上述實驗的定量的分析可得，本文提出的MLT-GAN 模型所生成的圖像質(zhì)量和清晰度比其他方法生成的圖像質(zhì)量和圖像清晰度有了一定的提升，生成圖像的內(nèi)容也更加接近真實的圖像，證明了本文提出的MLT-GAN 模型在文本生成圖像任務中具有良好的效果。

為了進一步檢驗本文所述的通道注意力機制和多模態(tài)融合注意力機制在提高模型性能方面的作用，本文將基礎網(wǎng)絡DM-GAN 上加入通道注意力模塊，將其命名為TDM-GAN，將基礎網(wǎng)絡DM-GAN上加入多模態(tài)融合注意力模塊，將其命名為MDMGAN，將本文提出的MLT-GAN 同其進行對比，實驗結(jié)果見表4、表5。

表4 不同模型在CUB 數(shù)據(jù)集上的消融實驗Tab.4 Ablation experiments of different models on CUB datasets

表5 不同模型在Coco 數(shù)據(jù)集上的消融實驗Tab.5 Ablation experiments of different models on Coco datasets

根據(jù)表4、表5 給出的實驗結(jié)果可以得到，本文提出的MLT-GAN 比去除了通道注意力和多模態(tài)融合注意力模塊的網(wǎng)絡效果更好。

3.4.2 定性評價

為了更加直觀評價MLT-GAN 的性能，本文以示例的形式將MLT -GAN 模型生成的圖像和AttnGAN 網(wǎng)絡模型、DM-GAN 網(wǎng)絡模型生成的圖像進行對比，對比結(jié)果如圖7、圖8 所示。

圖7 是CUB 數(shù)據(jù)集上3 種模型生成的部分圖像。從圖7 中可以看出，AttnGAN 和DM-GAN 生成的圖像實物和背景的邊界不清晰，存在模糊區(qū)域，忽略了鳥類圖像的一些細節(jié)特征，圖像的分辨率不高，而本文提出的MLT-GAN 生成的鳥類圖像背景與實物背景分明，生成的圖像分辨率高且具有更多的細節(jié)特征。

圖7 AttnGAN、DM-GAN、MLT-GAN 在CUB 數(shù)據(jù)集上生成的圖像Fig.7 Generated images of the AttnGAN model、DM-GAN model and MLT-GAN model on the CUB dataset

圖8 是3 種模型在Coco 數(shù)據(jù)集上生成的部分圖像。從圖8 中可以看出，AttnGAN 模型生成的圖像輪廓不完整，圖片中具體的場景很難識別，DMGAN 模型生成的圖像質(zhì)量相較于AttnGAN 有了一定的提升，但是生成的圖像內(nèi)容殘缺，捕捉到的細節(jié)特征不夠明顯，圖片的質(zhì)量有待提高。而本文提出的MLT-GAN 模型生成的圖像存在較少失真，圖像內(nèi)容結(jié)構(gòu)完整，輪廓清晰，文本描述中的細節(jié)和紋理的重點得以突出，圖像質(zhì)量得到顯著提高。

圖8 AttnGAN、DM-GAN、MLT-GAN 在Coco 數(shù)據(jù)集上生成的圖像Fig.8 Generated images of the AttnGAN model、DM-GAN model and MLT-GAN model on the Coco dataset

4 結(jié)束語

本文提出了一種基于多模態(tài)融合的文本生成圖像方法（MLT-GAN），通過在預訓練編碼階段引入通道注意力和多模態(tài)融合注意力來對文本信息和圖像信息進行融合編碼，從而捕捉到文本特征和視覺特征之間的內(nèi)在聯(lián)系，提升了圖像的質(zhì)量。實驗結(jié)果表明，在Coco 數(shù)據(jù)集和CUB 數(shù)據(jù)集上，相較于DM-GAN 模型，本文提出的MLT-GAN 模型的FID分數(shù)降低了4.66%和5.16%，IS指標提高了1.41%和1.68%。本文提出的MLT-GAN 在CUB 數(shù)據(jù)集和Coco 數(shù)據(jù)集，相較于基礎網(wǎng)絡DM-GAN 和單獨添加了通道注意力的TDM-GAN 以及單獨添加了多模態(tài)融合注意力的MDM-GAN 都有一定的提高，因此，本文提出的MLT-GAN 在文本生成圖像任務中具有良好的效果，生成圖片的質(zhì)量得到顯著提高。