劉 暢 周向東 施伯樂

(復旦大學計算機科學技術學院 上海 200433)

0 引 言

圖像的文本化描述是指根據(jù)一幅圖像自動的生成一句描述性的文字。由于互聯(lián)網(wǎng)上的大部分的數(shù)據(jù)是圖像等非結構數(shù)據(jù)，圖像的文本化描述有助于人們從海量圖像中進行數(shù)據(jù)挖掘、分析和檢索，是橫跨計算機視覺領域和自然語言處理領域的新興的研究方向。該任務是從圖像中學習自然語言，面臨著克服語義鴻溝、圖像文本對齊、訓練模型收斂等挑戰(zhàn)。圖像具有多通道、高維度的特點，并且受到光照、分辨率、環(huán)境和噪聲的影響。自然語言具有結構，語法多樣規(guī)范，詞匯靈活多變，建立圖像和文本之間的對應關系是一項極具挑戰(zhàn)的任務。近年來圖像的文本化描述研究引起了愈來愈多的關注。

解決圖像的文本化描述問題，常用的方法分為基于檢索和基于語言模型兩種?；跈z索的方法是對圖像和文本分別進行語義分割，利用馬爾科夫隨機場MRF(Markov Random Field)[1]或者典型關聯(lián)分析CCA(Canonical Correlation Analysis)[2]等方法，把圖像和文本投影到同一空間，建立對應關系，從數(shù)據(jù)庫中找到與圖像最匹配的文本?；谡Z言模型的方法可以生成全新的語句，例如使用條件隨機場提取圖像中的物體、場景和關系，然后采用模板生成語句。文獻[3-4]提取圖像的卷積神經(jīng)網(wǎng)絡CNN(Convolutional Neural Network)特征[5]作為特殊的視覺單詞，采用遞歸神經(jīng)網(wǎng)絡RNN(Recurrent Neural Network)[6]建立語言模型?；跈z索的方法生成的語句更加自然，依賴大規(guī)模有標注的數(shù)據(jù)庫?；谡Z言模型的方法可以靈活的生成全新的語句。目前神經(jīng)網(wǎng)絡方法在該任務的實驗效果較好，利用在ImageNet數(shù)據(jù)集上訓練好的CNN網(wǎng)絡，提取圖像的全連接層特征[7]。RNN網(wǎng)絡按照時間展開，可以直接處理時序數(shù)據(jù)和構建語言模型[4]，隱層節(jié)點一般選用LSTM[8]或GRU[9]。采用CNN網(wǎng)絡和RNN網(wǎng)絡結合的方法，可以直接得到圖像和文本的對應關系，不需要進行目標檢測、句法分析和模板填充等步驟，是一個端到端的模型。

傳統(tǒng)方法僅考慮圖像和文本之間的轉換過程，由于存在語義鴻溝和缺乏大規(guī)模數(shù)據(jù)集，模型訓練困難，預測的文本與圖像內容可能存在較大差異。受到圖像檢索的視覺相似性的啟發(fā)[4]，本文考慮數(shù)據(jù)間的相似程度，用相似圖像的語義信息作為補充構造語義相似性神經(jīng)網(wǎng)絡進行預訓練，深入挖掘圖像間和對應文本描述間的相似性信息，并與遞歸神經(jīng)網(wǎng)絡語言模型相互配合。用圖像CNN特征的余弦距離和BLEU[14]等機器翻譯指標分別衡量圖像間的視覺相似度和語義相似度。把視覺相似度與RNN網(wǎng)絡生成的文本串聯(lián)，作為全連接網(wǎng)絡的輸入，擬合得到語義相似度。通過引入數(shù)據(jù)間的相似性信息，在預測階段保持相似圖像的有效語義，從而獲得更好的文本描述。另外，為提高語言模型學習能力，增加棧式隱層和普通隱層的深度，最終得到接近人類語言的通順語句。在這種背景下，本文提出圖像語義相似性神經(jīng)網(wǎng)絡。Flickr30k數(shù)據(jù)集[19]和MSCOCO數(shù)據(jù)集[20]的實驗結果表明，本文方法在BLEU、ROUGE[15]、METEOR[16]和CIDEr[17]等多數(shù)機器翻譯評價指標上超過了Google NIC[3]和log Bilinear[21]等目前主流的方法。

1 相關工作

Farhadi等提出圖像的文本化描述任務[1]，把圖像和文本投影到<對象，動作，場景>的三元組空間，利用馬爾科夫隨機場對圖像進行投影，用句法解析對文本進行投影，然后計算相似性。Kulkarni等利用條件隨機場對圖像的對象、屬性和空間關系進行標注[10]，采用模板生成方法產生全新的語句。Gong等采用典型關聯(lián)分析方法[2]，建立圖像和文本之間的對應關系。圖像采用卷積神經(jīng)網(wǎng)絡特征，文本采用詞袋特征，同時用大量弱標注的圖像文本數(shù)據(jù)集進行輔助學習。Karpathy和Vinyals等提出使用神經(jīng)網(wǎng)絡構造端到端的語言模型[3-4]，提取圖像的CNN特征作為視覺單詞，采用三層遞歸神經(jīng)網(wǎng)絡訓練語言模型，可以直接得到圖像到文本的映射關系。Johnson等提出全卷積定位網(wǎng)絡[11]，不僅能生成整幅圖像的描述，也能生成圖像內部區(qū)域的描述。Xu等提出的網(wǎng)絡模型可以學習圖像內部區(qū)域和單詞的對應關系[12]。Tang等提出一種基于深度遞歸神經(jīng)網(wǎng)絡的方法[13]，把圖像特征輸入到遞歸神經(jīng)網(wǎng)絡的每一個時刻。

2 模型架構

本文提出圖像語義相似性神經(jīng)網(wǎng)絡模型，由兩個共享參數(shù)的多層遞歸神經(jīng)網(wǎng)絡和一個全連接網(wǎng)絡構成。首先對圖像語義相似性網(wǎng)絡預訓練，學習相似圖像的語義信息，然后在遞歸神經(jīng)網(wǎng)絡上繼續(xù)訓練語言模型。多層遞歸神經(jīng)網(wǎng)絡能夠增強模型的學習能力，有助于理解圖像的高級語義信息。

2.1 圖像語義相似性網(wǎng)絡

圖像語義相似性神經(jīng)網(wǎng)絡模型如圖1所示，能夠學習圖像之間的視覺相似性和對應文本描述的語義相似性，進而提升網(wǎng)絡的泛化能力。其主要思想是，當模型學習圖像的文本描述時，應當受到相似圖像語義的約束，在預測階段，通過聯(lián)想相似圖像的語義信息進而提升文本描述的質量。該方法可以應用到現(xiàn)有的遞歸神經(jīng)網(wǎng)絡語言模型。

圖1 圖像語義相似性神經(jīng)網(wǎng)絡

為了衡量圖像的視覺相似性，首先提取圖像的卷積神經(jīng)網(wǎng)絡特征[24]，然后計算兩個特征的余弦距離：

(1)

為了衡量文本描述的語義相似性，本文采用BLEU，ROUGE，METEOR和CIDEr等機器翻譯的評價指標。由于數(shù)據(jù)集中每幅圖像都有多句文本描述，因此可以直接計算文本的機器翻譯得分作為語義相似性。

(2)

(3)

集合Z={BLEU-1, BLEU-2, BLEU-3, BLEU-4, METEOR, CIDEr, ROUGE}，表示7種評價指標。t表示圖像的獨立描述語句的個數(shù)，n表示具體一種評價指標的類型。構造圖像文本相似性四元組數(shù)據(jù)集，按CNN特征的余弦距離對圖像聚類，在每個類里選擇兩幅圖像計算余弦距離cos和文本的語義相似性ψ組成四元組，再從不同的類中選擇圖像組成相同數(shù)量的四元組，共同構成四元組數(shù)據(jù)集：

(imgi,imgj,cos,ψ)

(4)

(5)

o1=σ(?！1+b1)

(6)

o2=σ(o1·W2+b2)

(7)

式中：Wi、bi和oi是第i個全連接層的權重、偏置和輸出。其中，σ是sigmoid函數(shù)，是全連接層的激活函數(shù)：

(8)

全連接網(wǎng)絡用來擬合輸入向量Γ和文本相似性得分Ψ的映射關系。損失函數(shù)采用均方誤差損失：

(9)

2.2 遞歸神經(jīng)網(wǎng)絡語言模型

圖像語義相似性神經(jīng)網(wǎng)絡中的RNN網(wǎng)絡采用圖2中的結構。把圖像的卷積神經(jīng)網(wǎng)絡特征WCNN和單詞的詞向量特征Wi投影到p維空間。遞歸神經(jīng)網(wǎng)絡的各個時刻的輸入是Xi=[WCNN,WST,W1,…,Wn]∈R(n+2)×p，輸出是Xo=[WST,W1,W2,…,WEND]∈R(n+2)×p。WST和WEND表示語句的特殊起始詞和終止詞，語句的最大長度是n。由于傳統(tǒng)的淺層RNN網(wǎng)絡學習能力較弱，為了學習圖像的復雜語義信息，本文從以下三個方面增加網(wǎng)絡深度：

1) 棧式隱層(ST層)：可以接受上一時刻隱層狀態(tài)輸入的層，增強多尺度時間序列記憶。

2) 普通隱層(CH層)：除去棧式隱層之外的隱層，增強當前時刻網(wǎng)絡深度。

3) 輸出層(MO層)：在隱層節(jié)點和最后的輸出層節(jié)點之間添加層，把隱層的輸出投影到輸出空間。

圖2 遞歸神經(jīng)網(wǎng)絡語言模型

Xi=[WCNN,WST,W1,…,Wn]

(10)

(11)

Xo=[WST,W1,W2,…,WEND]

(12)

采用交叉熵損失函數(shù)訓練RNN網(wǎng)絡。在預測階段，采用束搜索算法預測語句。語句的搜索空間是一個有向無環(huán)圖，WST是起始節(jié)點，WEND是終止節(jié)點，每層的大小是束(beam)，表示該層單詞的搜索空間，束越大，搜索結果越接近全局最優(yōu)，計算復雜度是O(beamn)。

sentence=argmaxsP(s|image)

(13)

s表示遞歸神經(jīng)網(wǎng)絡預測的語句。首先對圖像語義相似性神經(jīng)網(wǎng)絡進行預訓練，然后在數(shù)據(jù)集上繼續(xù)訓練RNN網(wǎng)絡語言模型。引入相似圖像的語義信息和增強語言模型的學習能力，有利于生成符合圖像內容的通順的語句。

3 實驗結果和分析

3.1 數(shù)據(jù)集和預處理

本文采用Flickr30K數(shù)據(jù)集[19]和MSCOCO數(shù)據(jù)集[20]，每幅圖像均有5個獨立的標注語句。Flickr30K數(shù)據(jù)集包含31 783幅圖像，訓練集、驗證集和測試集大小分別是29 783、1 000和1 000。MSCOCO數(shù)據(jù)集包含123 287幅圖像，訓練集、驗證集和測試集大小分別是113 287、5 000和5 000。

經(jīng)典的卷積神經(jīng)網(wǎng)絡模型包括AlexNet[23]、VGGNet[24]、GoogleNet[25]和ResNet[26]等，本文采用16層的VGGNet提取圖像特征。圖像尺寸縮放為224×224，采用均值歸一化，使得RGB通道的像素均值為0。人工標注的語句長度不固定，大于16的語句分布超過90%，長度閾值取16。大于閾值的語句，多余單詞截斷，小于閾值的語句，末尾用終止字符WEND補全。數(shù)據(jù)集中出現(xiàn)頻率小于閾值5的單詞為停止詞，去除停止詞后的Flickr30K數(shù)據(jù)集和MSCOCO數(shù)據(jù)集的單詞表大小分別為8 625和9 566。

3.2 評價方法和對比方法

本文采用BLEU[14]，ROUGE[15]，METEOR[16]和CIDEr[17]指標評價圖像的文本化描述效果。原理是比較機器翻譯結果(candidate)和人工翻譯結果(reference)的相似度。BLEU準則比較candidate和reference的n-gram匹配的數(shù)量，可以評價生成文本的充分性、保真性和流暢程度。ROUGE準則定義最長公共子序列來計算相似度，序列要求有順序不一定連續(xù)。METEROR準則采用精確匹配、詞根詞干匹配和同義詞匹配三種方式計算相似度。CIDEr準則首先計算n-gram的項頻反向文檔頻率TFIDF(Term Frequency-Inverse Document Frequency)[18]，然后計算candidate和reference的余弦距離。

本文方法和GoogleNIC[3]、BRNN[4]、Log Bilinear[21]、LRCN[22]、Semantic Attention[27]、Memory Cells[13]、Hard-Attention[12]等方法的實驗結果進行對比。GoogleNIC和BRNN方法均采用三層遞歸神經(jīng)網(wǎng)絡語言模型，分別用GoogleNet和VGGNet提取圖像特征。Log Bilinear方法采用多模態(tài)LBL語言模型學習圖像到文字的映射關系。Semantic Attention方法首先識別圖像屬性，然后輸入到遞歸神經(jīng)網(wǎng)絡。LRCN方法是一種融合遞歸神經(jīng)網(wǎng)絡和卷積神經(jīng)網(wǎng)絡的深度網(wǎng)絡，能夠學習圖像和視頻的文本描述。Memory Cell方法把圖像特征輸入到遞歸神經(jīng)網(wǎng)絡的每一個時刻。Hard Attention方法采用圖像的卷積層特征，建立圖像子區(qū)域和文本單詞的對應關系。

3.3 結果分析

本文分別在Flickr30k數(shù)據(jù)集和MSCOCO數(shù)據(jù)集進行實驗。首先訓練圖像語義相似性神經(jīng)網(wǎng)絡，如圖1，然后訓練遞歸神經(jīng)網(wǎng)絡語言模型，如圖2。分析不同的棧式隱層、普通隱層和輸出層的組合對生成文本質量的影響，結果如表1和表2，然后和最新的方法進行對比，結果如表3和表4，最后舉例說明本文模型生成文本的效果。

表1 Flickr30k數(shù)據(jù)集的實驗結果(BLEU-i簡寫為Bi)

表2 MSCOCO數(shù)據(jù)集的實驗結果(BLEU-i簡寫為Bi)

表3 本文方法和其他方法在Flickr30k數(shù)據(jù)集實驗結果對比(BLEU-i簡寫為Bi)

表4 本文方法和其他方法在MSCOCO數(shù)據(jù)集實驗結果對比(BLEU-i簡寫為Bi)

表1和表2的結果表明，F(xiàn)lickr30k數(shù)據(jù)集訓練的“模型ST層+CH層”和MSCOCO數(shù)據(jù)集訓練的“模型2ST層”效果最好，說明增加遞歸神經(jīng)網(wǎng)絡棧式隱層和普通隱層的深度能夠提高生成文本的質量。棧式隱層負責把信息傳遞到下一時刻，對語言模型生成文本起到關鍵作用。普通隱層只能在當前時刻傳遞信息，適當增加普通隱層能夠提升模型復雜度和學習能力。增加輸出層深度會降低實驗效果。同時隱層總深度不宜太大，否則導致模型復雜度過高和模型訓練困難，降低生成文本的質量。

表3和表4的結果表明，F(xiàn)lickr30k數(shù)據(jù)集上，本文方法的BLEU-1、ROUGE和CIDEr的得分最高，其他指標略低于Semantic Attention方法。Semantic Attention方法在BLEU-2、BLEU-3、BLEU-4指標較高是因為提取圖像的屬性標簽加入RNN結構中，有利于生成多詞匹配較高的語句。MSCOCO數(shù)據(jù)集上，“模型ST層”的各項指標超過GoogleNIC和BRNN等方法，“模型ST層”和“模型2ST層”的多項指標均達到最高，其中BLEU-2、BLEU-3、BLEU-4的得分達到53.6、39.3和28.6，顯著超過其他方法，說明了圖像語義相似性網(wǎng)絡可以提供相似圖像的有效語義信息，進而改善文本描述的質量?！澳Ｐ?ST層”的多項指標均超過“模型ST層”，表明增加隱層深度可以提升語言模型的學習能力，有利于生成更加通順的語句。Hard Attention方法的BLEU-1得分最高，因為考慮單詞和圖像子區(qū)域的對應關系，而文本描述的通順程度更加依賴于多詞匹配數(shù)量。

圖3是本文方法生成的圖像文本化描述的示例。第一行是錯誤的描述。圖3(a)描述的是兩個人站在飛機旁邊，但是生成的文本是“a man standing next to a plane on a field”，僅僅識別出了一個人。圖3(b)描述的是一個人坐在街道旁，但是生成的文本是“a man sitting on a bench talking on a cell phone”，錯誤的認為一個男人拿著手機。第二行是正確的描述，生成的文本分別是“a cow is standing in a field of grass”和“a man riding a motorcycle down a street”。圖3(a)和圖3(b)生成了錯誤的描述，可能是由于訓練集中缺乏相關類型的數(shù)據(jù)，并且圖像分辨率較低，陰影部分的內容較難識別。由于圖像語義相似性網(wǎng)絡能夠通過相似圖像的文本描述作為補充信息，因此正確的識別了圖中的主體，例如“man”“plane”，以及動作，例如“standing”“sitting”。

圖3 本文方法的圖像文本化標注示例

4 結 語

本文提出圖像語義相似性神經(jīng)網(wǎng)絡的圖像文本化描述模型，采用多層復合遞歸神經(jīng)網(wǎng)絡語言模型。能夠學習到相似圖像的有效語義信息，并通過增加遞歸神經(jīng)網(wǎng)絡的深度，提高網(wǎng)絡的學習能力，進而提升圖像的文本描述的質量。實驗結果表明，該方法在多個評價指標上均取得很好效果，超過目前的主流方法。

[1] Farhadi A,Hejrati M,Sadeghi M A,et al.Every picture tells a story:Generating sentences from images[C]//European Conference on Computer Vision.Springer Berlin Heidelberg,2010:15-29.

[2] Gong Y,Wang L,Hodosh M,et al.Improving image-sentence embeddings using large weakly annotated photo collections[C]//European Conference on Computer Vision.Springer International Publishing,2014:529-545.

[3] Vinyals O,Toshev A,Bengio S,et al.Show and tell:A neural image caption generator[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2015:3156-3164.

[4] Karpathy A,Fei-Fei L.Deep visual-semantic alignments for generating image descriptions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2015:3128-3137.

[5] Krizhevsky A,Sutskever I,Hinton G E.Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems,2012:1097-1105.

[6] Lee Giles C,Kuhn G M,Williams R J.Dynamic recurrent neural networks:Theory and applications[J].IEEE Transactions on Neural Networks,1994,5(2):153-156.

[7] Donahue J,Jia Y,Vinyals O,et al.DeCAF:A Deep Convolutional Activation Feature for Generic Visual Recognition[C]//ICML.2014:647-655.

[8] Hochreiter S,Schmidhuber J.Long short-term memory[J].Neural computation,1997,9(8):1735-1780.

[9] Cho K,Van Merri?nboer B,Gulcehre C,et al.Learning phrase representations using RNN encoder-decoder for statistical machine translation[DB].arXiv preprint arXiv:1406.1078,2014.

[10] Kulkarni G,Premraj V,Ordonez V,et al.Babytalk:Understanding and generating simple image descriptions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(12):2891-2903.

[11] Johnson J,Karpathy A,Fei-Fei L.Densecap:Fully convolutional localization networks for dense captioning[DB].arXiv preprint arXiv:1511.07571,2015.

[12] Xu K,Ba J,Kiros R,et al.Show,attend and tell:Neural image caption generation with visual attention[DB].arXiv preprint arXiv:1502.03044,2015.

[13] Tang S,Han S.Generate Image Descriptions based on Deep RNN and Memory Cells for Images Features[DB].arXiv preprint arXiv:1602.01895,2016.

[14] Papineni K,Roukos S,Ward T,et al.BLEU:a method for automatic evaluation of machine translation[C]//Association for Computational Linguistics,2002:311-318.

[15] Lin C Y.ROUGE:A package for automatic evaluation of summaries[C]//Text summarization branches out:Proceedings of the ACL-04 workshop.2004.

[16] Denkowski M,Lavie A.Meteor Universal:Language Specific Translation Evaluation for Any Target Language[C]//The Workshop on Statistical Machine Translation.2014:376-380.

[17] Vedantam R,Lawrence Zitnick C,Parikh D.Cider:Consensus-based image description evaluation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2015:4566-4575.

[18] Robertson S.Understanding inverse document frequency:on theoretical arguments for IDF[J].Journal of documentation,2004,60(5):503-520.

[19] Young P,Lai A,Hodosh M,et al.From image descriptions to visual denotations:New similarity metrics for semantic inference over event descriptions[J].Transactions of the Association for Computational Linguistics (TACL),2014,2(4):67-78.

[20] Lin T Y,Maire M,Belongie S,et al.Microsoft coco:Common objects in context[C]//European Conference on Computer Vision.Springer International Publishing,2014:740-755.

[21] Kiros R,Salakhutdinov R,Zemel R S.Multimodal neural language models[C]//ICML’14 Proceedings of the 31st International Conference on International Conference on Machine Learning,2014:595-603.

[22] Donahue J,Hendricks L A,Guadarrama S,et al.Long-term recurrent convolutional networks for visual recognition and description[C]//Computer Vision and Pattern Recognition.IEEE,2015:677-691.

[23] Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM,2017,60(2):2012.

[24] Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition[DB].arXiv preprint arXiv:1409.1556,2014.

[25] Szegedy C,Liu W,Jia Y,et al.Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2015:1-9.

[26] He K,Zhang X,Ren S,et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2016:770-778.

[27] You Q,Jin H,Wang Z,et al.Image captioning with semantic attention[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2016:4651-4659.

[28] Tang S,Han S.Generate Image Descriptions based on Deep RNN and Memory Cells for Images Features[DB].arXiv preprint arXiv:1602.01895,2016.