林賢早，劉 俊，田 勝，徐小康，姜 濤

（杭州電子科技大學(xué)通信信息傳輸與融合技術(shù)國防重點學(xué)科實驗室，杭州310018）

（?通信作者電子郵箱lilcore_lxz@163.com）

0 引言

隨著近些年人工智能的高速發(fā)展，近海地區(qū)也在跟進(jìn)構(gòu)建智能化船舶監(jiān)測系統(tǒng)。而自動化的情報生成就是其中至關(guān)重要的一環(huán)，也是極為困難的一環(huán)。船舶監(jiān)測系統(tǒng)中關(guān)于情報的生成不僅需要船舶類別、位置等信息，還需要描述船舶圖像內(nèi)容的語義信息作為數(shù)據(jù)支撐。得益于深度學(xué)習(xí)在計算機(jī)視覺中的廣泛應(yīng)用，計算機(jī)通過訓(xùn)練可以自動生成對圖像的文本描述，同樣可以對船舶圖像的運動狀態(tài)和四周場景進(jìn)行描述。

視覺作為人類的主要感官，發(fā)揮著巨大的作用。人們通過在短時間快速地瀏覽圖片就能在腦海中生成符合語言學(xué)且與內(nèi)容相符合的圖像描述。由此可知，圖像描述生成領(lǐng)域關(guān)聯(lián)兩個基礎(chǔ)問題，也就是視覺理解和語言處理。換而言之，解決圖像描述生成問題需要連接計算機(jī)視覺和自然語言處理兩個社區(qū)，這項任務(wù)不僅需要高度理解圖像語義內(nèi)容，還需要用人類化的語言表達(dá)出該信息。從以往的研究得知，確定圖片中的物體的存在、屬性還有之間的關(guān)系本身就不是一個輕松的工作，進(jìn)一步用符合語法的語句去描述此類信息則更加提升了這項工作的難度。

深度學(xué)習(xí)在計算機(jī)視覺和自然語言處理等人工智能領(lǐng)域表現(xiàn)優(yōu)越，可知深度神經(jīng)網(wǎng)絡(luò)能同時為視覺模型和語言模型［1］提供支撐。受到神經(jīng)機(jī)器翻譯中編解碼框架的啟發(fā)，圖像描述生成任務(wù)也可以分解成兩個步驟:對圖像內(nèi)容和語義進(jìn)行編碼，使用語言模型對該特征進(jìn)行解碼。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［2］現(xiàn)如今已成為目標(biāo)檢測和識別的主流方法，而循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）在自然語言處理也擁有著卓越表現(xiàn)，兩者的有機(jī)結(jié)合剛好為圖像描述生成提供了有效的解決方案。

1 相關(guān)工作

早期在圖像描述生成方面的工作主要集中在基于檢索的方法和基于模板的方法。這些方法要么通過關(guān)鍵詞直接套用現(xiàn)有的描述文字［3］，要么依靠嚴(yán)格編碼的語言結(jié)構(gòu)完成文字描述［4］，因此早期工作中這兩種方法產(chǎn)生的圖像描述在很大程度上十分晦澀而又低效。現(xiàn)如今，許多基于循環(huán)神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型已經(jīng)廣泛應(yīng)用于圖像描述生成。而這些使用深度學(xué)習(xí)的方法大多數(shù)采用編碼/解碼框架。這個框架的流程是先通過預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)將圖像編碼成能夠表征圖像內(nèi)容的特征，然后結(jié)合部分完整描述文字提供的語義輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中將該特征解碼成句子。這是Vinyals等［5］率先提出的，該模型是受到最近神經(jīng)機(jī)器翻譯［6］在序列生成中的成功應(yīng)用所啟發(fā)，與神經(jīng)機(jī)器翻譯的區(qū)別就是圖像描述生成的輸入不是句子而是卷積網(wǎng)絡(luò)得到的特征，特征進(jìn)行解碼時采用了長短時記憶（Long Short-Term Memory，LSTM）單元。LSTM 作為RNN 的變種，由于其門控單元的設(shè)計，能夠很大程度改善RNN 在長時間序列上的梯度彌散，因此后續(xù)的模型大多都是用LSTM 或其變種來解決句子生成這類序列結(jié)構(gòu)問題。后續(xù)的研究則分別在編碼和解碼上對其進(jìn)行改良，近來備受關(guān)注的注意力機(jī)制就廣泛應(yīng)用于該任務(wù)。Xu等［7］使用帶有空間信息的卷積圖像特征作為輸入，在二維空間上使用注意力對位置進(jìn)行選擇，他采取了兩種注意力方式，分別為只選取固定數(shù)量位置的“硬”注意力和給所有的空間位置分配不同權(quán)重的“軟”注意力。這種空間注意力能夠有效地對特征再編碼，從而提高了語言模型生成句子的正確性。You等［8］將注意力轉(zhuǎn)向語義集合中，基于語義特征集合解碼生成圖像描述。Chen 等［9］甚至還對不同的特征通道使用了注意力，將注意力延伸到三維空間。

圖像描述生成方法在解碼階段一般使用交叉熵函數(shù)進(jìn)行訓(xùn)練，但是測試階段評價使用的是不可微的自然語言評價指標(biāo)，比如BLEU（Bilingual Evaluation Understudy）［10］、ROUGE（Recall-Oriented Understudy for Gisting Evaluation）［11］、CIDEr（Consensus-based Image Description Evaluation）［12］等，因此使用交叉熵函數(shù)無法直接優(yōu)化評價指標(biāo)，而只能擬合模型去生成與數(shù)據(jù)集相近的語言描述，容易在解碼階段過擬合，無法對語言表達(dá)進(jìn)行有效的學(xué)習(xí)。不止于此，測試階段的圖像描述生成是通過已訓(xùn)練好的模型生成的單詞結(jié)合圖像特征，迭代地預(yù)測后續(xù)的單詞，所以這種預(yù)測方式容易對錯誤進(jìn)行積累，這種現(xiàn)象叫作exposure bias，Rennie 等［13］1提出加入強化學(xué)習(xí)策略可以彌補交叉熵?fù)p失函數(shù)無法優(yōu)化指標(biāo)的缺陷，該策略可以在訓(xùn)練中通過采樣的方式計算獎勵期望的梯度，進(jìn)而更新模型權(quán)重，使得評價指標(biāo)作為直接優(yōu)化的目標(biāo)。

圖像描述生成還受益于圖像描述生成數(shù)據(jù)集不斷擴(kuò)大，比如原先的Flicker 8K、Flicker 30K 到現(xiàn)在MSCOCO（MicroSoft Common Objects in COntext）caption 提供十幾萬張圖片和對應(yīng)的文字描述，使得深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練得到了有效的數(shù)據(jù)集支撐。為了將該方法應(yīng)用于船舶監(jiān)測中，本文自建船舶描述數(shù)據(jù)集對船舶的運動狀態(tài)和四周場景進(jìn)行標(biāo)注。

2 本文算法

本文提出的基于多空間混合注意力的圖像描述方法，使用預(yù)訓(xùn)練好的檢測網(wǎng)絡(luò)提取感興趣區(qū)域的特征編碼，在解碼階段對該特征施加多空間注意力和視覺選擇，引入強化學(xué)習(xí)的策略梯度對優(yōu)化目標(biāo)進(jìn)行重塑，從而使得訓(xùn)練和測試階段的解碼統(tǒng)一，直接針對評價指標(biāo)進(jìn)行優(yōu)化。整體框架如圖1所示，這種模式本質(zhì)上屬于端到端的設(shè)計，但是由于實際訓(xùn)練中無法同時優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)和LSTM，圖像和文字雖然能表征同樣的事件或者事物，但是在表達(dá)形式上存在著鴻溝。本文將編碼解碼分成兩個步驟分開訓(xùn)練，在得到豐富的語義特征之后，將該特征作為解碼模型的輸入。如圖1 所示，為了得到圖像的感興趣區(qū)域特征，算法總體框架中的卷積編碼器選用的是目標(biāo)檢測網(wǎng)絡(luò)。具體采用的感興趣區(qū)域特征提取方案是以ResNet-101［14］為卷積骨干的Faster-RCNN［15］。為了感興趣區(qū)域特征能夠表征圖像中的相關(guān)屬性，在損失函數(shù)中添加屬性分類交叉熵?fù)p失。訓(xùn)練數(shù)據(jù)集使用的是帶有屬性、坐標(biāo)、類別標(biāo)簽的Visual Genome 數(shù)據(jù)集。編碼采用的具體卷積結(jié)構(gòu)如圖2所示。

圖2 卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2 Convolution network structure

沿用Faster-RCNN 的框架，網(wǎng)絡(luò)的改動部分如下:首先將區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network，RPN）結(jié)構(gòu)接在分類網(wǎng)絡(luò)的第4 個卷積模塊之后，得到候選區(qū)域；然后將候選區(qū)域與第4 個卷積模塊的特征結(jié)合，得到感興趣區(qū)域特征；最后利用第5個卷積模塊接的圖像特征分別對401個屬性進(jìn)行分類，對于1 601 個目標(biāo)種類進(jìn)行目標(biāo)檢測。該目標(biāo)檢測網(wǎng)絡(luò)的設(shè)計方式是為了與ResNet-101 分類網(wǎng)絡(luò)結(jié)構(gòu)保持一致，提高網(wǎng)絡(luò)遷移的穩(wěn)定性，使得網(wǎng)絡(luò)可訓(xùn)練。

除此之外，當(dāng)引入強化學(xué)習(xí)目標(biāo)作為訓(xùn)練的優(yōu)化函數(shù)之后，增加了模型的不穩(wěn)定性，通過實驗可知，直接優(yōu)化平均期望獎勵這一目標(biāo)，會使得模型無法訓(xùn)練。而交叉熵?fù)p失函數(shù)往往能構(gòu)成凸函數(shù)，使得模型易于收斂，所以本文先通過交叉熵模型得到性能較好的解碼模型，再使用策略梯度優(yōu)化模型時就可以穩(wěn)定地提高評價指標(biāo)。

2.1 多空間注意力

在人類的視覺系統(tǒng)中，注意力信號大致可以劃分為兩種:一種是自頂向下的注意力，這類信號受當(dāng)前的任務(wù)的驅(qū)動，由人的主動意識所控制；另外一種是外界新奇或者顯著的激勵因子組成的自底向上的信號，一般是被動地接收。這兩種注意力信號都與視覺元素的內(nèi)容相關(guān)聯(lián)。

由于卷積操作本身的特性，特征圖的每一通道都由一組卷積核對上一層特征塊卷積后得到，可將其對應(yīng)為自底向上的局部空間特征提取器，因此特征塊的通道可以認(rèn)為是圖像的不同語義部分。換而言之，卷積核能夠在局部感受野中融合空間和通道信息。既然卷積的作用是對圖像進(jìn)行特征編碼，那么注意力編碼的設(shè)計可以認(rèn)為是對不同位置、不同通道的特征進(jìn)行解耦。添加注意力后得到的特征圖，可以看作是對空間、通道信息的重新校準(zhǔn)，可以對后續(xù)的解碼過程產(chǎn)生積極的影響。本文在解碼階段采用多空間注意力，如圖3所示。

圖3 多空間注意力Fig. 3 Multi-spatial attention

這種注意力也同樣屬于自注意力。此自注意力本質(zhì)是對特征進(jìn)行重新編碼?；仡欀暗目蚣?，本文通過卷積神經(jīng)網(wǎng)絡(luò)得到了圖像的特征向量表達(dá)，這一環(huán)節(jié)就是結(jié)合解碼輸出構(gòu)成的上下文語境引導(dǎo)特征的重新編碼。具體的操作為:

att = softmax(αhTV)V （1）其中:h 為循環(huán)神經(jīng)網(wǎng)絡(luò)的隱層狀態(tài)；V 為感興趣區(qū)域特征。與一般注意力不同的是，本文將這種注意力擴(kuò)展到了多個空間中。假設(shè)隱層狀態(tài)長度為k 維，每個空間位置的圖像特征也為k 維，先將其擴(kuò)展成N 個子空間后，通過式（1）計算子空間注意力的權(quán)重，然后將其重新拼接成最后的注意力特征。

2.2 視覺選擇

因為評價標(biāo)準(zhǔn)依據(jù)的是生成句子的內(nèi)容和流暢性，因此僅僅關(guān)注圖像的視覺部分還不夠，還需要考慮將圖像內(nèi)容串聯(lián)起來的一些非視覺詞語，所以本文在原有的LSTM 中加入視覺選擇門控機(jī)制。帶有視覺選擇的解碼模型可以自動決定什么時候關(guān)注視覺信號，什么時候依賴語言模型。當(dāng)依賴視覺信號時，模型同樣會決定對視覺區(qū)域的選擇作出判斷。一般的LSTM模型如下:

其中:xt是輸入向量；mt-1是t - 1 時刻的記憶細(xì)胞向量。通過在該向量上進(jìn)行擴(kuò)展，得到可供非視覺詞產(chǎn)生的信息，形成視覺選擇門控機(jī)制。

其中:Wx和Wh是需要被學(xué)習(xí)的權(quán)重；xt是LSTM 在t 時刻的輸入；gt向量對記憶細(xì)胞施加影響；mt包含了時刻t 及其之前的語義信息；“⊙”是點乘操作。

基于非視覺詞的信息st和注意力的特征attt來重新組合得到自適應(yīng)語義向量c′。

其中μt是一個標(biāo)量，它決定了對視覺信息的選擇，它的取值是先將st和ht映射到嵌入空間，將其進(jìn)行組合后再投射到一維空間得到標(biāo)量值，具體實現(xiàn)如下:

視覺選擇與多空間注意力構(gòu)成了多空間混合注意力，既能關(guān)注視覺方面的信息，也能對圖像中的非視覺信息進(jìn)行選擇。多空間混合注意力同時還得益于編碼特征中將圖像之間的屬性關(guān)系融合到優(yōu)化目標(biāo)中，使得感興趣區(qū)域特征融合進(jìn)了圖像的屬性信息。

2.3 策略梯度優(yōu)化指標(biāo)

如圖4 所示，循環(huán)神經(jīng)網(wǎng)絡(luò)模型可以看作一個智能體與外部環(huán)境（單詞和圖像特征）進(jìn)行交流。這個網(wǎng)絡(luò)模型的參數(shù)θ定義了策略π。策略π 會產(chǎn)生一種動作，對應(yīng)的就是句子的預(yù)測。在每個動作之后，這個智能體即LSTM 會更新它的狀態(tài)。這個狀態(tài)指的是LSTM 中的記憶細(xì)胞狀態(tài)和隱層狀態(tài)。這個過程迭代生成句子描述，直到生成句子結(jié)束標(biāo)識符。智能體通過觀測環(huán)境可以獲得回報，動作的選擇就是通過最小化這個回報的負(fù)期望得到的?；貓蟮漠a(chǎn)生就是依賴常用的評價指標(biāo)，比如CIDEr-D，計算生成句子的得分值，本文將這種回報記作r。

圖4 強化學(xué)習(xí)優(yōu)化過程Fig. 4 Optimization process of reinforcement learning

目標(biāo)函數(shù)就從原來的交叉熵函數(shù)重新塑造成回報的期望:

由于無法得知回報的分布，一般常用蒙特卡洛方法經(jīng)驗平均來作為模型期望的無偏估計。此方法主要的限制是在強化學(xué)習(xí)下使用小批量樣本會使需要優(yōu)化的回報這一隨機(jī)變量產(chǎn)生高的方差，從而使得訓(xùn)練過程十分不穩(wěn)定，難以收斂，并且無法選擇學(xué)習(xí)率。除了適當(dāng)?shù)卦黾优叽缤?，為了穩(wěn)定性的需要還可以加入合適的偏差修正baseline。

baseline 的設(shè)置為當(dāng)前模型在測試階段得到回報。那么式（8）可改寫為:

因為baseline是一個常數(shù)，所以并不影響梯度的大小。除此之外本文還使用限定采樣方式為多項式分布來加速訓(xùn)練過程。

3 實驗與結(jié)果分析

3.1 評價指標(biāo)

針對圖像描述生成任務(wù)，本文主要使用CIDEr-D 進(jìn)行評分，其他評價指標(biāo)有機(jī)器翻譯工作中基于精確度的BLEU 和自動摘要工作中基于召回率的ROUGE。以下是CIDEr 的計算公式:

其中:ci是生成候選句子；sij是參考的句子；gn(ci)是一個向量，它的長度為候選句子和真實句子中n 元詞組的個數(shù)之和，每個元素是計算n 元語法在候選生成句子中的TF-IDF（Term Frequency-Inverse Document Frequency）；||?||是取模操作。同理gn(sij)即是將生成候選句子替換為參考句子后進(jìn)行計算。wn一般設(shè)為1/N（N 一般設(shè)為4）。為了評價的公平性，微軟官方重新對CIDEr 進(jìn)行修改，加上了句子長度的差異的高斯懲罰和對大于參考句子的TF-IDF元素進(jìn)行截斷，記為CIDEr-D，重寫為:

一般使用σ = 6，乘以10 是為了讓這個分?jǐn)?shù)與其他的評價的指標(biāo)相近。

3.2 數(shù)據(jù)集和參數(shù)

本文選用在MSCOCO caption 數(shù)據(jù)集上驗證算法的有效性。MSCOCO 是微軟公開的圖像描述數(shù)據(jù)集，包含著82 783張訓(xùn)練集、40 504 張驗證集和40 775 張測試集。相對于其他小規(guī)模的圖像描述生成數(shù)據(jù)集，COCO caption 數(shù)據(jù)集更有挑戰(zhàn)力，也更加具有公信力，其中一張圖片對應(yīng)5句描述，由json格式提供。本文采取的驗證模型優(yōu)劣的方式分為兩個步驟:先通過訓(xùn)練集和驗證集在線下調(diào)節(jié)模型的參數(shù)，然后提交測試集的結(jié)果到服務(wù)器上獲取對應(yīng)指標(biāo)的分?jǐn)?shù)。最終的解碼模型獲取分為兩輪，區(qū)別在于第一輪是對交叉熵?fù)p失函數(shù)進(jìn)行優(yōu)化，第二輪是通過策略梯度對模型進(jìn)行調(diào)節(jié)。第一輪設(shè)置為學(xué)習(xí)率0.000 1，選用Adam 優(yōu)化器降低交叉熵?fù)p失，收斂至平穩(wěn)后，再降低學(xué)習(xí)率，直至交叉熵?fù)p失無法進(jìn)一步優(yōu)化，最大迭代輪數(shù)為30。得到較穩(wěn)定的交叉熵解碼模型后，再使用策略梯度替換交叉熵?fù)p失函數(shù)，采取相同的超參數(shù)進(jìn)行優(yōu)化，兩輪訓(xùn)練的總迭代周期為70。沿用Karpathy等［16］的數(shù)據(jù)集設(shè)置，分別使用5 000 張圖片用于線下的驗證和測試。表1 列出訓(xùn)練時候的超參數(shù)設(shè)置。詞嵌入向量設(shè)為1 024，LSTM 的隱藏層向量大小設(shè)置為1 024。為了防止過擬合對加入dropout，設(shè)為0.5。

3.3 結(jié)果與分析

為了使實驗結(jié)果有說服力，本文將COCO 測試集在本地得出的圖像描述提交到后臺驗證算法設(shè)計的有效性，并與近些年帶有注意力機(jī)制的算法進(jìn)行比較。主要實驗內(nèi)容如表2所示。

通過表2 可以得知，相比在解碼階段單純使用LSTM，現(xiàn)今的方法都會加上注意力機(jī)制，注意力機(jī)制能夠在解碼階段對于卷積得到的整體特征再次重新編碼，使得特征得以映射到能與語言空間容易轉(zhuǎn)換的嵌入空間，提升特征的表達(dá)能力。而本文使用的混合注意力，則首先將特征映射到不同的空間中，擴(kuò)展注意力的表達(dá)，再使用視覺選擇機(jī)制分配視覺信息與語言信息的權(quán)重，不僅提升了特征的表征能力，還能聯(lián)系生成單詞的語義，從而獲得較好的指標(biāo)結(jié)果。

在線下驗證實驗中，本文疊加多空間注意力和視覺選擇模塊進(jìn)行訓(xùn)練，融合成本文所提出的混合注意力進(jìn)行優(yōu)化模型。從表3 的結(jié)果來看，在沒有使用策略梯度微調(diào)模型的情況下，還是能夠使結(jié)果達(dá)到比較好的效果。當(dāng)加上策略梯度優(yōu)化時能夠極大地提升混合注意力模型解釋特征的能力。這里的強化學(xué)習(xí)算是一種優(yōu)化手段，本質(zhì)上也是在復(fù)雜模型提供的參數(shù)空間中尋找最優(yōu)的參數(shù)優(yōu)化指標(biāo)，最終還是混合注意力起到了作用，使得該模型的圖像描述能力提升，獲得了較高的評價分?jǐn)?shù)。同時實驗統(tǒng)計了編解碼模型在前向的耗時，編碼前向平均每幀平均耗時200 ms，解碼前向每幀平均耗時40 ms。

除了在權(quán)威的COCO 數(shù)據(jù)集上進(jìn)行模型驗證實驗之外，本文還自建船舶描述數(shù)據(jù)集，將船舶在海上航行的情況進(jìn)行描述，為情報生成打下基礎(chǔ)。如圖5 所示，給出帶有船舶的圖片，可以自動輸出語句來描述出其船舶明顯的主體顏色及其在海上航行或岸邊?？康葍?nèi)容，并且語句的表述能夠合乎語法規(guī)則。

圖5 自動生成船舶圖像描述Fig. 5 Automatic generation of ship image descriptions

表1 超參數(shù)設(shè)置Tab. 1 Hyperparameter setting

表2 不同注意力機(jī)制的算法比較Tab. 2 Comparison of algorithms with different attention mechanisms

表3 疊加不同模塊的效果Tab. 3 Effect of adding different modules

4 結(jié)語

本文深入研究了圖像描述生成方案，提出了基于多空間混合注意力的圖像描述生成模型，并將該方法應(yīng)用于船舶圖像上，以填補近海船舶監(jiān)測系統(tǒng)的情報生成的缺失。但是該模型還是有局限性，比如句子的長度是被限制在16 個單詞，所以對于語義內(nèi)容多的圖片可能無法進(jìn)行有效的描述。值得一提的優(yōu)化方法有增大語料庫來提高生成句子的豐富性，這種方式是最直接有效的提升指標(biāo)，但是工作量較大。