曹渝昆，魏健強(qiáng)，孫 濤，徐 越

（上海電力大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 201306）

0 概述

圖像描述是指通過分析輸入圖像來生成恰當(dāng)?shù)年P(guān)于圖像內(nèi)容的文字描述［1］，可應(yīng)用于圖像檢索、機(jī)器人問答、兒童輔助教育、導(dǎo)盲等多個(gè)領(lǐng)域，對(duì)圖像描述進(jìn)行研究具有重要的現(xiàn)實(shí)意義［2］。

目前，主流圖像描述框架以基于深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［3］和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［4］為主。RNN 一般由LSTM（Long-Short Term Memory）單元構(gòu)成，由于其使用sigmoid 等飽和激活函數(shù)，使得網(wǎng)絡(luò)在訓(xùn)練過程中收斂較慢，并存在層間梯度消失等問題，導(dǎo)致無法使用LSTM 單元構(gòu)建一個(gè)深層網(wǎng)絡(luò)模型。因此，由上述單元構(gòu)成的模型性能有限，生成的描述語句缺乏豐富性與連貫性，需要構(gòu)建一個(gè)深層次的解碼端網(wǎng)絡(luò)，使用正確的模型訓(xùn)練和優(yōu)化方法，使得語言生成模型具有更好的擬合能力與訓(xùn)練效果。

本文提出一種深度圖像描述模型Deep-NIC。在Deep-NIC 中，編碼端由inception V3［5］提取圖像特征，解碼端由7 層解碼單元構(gòu)成，每個(gè)解碼單元包含IndRNN 層［6］和BN 層［7］。通過IndRNN 來有效避免層間梯度消失問題，利用BN 方法提升訓(xùn)練效率同時(shí)避免過擬合問題，在此基礎(chǔ)上，構(gòu)建深層解碼端來提升模型的擬合效果。

1 相關(guān)工作

圖像描述是一個(gè)綜合性任務(wù)，涉及計(jì)算機(jī)視覺與自然語言處理兩大方面，近年來受到國內(nèi)外眾多研究人員的關(guān)注。圖像描述在提出初期，主要依靠固定模板：首先利用有效的算子提取圖像特征；然后通過機(jī)器學(xué)習(xí)中的分類算法進(jìn)行分類，從而得到圖像中可能存在的目標(biāo)；最后使用得到的目標(biāo)及相關(guān)屬性，結(jié)合條件隨機(jī)場（CRF）或者特定的規(guī)則來生成圖像描述。文獻(xiàn)［8-9］等都是利用上述方法進(jìn)行圖像描述，但是，這種基于固定模板的方法存在很大局限性，原因是這種方法在很大程度上依賴于圖像特征的提取和生成句子時(shí)的規(guī)則。

現(xiàn)階段的主流模型基本采用編碼-解碼（encoderdecoder）框架來完成圖像描述。將機(jī)器翻譯中提取文字特征的RNN 部分替換為CNN 的相關(guān)深度模型，如Inception Net、VGGNet等，而在解碼端，使用RNN 接受CNN 網(wǎng)絡(luò)提取出的特征向量，其中，RNN 可以使用LSTM、GRU 等代替，這樣可以獲得更好的記憶效果。

谷歌公司在文獻(xiàn)［10］中首先提出基于編碼-解碼框架的圖像描述模型，隨后的圖像描述模型幾乎都沿用了這個(gè)基本框架，并在此基礎(chǔ)上對(duì)編碼端和解碼端進(jìn)行改進(jìn)。

在編碼端，圖像特征的提取效果直接影響所生成文字序列的質(zhì)量，進(jìn)而影響整個(gè)圖像描述模型所生成語言的效果?；€模型NIC 采用谷歌的inception V3［5］提取圖像高級(jí)特征，文獻(xiàn)［11］采用VGG16 作為圖像編碼器提取圖像的低級(jí)局部特征，并在訓(xùn)練過程中加入attention 結(jié)構(gòu)，使得提取出來的多個(gè)低級(jí)局部特征在生成語言時(shí)和指定單詞進(jìn)行權(quán)重匹配，進(jìn)而提升整個(gè)模型的描述效果。

解碼端主要生成語言序列，其決定了語言表達(dá)的準(zhǔn)確性。在獲取圖像特征后，利用圖像的特征向量生成符合人類表述方式的語言將成為整個(gè)任務(wù)的關(guān)鍵部分。深度神經(jīng)網(wǎng)絡(luò)在目標(biāo)識(shí)別［12］、圖像分類［13］等任務(wù)中效果良好，但隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)訓(xùn)練效果降低［14］，即準(zhǔn)確率增長速度會(huì)趨于飽和并出現(xiàn)下降［15］，HE 等［16］提出的殘差網(wǎng)絡(luò)（Residual Learning Network，ResNet）有效地解決了網(wǎng)絡(luò)退化問題。但是，在實(shí)驗(yàn)分析中發(fā)現(xiàn)，上述研究仍有不足，如LSTM 面對(duì)長序列時(shí)收斂速度較慢，此外，由于深層模型層間梯度消失問題嚴(yán)重，導(dǎo)致無法多層疊加，使得所生成的句子描述效果欠佳。

隨著對(duì)抗學(xué)習(xí)以及強(qiáng)化學(xué)習(xí)方法的逐漸普及，圖像描述領(lǐng)域也誕生出一些新的模型訓(xùn)練方法。文獻(xiàn)［17］使用對(duì)抗學(xué)習(xí)的思想，使得圖像和描述內(nèi)容之間關(guān)聯(lián)更加密切。文獻(xiàn)［18］提出一種強(qiáng)化學(xué)習(xí)訓(xùn)練策略，提升了模型的訓(xùn)練效果。此外，新的圖像描述模型評(píng)測方法的提出也對(duì)該領(lǐng)域的發(fā)展起到重要作用。文獻(xiàn)［19］提出新的度量指標(biāo)，為評(píng)測描述語言多樣性方面作出了貢獻(xiàn)。文獻(xiàn)［20］通過加入噪聲的方式來檢測圖像描述系統(tǒng)的魯棒性。

2 技術(shù)描述

本文提出一種Deep-NIC 模型，該模型是在基線模型NIC 上的改進(jìn)。在編碼端使用inception V3 模型獲取圖像的高級(jí)特征；在解碼端采用7 層解碼單元構(gòu)成深層解碼端（Deep Decoder），解碼單元由IndRNN 層和BN 層構(gòu)建；詞嵌入使用word2vec。圖1 所示為Deep-NIC 模型整體結(jié)構(gòu)。

圖1 Deep-NIC 模型結(jié)構(gòu)Fig.1 Deep-NIC model structure

2.1 圖像特征提取模型

inception V3 是一款圖像識(shí)別模型，其主要使用多個(gè)不同尺度大小的卷積核和池化層進(jìn)行深層疊加，從而達(dá)到提取圖像高級(jí)特征的目的。相較于上一代inception 模型，inception V3 采用多個(gè)小卷積核代替單個(gè)大卷積核，大幅減少了卷積運(yùn)算的特征數(shù)量。同時(shí)，inception V3 將對(duì)應(yīng)尺度的卷積操作和池化操作堆疊到一起，在增加網(wǎng)絡(luò)寬度的同時(shí)也提升了網(wǎng)絡(luò)對(duì)圖片尺度的適應(yīng)性。

本文采用預(yù)訓(xùn)練好的inception V3 模型作為圖片編碼器，將輸入的圖片編碼為512 維的特征向量，再輸入后續(xù)的語言生成模型中進(jìn)行解碼。

2.2 深層次語言生成模型

深層次網(wǎng)絡(luò)具有更好的擬合效果，但是，僅僅簡單地疊加網(wǎng)絡(luò)層數(shù)會(huì)因網(wǎng)絡(luò)難以訓(xùn)練而無法收斂。同時(shí)，隨著網(wǎng)絡(luò)深度的疊加，收斂過慢、過擬合等問題突顯，因此，需要一種合理的深層網(wǎng)絡(luò)結(jié)構(gòu)。本文采用IndRNN 作為整個(gè)深層解碼端的基礎(chǔ)計(jì)算單元，結(jié)合BN 方法共同構(gòu)建一個(gè)高效的深層神經(jīng)網(wǎng)絡(luò)。

2.2.1 獨(dú)立循環(huán)神經(jīng)網(wǎng)絡(luò)

獨(dú)立循環(huán)神經(jīng)網(wǎng)絡(luò)（IndRNN）是對(duì)RNN 的一種改進(jìn)，其采用哈達(dá)瑪積替代傳統(tǒng)的矩陣乘法，使用非飽和激活函數(shù)ReLU 替代sigmoid 等飽和激活函數(shù)，因此，IndRNN 在處理長序列任務(wù)和面對(duì)層間梯度消失問題時(shí)具有良好表現(xiàn)。IndRNN 的計(jì)算公式表示為：

第n個(gè)神經(jīng)元的計(jì)算方式為：

和傳統(tǒng)RNN 以及LSTM 相比，IndRNN 在權(quán)重系數(shù)的計(jì)算方面做了調(diào)整，將權(quán)重矩陣U替換為獨(dú)立的權(quán)重向量u。在式（1）中，⊙表示矩陣元素積。在t時(shí)刻，每個(gè)神經(jīng)元只接受此刻的輸入以及t?1 時(shí)刻自身的狀態(tài)作為輸入。

IndRNN 中的每個(gè)神經(jīng)元都可以獨(dú)立地處理自身的輸出，不再受上一時(shí)刻其他神經(jīng)元的影響，因此，在面對(duì)更長的時(shí)間序列時(shí)，也不會(huì)出現(xiàn)模型難以收斂的問題。此外，非飽和激活函數(shù)能夠避免深層網(wǎng)絡(luò)的層間梯度消失問題，使得IndRNN 單元可以有效構(gòu)建深層次的網(wǎng)絡(luò)結(jié)構(gòu)。

2.2.2 批標(biāo)準(zhǔn)化

批標(biāo)準(zhǔn)化（BN）常用于優(yōu)化深度神經(jīng)網(wǎng)絡(luò)，其在提升訓(xùn)練速度的同時(shí)也在一定程度上放寬了對(duì)調(diào)參的要求。此外，BN 還可以起到類似于dropout 一樣的正則化效果，防止模型過擬合。BN 操作流程具體如下：

1）批次均值（m為批次大?。?/p>

2）批次方差：

3）歸一化：

4）縮放和平移：

在訓(xùn)練過程中，BN 處理每一個(gè)mini-batch 數(shù)據(jù)，使之服從N（0，1）的正態(tài)分布，從而減少內(nèi)部神經(jīng)元分布的改變。BN 結(jié)構(gòu)如圖2 所示。

圖2 BN 結(jié)構(gòu)Fig.2 BN structure

在傳統(tǒng)訓(xùn)練方法中，每個(gè)批次的數(shù)據(jù)分布不盡相同，因此，訓(xùn)練難度較高，通常通過減小學(xué)習(xí)率的方式使模型收斂，這會(huì)導(dǎo)致模型的訓(xùn)練效果在極大程度上受制于學(xué)習(xí)率。此外，過小的學(xué)習(xí)率還會(huì)導(dǎo)致模型收斂過慢、訓(xùn)練效率低下。在BN 中，一方面可以選用較大的學(xué)習(xí)率來加快模型收斂并提升訓(xùn)練效率，另一方面可以起到正則化作用，從而取消dropout并簡化網(wǎng)絡(luò)結(jié)構(gòu)。

2.2.3 解碼單元

為了構(gòu)建一個(gè)深層、有良好收斂效果的解碼端結(jié)構(gòu)，本文模型使用IndRNN 與BN 來構(gòu)建深層網(wǎng)絡(luò)結(jié)構(gòu)解碼單元。在IndRNN 單元中，神經(jīng)元之間的相互連接依賴層間交互來完成，下一層的神將元會(huì)接受上一層所有神經(jīng)元的輸出作為輸入（相當(dāng)于全連接層），并使用BN 層來起到加速網(wǎng)絡(luò)收斂、防止網(wǎng)絡(luò)過擬合等效果。

數(shù)據(jù)在IndRNN多層結(jié)構(gòu)之間的傳遞通過如下方式：

因此，IndRNN 可構(gòu)建深層結(jié)構(gòu)。

此外，通過在每層循環(huán)神經(jīng)元之后連接BN 層，從而“規(guī)范化”神經(jīng)元的輸出，起到優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的作用。因此，本文采用IndRNN+BN 的方式構(gòu)建解碼單元。

在每個(gè)解碼單元中，第一層由512 個(gè)IndRNN 單元構(gòu)成，第二層是BN 層，兩層之間采用全連接方式，且BN 層的輸出為512 維向量。深層解碼端由7 層解碼單元構(gòu)成，每層解碼單元都將數(shù)據(jù)進(jìn)行規(guī)范化后傳入下一層解碼單元。深層解碼端的具體結(jié)構(gòu)如圖3 所示。

圖3 深層解碼端模型結(jié)構(gòu)Fig.3 Deep decoder model structure

2.2.4 詞編碼

詞編碼部分使用woed2vec 進(jìn)行映射，使用MS COCO2014 數(shù)據(jù)集中的圖像描述語句對(duì)其實(shí)現(xiàn)預(yù)訓(xùn)練。

3 實(shí)驗(yàn)驗(yàn)證

本節(jié)首先通過加法實(shí)驗(yàn)對(duì)IndRNN 與常用循環(huán)神經(jīng)元進(jìn)行性能對(duì)比，以驗(yàn)證IndRNN 在面對(duì)長序列、深層次網(wǎng)絡(luò)時(shí)的性能表現(xiàn)；然后分別使用IndRNN、LSTM和GRU 單元搭建不同結(jié)構(gòu)的解碼端，在完成整個(gè)圖像描述模型的訓(xùn)練后，使用BLEU、METEOR、CIDER 等評(píng)分標(biāo)準(zhǔn)進(jìn)行比較；最后使用本文解碼單元構(gòu)成深層解碼端，并結(jié)合編碼端共同構(gòu)建圖像描述模型，通過深度消融實(shí)驗(yàn)，選擇效果最優(yōu)的解碼端網(wǎng)絡(luò)深度（7 層），驗(yàn)證具有深層解碼端的圖像描述模型在訓(xùn)練效率和整體評(píng)分方面的性能表現(xiàn)。

3.1 神經(jīng)元性能對(duì)比

實(shí)驗(yàn)通過加法問題［21］將IndRNN 單元與常用循環(huán)神經(jīng)元RNN、LSTM 進(jìn)行性能對(duì)比。在加法任務(wù)中，向模型輸入2 個(gè)長度為T的序列，第一個(gè)序列是一串在（0，1）之間均勻采樣的數(shù)字，第二個(gè)序列是一串同等長度、其中只有2 個(gè)數(shù)字為1 而其余為0 的數(shù)字，要求找到第一個(gè)序列中對(duì)應(yīng)第二個(gè)序列中為1的2 個(gè)數(shù)字的位置，并將第一個(gè)序列對(duì)應(yīng)位置上的數(shù)字求和輸出。

在此次實(shí)驗(yàn)中，分別采用不同的網(wǎng)絡(luò)單元，將IndRNN、LSTM、RNN 進(jìn)行對(duì)比（GRU 和LSTM 效果相近，沒有展示）。損失函數(shù)使用MSE（Mean Square Error），優(yōu)化器采用Adam，時(shí)間序列長度分別使用T=100、T=500 的步長，IndRNN、LSTM、RNN 的具體收斂效果如圖4 所示。

圖4 神經(jīng)元在不同步長下的收斂效果Fig.4 Convergence effect of neurons under different step size

從圖4 可以看出，在面對(duì)較長序列時(shí)，IndRNN單元具有更好的收斂效果。

采用序列步長為100，在RNN、LSTM 和IndRNN 網(wǎng)絡(luò)中對(duì)神經(jīng)元進(jìn)行簡單疊加，分別疊加2 層、3 層、4 層、5 層，在加法任務(wù)中RNN、LSTM、IndRNN 的收斂情況如圖5 所示。

圖5 神經(jīng)元在不同層數(shù)下的收斂效果Fig.5 Convergence effect of neurons under different layers

從圖5 可以看出，當(dāng)網(wǎng)絡(luò)深度疊加到4 層時(shí)，較大的學(xué)習(xí)率（0.02）已經(jīng)無法使得模型收斂，因此，采用更小的學(xué)習(xí)率（0.000 2）訓(xùn)練模型。實(shí)驗(yàn)結(jié)果表明，IndRNN 單元在多層疊加時(shí)具有更好的性能表現(xiàn)，層間梯度消失導(dǎo)致的模型無法收斂程度降低。

3.2 深度消融實(shí)驗(yàn)

深度消融實(shí)驗(yàn)構(gòu)建完整的圖像描述模型，使用不同結(jié)構(gòu)的解碼端在MS COCO2014 數(shù)據(jù)集上進(jìn)行模型訓(xùn)練，通過BLEU、METEOR、CIDER 等評(píng)判指標(biāo)衡量模型效果。

3.2.1 基于IndRNN 的解碼端

利用不同神經(jīng)元構(gòu)建解碼端，采用簡單的全連接方式進(jìn)行層數(shù)疊加。對(duì)比神經(jīng)元有LSTM、GRU、IndRNN 單元，結(jié)果如表1 所示，最優(yōu)結(jié)果加粗表示。

表1 基于不同神經(jīng)元結(jié)構(gòu)的模型對(duì)比結(jié)果Table 1 Comparison results of models based on different neuron structures

LSTM 和GRU 的多層疊加會(huì)導(dǎo)致模型難以訓(xùn)練，因此，本次實(shí)驗(yàn)僅取2 層參與對(duì)比。由于IndRNN 層間梯度消失現(xiàn)象較輕，因此，設(shè)計(jì)更多層次的實(shí)驗(yàn)。由表1 可以看出，IndRNN 單元在3 層結(jié)構(gòu)時(shí)具有最佳性能，更多層結(jié)構(gòu)時(shí)反而效果不佳，這是由于在多層結(jié)構(gòu)中，隨著網(wǎng)絡(luò)層數(shù)的堆積，學(xué)習(xí)率的初值設(shè)定需不斷減小，過小的學(xué)習(xí)率使得網(wǎng)絡(luò)收斂速度變得極為緩慢，而稍大的學(xué)習(xí)率則會(huì)導(dǎo)致模型收斂不佳。

3.2.2 深層解碼端的深度消融實(shí)驗(yàn)

在本次實(shí)驗(yàn)中，使用解碼單元搭建不同深度的解碼端結(jié)構(gòu)，并參與圖像描述模型的訓(xùn)練，最后進(jìn)行模型效果評(píng)分，結(jié)果如表2 所示，最優(yōu)結(jié)果加粗表示。

表2 不同深度解碼端的模型效果對(duì)比Table 2 Comparison of model effects with different depth decoders

由表2 可以看出：當(dāng)解碼單元疊加至7 層（即深度為7 層的解碼端）時(shí)，模型整體評(píng)分已取得最佳（8 層的評(píng)分效果與7 層相差無幾，但層數(shù)的提升會(huì)導(dǎo)致模型訓(xùn)練復(fù)雜度提升），因此，本文最終選定深度為7 層的解碼單元構(gòu)成深層解碼端。此外，由于解碼單元中BN 層的加入，即使在整個(gè)模型的訓(xùn)練過程中采用0.2 的學(xué)習(xí)率（雙層LSTM 模型學(xué)習(xí)率為0.000 2 時(shí)方可收斂），模型依然能夠高效收斂。

3.3 深層圖像描述模型

在本次實(shí)驗(yàn)中，詞編碼部分使用預(yù)訓(xùn)練好的word2vec 模型，詞向量映射大小為256 維，解碼端由深層解碼端（7 層解碼單元）構(gòu)成，利用端到端的方式進(jìn)行訓(xùn)練，最終得到深層圖像描述模型Deep-NIC，并將Deep-NIC 與其他5 種模型進(jìn)行比較，性能對(duì)比結(jié)果如表3 所示，最優(yōu)結(jié)果加粗表示。

表3 不同解碼端結(jié)構(gòu)的模型對(duì)比結(jié)果Table 3 Model comparison results with different decoder structures

Deep-NIC 模型通過word2vec 進(jìn)行詞編碼，該編碼方式在生成詞向量的同時(shí)會(huì)顧及單詞的上下文信息，因此，向量包含的信息會(huì)更豐富。然而，在單個(gè)詞語的表征方面，不包含上下文信息的one-hot 編碼方式更具優(yōu)勢，因此，Deep-NIC 模型在BLEU-1（單個(gè)詞評(píng)價(jià)）的評(píng)分上稍有不佳，而在BLEU-4、METEOR、CIDER 評(píng)判指標(biāo)下表現(xiàn)較好。

3.4 Deep-NIC 模型應(yīng)用

本次實(shí)驗(yàn)通過實(shí)例展示Deep-NIC 模型的描述效果，并分析其執(zhí)行效率。

3.4.1 描述效果

分別使用3 張照片作為Deep-NIC 模型的輸入，觀察該模型在實(shí)際應(yīng)用中的描述效果，如圖6 所示。由圖6 可以看出，Deep-NIC 模型可以準(zhǔn)確識(shí)別圖片中的主要目標(biāo)，并能夠用恰當(dāng)?shù)恼Z言對(duì)圖片內(nèi)容進(jìn)行描述。

圖6 Deep-NIC 模型在不同場景下的應(yīng)用效果Fig.6 Application effect of Deep-NIC model in different scenarios

3.4.2 模型執(zhí)行效率

除了要求對(duì)圖片內(nèi)容進(jìn)行準(zhǔn)確描述外，執(zhí)行效率也是考量圖像描述模型應(yīng)用性能的標(biāo)準(zhǔn)之一。分別選取100 張像素大小為1M 以下、1M～5M、5M～10M 的實(shí)景照片進(jìn)行測試，分別統(tǒng)計(jì)Deep-NIC 模型和基線模型生成描述所需時(shí)間，結(jié)果如表4 所示。

表4 不同模型的時(shí)間消耗對(duì)比Table 4 Comparison of time consumption of different models s

從表4 可以看出，隨著模型復(fù)雜度的提升，Deep-NIC 在描述準(zhǔn)確度提升的同時(shí)生成描述語言所消耗的時(shí)間也會(huì)增加，但和基線模型相比，由于Deep-NIC 特殊的深度結(jié)構(gòu)，即使具有高達(dá)7 層的復(fù)雜解碼結(jié)構(gòu)，其時(shí)間消耗也在可接受范圍之內(nèi)。

4 結(jié)束語

本文提出一種深層圖像描述模型Deep-NIC。由IndRNN 單元和BN 層構(gòu)成解碼單元，解碼單元能夠使得解碼端多層疊加，網(wǎng)絡(luò)也更加易于訓(xùn)練，同時(shí)防止了過擬合問題的出現(xiàn)。Deep-NIC 模型的解碼端由7 層解碼單元構(gòu)成，詞編碼部分使用預(yù)訓(xùn)練的word2vec。實(shí)驗(yàn)結(jié)果表明，與基線模型相比，Deep-NIC 模型的BLEU-4、METEOR、CIDER 評(píng)分均有提升。Deep-NIC 模型中采用詞嵌入的方式，導(dǎo)致其整體性能提升幅度不大，下一步將對(duì)詞嵌入方式進(jìn)行改進(jìn)，以構(gòu)建效果更優(yōu)的圖像描述模型。