余海波,陳金廣

1(西安工程大學(xué) 計算機科學(xué)學(xué)院,西安 710600)

2(河南省電子商務(wù)大數(shù)據(jù)處理與分析重點實驗室,洛陽 471934)

圖像描述涉及了計算機視覺和自然語言處理兩部分的內(nèi)容,它是利用模型把一張圖片轉(zhuǎn)化成與之對應(yīng)的自然語言描述.圖像描述在多個領(lǐng)域都具有重要的作用,例如導(dǎo)盲、自動生成圖片標(biāo)簽等,這不僅方便了人們的生活,也為大數(shù)據(jù)時代隨之而來的海量圖片標(biāo)注減少了大量的人力.

圖像描述生成[1]主要經(jīng)歷了3 個發(fā)展階段:基于模板的圖像描述生成[2-4],該方法通過檢測得到物體及物體屬性之間的關(guān)系,之后將單詞填入固定的句子模板,但該模型過于死板;基于檢索的圖像描述生成[5],該方法先檢索與當(dāng)前圖像相似的圖像作為模板,在檢索圖像關(guān)系前需要調(diào)整,這個步驟增加了算法的復(fù)雜度;基于深度學(xué)習(xí)的圖像描述生成[6,7],通過構(gòu)建編碼器-解碼器框架,采用端到端的方法對模型進行訓(xùn)練.相對前兩種方法,后者在圖像描述的準(zhǔn)確性上有較大的提升.Vinyals 等提出NIC (Neural Image Caption)模型[8],其思路來源于機器翻譯通過最大化源語言S轉(zhuǎn)化成目標(biāo)語言T的概率p(T/S),將第一個循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)替換成卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[9],用于提取圖片的特征.Xu 等[10]在NIC 模型的基礎(chǔ)上引入注意力機制,提取圖片的重要信息,提升了模型的準(zhǔn)確率.大多數(shù)的視覺注意力機制只建?？臻g注意力機制(spatial attention).Chen 等提出了SCA-CNN 模型[11],該模型同時建模空間注意力機制和通道注意力機制(channel-wise attention),較大的提升了模型的性能,但該模型不夠輕便、靈活.Woo 等在SCA-CNN的基礎(chǔ)上提出了一種輕量級通用卷積塊注意力機制模塊(Convolutional Block Attention Module,CBAM)[12].該注意力機制結(jié)合空間注意力機制和通道注意力機制,并且兩種注意力機制都使用平均池化和最大池化技術(shù),使模型的效果更好.

考慮到注意力機制在圖像描述生成中的有效性,在文獻[12]的基礎(chǔ)上提出了一種基于CBAM的圖像描述生成模型.該模型將CBAM 模塊應(yīng)用到Inceptionv4[13]網(wǎng)絡(luò)中,用于提取圖片特征,并送入長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)[14],生成符合圖像內(nèi)容描述的自然語言.模型使用dropout和正則化技術(shù)防止過擬合,利用Word2Vec[15]技術(shù)對自然語言進行編碼處理,以避免維度災(zāi)難等問題.

1 模型架構(gòu)

1.1 Inception-v4 網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的核心技術(shù),目前性能接近的兩個網(wǎng)絡(luò)為Inception-v4和Inception-ResNetv2.本文選取Inception-v4 網(wǎng)絡(luò)作為基準(zhǔn)網(wǎng)絡(luò),結(jié)構(gòu)如圖1.

圖1 Inception-v4 網(wǎng)絡(luò)

Inception-v4 網(wǎng)絡(luò)與Inception-v3 網(wǎng)絡(luò)相比具有更多的Inception 模塊,可以彌補Inception-v3 網(wǎng)絡(luò)的缺點.在Inception 模塊和ResNet 模塊不混合的情況下,Inception-v4 網(wǎng)絡(luò)達(dá)到了較好的性能.針對數(shù)據(jù)集中圖片大小不一致的問題,首先對圖片的尺寸進行規(guī)范化,規(guī)范化后圖片的大小為299×299.在Stem 模塊中使用并行結(jié)構(gòu),在保證損失最小的情況下,使得模型計算量最小.網(wǎng)絡(luò)中使用4 層Inception-A、7 層Inception-B和3 層Inception-C 結(jié)構(gòu),使得網(wǎng)絡(luò)結(jié)構(gòu)加深,分別在最后一個Inception-A和Inception-B 模塊后面添加Reduction 模塊,用來降低計算量,從而降低模型的復(fù)雜度.為了降低特征維度,更好地提取圖像特征信息,加入平均池化模塊.引入dropout 模塊,防止模型在訓(xùn)練中過擬合,提升模型的泛化能力.

1.2 長短期記憶網(wǎng)絡(luò)

模型采用LSTM 網(wǎng)絡(luò)作為解碼器處理時序信息,生成對應(yīng)圖片的描述語句.LSTM 能夠在一定程度上解決梯度消失和難以捕捉遠(yuǎn)距離時間信號的問題.LSTM 網(wǎng)絡(luò)主要包括了4 個模塊,分別是遺忘門(ft)、輸入門(it)、輸出門(Ot)和細(xì)胞狀態(tài)(Ct),如圖2所示.從細(xì)胞狀態(tài)Ct-1到Ct的信息傳輸線中完成了Ct的更新.遺忘門、輸入門和輸出門用Sigmoid 層表示,tanh層分別表示細(xì)胞狀態(tài)的輸入與輸出.LSTM 首先通過Sigmoid 層控制遺忘層,對上一時刻的輸出結(jié)果選擇性的通過.更新公式為:

圖2 LSTM 網(wǎng)絡(luò)

其中,σ表示Sigmoid 函數(shù),ht-1表示上一個LSTM的輸出,xt表示此刻LSTM的信息輸入,Wf為權(quán)重矩陣,bf是偏置向量,[ht-1,xt]表示兩個矩陣的拼接.

接下來決定在細(xì)胞中保存哪些重要信息,包括兩部分,一部分是通過it更新數(shù)值,另一部分是通過tanh層得到新的候選值.給上一時刻的狀態(tài)乘ft,遺忘掉之前不重要的信息,再用it×t加上前者得到Ct.公式如下:

其中,Wi表示權(quán)重矩陣,bi表示偏置向量,表示細(xì)胞狀態(tài)的候選值向量.

最后一步先計算得到Ot,然后使用tanh 函數(shù)對細(xì)胞狀態(tài)Ct進行處理,乘上Ot的值得到LSTM 單元的輸出ht.公式如下所示:

其中,Wo表示權(quán)重矩陣,bo表示偏置向量.

1.3 CBAM 模塊

為了提高模型提取圖像特征的準(zhǔn)確性,在Inceptionv4 網(wǎng)絡(luò)的基礎(chǔ)上加入CBAM 模塊,從空間注意力機制和通道注意力機制兩方面獲取圖像更多的關(guān)鍵信息.與文獻[11]中的SCA-CNN 模型相比,CBAM 模塊可移植性強,輕便靈活,CBAM 模塊如圖3所示.

圖3 CBAM 結(jié)構(gòu)

CBAM 模塊包括兩部分內(nèi)容,分別是空間注意力模塊和通道注意力模塊.CBAM的輸入是特征矩陣,首先經(jīng)過通道注意力機制生成新的特征矩陣,再和保留的特征矩陣進行卷積操作,所得矩陣作為空間注意力機制模型的輸入,通過空間注意力機制模塊的特征再和未通過的特征卷積,就得到了新的特征矩陣.在卷積網(wǎng)絡(luò)的每個卷積模塊上,通過CBAM 自適應(yīng)地調(diào)整特征矩陣.為了提高網(wǎng)絡(luò)的表示能力,在通道注意力機制模塊和空間注意力機制模塊中加入最大池化和平均池化操作.兩種注意力機制模塊分別如圖4和圖5所示.

圖4 通道注意力機制

圖5 空間注意力機制

對于輸入的特征F,分別經(jīng)過最大池化和平均池化,接著經(jīng)過共享多層感知器,將得到的兩個特征相加,再經(jīng)過Sigmoid 函數(shù),最終生成通道注意力特征映射Mc,公式如下:

式中,σ表示Sigmoid 函數(shù),MLP表示共享多層感知器,AvgPool表示平均池化,MaxPool表示最大池化.W0和W1都表示權(quán)重矩陣,r表示縮減率.首先使用平均池化和最大池化聚合通道特征信息,生成和,分別表示平均池化特征和最大池化特征.然后轉(zhuǎn)發(fā)到由多層感知器構(gòu)成的共享網(wǎng)絡(luò)中,生成注意力特征映射Mc.

將通道注意力特征和輸入特征進行一個基于對應(yīng)元素逐個相乘的乘法操作,生成空間注意力機制的輸入特征F,對于輸入的特征F,分別經(jīng)過最大池化和平均池化操作,然后進行卷積操作,通過Sigmoid 函數(shù)生成空間注意力特征.公式如下:

式中,f7×7表示7×7的卷積核.利用平均池化和最大池化操作,聚合空間信息,生成平均池化特征和最大池化特征.空間注意力機制集中于圖片中某個感興趣區(qū)域,彌補通道注意力機制的不足.

1.4 模型框架

本文模型采用編碼器-解碼器(encoder-decoder)框架.編碼器部分選用Inception-v4 網(wǎng)絡(luò)作為特征提取的基準(zhǔn)網(wǎng)絡(luò).解碼器部分選取LSTM 網(wǎng)絡(luò),該網(wǎng)絡(luò)能夠較好的處理序列類型的結(jié)構(gòu)數(shù)據(jù),解決梯度消失等問題.通過將CBAM 融入Inception-v4 網(wǎng)絡(luò)提取圖像特征,并和LSTM 網(wǎng)絡(luò)共同構(gòu)建圖像描述模型,生成與圖像對應(yīng)的自然語言描述.通過最大化p(T/S)完成圖片T到目標(biāo)句子S的轉(zhuǎn)化任務(wù).模型框架如圖6所示.輸入圖像經(jīng)過預(yù)處理之后尺寸大小為299×299,并作為模型的輸入.在Inception-v4 網(wǎng)絡(luò)中加入CBAM 注意力機制作為模型提取圖片特征的網(wǎng)絡(luò),分別在每個Inception-A、Inception-B、Inception-C 模塊后面加入CBAM,共加入14 個CBAM 模塊.改變Inception-v4的原有結(jié)構(gòu),去掉Softmax 層,在最底層加入全連接層,目的是將1536 維特征向量轉(zhuǎn)化為512 維,便于圖片特征向量與詞向量映射到同一向量空間.同時,為了避免維度災(zāi)難問題,對標(biāo)注語句S用Word2Vec 進行編碼,將編碼后的矩陣We與上一時刻LSTM 單元生成的單詞St-1相乘,并將乘積送入此刻LSTM 單元,按時序逐步得到與目標(biāo)圖片內(nèi)容相符的句子S.使用Adam 優(yōu)化模型,使模型概率之和達(dá)到最優(yōu).模型使用LSTM 作為解碼模塊,可以較好的處理時序問題,提升整體模型的準(zhǔn)確性.

圖6 模型框架

對于圖像描述生成模型,模型中所有參數(shù)訓(xùn)練更新可以概括如下:

其中,θ代表模型的所有參數(shù),I為輸入的訓(xùn)練集圖片,S是模型生成的相應(yīng)圖片的描述語句.S的長度可以用S0,S1,…,SN表示,N表示生成語句的長度.

LSTM 網(wǎng)絡(luò)按照時間序列處理數(shù)據(jù),每個時刻生成一個單詞,選取概率最大的單詞加入句子,逐步生成對應(yīng)的描述語句.生成句子概率公式如下:

使用隨機梯度下降算法對式(9)進行優(yōu)化.用固定長度的隱藏層狀態(tài)ht表示S0,S1,…,SN,當(dāng)輸入xt時,ht可以按照如下公式進行更新:

其中,f是一個函數(shù),為了更好地解決問題,選取LSTM網(wǎng)絡(luò)作為f.

2 實驗過程

2.1 實驗環(huán)境

采用微軟MSCOCO 2014 版本的數(shù)據(jù)集.該數(shù)據(jù)集實際共有80 類,例如Bottle、Sofa、Car 類等,包括訓(xùn)練集、驗證集和測試集,分別放在train2014、val2014和test2014 文件夾中,其中訓(xùn)練集共有82 783 張圖片,驗證集有40 504 張,測試集有40 775 張,每張圖片共有5 句標(biāo)注,并分別存放在相應(yīng)的JSON 文件中.模型訓(xùn)練過程中并沒有沿用劃分測試集加入訓(xùn)練集的重新構(gòu)造的方式,而是把原訓(xùn)練集所有類型的所有圖片全部用于訓(xùn)練整個模型,驗證集所有類型的所有圖片全部用于模型評價準(zhǔn)則的評估.測試集可以選取少部分驗證模型的有效性.該數(shù)據(jù)集能夠較好地完成圖像描述生成模型的實驗.采用Tensorflow 框架,使用GPU (TITAN XP)進行訓(xùn)練.

2.2 評價指標(biāo)

實驗采用Bleu-1[16]、Bleu-4[16]、METEOR[17]和CIDEr[18]作為模型的評價指標(biāo).Bleu 主要是用來測試兩個句子之間的相似程度,最初,Bleu 通過一個句子出現(xiàn)在另一個句子中單詞的數(shù)量來判定兩個句子的相似度,之后,經(jīng)過幾次不斷的改進,引入懲罰值和最佳匹配長度計算語句之間的精度.METEOR 測試精度主要是考慮準(zhǔn)確率和召回率,它的出現(xiàn)是為了彌補Bleu中的不足.Bleu和向量空間模型結(jié)合產(chǎn)生了CIDEr,可以用來評價圖像描述生成模型是否提取到圖片的關(guān)鍵信息.

2.3 實驗設(shè)置

本文模型對不同參數(shù)設(shè)置了兩個實驗,分別稱為Model1和Model2.Model1 首先對標(biāo)注語句進行處理,限定句子的長度為20,不足的位置補0.語句開始標(biāo)志為＜S＞,結(jié)束標(biāo)志為＜/S＞.設(shè)置batch_size=27,LSTM 隨機失活因子lstm_dropout_keep_prob=0.5,Inception-v4模型參數(shù)的學(xué)習(xí)率train_inception_learn_rate=0.0003,梯度裁剪clip_gradients=5.模型訓(xùn)練時設(shè)置迭代次數(shù)為60 萬步.初始化learn_rate 值為2,使用tf.train.exponential_decay(其為Tensorflow中的方法)創(chuàng)建訓(xùn)練步數(shù)衰減的學(xué)習(xí)速率,設(shè)置staircase為true,表示階梯衰減,如圖7所示.使用集束搜索(beamsearch)方法逐步生成描述語句,每個時間序列保留概率p最大的幾個句子,迭代操作這個步驟,將beam 大小設(shè)置為3.初始化后圖像尺寸為299×299,長短期記憶網(wǎng)絡(luò)輸入輸出均為512 維.將詞匯字典尺寸大小設(shè)置為12 000,將頻率出現(xiàn)4 次以上的單詞存入詞匯表.利用Adam 計算并得到頻率最高的單詞.

圖7 Model1 學(xué)習(xí)率衰減

由圖7可以看出,學(xué)習(xí)率在450 k 步的時候受超參數(shù)設(shè)置影響而趨于穩(wěn)定,考慮到這些超參數(shù)影響因子的問題,重新設(shè)置了個別超參數(shù)的值并進行實驗,稱為Model2.設(shè)置batch_size=32,向上調(diào)整每次批處理數(shù)據(jù)的大小,對Inception-v4 模型參數(shù)的學(xué)習(xí)率重新設(shè)置,即train_inception_learn_rate=0.0005,將梯度裁剪clip_gradients 設(shè)置為8.Learn_rate的值仍然初始化為2,變化如圖8所示.其他超參數(shù)及方法不變.

由圖8可見,使超參數(shù)值都向上增加之后的模型Model2的學(xué)習(xí)率在900 k的時候趨于穩(wěn)定.說明Model1 過早擬合,Model2的學(xué)習(xí)結(jié)果較好.

圖8 Model2 學(xué)習(xí)率衰減

2.4 實驗辦法

Model1和Model2 均采用以下實驗方法:為了提高模型的準(zhǔn)確性和訓(xùn)練速度,預(yù)先加載在ImageNet 上預(yù)訓(xùn)練好的Inception-v4 網(wǎng)絡(luò)參數(shù)文件.訓(xùn)練集圖像初始化尺寸為299×299,并作為模型的輸入,經(jīng)過改進后特征提取網(wǎng)絡(luò)的各層之后,圖片特征為512 維.將圖像特征和采用Word2Vec 技術(shù)編碼的詞向量矩陣作為LSTM 網(wǎng)絡(luò)的輸入,每個時刻,LSTM 單元都會生成單詞.按照beamsearch 方法保留概率最大的3 個,逐步生成描述語句S.

3 實驗結(jié)果與分析

3.1 模型的損失率

Model1和Model2 均采用本文模型進行實驗,模型的損失細(xì)化為每個步驟產(chǎn)生的正確單詞的概率之和的負(fù)數(shù),公式如下所示:

其中,I表示輸入模型的訓(xùn)練集圖像,St為每個時刻生成的單詞,S表示圖片的標(biāo)注語句.

為了提高模型的準(zhǔn)確率,在Inception-v4 網(wǎng)絡(luò)中融合CBAM 注意力機制,更加精確地提取圖片重要部分的信息.使用Word2Vec 技術(shù)對標(biāo)注語句進行編碼,相對于one-hot 編碼而言,Word2Vec 可以指定維度,對特征矩陣進行壓縮,減少了特征矩陣的存儲空間,提升了模型的準(zhǔn)確性.圖9給出了Model1的損失圖,可以看出Model1的損失穩(wěn)定在2.2 左右.圖10給出了Model2的損失圖,可以看出,重新設(shè)置超參數(shù)之后的模型的損失穩(wěn)定在2 到2.1 之間,Model2 比Model1 損失更少,算法性能更好.為了更好的降低誤差,采用隨機梯度下降算法更新參數(shù),優(yōu)化模型.模型的損失度明顯呈下降趨勢,最終趨于穩(wěn)定.

圖9 Model1 損失率

圖10 Model2 損失率

3.2 模型的實驗效果

為了展示Model1和Model2的實驗效果,在驗證集中選取了4 張圖片,如圖11所示.Moedl1 在對圖11(a)生成的描述是:a row of motorcycles parked next to each other (一排并排停放著的摩托車),Model2對圖11(a)生成的描述是:A motorcycle parked in front of a garage(停在車庫前的摩托車),可以發(fā)現(xiàn)Model2的概率高于Model1,并且根據(jù)人工標(biāo)注 (a motorcycle parked in front of a building)和圖片本身內(nèi)容發(fā)現(xiàn)Model2 描述更加準(zhǔn)確.圖11(b)中,Model1 生成的描述語句是:A black and white dog sitting on a bench (一只黑白相間的狗坐在長凳上),Model2 生成的描述語句是:A dog sitting on a sidewalk next to a bike (一只狗坐在人行道上,旁邊是一輛自行車),人工標(biāo)注語句是:A dog sitting on a sidewalk next to a bicycle (一只狗坐在人行道上,旁邊是一輛自行車),可以看出Model2 比Model1 描述效果更好.圖11(c)中Model1的描述語句為:A baseball player holding a bat on top of a field (球場上棒球手拿著球棒),Model2和人工標(biāo)注語句是一致的:A baseball player swinging a bat at a ball (球場上揮擊棒球的運動員),結(jié)合圖片內(nèi)容,Model1、Model2和人工標(biāo)注均能準(zhǔn)確描述圖片內(nèi)容并且語句基本相同.圖11(d)中描述差異較大,Model1的描述是:A brown bear standing on top of a rock (一只熊站在巖石上),而圖片內(nèi)容中并沒有出現(xiàn)巖石,描述不準(zhǔn)確,Moedl2 (a brown bear standing on top of a grass covered field)和人工標(biāo)注(a brown bear is sitting in a field)均表達(dá)正確.綜合以上所訴,Model2 能夠很好地表達(dá)出圖片的屬性以及屬性之間的關(guān)系.

圖11 Model1、Model2和人工標(biāo)注

3.3 客觀評價準(zhǔn)則對比

為了進一步驗證Model1和Model2 兩個實驗的有效性,采用Bleu-1、Bleu-4、METEOR和CIDEr 這4 個評價準(zhǔn)則進行評估,并與Google NIC[8]、Multimodal RNN[19]、Hard-Attention[10]和SCA-CNN-ResNet[11]比較,結(jié)果如表1所示.

表1 模型評價準(zhǔn)則得分表

可以看出,Model2的性能明顯優(yōu)于其他模型.Model2 在Bleu-4的數(shù)值與SCA-CNN-ResNet 模型相同,在METEOR 上的分?jǐn)?shù)高出0.009.在CIDEr 上比Multimodel RNN 高0.266,該值說明了Model2 更好的提取到了圖像重要部分信息.Mdel2 在Bleu-1 上的分?jǐn)?shù)接近SCA-CNN-ResBet 模型,比Multimodal RNN高0.091.Model1的性能在四個評價指標(biāo)上略低于Model2,分別低于Model1 0.007、0.009、0.009和0.005,Model2的性能優(yōu)于Model1.從模型評價準(zhǔn)則得分表可以得出,Model2的綜合性能優(yōu)于其他模型.

4 結(jié)論與展望

模型采用Inception-v4 網(wǎng)絡(luò)作為基準(zhǔn)網(wǎng)絡(luò).為了進一步增強模型提取特征的能力,在每個Inception 模塊之后加入CBAM 模塊.CBAM是一個輕量級的模塊,它的計算量可以忽略不計,它可以嵌入到任何一個卷積神經(jīng)網(wǎng)絡(luò)中,提升卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性,更好地提取圖片重要信息.SCA-CNN 模型中空間注意力機制和通道注意力機制的應(yīng)用與CBAM 相比較為復(fù)雜.采用LSTM 網(wǎng)絡(luò)彌補循環(huán)神經(jīng)網(wǎng)絡(luò)的缺點,更好地處理遠(yuǎn)距離信號問題.在圖像的關(guān)鍵信息提取方面仍有很大的進步空間,需要進一步研究.