傅博文，唐向宏，肖 濤

杭州電子科技大學(xué) 通信工程學(xué)院，杭州 310018

1 引言

圖像情感分析旨在利用計(jì)算機(jī)和特定算法來(lái)預(yù)測(cè)人看到一幅圖像時(shí)產(chǎn)生的心理變化[1]。圖像情感分析和文本情感分析[2-3]等都屬于情感計(jì)算領(lǐng)域的重要研究分支，能夠從圖像情感分析研究中受益的包括社交媒體分析人員、多媒體供應(yīng)商（例如商業(yè)圖庫(kù)）等。分析人員可以利用用戶在社交媒體中上傳的圖像來(lái)進(jìn)行輿論分析或輿論預(yù)測(cè)等，商業(yè)圖庫(kù)則可以根據(jù)對(duì)圖庫(kù)的情感分析來(lái)對(duì)圖像進(jìn)行更加細(xì)致的分類。進(jìn)行圖像情感分析，首先需要選擇適當(dāng)?shù)男睦韺W(xué)模型來(lái)表現(xiàn)情感。在心理學(xué)研究中有兩種典型的表現(xiàn)情感的模型：情感狀態(tài)類別（Categorical Emotion States，CES）和情感維度空間（Dimensional Emotion Space，DES）[4]。CES方法認(rèn)為情感屬于少數(shù)幾個(gè)基本類別之一，如恐懼、滿足、悲傷等，而DES方法認(rèn)為情感在大腦中是連續(xù)的，因此將情感歸為多維情感空間中一個(gè)點(diǎn)。分類任務(wù)中的CES 更容易讓用戶理解和標(biāo)記，而在回歸任務(wù)中DES更靈活，描述更加細(xì)膩。此前研究多采用CES方法，將情緒分為在嚴(yán)格的心理學(xué)研究中定義的八個(gè)類別，包括負(fù)面情緒：憤怒、厭惡、恐懼、悲傷，積極情緒：愉悅、敬畏、滿足、興奮。本文將沿用CES 這一模型，將情感分為八個(gè)類別，便于和此前的研究進(jìn)行比較。

以往圖像情感分析的研究可以分為基于手工特征的方法和基于深度神經(jīng)網(wǎng)絡(luò)的方法。早期圖像情感分析使用了多種手工特征，手工特征方法的不足是模型容量較小，而且難以利用大規(guī)模數(shù)據(jù)集的優(yōu)勢(shì)。近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的發(fā)展已經(jīng)證明了自動(dòng)表示學(xué)習(xí)（Representation Learning）具有巨大的潛力[5-7]，因此，眾多學(xué)者將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像情感分析研究中，并取得了較好的效果。Chen等[8]直接使用在ImageNet數(shù)據(jù)集[9]上預(yù)訓(xùn)練過(guò)的原始AlexNet與AlexNet 疊加支持向量機(jī)模型來(lái)進(jìn)行情感圖像分類。Rao 等[10]認(rèn)為圖像在多個(gè)尺度上影響人的情緒，于是將整幅圖像均勻剪裁成4塊和16塊的子圖像，分別用三種不同的卷積神經(jīng)網(wǎng)絡(luò)（AlexNet[5]、A-CNN[11]、T-CNN[12]）提取高級(jí)語(yǔ)義特征、美學(xué)特征和紋理特征。將提取到的三種特征，通過(guò)平均聚合函數(shù)進(jìn)行聚合，再經(jīng)過(guò)softmax分類器進(jìn)行分類，提出了一種學(xué)習(xí)多層次深度表示（MldrNet）的圖像情感分類模型。

由于深度學(xué)習(xí)模型的訓(xùn)練往往需要大量的數(shù)據(jù)，基于神經(jīng)網(wǎng)絡(luò)的圖像情感分析研究必須先建立情感圖像數(shù)據(jù)集。目前，雖然人們已經(jīng)建立了基于互聯(lián)網(wǎng)圖像的大型圖像情感數(shù)據(jù)集，但是這些數(shù)據(jù)集中經(jīng)常存在一定的樣本不平衡問(wèn)題（即各類別樣本的數(shù)量差異較大）。這種樣本不平衡現(xiàn)象不僅會(huì)使得模型的訓(xùn)練容易出現(xiàn)一定程度的過(guò)擬合問(wèn)題，同時(shí)也會(huì)因?yàn)椴煌悇e數(shù)據(jù)的分類難易程度不同，導(dǎo)致訓(xùn)練得到的分類模型在不同類別上的表現(xiàn)有較大的性能差異[13-14]。

針對(duì)這個(gè)樣本不平衡的問(wèn)題，本文利用Focal 損失函數(shù)具有挖掘困難樣本（即分類損失較大、難以學(xué)習(xí)的樣本，反之則為簡(jiǎn)單樣本）和緩解樣本不平衡的特性，將其應(yīng)用于神經(jīng)網(wǎng)絡(luò)的圖像情感分析中。通過(guò)引入類別權(quán)重因子和漸增式聚焦因子，對(duì)Focal 損失函數(shù)中參數(shù)的確定進(jìn)行改進(jìn)，并將改進(jìn)的Focal 損失函數(shù)用于圖像情感分析模型的訓(xùn)練中。本文將改進(jìn)的模型在三個(gè)數(shù)據(jù)集（LDDEFC、ArtPhoto、IAPS-subset）上進(jìn)行了多組實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，相比于交叉熵?fù)p失函數(shù)，改進(jìn)的Focal損失函數(shù)能夠?qū)蓚€(gè)模型的準(zhǔn)確率、宏召回率、宏精準(zhǔn)率分別提升 0.5～2.3 個(gè)百分點(diǎn)、0.4～3.9 個(gè)百分點(diǎn)、0.5～3.3個(gè)百分點(diǎn)。使用改進(jìn)的Focal損失函數(shù)的模型，在幾個(gè)表現(xiàn)較差的類別上的分類能力上也有較好的提升。

2 基于神經(jīng)網(wǎng)絡(luò)的情感分析模型

現(xiàn)有的研究工作表明，神經(jīng)網(wǎng)絡(luò)提取的圖像特征具有一定的通用性，在大型通用圖像數(shù)據(jù)集上訓(xùn)練過(guò)的深度神經(jīng)網(wǎng)絡(luò)，再經(jīng)過(guò)一定的結(jié)構(gòu)調(diào)整和訓(xùn)練，可以很好地遷移到其他問(wèn)題上[15]，因此本文選用了在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的AlexNet[5]和ResNet-50[7]模型作為情感分析模型，以驗(yàn)證本文改進(jìn)算法的有效性。

AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。輸入為227×227×3像素的三通道圖像，輸入圖像首先進(jìn)行五層卷積運(yùn)算。第一個(gè)、第二個(gè)和第五個(gè)卷積層后面進(jìn)行了最大池化（Max-pooling）運(yùn)算以降低信息冗余，提升模型的尺度不變性和旋轉(zhuǎn)不變性。此外在第一和第二個(gè)卷積層后面還進(jìn)行了局部響應(yīng)歸一化（Local Response Normalized）運(yùn)算來(lái)增加泛化能力。第五個(gè)卷積層輸出的特征被降為一維的特征向量，并經(jīng)過(guò)兩層全連接網(wǎng)絡(luò)，最后通過(guò)一個(gè)softmax分類器輸出一個(gè)概率分布向量。所有神經(jīng)網(wǎng)絡(luò)使用ReLU[5]作為激活函數(shù)。

ResNet-50 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。網(wǎng)絡(luò)依次由卷積層conv1 以及conv2_x、conv3_x、conv4_x、conv5_x 四個(gè)卷積塊構(gòu)成。卷積塊conv2_x到conv5_x內(nèi)部由重復(fù)的殘差塊[7]構(gòu)成，ResNet通過(guò)殘差塊中的殘差連接來(lái)避免深度卷積神經(jīng)網(wǎng)絡(luò)的退化問(wèn)題，并且減少模型的訓(xùn)練時(shí)間。輸入經(jīng)過(guò)五個(gè)卷積塊以后，再經(jīng)過(guò)一個(gè)平均池化運(yùn)算，最后由softmax分類器輸出各類別的概率。

本文采用的兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)均使用ImageNet 數(shù)據(jù)集的預(yù)訓(xùn)練模型，并將網(wǎng)絡(luò)的輸出層維度改為8（即訓(xùn)練集中樣本的類別數(shù)），然后使用情感圖像數(shù)據(jù)集來(lái)訓(xùn)練網(wǎng)絡(luò)的最后一層。但是這兩個(gè)模型都未對(duì)訓(xùn)練樣本中的樣本不平衡問(wèn)題進(jìn)行處理，因此在模型的訓(xùn)練過(guò)程中，還應(yīng)該采取一定的方法來(lái)處理樣本不平衡問(wèn)題。

圖1 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

圖2 ResNet網(wǎng)絡(luò)結(jié)構(gòu)

3 樣本不平衡問(wèn)題與Focal損失函數(shù)的改進(jìn)

樣本不平衡是機(jī)器學(xué)習(xí)領(lǐng)域中一個(gè)重要的問(wèn)題。將不平衡的樣本用于分類模型的訓(xùn)練中，會(huì)使得模型的泛化性能較差[16]。圖像情感分析研究早期使用手工特征研究所用數(shù)據(jù)集的規(guī)模較小，通常包含的圖像數(shù)量約為數(shù)百?gòu)圼17-18]。這些數(shù)據(jù)集對(duì)于基于手工特征的方法已經(jīng)足夠，但是隨著深度學(xué)習(xí)方法的興起，這些小型數(shù)據(jù)集已經(jīng)不能夠滿足模型訓(xùn)練的需要。因此，研究人員開(kāi)始通過(guò)互聯(lián)網(wǎng)獲取圖像來(lái)建立大規(guī)模情感圖像數(shù)據(jù)集，使得基于深度神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用研究得以進(jìn)一步開(kāi)展。圖像情感分析研究中常用的數(shù)據(jù)集包括IAPS-subset[18]、ArtPhoto[17]、LSDFEC[14]，各數(shù)據(jù)集的數(shù)量如表 1所示。其中，最大的情感圖像數(shù)據(jù)集LSDFEC是You等人[14]在社交網(wǎng)站Flickr 和Instagram 上使用情感關(guān)鍵字抓取圖像，并通過(guò)人工標(biāo)注情感類別整理得到的。該數(shù)據(jù)集有2萬(wàn)多張圖片，數(shù)據(jù)量能夠較好地滿足深度學(xué)習(xí)模型訓(xùn)練的需求。但是該數(shù)據(jù)集中存在著較為明顯的樣本不平衡問(wèn)題，其中數(shù)量最多的類別與數(shù)量最少的類別的數(shù)量比約為5∶1。而另外兩個(gè)小型數(shù)據(jù)集ArtPhoto與IAPS-subset 也存在著較為明顯的樣本不平衡問(wèn)題。因此，對(duì)于圖像情感分析研究而言，處理樣本不平衡問(wèn)題有著重要的意義。

表1 三個(gè)數(shù)據(jù)集中各類別圖片的數(shù)量

處理樣本不平衡問(wèn)題的常用方法有：樣本加權(quán)[19]、數(shù)據(jù)集重采樣[20-21]、樣本合成[22]。但是前兩種方法僅考慮了類別數(shù)量的差異，忽略了樣本分類難度的差異，而樣本合成方法的適用性比較有限，在圖像分類等問(wèn)題中的應(yīng)用較為復(fù)雜。

Lin 等[23]針對(duì)目標(biāo)檢測(cè)中的樣本不平衡問(wèn)題，對(duì)交叉熵（Cross Entropy）進(jìn)行了改進(jìn)，提出了Focal 損失函數(shù)。在基于卷積神經(jīng)網(wǎng)絡(luò)的情感分析模型中，交叉熵是最為常用的損失函數(shù)，其大小為：

其中，p為模型判斷輸入樣本屬于真實(shí)類別的概率（即樣本置信度）。然而，在情感分析模型訓(xùn)練時(shí)，傳統(tǒng)交叉熵?fù)p失函數(shù)對(duì)訓(xùn)練集當(dāng)中困難樣本的關(guān)注度不夠，同時(shí)也不能較好地處理訓(xùn)練情感圖像數(shù)據(jù)集當(dāng)中存在的類別樣本不平衡問(wèn)題[14]。這樣，交叉熵?fù)p失函數(shù)在多分類任務(wù)時(shí)，數(shù)據(jù)集的類別樣本不平衡問(wèn)題就會(huì)使得模型的性能退化。同時(shí)，困難樣本與簡(jiǎn)單樣本數(shù)量的不平衡也會(huì)導(dǎo)致大量的簡(jiǎn)單樣本降低模型整體的損失，模型在訓(xùn)練中很難關(guān)注到數(shù)量較少的困難樣本。

為此，Lin等人提出了Focal損失函數(shù)：

其中，聚焦參數(shù)γ為一個(gè)大于0的超參數(shù)。通過(guò)實(shí)驗(yàn)來(lái)得到最優(yōu)值，其作用是通過(guò)(1-p)γ項(xiàng)來(lái)放大低置信度樣本的損失在總損失中的權(quán)重，縮小高置信度樣本的損失在總損失中的權(quán)重。這是因?yàn)閷?duì)于置信度高的樣本，即p越大的樣本，調(diào)制因子(1-p)γ越小；反之，置信度低的樣本，即p越小的樣本，調(diào)制因子(1-p)γ越大。這樣，在訓(xùn)練中，困難樣本的損失被放大，模型會(huì)更加關(guān)注困難樣本。平衡參數(shù)α同樣是一個(gè)超參數(shù)，由網(wǎng)格搜索（Grid Search）方法得到最優(yōu)值，其作用是控制正負(fù)樣本對(duì)總損失的權(quán)重，平衡不同類別樣本的數(shù)量。

雖然Focal損失函數(shù)較好地解決了二分類問(wèn)題中困難樣本挖掘和正負(fù)樣本數(shù)量不均衡問(wèn)題，但是將它應(yīng)用于圖像情感多類別分類模型時(shí)，若仍采用通過(guò)網(wǎng)格搜索的方法得到平衡參數(shù)α，這樣隨著類別數(shù)量的增加，平衡參數(shù)α的調(diào)優(yōu)工作量會(huì)大大增加（例如對(duì)于二分類，實(shí)驗(yàn)10個(gè)α值需要102次訓(xùn)練；對(duì)于八分類則需要108次訓(xùn)練）。此外，固定的聚焦參數(shù)γ對(duì)于分類難度不同的樣本損失在訓(xùn)練過(guò)程中的縮放程度不變，不利于模型精度的進(jìn)一步提升。因此，本文將對(duì)Focal 損失函數(shù)中聚焦參數(shù)γ和平衡參數(shù)α的確定方法進(jìn)行改進(jìn)，將平衡參數(shù)α與數(shù)據(jù)集當(dāng)中各類別的數(shù)據(jù)量相關(guān)聯(lián)，將聚焦參數(shù)γ與模型訓(xùn)練的過(guò)程相關(guān)聯(lián)。具體對(duì)Focal損失函數(shù)中的聚焦參數(shù)γ和平衡參數(shù)α的確定如下。

（1）平衡參數(shù)α的確定。在多類別分類問(wèn)題中，如果參數(shù)α進(jìn)行網(wǎng)格搜索優(yōu)化，會(huì)使得訓(xùn)練的工作量呈指數(shù)級(jí)增長(zhǎng)，因此本文不再用優(yōu)化的方法確定參數(shù)α的數(shù)值，而采用啟發(fā)式的方法，直接根據(jù)訓(xùn)練集中各類別數(shù)量來(lái)確定參數(shù)α的數(shù)值，即根據(jù)各類別樣本的數(shù)量來(lái)重縮放（Rescale）分類損失大小[19]。為了平衡各類別樣本的數(shù)量，本文希望所有類別的樣本在訓(xùn)練中對(duì)于分類器同等重要，即希望加大少數(shù)樣本損失的權(quán)重，同時(shí)減少多數(shù)樣本損失的權(quán)重[23]。具體而言，權(quán)重設(shè)定的目標(biāo)要使得任意兩個(gè)類別的權(quán)重之比等于這兩個(gè)類別樣本數(shù)量的反比。若設(shè)數(shù)據(jù)集中類別總數(shù)為N,則第i類(i∈[1,N])的平衡參數(shù)αi等于類別權(quán)重值的大小，即：

其中，mi為第i類的樣本數(shù)量。從式（3）可以看出，平衡參數(shù)αi在訓(xùn)練中能較好地按照數(shù)據(jù)集中各類別樣本的數(shù)量比例放大或者減小損失值。

表2 給出了表1 中數(shù)據(jù)集各類別對(duì)應(yīng)的類別權(quán)重值。由表2 可見(jiàn)，如果某個(gè)類別的數(shù)據(jù)量越大，也就是在訓(xùn)練時(shí)出現(xiàn)的頻率越高，對(duì)應(yīng)的類別權(quán)重值就越小，即單個(gè)樣本在總損失的比重越??；反之則對(duì)應(yīng)的類別權(quán)重值就越大，也就是單個(gè)樣本在總損失的比重越大。

（2）對(duì)于聚焦參數(shù)γ的確定。通過(guò)研究發(fā)現(xiàn)，在訓(xùn)練早期，F(xiàn)ocal 損失函數(shù)會(huì)使模型的訓(xùn)練精度低于使用交叉熵?fù)p失函數(shù)時(shí)的精度。圖3 給出了一組交叉熵?fù)p失（CE）與α=1,γ分別取2、4 時(shí)Focal 損失（FL）的數(shù)值曲線。從圖中可以看出，隨著樣本的置信度的增加，交叉熵?fù)p失值減小相對(duì)較緩，而Focal 的損失值的減小則相對(duì)較快。當(dāng)樣本的置信度為0.1 時(shí)，交叉熵?fù)p失值為2.3，而Focal 損失值分別為1.8、1.5；當(dāng)樣本的置信度為0.9 時(shí)，交叉熵?fù)p失值為0.1，F(xiàn)ocal 損失值則分別為1×10-3、1×10-5。在訓(xùn)練早期，大部分樣本的置信度都不高（遠(yuǎn)小于1）。當(dāng)樣本的置信度較低時(shí)，交叉熵?fù)p失要小于Focal 損失值。因?yàn)镕ocal 損失函數(shù)中的(1-p)γ項(xiàng)反而會(huì)使訓(xùn)練整體的損失降低，從而降低了模型學(xué)習(xí)的速度；而在訓(xùn)練的后期，大部分樣本的置信度都得到了提升，此時(shí)由于γ值不變，(1-p)γ項(xiàng)對(duì)高置信度樣本損失值的抑制和對(duì)低置信度樣本的放大程度也不變，不利于訓(xùn)練的進(jìn)一步進(jìn)行。此時(shí)如果能增大γ值，就可以進(jìn)一步放大低置信度樣本的損失。

圖3 交叉熵?fù)p失與不同γ 值時(shí)Focal損失的對(duì)比

因此，本文在訓(xùn)練中，采用每N輪訓(xùn)練后調(diào)整一次γ值，即：

其中，nepoch為訓(xùn)練的輪數(shù)；為向下取整運(yùn)算；γbest為γ的最優(yōu)值。這樣，用一種漸增方式來(lái)確定γ的值，在訓(xùn)練早期先使用一個(gè)較小的γ值，在訓(xùn)練中后期逐漸增大γ的值，進(jìn)一步放大低置信度樣本的損失在總損失中的權(quán)重，縮小高置信度樣本的損失在總損失中的權(quán)重，使得模型在訓(xùn)練的中后期更加聚焦于困難樣本的訓(xùn)練，從而提升分類模型的精度。

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文改進(jìn)的Focal 損失函數(shù)的性能，在計(jì)算機(jī)上進(jìn)行了仿真實(shí)驗(yàn)。實(shí)驗(yàn)中使用了Keras深度學(xué)習(xí)框架，CPU 為英特爾酷睿i7-7700HQ，內(nèi)存大小為16 GB，GPU為英偉達(dá)GTX 1070顯卡，顯存大小8 GB。

神經(jīng)網(wǎng)絡(luò)模型首先使用大規(guī)模情感圖像數(shù)據(jù)集LSDFEC來(lái)進(jìn)行訓(xùn)練。使用該數(shù)據(jù)集訓(xùn)練模型時(shí)，均將數(shù)據(jù)集隨機(jī)劃分為：訓(xùn)練集（數(shù)據(jù)總數(shù)的80%）、測(cè)試集（數(shù)據(jù)總數(shù)的15%）、驗(yàn)證集（數(shù)據(jù)總數(shù)的5%）。圖像在輸入網(wǎng)絡(luò)前進(jìn)行去均值化處理[6]。訓(xùn)練使用mini-batch梯度下降法，學(xué)習(xí)率為0.001，batch大小為64，momentum值[24]設(shè)置為0.9。

為了驗(yàn)證Focal損失函數(shù)以及相關(guān)參數(shù)設(shè)置的改進(jìn)效果，本文在實(shí)驗(yàn)中對(duì)比了普通交叉熵函數(shù)、Focal損失函數(shù)參數(shù)α、γ采用不同方法取值時(shí)在兩個(gè)神經(jīng)網(wǎng)絡(luò)上的訓(xùn)練效果。詳細(xì)對(duì)比實(shí)驗(yàn)?zāi)Ｐ驮O(shè)置如下：

模型1 AlexNet+交叉熵?fù)p失函數(shù)（由式（1）定義）

模型2 AlexNet+Focal 損失函數(shù)（固定γ值，設(shè)置α=1)

模型3 AlexNet+改進(jìn)的Focal損失函數(shù)（固定γ值，α值由式（3）定義）

模型4 AlexNet+改進(jìn)的Focal損失函數(shù)（γ值由式（4）定義，α值由式（3）定義）

模型5 ResNet+交叉熵?fù)p失函數(shù)（由式（1）定義）

模型6 ResNet+Focal損失函數(shù)（固定γ值，設(shè)置α=1)

模型7 ResNet+改進(jìn)的Focal 損失函數(shù)（固定γ值，α值由式（3）定義）

模型8 ResNet+改進(jìn)的Focal損失函數(shù)（γ值由式（4）定義，α值由式（3）定義）

除了在大規(guī)模數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)以外，還使用了ArtPhoto 和IAPS-subset 兩個(gè)小型數(shù)據(jù)集來(lái)進(jìn)行實(shí)驗(yàn)。由于ArtPhoto 和IAPS-subset 這兩個(gè)小數(shù)據(jù)集的數(shù)據(jù)量都很小，本文首先用大型數(shù)據(jù)集LSDFEC 來(lái)訓(xùn)練模型，然后再將訓(xùn)練模型在小型數(shù)據(jù)集上微調(diào)（Finetune）最后一層。

表2 三個(gè)數(shù)據(jù)集中各類別的類別權(quán)重值

為了進(jìn)行客觀分析比較，實(shí)驗(yàn)中采用了準(zhǔn)確率（Accuracy）、宏召回率（Macro Recall，MR）和宏精準(zhǔn)率（Macro-Precision，MP）三個(gè)性能評(píng)價(jià)指標(biāo)[25]，并且給出了各個(gè)實(shí)驗(yàn)?zāi)Ｐ偷幕煜仃嚱Y(jié)果[14]。

本文首先利用AlexNet、ResNet 兩個(gè)卷積神經(jīng)模型來(lái)確定γ在這兩個(gè)卷積神經(jīng)模型上的最優(yōu)值γbest，其結(jié)果如表3 所示。從表3 的實(shí)驗(yàn)結(jié)果中可以看出，參數(shù)γ在 AlexNet、ResNet 模型上的最優(yōu)值分別是 1.8 和 1.6。然后，在對(duì)比實(shí)驗(yàn)?zāi)Ｐ?、模型5 的訓(xùn)練時(shí)，分別用對(duì)應(yīng)最優(yōu)值γbest作為γ的固定值；在對(duì)模型3 和模型6 的訓(xùn)練過(guò)程中，則采用式（4）的漸增方式確定γ值。表4 給出了N取不同值時(shí)AlexNet 與ResNet 兩模型的實(shí)驗(yàn)仿真結(jié)果（每10 輪訓(xùn)練改變一次γ值）。從表中可以看出，雖然N取不同值時(shí)，各模型的準(zhǔn)確率很接近，但兩模型均在N=10 時(shí)取得了略好的準(zhǔn)確率，因此在實(shí)驗(yàn)仿真中取N=10。

表3 不同γ 值在兩個(gè)模型上的準(zhǔn)確率結(jié)果

表4 N 取不同值在兩個(gè)模型上的準(zhǔn)確率結(jié)果

表5 分別給出了各模型在各個(gè)數(shù)據(jù)集上訓(xùn)練得到的準(zhǔn)確率、宏召回率和宏精準(zhǔn)率結(jié)果。圖4分別給出了各模型在LSDFEC數(shù)據(jù)集上的混淆矩陣結(jié)果。

圖4 各實(shí)驗(yàn)?zāi)Ｐ驮贚SDFEC數(shù)據(jù)集上的混淆矩陣結(jié)果

表5 各模型在各個(gè)數(shù)據(jù)集上準(zhǔn)確率、宏召回率和宏精準(zhǔn)率結(jié)果%

首先，對(duì)比模型4 與模型1、模型8 與模型5 可以發(fā)現(xiàn)，相比于交叉熵?fù)p失函數(shù)，將Focal損失函數(shù)應(yīng)用于神經(jīng)網(wǎng)絡(luò)模型的圖像情感分析時(shí)，神經(jīng)網(wǎng)絡(luò)模型的分析性能整體上都得到提升，且ResNet 模型的性能要優(yōu)于AlexNet。其中AlexNet模型的準(zhǔn)確率、宏召回率與宏精準(zhǔn)率分別提升了 1.2～2.2 個(gè)百分點(diǎn)、1.5～3.9 個(gè)百分點(diǎn)、1.1～2.6個(gè)百分點(diǎn)；ResNet模型的準(zhǔn)確率、宏召回率與宏精準(zhǔn)率分別提升了1.5～2.3個(gè)百分點(diǎn)、1.5～3.1個(gè)百分點(diǎn)、1.7～3.3個(gè)百分點(diǎn)。

其二，對(duì)比圖4中模型2與模型3、模型6與模型7的混淆矩陣可以看出，采用本文方法設(shè)置α的值，相比于設(shè)置α=1（即無(wú)平衡參數(shù)的影響），能夠有效地提升模型在幾個(gè)樣本數(shù)量較少的類別（例如憤怒、惡心、恐懼）上的分類能力，從而使得模型在各個(gè)類別上的表現(xiàn)相對(duì)更加均衡。其中AlexNet 模型的準(zhǔn)確率、宏召回率與宏精準(zhǔn)率分別提升了0.3～1.3個(gè)百分點(diǎn)、1.2～1.6個(gè)百分點(diǎn)、0.9～1.3個(gè)百分點(diǎn)；ResNet模型的準(zhǔn)確率、宏召回率與宏精準(zhǔn)率分別提升了0.5～2.0個(gè)百分點(diǎn)、1.0～2.1個(gè)百分點(diǎn)、0.8～2.4個(gè)百分點(diǎn)。

其三，對(duì)比模型3 與模型4、模型7 與模型8 可以看出，相較于固定γ值，采用漸增式調(diào)整γ值時(shí)，神經(jīng)網(wǎng)絡(luò)模型的圖像情感分析性能得到提升。其中AlexNet模型的準(zhǔn)確率、宏召回率與宏精準(zhǔn)率分別提升了0.5～1.7 個(gè)百分點(diǎn)、0.4～0.8 個(gè)百分點(diǎn)、0.5～1.0 個(gè)百分點(diǎn)；ResNet 模型的準(zhǔn)確率、宏召回率與宏精準(zhǔn)率分別提升了0.9～1.5個(gè)百分點(diǎn)、0.4～1.6個(gè)百分點(diǎn)、0.6～1.5個(gè)百分點(diǎn)。

5 結(jié)束語(yǔ)

針對(duì)交叉熵?fù)p失函數(shù)對(duì)困難樣本關(guān)注度低，以及難以處理訓(xùn)練圖像數(shù)據(jù)集中樣本不平衡問(wèn)題，本文將Focal損失函數(shù)應(yīng)用到圖像情感分析中。在模型的訓(xùn)練中，利用類別權(quán)重因子來(lái)確定平衡參數(shù)大小，采用漸增變化方式調(diào)節(jié)聚焦因子大小，對(duì)Focal 損失函數(shù)參數(shù)的確定方式進(jìn)行改進(jìn)，以提升情感分析模型的訓(xùn)練效率和性能。仿真實(shí)驗(yàn)結(jié)果表明，改進(jìn)的Focal 損失函數(shù)能夠有效地提高模型的準(zhǔn)確率、宏召回率和宏精準(zhǔn)率，并且使得模型在各個(gè)類別上的分類能力更加均衡，較好地緩解數(shù)據(jù)不平衡問(wèn)題的負(fù)面影響。這些性能指標(biāo)的提升對(duì)于圖像情感分析的應(yīng)用，例如基于情感的圖像檢索和基于圖像情感的社交媒體輿論分析等，都是具有重要價(jià)值的。