江佳俊，蔣 旻*，楊曉雨，郭 嘉

(1.武漢科技大學 計算機科學與技術(shù)學院，湖北 武漢 430065； 2.智能信息處理與實時工業(yè)系統(tǒng)湖北省重點實驗室(武漢科技大學)，湖北 武漢 430065)

0 引 言

圖像美學質(zhì)量評估是利用計算機模擬人類對美的感知和認知，自動評價圖像的“美感”[1]。圖像美學質(zhì)量評估是計算美學與計算機視覺、心理學、虛擬現(xiàn)實等領(lǐng)域的學科交叉新方向，其在圖像推薦、圖像編輯美學等行業(yè)具有良好的應(yīng)用前景。

在圖像美學質(zhì)量評估的研究歷史中，大部分美學圖像評估方法都試圖用量化指標對圖像美感進行評估，根據(jù)量化指標的不同，大部分美學質(zhì)量評估方法可以被劃分成以下三類：(1)基于分類的方法，圖像美學質(zhì)量評估結(jié)果被分成“高質(zhì)量”、“低質(zhì)量”和“普通質(zhì)量”三種類別；(2)基于評分的方法，圖像評估結(jié)果為一個量化的分值，通常在1～10之間；(3)基于分布的方法，評估結(jié)果用各美學評分分值的概率分布來表達。由于近年來提出的大部分美學評分方法采用第二種方式，所以文中也選用基于評分的方式評估圖像美學。

早期較傳統(tǒng)的圖像美學評價方法是根據(jù)與攝影相關(guān)的視覺特征(例如對稱性、構(gòu)圖布局、顏色、紋理、清晰度、對比度等)來進行圖像美學質(zhì)量評估。這些特征往往是用一些手工設(shè)計的視覺特征描述子來表達。雖然手工設(shè)計的特征可設(shè)計性范圍很廣，但是由于設(shè)計特征時需要具備攝影中的美學規(guī)則的相關(guān)經(jīng)驗，計算量較大、很少考慮特征之間的關(guān)系和很難涵蓋所有的美學規(guī)則等因素的存在，所以基于手工設(shè)計的特征的方法往往效率較低且輸出結(jié)果不穩(wěn)定。

為了改善傳統(tǒng)方法中手工設(shè)計特征的低效和魯棒性差的缺陷，近年來，研究人員逐漸將深度學習技術(shù)引入審美評估，但是大部分基于深度學習的審美評估方法存在一些共同的缺陷：

(1)一幅圖像除了考慮構(gòu)圖布局外，往往存在需要突出的主體(主題)部分。大部分基于深度學習的方法往往只從圖像整體角度進行評估，沒有考慮主體的突出性和位置合理性。

(2)對于同一幅圖像，不同人的美學評價可能不盡相同，甚至相去甚遠。通用的美學質(zhì)量評估方案一般沒有考慮不同用戶審美間的差異。如何將個人審美主觀偏好建立在評估系統(tǒng)中，實現(xiàn)個性化美學質(zhì)量評估，成為一個有挑戰(zhàn)性的問題。

文中以個性化圖像評估為研究對象，利用視覺顯著性技術(shù)將主體的突出性和位置合理性等因素引入審美評估過程，提出了一種新的基于注意力機制的個性化美學質(zhì)量評估方法。該方法在Rodriguez-Pardo等人提出的個性化殘差網(wǎng)絡(luò)PAA[2](personalised-aesthetic-assessment-using-residual-adapters)的基礎(chǔ)之上引入了注意力機制，既保持了圖像內(nèi)容個性化偏好(個人美學質(zhì)量評估的主觀偏好)，又將個人對圖像構(gòu)圖的偏好(即主體的突出性)因素加入評分過程。在Flickr[3]數(shù)據(jù)集上的實驗表明，該方法相較于PAA方法在評估準確率上提升了約3%。

1 相關(guān)工作

1.1 注意力機制

注意力機制的本質(zhì)在于讓網(wǎng)絡(luò)能夠?qū)W會忽略無關(guān)信息而關(guān)注重點信息。從作用角度而言，注意力機制主要分為空間注意力和時間注意力兩類，文中采用的是空間注意力非局部操作non_local模塊。

圖1 文中算法網(wǎng)絡(luò)結(jié)構(gòu)

1.2 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)主要用于解決深層網(wǎng)絡(luò)退化問題和梯度爆炸問題。一條主路徑和跳層連接組成殘差塊，若干個殘差塊組成殘差網(wǎng)絡(luò)。

1.3 研究背景

近些年來，圖像美學質(zhì)量評估成為了一個研究熱點。傳統(tǒng)的美學質(zhì)量評估方法一般是通過圖像的對稱性、三分法則和物體顯著性等原則進行圖像評估，這類方法往往需要大量的人工標定和專業(yè)化手工設(shè)計特征。Yan Ke等人[4]提出了一種評估方法，包含圖片簡潔性、清晰度、顏色、對比度和平均亮度(曝光度)等特征描述，實現(xiàn)了基于分類的美學質(zhì)量評估。Datta等人在文獻[5]中將底層特征(顏色、紋理、形狀、圖片大小等)和高層特征(景深、三分法則、區(qū)域?qū)Ρ榷?結(jié)合起來作為圖像美學特征，得到了較好的效果。Luo等人在文獻[6]中提出將前景和背景進行分離，得到前-背景對比度特征，該方法最后采用的美學特征包括清晰度、對比度、亮度對比度、顏色的簡潔性、和諧度和三分法則的符合程度等。其在DPChallenge數(shù)據(jù)集上進行了實驗，具有93%的分類準確率。Wong等人[7]在Luo方法的基礎(chǔ)上進行了改進，采用基于顯著度的方法提取前景，還融合了Yan Ke[4]和Datta[5]等人提出的一些特征，豐富了特征內(nèi)容，取得了較好的實驗結(jié)果。Marchesotti等人[8]直接用尺度不變特征變換(SIFT)、Fisher變換和局部顏色描述來進行美學圖像評估，其在MRSA數(shù)據(jù)集上的實驗表明，該方法評估性能顯著提升。

上述基于手工設(shè)計特征進行圖像質(zhì)量評估的方法，由于需要專業(yè)化手工設(shè)計特征，存在因手工設(shè)計特征不完備性造成評估效率低且魯棒性不高等缺陷。為了改善傳統(tǒng)方法的缺陷，許多學者提出了一些基于深度學習的圖像質(zhì)量評估方法。與傳統(tǒng)手工特征提取方法不同的是，這類方法不使用手工設(shè)計特征，而是采用基于監(jiān)督學習的神經(jīng)網(wǎng)絡(luò)模型來進行質(zhì)量評估，從實驗效果來看，與基于手工特征的方法相比，這類方法普遍提高了評估的準確度。Kong S等人[9]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)圖像美學排名方法，該方法的評分模型中包含了圖像屬性和內(nèi)容，可以預(yù)測1到5級美學的屬性和等級。該方法在AVA[10]數(shù)據(jù)集上的實驗取得了較好的分類效果。Talebi等人[11]提出了一種深度CNN模型(NIMA)用于圖像美學質(zhì)量評估。NIMA模型沒有采用基于分類或者基于評分的美學量化指標，而是根據(jù)美學質(zhì)量評估模型評估任意給定的圖像的評分等級分布。NIMA給每幅圖像在1到10的范圍內(nèi)每一個可能的分數(shù)的可能性都進行賦值，輸出一個分數(shù)分布直方圖。這種方法能更好地表達美學評分問題本身具有的模糊性，所以在某種程度上提高了圖像美學質(zhì)量評估的精確度，實驗表明，該算法在公共數(shù)據(jù)集AVA上獲得了良好的性能測試結(jié)果，在AVA數(shù)據(jù)集中的極端美學品質(zhì)圖像表現(xiàn)更優(yōu)。

考慮到圖像的整體布局和內(nèi)容相關(guān)性，Liu D等人[12]認為圖像中視覺元素之間存在相互依賴關(guān)系，將圖像合成信息建模為其局部區(qū)域的相互依賴更為合理，所以應(yīng)該將圖像劃分為局部區(qū)域的組合，并在這些區(qū)域上計算美學特征?；谶@種思想，他們提出了一種基于組合感知的網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過神經(jīng)網(wǎng)絡(luò)來學習視覺元素之間的相互依賴關(guān)系，在AVA數(shù)據(jù)集上的測試得到了較好的結(jié)果。

面對同一幅圖像，不同的人可能會有不同的美學評價。圖像美學質(zhì)量評估往往帶有大量的個人感情色彩，大部分美學質(zhì)量評估方法一般是試圖建立一個通用美學模型，沒有考慮個人主觀偏好。但是近年來個性化圖像美學也逐漸受到學者們的關(guān)注[2,13]。Rodriguez-Pardo等人[2]采用一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的方法對具有不同類型的用戶特定偏好進行建模，并利用該模型PAA(personalized aesthetic assessment using residual adapters)進行個性化的美學質(zhì)量評估。該模型使用了殘差適配器對特定用戶的偏好進行建模。殘差網(wǎng)絡(luò)的加入不僅在一定程度上解決了網(wǎng)絡(luò)退化問題和梯度彌散問題，而且大大加快了網(wǎng)絡(luò)的效率。在Flickr數(shù)據(jù)集[3]上的實驗體現(xiàn)了該方法基本能夠?qū)崿F(xiàn)個性化美學質(zhì)量評估的功能。J Ren等人[13]提出了一種主動學習算法，并使用一個由所有者評定的真實個性相冊的小數(shù)據(jù)集來優(yōu)化網(wǎng)絡(luò)。J Ren提出的網(wǎng)絡(luò)主要包括三部分:(1)通用美學模型；(2)圖像屬性特征網(wǎng)絡(luò)；(3)圖像內(nèi)容屬性網(wǎng)絡(luò)。將(2)、(3)提出的圖像特征進行融合，作為美學圖像評估的偏置來調(diào)整網(wǎng)絡(luò)，實驗表明，該方法能有效的自主學習個性化偏好，且在定量比較方面優(yōu)于現(xiàn)有方法。由于真實個性化數(shù)據(jù)集難以收集，文中最終決定在PAA網(wǎng)絡(luò)基礎(chǔ)上進行改進。

一幅圖像在進行美學質(zhì)量評估時，除了需要考慮到圖像本身的屬性特點和結(jié)構(gòu)外，還需要考慮圖像的主體內(nèi)容對圖像評估結(jié)果的影響，但大部分評估方法只從圖像本身特征和整體布局進行評估，沒有考慮到圖像主體的突出性及其位置的合理性對美學質(zhì)量評估的影響。一般來說，視覺顯著性最高的區(qū)域或者顯著物體對應(yīng)著圖像中最重要的內(nèi)容，即圖像主體內(nèi)容，所以顯著性分析也被用于美學質(zhì)量評估。Tu Y和Niu L等人在文獻[14]中使用一個全卷積網(wǎng)絡(luò)來生成能同時感知照片構(gòu)圖和物體顯著性的美學評分圖，其模型在實驗中展現(xiàn)出了較好的性能。但是，該方法在進行圖像顯著性分析時，只考慮到了視覺顯著性最高的區(qū)域，而忽略了其他區(qū)域，導(dǎo)致評估結(jié)果不夠全面。

綜上，文中提出了一種基于注意力機制的個性化圖像美學質(zhì)量評估方法。該方法在個性化殘差網(wǎng)絡(luò)的基礎(chǔ)之上加入注意力機制來進行顯著性分析，按顯著性的高低對圖像區(qū)域分配對應(yīng)權(quán)重，這樣不僅考慮了圖像主體的突出性(顯著性)，而且還保留了圖像顯著性低的區(qū)域的影響力，使得各個區(qū)域?qū)υu估結(jié)果影響更加合理。文中提出的方法既考慮了圖像內(nèi)容偏好(個人美學質(zhì)量評估的主觀偏好)，又考慮到對圖像構(gòu)圖的偏好(即主體的突出性)，在Flickr數(shù)據(jù)集上實驗表明，與Rodriguez-Pardo提出的PAA方法[2]相比，文中方法取得了更好的評估準確率。

2 基于注意力機制和個性化的網(wǎng)絡(luò)模型

為了實現(xiàn)上述目標，文中對Rodriguez-Pardo提出的PAA方法[2]進行了擴展，提出一種基于注意力機制的個性化殘差網(wǎng)絡(luò)。算法模型中融入個性化模塊和注意力模塊。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。該網(wǎng)絡(luò)以ResNet18為基線[15]，除了在每個Basic block都加入個性化模塊外，還在layer2和layer3之間，以及l(fā)ayer3和layer4之間加入了注意力模塊。每個Basic Block的結(jié)構(gòu)相同，如圖2所示，均是在ResNet18原始Basic block模塊中的基礎(chǔ)模塊Ci上加入了個性化(建模)模塊。

圖2 含個性化建模的Basic Block模塊的結(jié)構(gòu)

圖3 注意力機制模塊內(nèi)部結(jié)構(gòu)

文中用非局部操作non_local[16]模塊實現(xiàn)注意力模塊，其內(nèi)部結(jié)構(gòu)如圖3所示。引入注意力機制主要是為了增強圖像構(gòu)圖對最終美學質(zhì)量評估的影響?？紤]到深層網(wǎng)絡(luò)主要包含圖像高層語義信息，位置信息量較少，而最淺層網(wǎng)絡(luò)圖像信息較為駁雜稀疏，所以文中設(shè)置兩個注意力模塊，分別放置在較淺層卷積層(layer2和layer3)之后。注意力模塊將輸入特征信息進行分塊處理，采用特征矩陣逐乘的方式，得到每個位置像素的權(quán)重，從而實現(xiàn)權(quán)重的重新分配，對圖像評估影響較大的位置區(qū)域的像素分配較大的權(quán)重，影響力較小的位置分配較小的權(quán)重。經(jīng)過該模塊處理后的特征如圖1中的熱力圖所示，經(jīng)第二個注意力模塊處理得到的熱力圖信息更為詳細，主體信息更為明確。

在layer4后網(wǎng)絡(luò)又經(jīng)過三個全連接層和兩個正則化層，在最后一層全連接層后輸出歸一化后的美學審美評分。其中穿插了隨機丟棄(dropout)部分神經(jīng)元的方法，在一定程度上降低了過擬合的幾率。此外，文中在訓練過程中將卷積與其緊接的批標準化(batch normalization)進行折疊封裝。由于一般卷積后接BN層是沒有偏差(bias)的，這樣將兩部分折疊，加快了前向傳播的速度，也不會影響最終的實驗結(jié)果。文中網(wǎng)絡(luò)使用的損失函數(shù)是均方誤差MSE，定義如下：

(1)

3 實 驗

3.1 數(shù)據(jù)集

為了對圖像進行美學質(zhì)量評估，前人構(gòu)造了許多美學質(zhì)量評估數(shù)據(jù)集，包括FLICKR[3]、AVA[10]、CUHKPQ[17]等，這些數(shù)據(jù)集中的圖片大多數(shù)來自于網(wǎng)絡(luò)上的圖像分享網(wǎng)站DPChallenge、Photo.Net等。文中使用Flickr數(shù)據(jù)集進行相關(guān)測試。Flickr數(shù)據(jù)集屬于社交數(shù)據(jù)集，包含1億+張圖片，其中除了圖像的評分外，還包含各個用戶之間的關(guān)系和共屬的興趣小組等信息，在進行個性化建模前需要將數(shù)據(jù)集按用戶進行整理，整理得出多個個性化數(shù)據(jù)集，每個個性化數(shù)據(jù)集包括某用戶id、該用戶評估的所有圖像id及其評分分值?？紤]到圖像的大小可能并未統(tǒng)一規(guī)格，需對數(shù)據(jù)集進行統(tǒng)一處理，將圖像縮放至256×256大小，然后對圖像進行隨機水平翻轉(zhuǎn)，并將圖像隨機裁剪為網(wǎng)絡(luò)模型輸入大小224×224，然后進行正則化處理，隨機裁剪和翻轉(zhuǎn)增加了數(shù)據(jù)集的多樣性，可有效避免過擬合。為了加快訓練過程中數(shù)據(jù)集的讀取速度以及防止數(shù)據(jù)集散列存放占用大量內(nèi)存空間，將數(shù)據(jù)集處理好之后以TFRecord格式進行存儲。TFRecord格式采用二進制編碼，占用空間小(只占用一個內(nèi)存塊)，加載數(shù)據(jù)集時，只需要一次性加載這個二進制文件即可，簡單、快速。對Flickr這種大型數(shù)據(jù)進行訓練時，可以將數(shù)據(jù)分成多個TFRecord文件，來提高處理效率。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)設(shè)置

另外考慮到圖像評估階段中個性化的問題，在圖像特征提取階段中加入了殘差塊，通過殘差塊保存少量的用戶偏好信息，將瓶頸層(bottleneck)與殘差塊相融合，從而達到個性化評估的效果。

3.3 實驗設(shè)計

文中使用torch在具有6 GB GPU內(nèi)存的NVIDIA GeForce GTX 1060Ti上的Python環(huán)境中訓練和測試該算法，使用Adam優(yōu)化器來進行參數(shù)學習以及網(wǎng)絡(luò)優(yōu)化，Batchsize設(shè)置為30，epochs設(shè)置為200，總共迭代次數(shù)為22 200次。在Flickr數(shù)據(jù)集上進行實驗，分別對殘差塊和注意力機制模塊的有效性進行對比評估。Flickr數(shù)據(jù)集總共包含40 500幅圖像，210個用戶參與評分。文中選取37個用戶作為測試集，共4 739幅圖像，剩下的所有數(shù)據(jù)作為訓練集。為保證實驗過程中單一變量原則，所有實驗中的學習率統(tǒng)一設(shè)置為0.1，并在每訓練10輪epochs后降低90%。在訓練開始時，使用較大的學習率能使得網(wǎng)絡(luò)快速收斂，隨著訓練的進行，逐漸降低學習率有助于找到最優(yōu)解。為了得到穩(wěn)定的模型，并兼顧效率，文中選擇三折交叉驗證進行個性化的實現(xiàn)。以第i個用戶為例，第i個用戶的個性化數(shù)據(jù)集Di會在實驗中依據(jù)三折交叉驗證原則進行劃分，分為訓練集合和測試集合。

文中使用的美學質(zhì)量評估指標為SRCC[18](Spearman等級相關(guān)系數(shù))范圍為[-1，1]，定義如下：

(2)

3.4 實驗結(jié)果與分析

對比實驗在Flickr數(shù)據(jù)集上進行，文中與PAA(personalized aesthetics with residual adapters)網(wǎng)絡(luò)進行實驗對比，結(jié)果如表1所示。

表1 與PAA網(wǎng)絡(luò)在Flickr數(shù)據(jù)集實驗結(jié)果對比

由表1可以看出，在同一數(shù)據(jù)集Flickr上，PAA網(wǎng)絡(luò)取得SRCC均值為0.631的結(jié)果。文中以ResNet18網(wǎng)絡(luò)為基線網(wǎng)絡(luò)，在該網(wǎng)絡(luò)基礎(chǔ)上融入了殘差塊并集成了注意力機制，并通過選取ResNet18預(yù)訓練模型前四層權(quán)重對網(wǎng)絡(luò)進行訓練擬合，引入注意力機制增強了特征提取過程中提取特征的有效程度，相當于權(quán)重的重新分配。通過對圖像評估影響較大的區(qū)域分配較大權(quán)重，從而提高了美學質(zhì)量評估的準確度，同時文中網(wǎng)絡(luò)相較于PAA，穩(wěn)定性略有增加。

另外進行了消融實驗，文中在Flickr數(shù)據(jù)集上依次驗證了殘差塊和注意力機制對最終的美學質(zhì)量評估的改進，對比實驗結(jié)果如表2所示。

表2 在Flickr數(shù)據(jù)集消融實驗結(jié)果對比

文中的基線網(wǎng)絡(luò)使用的是ResNet18網(wǎng)絡(luò)，使用ResNet18預(yù)訓練模型對模型進行訓練后，在AVA上展現(xiàn)的性能為SRCC均值為0.561。

在基線網(wǎng)絡(luò)上加入殘差塊后，由于殘差塊用來學習用戶的特定偏好，而Flickr數(shù)據(jù)集中用戶量較大，每個人的偏好不盡相同，這就造成了雖然評估效果有了一定的改善，但是SRCC值波動依舊較大。另外考慮到圖像構(gòu)圖本身(主體的位置、布局等)對圖像質(zhì)量評估有影響，為了在特征提取過程對美學質(zhì)量評估影響較大的部分特殊關(guān)注，在基線網(wǎng)絡(luò)上加入注意力機制模塊，為這部分區(qū)域分配較大的權(quán)重，提高此區(qū)域?qū)ψ罱K美學質(zhì)量評估的影響力，以便提升結(jié)果的可信度。從在Flickr數(shù)據(jù)集上的表現(xiàn)來看，評估效果有了較大的提高。最終，文中在基線網(wǎng)絡(luò)上融合了注意力機制和殘差塊，在Flickr數(shù)據(jù)集上取得了SRCC值為0.659的結(jié)果，通過SRCC(std)來看該模型有了比較穩(wěn)定的表現(xiàn)。

由在Flickr數(shù)據(jù)集上的消融實驗表明，殘差塊和注意力機制的引入在一定程度上改善了圖像質(zhì)量評估效果。

表3 與NIMA網(wǎng)絡(luò)在AVA數(shù)據(jù)集上實驗結(jié)果對比

另外文中網(wǎng)絡(luò)模型在AVA數(shù)據(jù)集上也做了測試，雖然AVA數(shù)據(jù)集中缺乏用戶與評估圖像間的關(guān)聯(lián)信息，文中網(wǎng)絡(luò)無法發(fā)揮出其個性化優(yōu)勢，所以將文中算法作為通用美學評估方法和最流行的通用美學評估方法NIMA進行了對比(如表3所示)。從AVA數(shù)據(jù)集上的測試結(jié)果顯示，文中方法取得了SRCC均值為0.637的結(jié)果，比AVA稍好。從網(wǎng)絡(luò)評估的穩(wěn)定性而言，文中網(wǎng)絡(luò)在AVA數(shù)據(jù)集上的表現(xiàn)比NIMA網(wǎng)絡(luò)在AVA數(shù)據(jù)集上的表現(xiàn)來說要穩(wěn)定。整體上看，文中網(wǎng)絡(luò)表現(xiàn)稍優(yōu)于NIMA的網(wǎng)絡(luò)。

綜合以上兩個實驗對比，文中在基線網(wǎng)絡(luò)ResNet18上融合注意力機制和殘差塊后，網(wǎng)絡(luò)性能有了明顯的改善。

4 結(jié)束語

文中提出了一種基于注意力機制和個性化的圖像美學質(zhì)量評估網(wǎng)絡(luò)，該網(wǎng)絡(luò)主要以ResNet18為基線網(wǎng)絡(luò)，在其基礎(chǔ)上進行改進，在每個layer層中融入了殘差塊，并在第二個layer層和第三個layer層后加入了注意力機制模塊，每個layer層的輸出都是經(jīng)過當前層處理(包括殘差塊)后與當前l(fā)ayer層輸入相加后的結(jié)果，這樣能更好地保證特征提取的合理性。實驗結(jié)果表明，模型在對圖像進行質(zhì)量評估時保留了個人偏好，對個人的審美有了較大的改善，其次注意力機制的引入使得圖像評估指標有了較大提升，相比于現(xiàn)有方法，文中提出的模型性能稍強，仍有很大的改進空間。文中只是在基線網(wǎng)絡(luò)ResNet18上做了簡單的改進，可以考慮將基線網(wǎng)絡(luò)替換為Inception網(wǎng)絡(luò)或者是其他網(wǎng)絡(luò)，ResNet18只是對最終的結(jié)果進行了激活，而Inception在每次卷積后都進行了激活，這樣提高了神經(jīng)網(wǎng)絡(luò)對模型的表達能力，與此同時，Inception卷積后對通道數(shù)進行了疊加，提升了模型的擬合能力。另外可考慮擴充數(shù)據(jù)集，現(xiàn)有的數(shù)據(jù)集缺乏對個人偏好的整理，可自己去收集整理出有關(guān)個人偏好的數(shù)據(jù)集。