董柏巖,李熹橋,金鑫

（北京電子科技學(xué)院，北京 100070）

1 引言

圖像美學(xué)質(zhì)量評(píng)價(jià)是利用計(jì)算機(jī)模擬人類對(duì)美的感知與認(rèn)知，自動(dòng)評(píng)價(jià)圖像的“美感”，分析圖像在構(gòu)圖、顏色、光影、景深、虛實(shí)等美學(xué)因素影響下所形成的美感刺激［1］。最初的研究基于人工設(shè)計(jì)的美學(xué)特征，通過設(shè)計(jì)的視覺特征，擬合人類對(duì)圖像美學(xué)質(zhì)量的評(píng)價(jià)，進(jìn)行圖像的美感分類與評(píng)分［2-6］。2014年以來，圖像美學(xué)質(zhì)量評(píng)價(jià)的研究工作進(jìn)入了深度學(xué)習(xí)時(shí)代，研究人員改造了多種用于圖像識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，并且將圖像風(fēng)格、圖像內(nèi)容等額外信息顯式或隱式地建模于改造后的卷積神經(jīng)網(wǎng)絡(luò)中，這種方式構(gòu)建的圖像美學(xué)質(zhì)量評(píng)價(jià)模型取得了更優(yōu)秀的效果［7-11］。

神經(jīng)網(wǎng)絡(luò)可解釋是人工智能3.0的新要求，目標(biāo)在于使得人工智能算法更加透明可靠，特別是在醫(yī)療、金融和軍事領(lǐng)域。深度學(xué)習(xí)模型在訓(xùn)練過程中，使用了大量的數(shù)據(jù)優(yōu)化模型參數(shù)，但是神經(jīng)網(wǎng)絡(luò)中間神經(jīng)元個(gè)數(shù)、網(wǎng)絡(luò)的深度、全連接層的設(shè)置等神經(jīng)網(wǎng)絡(luò)參數(shù)會(huì)如何影響結(jié)果還需要依賴專業(yè)研究人員的工作經(jīng)驗(yàn)。目前基于深度卷積神經(jīng)網(wǎng)絡(luò)圖像設(shè)計(jì)的美學(xué)評(píng)價(jià)模型可解釋性不強(qiáng)，這不利于圖像美學(xué)評(píng)估的進(jìn)一步研究。

本文使用深度學(xué)習(xí)解釋性研究中事后解釋性的幾種方法對(duì)圖像美學(xué)單一評(píng)價(jià)模型進(jìn)行一定的解釋，包括特征圖可視化、類激活圖可視化、層級(jí)相關(guān)性傳播方法。通過特征圖可視化理解了淺層和深度網(wǎng)絡(luò)模型的學(xué)習(xí)重點(diǎn)。對(duì)模型類激活圖進(jìn)行可視化，證明了經(jīng)過注意力模型，網(wǎng)絡(luò)模型更加關(guān)注圖像主體。通過相關(guān)性歸因算法，發(fā)現(xiàn)了當(dāng)前模型對(duì)圖像中光影、輪廓等高級(jí)語義信息敏感度較強(qiáng)。通過對(duì)圖像美學(xué)評(píng)價(jià)模型進(jìn)行解釋，既可以獲得美學(xué)指導(dǎo)，也可以根據(jù)網(wǎng)絡(luò)的特性對(duì)模型進(jìn)行修改。

2 可解釋性方法簡介

在許多計(jì)算機(jī)視覺任務(wù)中，卷積網(wǎng)絡(luò)的性能已經(jīng)遠(yuǎn)遠(yuǎn)超過傳統(tǒng)模式識(shí)別算法。但相比傳統(tǒng)算法，深度卷積網(wǎng)絡(luò)可解釋性低。在一些關(guān)鍵領(lǐng)域，如醫(yī)療、航空和軍事領(lǐng)域，許多實(shí)際應(yīng)用都要路經(jīng)模型背后的決策過程和決策依據(jù)，才能避免一些嚴(yán)重威脅。如果飛機(jī)巡航程序缺乏合理的解釋性，可能會(huì)在一些環(huán)境突變的情況下給旅客造成生命危險(xiǎn)。在日常生活中，手機(jī)面容解鎖已經(jīng)成為公眾接受的方式，但是一些研究表明，構(gòu)造對(duì)抗樣本即可將面容識(shí)別模型的結(jié)果更改，這其實(shí)也是因?yàn)槊嫒葑R(shí)別模型的可解釋性低。

為了使人工智能算法更加透明和可靠，更安全地將模型落地，近年來，許多科研人員針對(duì)模型可解釋性提出了不同的方案。這些方案可以分為事前解釋和事后解釋兩種。事前解釋一般是通過在算法設(shè)計(jì)時(shí)加入可解釋模塊進(jìn)行的。深度卷積神經(jīng)網(wǎng)絡(luò)由于隱含層較多，透明性低。通過在網(wǎng)絡(luò)結(jié)構(gòu)引入注意力機(jī)制是一種行之有效的可解釋性方法。注意力機(jī)制是對(duì)人腦認(rèn)知方式的模擬，由于大腦信息處理水平的局限性，人類會(huì)對(duì)輸入信息進(jìn)行篩選，處理信息中重要部分，忽略不必要信息。神經(jīng)網(wǎng)絡(luò)的注意力機(jī)制是建立對(duì)輸入的注意矩陣，重要部分權(quán)重大，通過反向傳播，注意矩陣也會(huì)不斷調(diào)整，最終體現(xiàn)了對(duì)結(jié)果影響最大的區(qū)域。比如在自然語言處理領(lǐng)域，Bahdanau［12］等人將注意力機(jī)制引入到基于編碼器-解碼器架構(gòu)的機(jī)器翻譯中，有效地提高了“英語-法語”翻譯的性能。在編碼階段，機(jī)器翻譯模型采用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)將原語言編碼到向量空間中；在解碼階段，注意力機(jī)制為解碼器的隱藏狀態(tài)分配不同的權(quán)重，從而允許解碼器在生成法語翻譯的每個(gè)步驟選擇性地處理輸入句子的不同部分。最后通過可視化注意力權(quán)重，用戶可以清楚地理解一種語言中的單詞是如何依賴另一種語言中的單詞進(jìn)行正確翻譯的。

事后解釋主要是在模型訓(xùn)練結(jié)束之后，通過可視化、參數(shù)分析對(duì)比實(shí)驗(yàn)解釋模型。分為兩類，一類是全局性解釋，另一類是局域性解釋。全局性解釋通過可視化解釋每個(gè)神經(jīng)元的狀況來理解神經(jīng)網(wǎng)絡(luò)的有效性；局域性解釋主要是理解圖片分類的原因，只關(guān)注輸入圖像的部分區(qū)域。

針對(duì)神經(jīng)網(wǎng)絡(luò)的常見全局性解釋方法有模型蒸餾、激活最大化等。深度卷積網(wǎng)絡(luò)的復(fù)雜度高，從全局進(jìn)行解釋的難度高。模型蒸餾是將復(fù)雜的大模型學(xué)習(xí)到的知識(shí)遷移到簡單的小模型，其目標(biāo)是在保證模型泛化能力的前提下將復(fù)雜模型進(jìn)行濃縮。小模型可以采用可解釋性強(qiáng)的模型，比如決策樹、淺層神經(jīng)網(wǎng)絡(luò)。模型蒸餾主要的難題是表達(dá)能力弱的小模型難以將從大量數(shù)據(jù)得到復(fù)雜特征進(jìn)行表達(dá)，因而導(dǎo)致小模型性能較低。激活最大化是將卷積神經(jīng)網(wǎng)絡(luò)中間的特征圖進(jìn)行可視化，從圖像的視覺語義信息直觀地理解神經(jīng)網(wǎng)絡(luò)的內(nèi)部邏輯。常見的局部解釋算法主要有 LIME［13］、Scaliency Maps［14］、LRP［15］、Deep-LIFT［16］幾種，其中LIME是一種和模型無關(guān)的局部可解析性算法。主要思路是基于想要解釋的部分模型及樣本來構(gòu)建局部的簡單模型。該方法適用于特征易于解釋的情況。具體做法是對(duì)樣本進(jìn)行可解釋的擾動(dòng)，得到若干個(gè)擾動(dòng)樣本，然后再將這些樣本還原到特征空間中，建立局部模型。比如在動(dòng)物分類任務(wù)中，只保留動(dòng)物的頭部或者尾巴，生成新樣本。然后對(duì)只保留頭部的圖片作出預(yù)測(cè)，生成真實(shí)值。最后將新樣本和所對(duì)應(yīng)真實(shí)值進(jìn)行簡單建模，觀察樣本對(duì)于結(jié)果的影響。

3 美學(xué)單一評(píng)價(jià)模型簡介

圖像美學(xué)質(zhì)量評(píng)價(jià)從美學(xué)特征提取方式來看可分為基于傳統(tǒng)視覺算法構(gòu)建美學(xué)規(guī)則和基于深度學(xué)習(xí)構(gòu)建美學(xué)模型兩個(gè)階段。前期的圖像美學(xué)質(zhì)量評(píng)估主要是基于人類對(duì)圖像特征和攝影規(guī)則的審美感知來人工設(shè)計(jì)特征，包括三分法則［17］，圖片的景深［18］和平衡性［19］等。自深度學(xué)習(xí)在計(jì)算機(jī)視覺其他領(lǐng)域的任務(wù)表現(xiàn)出色之后，國內(nèi)外研究者開始使用深度神經(jīng)網(wǎng)絡(luò)來提取美學(xué)特征［20-22］，雖然可解釋性比人工設(shè)計(jì)要低，但是基于深度學(xué)習(xí)的圖像質(zhì)量評(píng)價(jià)的效果得到了大大的改進(jìn)。

目前圖像美學(xué)質(zhì)量評(píng)價(jià)的研究主要集中在以下兩類，一類為美學(xué)分類、美學(xué)單一數(shù)值評(píng)價(jià)、美感分布預(yù)測(cè)等數(shù)值型評(píng)價(jià)研究；一類為與美學(xué)語言評(píng)論生成相關(guān)的自然語言處理研究。其中，單一數(shù)值評(píng)價(jià)是給出原始輸入圖像的美學(xué)評(píng)分或者屬性評(píng)分。本文所介紹的圖像美學(xué)單一評(píng)價(jià)模型基于深度學(xué)習(xí)，包括了注意力機(jī)制以及美學(xué)評(píng)分分類化兩個(gè)部分。注意力機(jī)制是對(duì)人類視覺機(jī)制的有效模擬，在自然語言處理中，句子中的“美好”和“樂觀”等詞語比“生活”這類詞更有意義地決定了評(píng)論的情感。在神經(jīng)網(wǎng)絡(luò)中增加注意力模塊可以有效提高模型的表達(dá)能力和模型可解釋性。引入美學(xué)評(píng)分分類化則是為了美學(xué)分類指導(dǎo)美學(xué)回歸任務(wù)。主要的依據(jù)是美學(xué)分類是弱分類，類別之間不像物品識(shí)別一樣具有嚴(yán)格的界限。因此采取先分類再回歸的方法，可以提高美學(xué)單一數(shù)值評(píng)價(jià)的性能。

如圖1所示，神經(jīng)網(wǎng)絡(luò)模型主要分為三部分，分別為：特征提取部分、注意力部分以及分類回歸部分。特征提取部分采用效率高的EfficientNet［23］，注意力部分采用位置注意力和通道注意力相結(jié)合的方式，分類回歸部分的設(shè)計(jì)為先分類再回歸。

圖1 圖像單一數(shù)值評(píng)價(jià)網(wǎng)絡(luò)模型示意圖

EfficientNet是一種通過網(wǎng)格搜索深度、寬度和分辨率尋找到最佳比例的網(wǎng)絡(luò)，其效率高、速度快。對(duì)于圖像美學(xué)而言，更多參數(shù)的卷積神經(jīng)網(wǎng)絡(luò)將有助于多主體的圖片特征的提取。模型使用雙路的并行注意力機(jī)制，包括位置注意力和通道注意力。原因是圖像美學(xué)質(zhì)量評(píng)估中，圖像中各個(gè)物體的位置及相對(duì)關(guān)系和圖像整體的顏色、光照、深度都會(huì)對(duì)圖像美學(xué)質(zhì)量結(jié)果有較大的影響。因此使用建立圖像的特征關(guān)系的位置注意力和通過將不同通道的依賴性進(jìn)行學(xué)習(xí)來增強(qiáng)特征圖的表達(dá)能力。在特征提取部分的特征圖通過注意力模塊之后，通過級(jí)聯(lián)的方式將特征聚合，綜合了多個(gè)位置、多個(gè)通道的多尺度信息。分類回歸部分是在聚合特征之后使用全局池化層（Global Average Pooling，GAP），主要原因是使用全連接層會(huì)在迭代若干次之后使得模型出現(xiàn)過擬合的現(xiàn)象，而使用GAP層可以實(shí)現(xiàn)有效的抗過擬合效果，準(zhǔn)確率變得穩(wěn)定。位置注意力網(wǎng)絡(luò)模型如圖2所示。

圖2 位置注意力示意圖

4 神經(jīng)網(wǎng)絡(luò)的特征圖可視化

卷積網(wǎng)絡(luò)在訓(xùn)練中學(xué)習(xí)了圖像中的各種空間結(jié)構(gòu)，將特征圖進(jìn)行可視化有助于更好地理解深度網(wǎng)絡(luò)。在本節(jié)中，將直接可視化網(wǎng)絡(luò)每層的特征圖，觀察特征圖隨著網(wǎng)絡(luò)深度的變化，并且通過轉(zhuǎn)置卷積在輸入圖像中得到映射。

轉(zhuǎn)置卷積操作能夠使特征圖在原始輸入找到對(duì)應(yīng)位置，主要是因?yàn)樯窠?jīng)網(wǎng)絡(luò)在前向傳播時(shí)，每個(gè)卷積的輸出都依賴輸入的區(qū)域。如圖3所示，Layer1綠色區(qū)域以外的值不會(huì)影響Layer2綠色區(qū)域的值。

卷積的前向傳播就是轉(zhuǎn)置卷積層的反向傳播過程，兩者正好是相反的。卷積層可以理解為一個(gè)稀疏矩陣，卷積核以外的都為0。卷積核內(nèi)部為需要學(xué)習(xí)的參數(shù)。假設(shè)輸入圖像為A，卷積層為X，那么卷積后的結(jié)果為AX=B。

反卷積操作的主要難點(diǎn)是，一般來說，為了提高模型的泛化能力，卷積網(wǎng)絡(luò)會(huì)在卷積層之后使用池化操作來降低卷積層輸出的特征向量。最大池化方法是最常用的池化操作之一，是一種不可逆的操作。因此在反卷積之后需要近似的進(jìn)行反池化，也就是將特征圖最大激活值的位置進(jìn)行記錄，其他區(qū)域賦值為0。

圖4 反池化示意圖

圖5為特征圖可視化的流程圖，輸入的圖像為一幅沙漠風(fēng)景圖，圖片內(nèi)容顯示正值中午，有幾個(gè)人騎著駱駝在沙丘的頂峰行走。通過可視化特征層，并將特征層映射到原始輸入圖像中，可以發(fā)現(xiàn)網(wǎng)絡(luò)淺層部分確實(shí)將沙漠、天空、甚至陰影部分的紋理學(xué)習(xí)到了；而深層部分關(guān)注的是沙漠的流動(dòng)性，并學(xué)習(xí)到了背景和前景的區(qū)別。

圖5 特征圖可視化流程

圖6為有代表性的特征圖?？梢缘贸鲆韵聨讞l規(guī)律：

圖6 代表性特征圖

（1）淺層網(wǎng)絡(luò)主要提取紋理、顏色、細(xì)節(jié)特征。

（2）深層網(wǎng)絡(luò)主要提取輪廓、形狀特征。

根據(jù)可視化的結(jié)果與對(duì)感受野的理解，得出結(jié)論：出現(xiàn)這種情況的原因是淺層網(wǎng)絡(luò)感受野較小，對(duì)應(yīng)的像素區(qū)域也較小，能夠利用更多的細(xì)粒度特征信息捕獲更多細(xì)節(jié)。而深層網(wǎng)絡(luò)，由于下采樣或卷積次數(shù)逐步增加，感受野逐漸增加，感受野之間的重疊區(qū)域也不斷增加，此時(shí)的像素點(diǎn)代表的信息是一個(gè)區(qū)域的信息，獲取的是這塊區(qū)域或相鄰區(qū)域之間的特征信息，對(duì)應(yīng)語義信息，細(xì)粒度相對(duì)不夠。特征圖可視化不能完全解釋神經(jīng)網(wǎng)絡(luò)，但通過這種方法可以發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征是呈現(xiàn)分層特征，淺層網(wǎng)絡(luò)抽取圖像的具體特征，而深層網(wǎng)絡(luò)呈現(xiàn)圖像抽象特征，這個(gè)過程與人類認(rèn)知一致。這對(duì)未來設(shè)計(jì)美學(xué)深度模型提供了指導(dǎo)，比如針對(duì)圖像色彩評(píng)價(jià)可以利用淺層特征，有效防止過擬合。

5 類激活圖的可視化

類激活圖可視化,是一種神經(jīng)網(wǎng)絡(luò)解釋方法，通過對(duì)輸入圖像生成類激活的熱力圖來表示每個(gè)位置對(duì)該類別的重要程度，有助于通過可視化把握輸入圖片的不同區(qū)域?qū)︻A(yù)測(cè)結(jié)果的影響程度。

類激活圖利用特征圖權(quán)重疊加的原理進(jìn)行可視化。具體而言，就是將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的全連接層更換為全局平均池化加全連接層。全局平均池化層的工作原理是將池化層的滑動(dòng)窗口設(shè)置為與特征圖的尺寸一致，這種做法可以理解為將特征圖每一通道壓縮為一個(gè)值。在神經(jīng)網(wǎng)絡(luò)中使用全局平均池化層可以使得模型參數(shù)大大減少，運(yùn)行速度更快，有效防止過擬合。

類激活的主要公式為：

重新推導(dǎo)此過程：A表示網(wǎng)絡(luò)最后的卷積層輸出，大小為w*h*n，其中w為最后小全連接層的權(quán)重,C為類別數(shù)。經(jīng)過一個(gè)全局池化層得到：1*n,然后經(jīng)過一個(gè)權(quán)重為n*c的小全連接層，得到大小為1*c的分類向量。最后高亮圖片中對(duì)分類最重要作用的區(qū)域，得到圖像的類激活圖。

在本節(jié)中使用類激活圖可視化方法評(píng)測(cè)美學(xué)單一評(píng)價(jià)模型中注意力機(jī)制的有效性。圖7中第一列為原始輸入圖像，第二列為輸入圖像只通過特征提取層的結(jié)果，第三列為輸入圖像通過注意力機(jī)制后的特征圖。顏色越靠近紅色，說明影響越大；顏色越藍(lán)則說明影響越小。可以發(fā)現(xiàn)，在經(jīng)過位置注意力和通道注意力之后，神經(jīng)網(wǎng)絡(luò)可以定位到主體上，且主體對(duì)結(jié)果的影響增大。合理利用注意力機(jī)制可以有效提升神經(jīng)網(wǎng)絡(luò)性能。

圖7 類激活圖結(jié)果

6 相關(guān)性歸因

基于梯度的方法對(duì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)果進(jìn)行歸因，是可解釋性神經(jīng)網(wǎng)絡(luò)的主要方法。一個(gè)成熟的歸因方法要滿足敏感性和實(shí)現(xiàn)不變性。敏感性是一個(gè)歸因方法對(duì)于所有的輸入和基準(zhǔn)輸入都應(yīng)該滿足敏感性，即對(duì)不同的輸入特征，產(chǎn)生不同的預(yù)測(cè)結(jié)果時(shí)，不同的特征所對(duì)應(yīng)的歸因（屬性）非0。實(shí)現(xiàn)不變性是指如果兩個(gè)完全不同的方式實(shí)現(xiàn)的網(wǎng)絡(luò)對(duì)于所有輸入、輸出都相等，則兩個(gè)網(wǎng)絡(luò)在功能上是等效的。

層級(jí)相關(guān)性傳播方法是一種試圖將分類器結(jié)果在原始輸入圖像上找到對(duì)應(yīng)關(guān)系，得到圖像中每個(gè)像素的決策權(quán)重的方法。層級(jí)歸因化是一種貢獻(xiàn)傳播方法，該方法首先利用加性模型計(jì)算高層特征對(duì)模型預(yù)測(cè)結(jié)果的貢獻(xiàn)，然后通過反向傳播將高層特征的貢獻(xiàn)逐層傳遞到模型的輸入，以確定每一層的每一個(gè)神經(jīng)元節(jié)點(diǎn)對(duì)其下一層神經(jīng)元節(jié)點(diǎn)的相對(duì)貢獻(xiàn)。該方法將模型高層特征分解為多個(gè)多維向量，且每個(gè)多維向量對(duì)應(yīng)一個(gè)相關(guān)性分值，然后將相關(guān)性分值遞歸地傳播到低層?；谔荻确聪騻鞑サ慕忉尫椒m然充分利用了模型的結(jié)構(gòu)特性，但無法實(shí)際解決預(yù)測(cè)函數(shù)梯度小導(dǎo)致激活函數(shù)失真的問題，因此這類解釋方法依然存在許多人類無法理解的噪音。而基于重要性或相關(guān)性的反向傳播方法不要求激活是可微的，可以有效解決該問題。

本節(jié)運(yùn)用層級(jí)相關(guān)性傳播方法計(jì)算標(biāo)簽與輸入圖像的關(guān)聯(lián)，并將結(jié)果可視化。如圖8顯示，原始輸入圖像中光影、輪廓等信息對(duì)預(yù)測(cè)結(jié)果影響權(quán)重大。第一幅圖畫面前景部分為動(dòng)物，背景為烏云，通過層級(jí)相關(guān)性可以發(fā)現(xiàn)這類肖像圖前景主體對(duì)結(jié)果的影響比背景大。從第二幅圖像和第三幅圖像的結(jié)果可以看出光影變化的位置比圖像中同色調(diào)的部分對(duì)結(jié)果的影響權(quán)重大。第4幅圖是一把輪椅在懸崖上，輪椅的位置在圖像的三分位置，畫面中其余部分表現(xiàn)了一種靜謐陰森的感覺。從可視化結(jié)果來看，模型可以準(zhǔn)確的識(shí)別畫面的主體。

圖8 層級(jí)相關(guān)性結(jié)果

7 總結(jié)

本文運(yùn)用當(dāng)前深度學(xué)習(xí)領(lǐng)域前沿的可解性方法對(duì)圖像美學(xué)單一數(shù)值模型進(jìn)行解釋。主要使用了基于梯度的類激活圖可視化、上卷積網(wǎng)絡(luò)提取特征圖、層級(jí)歸因算法三種方法，并對(duì)三種方法展現(xiàn)的結(jié)果進(jìn)行解釋。進(jìn)行可解釋性工作一方面證明了模型性能變好的依據(jù)，比如注意力機(jī)制使得卷積網(wǎng)絡(luò)更加關(guān)注圖像中主體，而不是關(guān)注圖像中無用信息。一方面在解釋模型之后可根據(jù)輸出結(jié)果的特性對(duì)模型進(jìn)行改進(jìn)，同時(shí)在模型解釋的過程中可以提供對(duì)美學(xué)的指導(dǎo)。