摘" 要： 針對基于深度學習的模型因需要大量標注數(shù)據(jù)而選擇在預訓練模型上進行微調(diào)，導致面對新任務(wù)泛化性不足的問題，提出一種基于元原型網(wǎng)絡(luò)的無參考圖像質(zhì)量評價算法。利用元原型網(wǎng)絡(luò)提取相關(guān)任務(wù)中的元知識形成質(zhì)量先驗模型，在面對未知任務(wù)時快速泛化。首先，在不同失真的數(shù)據(jù)集上利用元學習方法獲取各種失真的共享先驗知識得到質(zhì)量先驗模型；接著，為了能夠更好地捕獲各種失真場景共享先驗知識，利用元原型單元對圖像特征進行重建，以獲得更加豐富的先驗知識，從而便于后續(xù)的質(zhì)量分數(shù)預測過程；最后，在目標任務(wù)上對質(zhì)量先驗模型進行微調(diào)，以構(gòu)建質(zhì)量模型。在CID2013、LIVE challenge和KonIQ?10K三個數(shù)據(jù)庫上的實驗結(jié)果表明，所提方法具有更好的性能。

關(guān)鍵詞： 無參考圖像質(zhì)量評價； 元學習； 元原型網(wǎng)絡(luò)； 元原型單元； 質(zhì)量先驗模型； 共享先驗知識

中圖分類號： TN911.73?34； TP391.41" " " " " " " " 文獻標識碼： A" " " " " " " " "文章編號： 1004?373X（2024）11?0045?06

No?reference image quality assessment based on meta prototype network

QIU Wenxin， JIA Huizhen， WANG Tonghan

（School of Information Engineering， East China University of Technology， Nanchang 330013， China）

Abstract： The model based on deep learning requires a large amount of annotated data， so it is subjected to fine?tune on the pre?training model， which leads to insufficient generalization when facing new tasks. In view of this， a no?reference IQA （NR?IQA） algorithm based on meta prototype network is proposed. The meta prototype network is used to extract meta?knowledge in relevant tasks to form a quality prior model， which can quickly fulfill generalization when facing unknown tasks. The meta?learning method is used to obtain shared prior knowledge of various distortions on different distortion datasets to form the quality prior model. In order to better capture shared prior knowledge of various distortion scenarios， the meta prototype units are used to reconstruct image features to obtain richer prior knowledge， which facilitates the subsequent process of quality score prediction. The quality prior model is fine?tuned on the object task to construct the quality model. Experimental results on the three databases of CID2013， LIVE challenge and KonIQ?10K show that the proposed method has better performance.

Keywords： NR?IQA; meta?learning; meta prototype network; meta prototype unit; quality prior model; shared prior knowledge

收稿日期：2023?11?03" " " " " "修回日期：2023?11?28

基金項目：國家自然科學基金項目（62266001）；國家自然科學基金項目（62261001）

0" 引" 言

近年來，隨著科技的快速發(fā)展，各式各樣的圖像充斥在生活中。然而圖像在采集、壓縮、存儲到傳輸?shù)倪^程中可能會導致視覺信息丟失，最后輸出一張失真的圖像到客戶端，影響觀眾觀看體驗。因此，需要一個可靠的圖像質(zhì)量評價方法為用戶篩選出高質(zhì)量圖像。

雖然人類對圖像的主觀評價結(jié)果較為準確，但實際操作耗費大、代價高?？陀^評價通過設(shè)計合適的模型預測圖像的視覺質(zhì)量，實際應用較為廣泛。

客觀質(zhì)量評價通常分為三類：全參考圖像質(zhì)量評價（Full?reference IQA， FR?IQA）[1]、部分參考圖像質(zhì)量評價（Reduced Reference IQA， RR?IQA）[2]和無參考圖像質(zhì)量評價（No?reference IQA， NR?IQA）[3?7]。全參考圖像質(zhì)量評價是利用參考圖像全部信息來評價失真圖像質(zhì)量。其中經(jīng)典算法包括SSIM算法[1]、VIF算法[8]、MAD算法[9]、FSIM算法[10]等。全參考圖像質(zhì)量評價結(jié)果較為準確，但需要利用參考圖像的全部信息，這在實際生活中很難獲取。部分參考圖像質(zhì)量評價只需要利用參考圖像的部分信息來評價失真圖像質(zhì)量。而無參考圖像質(zhì)量評價則不需要參考圖像任何信息即可評價失真圖像質(zhì)量。無參考圖像質(zhì)量評價方法由于無需依賴參考圖像受到了越來越多研究人員的關(guān)注。早期的無參考圖像質(zhì)量評價方法主要著重研究特定的失真類型，例如模糊[11]和振鈴效應[12]。這些方法是假設(shè)圖像只遭受某一種失真的影響，這也限制了其在實際中的應用。因此，越來越多的研究人員關(guān)注通用的無參考圖像質(zhì)量評價方法[3?7]。這些方法利用手工特征[13]或?qū)W習到的特征[14]來表征圖像并基于這些特征建立質(zhì)量預測模型。

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Networks， DCNNs）[15]在許多視覺任務(wù)中取得很好的效果，催生出一些基于DCNNs的無參考圖像質(zhì)量評價方法[3?7]。這些方法的性能明顯優(yōu)于傳統(tǒng)基于手工特征的方法，但由于其需要大量的參數(shù)而導致泛化能力較弱。另外，在其訓練過程中需要使用大量帶標簽的數(shù)據(jù)，而這些帶標簽數(shù)據(jù)收集困難。

元學習的出現(xiàn)，一定程度上緩解了這些問題。文獻[16]利用基于多個特定失真的NR?IQA任務(wù)的雙層梯度下降策略來學習元模型，該模型通過捕獲多個任務(wù)中的共性，從而快速適應未知失真的NR?IQA任務(wù)。為了能夠更好地捕獲圖像失真信息，受文獻[17]提出的用于視頻異常檢測的元原型網(wǎng)絡(luò)的啟發(fā)，本文首次提出一種基于元原型單元的無參考圖像質(zhì)量評價方法。該方法通過構(gòu)建深度學習中的網(wǎng)絡(luò)模型來實現(xiàn)，由于文獻[17]提出的元原型網(wǎng)絡(luò)適用于視頻異常檢測任務(wù)，其利用小樣本學習中的訓練策略來提取各個場景視頻的“元信息”。受此啟發(fā)，本文對元原型網(wǎng)絡(luò)中的目標函數(shù)以及訓練策略進行了改進。本文將目標函數(shù)中用于衡量視頻預測幀與真實值之間的差距看成測量圖像質(zhì)量評價任務(wù)中預測分數(shù)與真實分數(shù)的均方誤差，并采用基于優(yōu)化的雙層梯度下降方法[16，18]，以便更好適用于圖像質(zhì)量評價任務(wù)。

整個網(wǎng)絡(luò)結(jié)構(gòu)可分為：特征提取網(wǎng)絡(luò)、元原型網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)。在質(zhì)量先驗模型訓練期間，首先，利用Resnet[15]作為特征提取網(wǎng)絡(luò)提取輸入圖像的特征，其次，將提取的特征輸入到元原型網(wǎng)絡(luò)，通過元原型單元重建并輸出同樣維度、寬度與高度的帶有豐富圖像質(zhì)量信息的特征。最后，將重建后特征與第一次提取的特征進行融合并輸入到回歸網(wǎng)絡(luò)，利用改進后的目標函數(shù)對整個網(wǎng)絡(luò)進行優(yōu)化得到質(zhì)量先驗模型，并將質(zhì)量先驗模型用于具體目標任務(wù)。

1" 本文算法

本文算法的模型結(jié)構(gòu)如圖1所示。模型分為三個結(jié)構(gòu)：特征提取網(wǎng)絡(luò)、原型網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)。將圖像輸入到Resnet18[15]進行特征提取，將提取到的特征輸入到元原型單元進行配對重建，最后將重建后的特征與之前提取的特征融合并輸入到質(zhì)量回歸網(wǎng)絡(luò)得到相應的預測質(zhì)量分數(shù)。整個模型使用文獻[16]中的訓練策略，在各種特定失真圖像數(shù)據(jù)集上進行訓練，將原型網(wǎng)絡(luò)轉(zhuǎn)變?yōu)樵途W(wǎng)絡(luò)并得到質(zhì)量先驗模型。最后在未知失真數(shù)據(jù)集上對質(zhì)量先驗模型進行微調(diào)以獲得最終模型。

1.1" 特征提取網(wǎng)絡(luò)

由于本文使用的是文獻[16]提出的基于優(yōu)化的訓練策略，為了方便比較，采用的特征提取網(wǎng)絡(luò)與Resnet18[15]保持一致。該網(wǎng)絡(luò)的具體參數(shù)如表1所示。

1.2" 原型網(wǎng)絡(luò)

本文利用Resnet18[15]對輸入的圖像進行特征提取得到特征圖[Rh×w×c]，將該特征圖輸入到原型網(wǎng)絡(luò)最終輸出同樣大小的特征圖[Rh×w×c]。該網(wǎng)絡(luò)通過完全可微的注意力機制生成原型池，通過搜索原型池中的原型單元來重建輸入的特征。整個過程可分為三個子過程：注意、聚合和搜索。另外，本節(jié)也將具體描述對元原型網(wǎng)絡(luò)訓練策略以及目標函數(shù)的改進。

1.2.1" 注意子過程

將經(jīng)過Resnet18后的特征圖[χ=Rh×w×c]看作為[N]個[c]維的向量[{x1，x2，…，xN}]，其中[N=h×w]。利用[M]個注意映射函數(shù)[{ψm： Rc→ R1}Mm=1]將特征圖[χ]的[N]個向量的維度由[c]壓縮為[l]，生成權(quán)重[wn，m∈Wm]= [ψm（χ）]。每個像素中的權(quán)重代表該像素的注意程度。其中，[Wm∈ Rh×w×1]，代表第[m]個注意函數(shù)生成的第[m]個注意權(quán)重映射。

1.2.2" 聚合子過程

利用注意子過程得到的注意權(quán)重映射對特征圖[χ]的[N]個向量進行聚合得到唯一原型[Pm]，公式如下：

[Pm=n=1Nwn，mn=1Nwn，mxn] （1）

同樣，由[M]個注意映射函數(shù)可以得到[M]個原型，從而形成一個原型池[P=PmMm=1]。

1.2.3" 搜索子過程

輸入原型網(wǎng)絡(luò)的特征圖向量[xn]也被作為查詢項，用于在原型池中搜索相關(guān)的原型項，并利用其對特征圖向量進行重建形成特征圖[X∈Rh×w×c]，每個特征圖向量的重建公式如下：

[X=m=1Mβn，mPm] （2）

式中[βn，m=xnPmm=1MxnPm]代表[xn]和第[m]個原型項之間的相關(guān)性分數(shù)。同時，該過程也是將之前記錄的圖像失真信息通過對特征向量的重建寫入到特征圖中，通過該過程后的圖像特征攜帶了豐富的失真信息，有利于后續(xù)質(zhì)量分數(shù)的預測過程。

1.3" 目標函數(shù)的改進

在文獻[17]中的損失函數(shù)由幀預測項和特征重建項兩部分組成，其中幀預測項用于衡量預測值與真實值之間的差距。其特征重建項主要用于保證所記錄的原型單元之間的多樣性以及保證輸入特征與重建特征之間的緊湊性。

本文將幀預測項替換為圖像質(zhì)量評價任務(wù)中用于衡量預測分數(shù)與真實分數(shù)之間差距的均方誤差，這也是圖像質(zhì)量評價任務(wù)中常用的損失函數(shù)，公式為：

[?pre=fθx;θ-y22] （3）

式中：[fθx;θ]表示通過模型計算得到的預測值，[θ]表示模型中的參數(shù)；[y]表示真實值。本文重建項的損失函數(shù)與文獻[17]中保持一致，因為本文也希望模型能記錄各個特定失真場景下的失真信息以及特征的穩(wěn)定性。因此要求原型單元之間保持多樣性以及與輸入特征的緊湊性，公式如下：

[?fea=?c+λ1?d] （4）

[?c=1Nn=1Nxn-p*2] （5）

[s.t.，*=argmaxβn，m，" " m∈1，M] （6）

[?d=2MM-1m=1Mm=1M-pm-pm2+γ+] （7）

式中：[Lc]是為了保持原型單元與輸入特征之間的緊湊性；[βn，m]是等式（2）中相關(guān)性分數(shù)；[?d]是為了保持原型單元之間的多樣性；[γ]是為了控制各個原型單元之間的邊界；[λ1]為平衡權(quán)重，用于平衡[?c]和[?d]。

經(jīng)上述分析，本文的目標函數(shù)為：

[?=?pre+λ2?fea] （8）

式中[λ2]為平衡權(quán)重，用于平衡[?pre]和[?fea]。

1.4" 訓練策略的改進

文獻[17]利用小樣本學習中N?way K?shot的訓練方式將原型網(wǎng)絡(luò)轉(zhuǎn)變?yōu)樵途W(wǎng)絡(luò)，本文采用文獻[16]中基于優(yōu)化的雙層梯度下降的訓練方式將原型網(wǎng)絡(luò)轉(zhuǎn)變?yōu)樵途W(wǎng)絡(luò)，并最終得到質(zhì)量先驗模型。圖2展示了整個訓練過程。

為了讓原型網(wǎng)絡(luò)能夠記錄各種失真之間的共享信息并得到質(zhì)量先驗模型，首先收集各種基于特定失真的無參圖像質(zhì)量評價方法的訓練集形成元訓練集。

[Dpτmeta=Dτns，DτnqNn=1] （9）

式中：[Dτns]和[Dτnq]代表每個任務(wù)中的支持集和查詢集；[N]代表總的任務(wù)數(shù)。從元訓練集中隨機抽取[k]（[1lt;k≤N]）個任務(wù)作為一個小批量。對于每個小批量中的第[i]個支持集[Dτis]，損失可以由公式（3）計算，并表示為[?τi]，接著利用隨機梯度下降（SGD）方法來優(yōu)化模型，并定義為：

[gθ=?θ?τifθ] （10）

通過[Adam]在支持集[Dτis]上更新模型參數(shù)，更新[s]步，定義為：

[Adam?τi，θ：θ'i←θ-αs=1Smθsvθs+?] （11）

式中：[?=1×10-8]；[α]為內(nèi)部學習率；[mθ（s）]和[vθ（s）]為梯度的一階和二階動量，公式分別為：

[mθ（s）=μ1mθ（s-1）+1-μ1gθ（s）] （12）

[vθ（s）=μ2vθ（s-1）+1-μ2g2θ（s）] （13）

式中：[mθ（0）=0]；[vθ（0）=0]；[μ1]和[μ2]分別表示[mθ（s）]和[vθ（s）]的衰減率；[gθ（s）]表示在第[s]步更新模型參數(shù)時的模型參數(shù)梯度。為了能夠獲得泛化性較好的質(zhì)量模型，在查詢集上對更新后的模型進行第二次一階梯度計算，并用Adam優(yōu)化器更新模型參數(shù)，同樣更新[s]步，定義為：

[Adam?τi，θ'i：θi←θ'i-s=1Smθ'svθ's+?] （14）

式中：[mθ'（s）]和[vθ'（s）]為梯度的一階和二階動量。對于具有[k]個任務(wù)的小批次，集成所有任務(wù)的梯度來更新最終模型，定義為：

[θ←θ-β1ki=1Kθ-θi] （15）

式中[β]為外部學習率。

通過以上方法，本文采用[Dp（τ）meta]訓練整個網(wǎng)絡(luò)，最后通過兩次梯度下降得到質(zhì)量先驗模型。

1.5" 通過未知失真進行微調(diào)

得到質(zhì)量先驗模型后，將該模型作為先驗知識，在未知失真數(shù)據(jù)集進行微調(diào)。在微調(diào)過程中沒有額外的學習參數(shù)，降低了模型復雜度。給定[M]張帶有標注真實質(zhì)量分數(shù)的訓練圖像，用[yi]和[yi （i=1，2，…，M）]分別代表每張圖像的預測質(zhì)量分數(shù)和真實質(zhì)量分數(shù)，并用均方誤差作為損失函數(shù)，定義為：

[?=1Mi=1Myi-yi22] （16）

接著利用Adam對質(zhì)量先驗模型的參數(shù)更新[P]步，定義為：

[Adam?，θ：θte←θ-αfp=1Pmθ（p）vθ（p）+?] （17）

式中：[αf]是微調(diào)過程中的學習率；[mθ（p）]和[vθ（p）]是梯度的一階動量和二階動量。經(jīng)過微調(diào)之后，得到最終的質(zhì)量模型，并用該模型對未知失真圖像進行質(zhì)量評價。

2" 實驗與結(jié)果分析

2.1" 圖像庫和評價標準

為了驗證本文算法的有效性以及方便和現(xiàn)有算法進行比較，本文用于訓練質(zhì)量先驗模型和用于微調(diào)所使用的數(shù)據(jù)集均與文獻[16]中保持一致。即選擇合成失真數(shù)據(jù)集TID2013[19]和KADID?10K[20]數(shù)據(jù)集用于訓練質(zhì)量先驗模型。選擇真實失真數(shù)據(jù)集CID2013[21]、LIVE chanllenge[22]和KonIQ?10K[23]用于微調(diào)階段。使用斯皮爾曼等級相關(guān)系數(shù)（SROCC）和皮爾遜線性相關(guān)系數(shù)（PLCC）作為客觀評價指標。SROCC和PLCC的取值范圍為-1～1，絕對值越大，預測性能越好。

2.2" 客觀評價指標對比

為了測試質(zhì)量先驗模型的泛化能力，將本文算法與現(xiàn)有的基于手工特征和基于深度學習的通用無參考圖像質(zhì)量評價方法進行比較。為了公平起見，本文采用了文獻[16]中相同的實驗設(shè)置。CID2013數(shù)據(jù)集中隨機選取4個子集作為訓練集，剩下2個作為測試集。LIVE challenge和KonIQ?10K數(shù)據(jù)集是80%作為訓練集，剩下20%作為測試集。整個實驗總共做10次，每次訓練100步，取10次結(jié)果均值，避免隨機偏差。實驗結(jié)果如表2所示。

由表2可知，相較于現(xiàn)有的一些算法，本文算法預測的圖像質(zhì)量分數(shù)在3個公共數(shù)據(jù)庫上的客觀一致性較好，說明本文模型學習到了更加豐富的圖像質(zhì)量先驗信息，這將有利于圖像質(zhì)量評價任務(wù)。

2.3" 消融實驗

為了測試元原型網(wǎng)絡(luò)中的元原型單元的多樣性以及特征的緊湊性，本文進行了消融實驗。版本1剔除了用于保持元原型單元之間的多樣性損失函數(shù)。版本2剔除了用于保持元原型的單元與輸入特征之間緊湊性的損失函數(shù)。本次實驗在3個真實失真數(shù)據(jù)集上進行實驗，實驗結(jié)果如表3所示。

從表3可知，保持元原型單元的緊湊性和多元性可以提升模型的性能，進一步說明元原型單元能夠記錄圖像在各種失真場景下的質(zhì)量先驗信息。

3" 結(jié)" 語

本文提出了一種基于元學習和元原型單元的通用無參考圖像質(zhì)量評價方法，其利用元學習中基于優(yōu)化的訓練策略將原型網(wǎng)絡(luò)中的原型單元轉(zhuǎn)變?yōu)樵蛦卧?。訓練過程中，原型單元能記錄圖像在各種失真場景下的質(zhì)量先驗信息，并利用記錄的信息對圖像特征進行重建以獲取更加豐富的圖像質(zhì)量信息的特征，接著利用質(zhì)量回歸模型對圖像分數(shù)進行預測，并對目標函數(shù)進行優(yōu)化，形成質(zhì)量先驗模型。最后將質(zhì)量先驗模型在目標任務(wù)上進行微調(diào)以獲得最終質(zhì)量模型。一系列實驗表明，所提模型具有更好的性能。

注：本文通訊作者為賈惠珍。

參考文獻

[1] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： From error visibility to structural similarity [J]. IEEE transactions on image processing， 2004， 13（4）： 600?612.

[2] GOLESTANEH S A， KARAM L. Reduced?reference quality assessment based on the entropy of DWT coefficients of locally weighted gradient magnitudes [J]. IEEE transactions on image processing， 2016， 25（11）： 5293?5303.

[3] ZHANG W， MA K， YAN J， et al. Blind image quality assessment using a deep bilinear convolutional neural network [J]. IEEE transactions on circuits and systems for video technology， 2020， 30（1）： 36?47.

[4] GU S Y， BAO J M， CHEN D， et al. GIQA： Generated image quality assessment [EB/OL]. [2022?11?08]. https：//arxiv.org/abs/2003.08932.

[5] SU S， YAN Q S， ZHU Y， et al. Blindly assess image quality in the wild guided by a self?adaptive hyper network [C]// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 3664?3673.

[6] ZHENG H L， YANG H， FU J L， et al. Learning conditional knowledge distillation for degraded?reference image quality assessment [C]// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. New York： IEEE， 2021： 10222?10231.

[7] KE J J， WANG Q F， WANG Y L， et al. MUSIQ： Multi?scale image quality transformer [C]// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. New York： IEEE， 2021： 5128?5137.

[8] SHEIKH H R， BOVIK A C. Image information and visual quality [C]// Proceedings of the 2004 IEEE International Conference on Acoustics， Speech， and Signal Processing. New York： IEEE， 2004： 709?712.

[9] LARSON E C， CHANDLER D M. Most apparent distortion： Full?reference image quality assessment and the role of strategy [J]. Electronic imaging， 2010， 19（1）： 011006.

[10] ZHANG Lin， ZHANG Lei， MOU X Q， et al. FSIM： A feature similarity index for image quality assessment [J]. IEEE transactions on image processing， 2011， 20（8）： 2378?2386.

[11] LI L， LIN W， WANG X， et al. No?reference image blur assessment based on discrete orthogonal moments [J]. IEEE transactions on cybernetics， 2016， 46（1）： 39?50.

[12] LIU H T， KLOMP N， HEYNDERICKX I. A no?reference metric for perceived ringing artifacts in images [J]. IEEE transactions on circuits and systems for video technology， 2010， 20（4）： 529?539.

[13] SAAD M A， BOVIK A C， CHARRIER C. Blind image quality assessment： A natural scene statistics approach in the DCT domain [J]. IEEE transactions on image processing， 2012， 21（8）： 3339?3352.

[14] YE P， KUMAR J， KANG L， et al. Unsupervised feature learning framework for no?reference image quality assessment [C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2012： 1098?1105.

[15] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 770?778.

[16] ZHU H C， LI L D， WU J J， et al. MetaIQA： Deep meta?learning for no?reference image quality assessment [C]// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 14131?14140.

[17] Lü H， CHEN C， CUI Z， et al. Learning normal dynamics in videos with meta prototype network [C]// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2021： 15425?15434.

[18] WANG Y Q， YAO Q M， KWOK J T， et al. Generalizing from a few examples： A survey on few?shot learning [J]. ACM computing surveys， 2021， 53（3）： 1?34.

[19] PONOMARENKO N N， JIN L N， IEREMEIEV O， et al. Image database TID2013： Peculiarities， results and perspectives [J]. Signal processing： Image communication， 2015， 30： 57?77.

[20] LIN H H， HOSU V， SAUPE D. KADID?10k： A large?scale artificially distorted IQA database [C]// Proceedings of the 2019 Eleventh International Conference on Quality of Multimedia Experience. New York： ACM， 2019： 1?3.

[21] VIRTANEN T， NUUTINEN M， VAAHTERANOKSA M， et al. CID2013： A database for evaluating no?reference image quality assessment algorithms [J]. IEEE transactions on image proces?sing， 2015， 24（1）： 390?402.

[22] GHADIYARAM D， BOVIK A C. Massive online crowdsourced study of subjective and objective picture quality [J]. IEEE transactions on image processing， 2016， 25（1）： 372?387.

[23] HOSU V， LIN H H， SZIRáNYI T， et al. KonIQ?10k： An ecologically valid database for deep learning of blind image quality assessment [J]. IEEE transactions on image processing， 2020， 29： 4041?4056.

[24] GUAN T X， LI C F， MA J A. No?reference stereoscopic image quality assessment by both complex contourlet domain with spatial domain features [C]// Proceedings of the 2019 12th International Congress on Image and Signal Processing. New York： IEEE， 2019： 1?6.

[25] ZHANG Lin， ZHANG Lei， BOVIK A C. A feature?enriched completely blind image quality evaluator [J]. IEEE transactions on image processing， 2015， 24（8）： 2579?2591.

[26] XU J T， YE P， LI Q H， et al. Blind image quality assessment based on high order statistics aggregation [J]. IEEE transactions on image processing， 2016， 25（9）： 4444?4457.

[27] KIM J， LEE S. Fully deep blind image quality predictor [J]. IEEE journal of selected topics in signal processing， 2017， 11（1）： 206?220.

[28] MA K D， LIU W T， ZHANG K， et al. End?to?end blind image quality assessment using deep neural networks [J]. IEEE transactions on image processing， 2018， 27（3）： 1202?1213.

[29] BOSSE S， MANIRY D， MüLLER K R， et al. Deep neural networks for no?reference and full?reference image quality assessment [J]. IEEE transactions on image processing， 2018， 27（1）： 206?219.

[30] REDDY D S V， DEV C， KOTHARI N， et al. Generating image distortion maps using convolutional autoencoders with application to no reference image quality assessment [J]. IEEE signal processing letters， 2019， 26（1）： 89?93.

[31] KIM J， NGUYEN A D， LEE S. Deep CNN?based blind image quality predictor [J]. IEEE transactions on neural networks and learning systems， 2019， 30（1）： 11?24.

[32] YAN B， BARE B， TAN W M. Naturalness?aware deep no?re?ference image quality assessment [J]. IEEE transactions on multimedia， 2019， 21（10）： 2603?2615.

[33] WANG Z， BOVIK A C. Modern image quality assessment [M]. 1st ed. San Rafael： Morgan amp; Claypool Publishers， 2006.

[34] MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a ″completely blind″ image quality analyzer [J]. IEEE signal processing letters， 2013， 20（3）： 209?212.

[35] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [J]. Communications of the ACM， 2017， 60（6）： 84?90.

[36] MUNKHDALAI T， YU H. Meta networks [C]// Proceedings of the 34th International Conference on Machine Learning. New York： ACM， 2017： 2554?2563.

[37] SUNG F， YANG Y X， ZHANG L， et al. Learning to compare： Relation network for few?shot learning [C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 1199?1208.

[38] FINN C， ABBEEL P， LEVINE S. Model?agnostic meta?learning for fast adaptation of deep networks [C]// Proceedings of the 34th International Conference on Machine Leaning. New York： PMLR， 2017： 1126?1135.

[39] DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale [EB/OL]. [2020?10?22]. https：//arxiv.org/abs/2010.11929v1.

[40] LIU Z， LIN Y T， CAO Y， et al. Swin Transformer： Hierarchical vision transformer using shifted windows [C]// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. New York： IEEE， 2021： 9992?10002.

[41] HU J， SHEN L， ALBANIE S， et al. Squeeze?and?excitation networks [J]. IEEE transactions on pattern analysis and machine intelligence， 2020， 42（8）： 2011?2023.

[42] WANG F， JIANG M Q， QIAN C， et al. Residual attention network for image classification [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2017： 6450?6458.

[43] WANG Y F， DU H Q， XU J T， et al. A no?reference perceptual blur metric based on complex edge analysis [C]// Proceedings of the 2012 3rd IEEE International Conference on Network Infrastructure and Digital Content. New York： IEEE， 2012： 487?491.

[44] ZHANG S Q， LI P C， XU X H， et al. No?reference image blur assessment based on response function of singular values [J]. Symmetry， 2018， 10（8）： 304.

[45] CRETE F， DOLMIERE T， LADRET P， et al. The blur effect： Perception and estimation with a new no?reference perceptual blur metric [C]// Proceedings of the Human Vision and Electronic Imaging XII. Bellingham： SPIE Press， 2007： 64920I.

作者簡介：邱文新（1999—），男，江西撫州人，碩士生，研究方向為圖像處理與模式識別。

賈惠珍（1983—），女，河南襄城人，博士，副教授，研究方向為模式識別和機器學習在圖像處理方面的理論和應用研究。

王同罕（1984—），男，江西鄱陽人，博士，研究方向為人工智能在圖像處理、模式識別、計算機視覺方面的理論和應用研究。