陳健 李詩云 林麗 王猛 李佐勇

隨著成像科學(xué)的不斷發(fā)展,成像技術(shù)在社交媒體、天文、醫(yī)學(xué)、工業(yè)、公共安全等領(lǐng)域得到廣泛的應(yīng)用,并取得大量研究進(jìn)展與成果,如更快的成像速度、更高的成像分辨率等.盡管如此,由于成像系統(tǒng)內(nèi)在或外在因素的影響,不同失真類型的成像結(jié)果(降質(zhì)圖像)仍然不可避免,模糊失真即其中最為重要的一種降質(zhì)類型.雖然在某些情況下,如從藝術(shù)的角度,局部模糊的圖像可能帶來更高的藝術(shù)價(jià)值,但在絕大多數(shù)情況下,圖像的模糊問題會(huì)影響人們對信息的感知、獲取及圖像的后續(xù)處理,尤其是一些基于高質(zhì)量圖像應(yīng)用的場合,如醫(yī)學(xué)分析與診斷[1-2]、遙感[3]、生物識(shí)別[4]、監(jiān)控系統(tǒng)[5]等.因此,針對模糊圖像的各種分析與處理方法得到長期且廣泛的關(guān)注及應(yīng)用[6-13],包括:

1)應(yīng)用于自動(dòng)成像系統(tǒng)的圖像清晰度評價(jià)函數(shù).在基于對焦深度法的自動(dòng)對焦系統(tǒng)中包含3 個(gè)重要環(huán)節(jié)[6-7],即對焦窗口選擇、圖像清晰度評價(jià)函數(shù)與搜索算法.其中,圖像清晰度評價(jià)函數(shù)實(shí)現(xiàn)對不同模糊程度圖像的質(zhì)量評價(jià),從而為得到最終的正焦圖像提供依據(jù).

2)應(yīng)用于成像結(jié)果自動(dòng)篩選的圖像質(zhì)量評價(jià)方法.正如前述,由于成像系統(tǒng)內(nèi)在與外在因素(如環(huán)境因素、人為因素)的影響,最終采集得到的圖像可能是包含了模糊問題的降質(zhì)圖像.因此,通過有效的質(zhì)量評價(jià)方法對圖像進(jìn)行評估,丟棄不符合質(zhì)量要求的圖像(模糊失真圖像),從而為圖像的后續(xù)處理提供保障[14].

3)應(yīng)用于模糊圖像的圖像增強(qiáng)算法.圖像去模糊(Image deblurring)方法作為常見的圖像增強(qiáng)算法之一,實(shí)現(xiàn)對模糊圖像的去模糊處理,將模糊失真圖像恢復(fù)為清晰圖像[12-13].

上述3 類方法與應(yīng)用中,應(yīng)用于自動(dòng)對焦的圖像清晰度評價(jià)(Image sharpness assessment)函數(shù)與應(yīng)用于成像結(jié)果自動(dòng)篩選的模糊圖像質(zhì)量評價(jià)方法(Image quality assessment,IQA)均是實(shí)現(xiàn)對模糊圖像的質(zhì)量評價(jià).同時(shí),模糊圖像質(zhì)量評價(jià)結(jié)果又為圖像去模糊方法的應(yīng)用提供了先決條件,即模糊的檢測與分級[12].此外,部分學(xué)者也將模糊檢測及評價(jià)算法應(yīng)用于圖像分割方法中,提升了模糊圖像的分割性能[15-16].

模糊圖像質(zhì)量評價(jià)方法可以分為主觀評價(jià)方法和客觀評價(jià)方法[17-20].主觀評價(jià)由觀察者對圖像質(zhì)量進(jìn)行主觀評分,一般采用平均主觀得分(Mean opinion score,MOS)或平均主觀得分差異(Differential mean opinion score,DMOS)來表示,但主觀評價(jià)工作量大、耗時(shí)長,使用起來很不方便.眾多IQA 圖像數(shù)據(jù)集的主觀評價(jià)結(jié)果主要為客觀評價(jià)方法的優(yōu)劣提供參考.客觀評價(jià)方法是由計(jì)算機(jī)根據(jù)一定的方法計(jì)算得到圖像的質(zhì)量評價(jià)結(jié)果.根據(jù)評價(jià)時(shí)是否需要參考圖像,客觀評價(jià)方法又可以分為全參考圖像質(zhì)量評價(jià)(Full-reference image quality assessment,FR-IQA)、半?yún)⒖紙D像質(zhì)量評價(jià)(Reduced-reference image quality assessment,RRIQA)和無參考圖像質(zhì)量評價(jià)(No-reference image quality assessment,NR-IQA)三類[20].雖然隨著算法的不斷提出與改進(jìn),FR-IQA和RR-IQA 這兩類方法的評價(jià)性能得到較大提升,但在實(shí)際應(yīng)用中這兩類方法的缺點(diǎn)也十分明顯,即通常情況下無法獲得無失真圖像或其特征作為參考.NR-IQA 方法很好地解決了上述問題.NR-IQA 也稱為盲圖像質(zhì)量評價(jià)(Blind image quality assessment,BIQA),該類方法主要根據(jù)失真圖像的自身特征來估計(jì)圖像質(zhì)量.針對模糊失真的NR-IQA 方法又稱為盲/無參考圖像清晰度評價(jià)(Blind/no-reference image sharpness assessment)方法,該方法分為兩類,一類是僅針對模糊失真的NR-IQA 方法,另外一類則是針對各種失真類型(包含模糊失真)的通用NRIQA 方法,包括各種類型的噪聲(如加性噪聲、高斯噪聲、掩模噪聲、脈沖噪聲等)、各種類型的模糊(如失焦模糊、運(yùn)動(dòng)模糊等)、JPEG(2000)壓縮、JPEG(2000)傳輸錯(cuò)誤、對比度問題(如對比度變化、整體對比度縮減等)、局部塊失真、快速瑞利衰減等.由于沒有參考圖像的幫助,在早期的研究中,此類方法往往較難取得較高的評價(jià)性能.但二十多年來,隨著研究的不斷深入,針對模糊失真的NR-IQA 性能已經(jīng)逐漸接近甚至達(dá)到FR-IQA 方法和RRIQA 方法的評價(jià)性能.尤其是近幾年來,隨著深度學(xué)習(xí)等基于學(xué)習(xí)的方法在NR-IQA 中的廣泛應(yīng)用,評價(jià)性能得到了進(jìn)一步的提升.與此同時(shí),伴隨著方法的改進(jìn),針對不同模糊失真(人工模糊及自然模糊)的數(shù)據(jù)集也不斷涌現(xiàn),從而為不同算法的驗(yàn)證提供了保證.

本文針對模糊圖像NR-IQA 方法進(jìn)行綜述.首先,對模糊失真問題進(jìn)行分類,介紹包含模糊失真圖像的主要IQA 數(shù)據(jù)集;其次,對NR-IQA 方法進(jìn)行分類及分析,文中將其分為基于空域或(與)頻域且無需學(xué)習(xí)的方法(以下簡稱基于空域/頻域的方法)及基于學(xué)習(xí)的方法兩大類;接著,在對應(yīng)用于NR-IQA 方法優(yōu)劣對比的評價(jià)指標(biāo)進(jìn)行簡要說明的基礎(chǔ)上,使用經(jīng)常應(yīng)用于不同文獻(xiàn)中進(jìn)行實(shí)驗(yàn)對比的方法進(jìn)行性能比較,尤其是基于學(xué)習(xí)的方法;最后,對針對模糊失真問題的NR-IQA 相關(guān)技術(shù)進(jìn)行總結(jié)和展望.

1 模糊失真分類

通常認(rèn)為模糊是圖像質(zhì)量損失最常見的原因之一[21],本節(jié)將結(jié)合模糊產(chǎn)生的原因及不同IQA 數(shù)據(jù)集對模糊失真問題進(jìn)行分類說明.

產(chǎn)生模糊的原因可分為兩大類型:人工模糊與自然模糊.人工模糊是通過不同類型的濾波器人為地給清晰圖像加入不同類型的模糊,如經(jīng)常被用于模糊圖像質(zhì)量評價(jià)的高斯模糊.而自然模糊包括物體移動(dòng)引起的運(yùn)動(dòng)模糊,拍攝時(shí)相機(jī)抖動(dòng)引起的抖動(dòng)模糊,采集過程中失焦引起的失焦模糊,遠(yuǎn)距離成像時(shí)的大氣湍流模糊等[13].常見的模糊圖像如圖1所示[13,21-23].

圖1 不同類型模糊圖像示例Fig.1 Examples for different kinds of blurred images

1)人工模糊

人工模糊即在參考圖像中人為加入不同類型的模糊降質(zhì),以高斯模糊最為典型,其通過參考圖像與高斯濾波器卷積得到,高斯濾波器表示為

式中,i與j是當(dāng)前位置坐標(biāo)離濾波器h中心坐標(biāo)的距離,σ是正態(tài)分布的標(biāo)準(zhǔn)差.

早期基于空域/頻域的NR-IQA 方法在適用性和穩(wěn)定性方面較差,為了方便算法性能的評價(jià),經(jīng)典的IQA 數(shù)據(jù)集均是由人工合成的單一失真類型的圖像組成.該類數(shù)據(jù)集可以分為兩個(gè)部分:參考圖像和失真圖像.為了提高數(shù)據(jù)集的質(zhì)量,大部分參考圖像都會(huì)從柯達(dá)數(shù)據(jù)庫中選取代表各種場景的圖像[24],不同類型的失真圖像都是模擬生活中可能出現(xiàn)的失真情況.為了模擬生活中常見的失焦模糊,數(shù)據(jù)集中的模糊圖像往往由參考(局部)圖像與高斯濾波器相卷積得到,其方差即對應(yīng)于不同的模糊程度[21].包含單一高斯模糊的4 個(gè)經(jīng)典公開數(shù)據(jù)集分別為:1)德克薩斯大學(xué)的圖像與視頻工程實(shí)驗(yàn)室數(shù)據(jù)集(Laboratory for image and video engineering,LIVE)[22];2)俄克拉荷馬州立大學(xué)的計(jì)算與主觀圖像質(zhì)量數(shù)據(jù)集(Categorical subjective image quality,CSIQ)[25];3)坦佩雷理工大學(xué)的坦佩雷圖像數(shù)據(jù)集2008 (Tampere image database 2008,TID2008)[26];4)坦佩雷圖像數(shù)據(jù)集2013 (Tampere image database 2013,TID2013)[27].上述4 個(gè)數(shù)據(jù)集都含有5 種以上的失真類型,參考圖像均達(dá)到25 張以上,且均為彩色圖像.此外,南特中央理工大學(xué)的IVC 圖像數(shù)據(jù)集[28]、薩格勒布大學(xué)的VCL@FER 數(shù)據(jù)集[29]、康奈爾大學(xué)的A57 數(shù)據(jù)集[30]、康斯坦茨大學(xué)的康斯坦茨人工失真圖像質(zhì)量數(shù)據(jù)集KADID-10k[31]等也在不同的文獻(xiàn)中得到應(yīng)用.各數(shù)據(jù)集具體細(xì)節(jié)如表1 所示.

上述經(jīng)典數(shù)據(jù)集盡管包含多種失真類型,但一幅失真圖像僅含有一種失真類型.然而在典型通信系統(tǒng)中,圖像經(jīng)歷采集、壓縮和傳輸?shù)炔襟E后,容易受到模糊、量化和噪聲等多種失真類型的共同影響[32].因此,一幅失真圖像可能含有多種失真類型.對此,研究者們提出了多重失真圖像數(shù)據(jù)集,例如:上海交通大學(xué)的多重失真圖像數(shù)據(jù)集MDID2013[32]、德克薩斯大學(xué)的多重失真數(shù)據(jù)集MLIVE[33]和清華大學(xué)的多重失真圖像數(shù)據(jù)集MDID[34],具體信息如表1所示.該類型數(shù)據(jù)集中也含有兩類圖像:參考圖像和失真圖像.其中參考圖像大部分來自柯達(dá)數(shù)據(jù)庫,失真圖像則是通過模糊處理、JPEG 壓縮和噪聲加入等對參考圖像進(jìn)行降質(zhì),生成相應(yīng)的多重失真圖像.由于模糊處理的過程還是使用高斯濾波器,因此,此類數(shù)據(jù)集的模糊失真圖像還是模擬失焦模糊.

2)自然模糊

如圖1 所示,現(xiàn)實(shí)生活中的模糊失真除了失焦模糊外,還包括了運(yùn)動(dòng)模糊,而這類模糊往往由物體的運(yùn)動(dòng)及相機(jī)的抖動(dòng)引起.現(xiàn)有數(shù)據(jù)集中的人工失真圖像無法很好地模擬這些失真.因此,研究者們采用自然圖像構(gòu)建了新的圖像數(shù)據(jù)集,例如:赫爾辛基大學(xué)的圖像數(shù)據(jù)集CID2013[35]、德克薩斯大學(xué)的自然失真數(shù)據(jù)集CLIVE[36-37],里約熱內(nèi)盧聯(lián)邦大學(xué)的模糊圖像數(shù)據(jù)集BID[21]以及康斯坦茨大學(xué)的自然失真數(shù)據(jù)集KonIQ-10k[38],具體信息如表1所示.該類數(shù)據(jù)集無參考圖像,僅含有大量使用現(xiàn)代移動(dòng)設(shè)備拍攝的各類真實(shí)失真圖像,因此,該類數(shù)據(jù)集只適用于無參考圖像質(zhì)量評價(jià)研究.該類數(shù)據(jù)集在圖像收集過程中不會(huì)人為地引入任何失真.以BID 數(shù)據(jù)集為例,該數(shù)據(jù)集包含用戶在各種情況下拍攝的圖像,并將數(shù)據(jù)集中的圖像分為5 種模糊類別:無模糊、簡單運(yùn)動(dòng)模糊、復(fù)雜運(yùn)動(dòng)模糊、失焦模糊及其他模糊.

表1 含有模糊圖像的主要圖像質(zhì)量評價(jià)數(shù)據(jù)集Table 1 Main image quality assessment databases including blurred images

常見自然模糊類型中,運(yùn)動(dòng)模糊是由曝光時(shí)間內(nèi)場景中物體與相機(jī)系統(tǒng)之間的相對運(yùn)動(dòng)所造成.由此產(chǎn)生的模糊效應(yīng)近似為線性運(yùn)動(dòng)模糊,可以表示為相鄰像素的一維局部平均[13],具體為

式中,L與θ分別表示移動(dòng)距離和移動(dòng)方向.

失焦模糊是由于成像系統(tǒng)對焦不理想或景深不同時(shí),焦距外的景物會(huì)失焦.一般情況下,失焦模糊可使用均勻的圓形模型進(jìn)行粗略近似[13]:

式中,R是圓形模型的半徑.

此外,相機(jī)抖動(dòng)模糊由曝光期間的相機(jī)運(yùn)動(dòng)引起.如果在拍攝長距離場景時(shí)相機(jī)只是稍微平移,產(chǎn)生的模糊近似空間不變,那么相機(jī)抖動(dòng)模糊可以使用式(2)建模為線性運(yùn)動(dòng)模糊[13].大氣湍流模糊通常發(fā)生在遙感、航空成像等遠(yuǎn)距離成像系統(tǒng)中,主要是由沿光傳輸路徑的折射率隨機(jī)變化引起.針對通過大氣時(shí)的長期曝光,模糊核可以用固定的高斯模型(式(1))來描述[39].需要說明的是,上述數(shù)學(xué)模型均為理想情況下的近似,真實(shí)的自然模糊遠(yuǎn)比以上公式更復(fù)雜[13].

2 基于空域/頻域的模糊圖像NR-IQA方法

傳統(tǒng)基于空域/頻域的NR-IQA 方法可以進(jìn)行不同的分類:1)根據(jù)失真類型的多少,可以分為僅針對模糊失真的NR-IQA 方法及針對多種失真(含模糊失真)的NR-IQA 方法;2)根據(jù)方法原理的不同,可以分為基于空域的方法及基于頻域的方法,如圖2 所示.以下針對不同方法的原理進(jìn)行分類說明.

圖2 基于空域/頻域的NR-IQA 方法分類Fig.2 Classification of spatial/spectral domain-based NR-IQA methods

2.1 基于空域的NR-IQA 方法

2.1.1 基于邊緣信息的方法

在空域方法中,較大部分的研究工作集中于利用邊緣信息進(jìn)行圖像模糊程度的判斷.由于圖像邊緣的模糊是人眼對模糊圖像最直觀的視覺感知,而模糊會(huì)導(dǎo)致圖像的邊緣向周圍擴(kuò)展,造成圖像邊緣信息發(fā)生變化,因此,邊緣信息的變化情況是圖像模糊程度的重要評價(jià)指標(biāo).

此類方法主要應(yīng)用不同的邊緣檢測算子提取圖像邊緣信息,如Sobel 算子、Canny 算子等.Marziliano等[40]基于模糊圖像邊緣展寬的原理,提出了一種通過計(jì)算垂直方向邊緣寬度衡量模糊程度的方法.趙巨峰等[41]在文獻(xiàn)[40]方法的基礎(chǔ)上利用水平方向的邊緣寬度評價(jià)模糊度.Zhang等[42]則將圖像分為平滑區(qū)域和邊緣區(qū)域,計(jì)算邊緣區(qū)域垂直方向邊緣寬度平均值進(jìn)行模糊度評價(jià).Ferzli等[43]基于人類視覺系統(tǒng)(Human visual system,HVS)中邊緣處的掩蔽特性,提出了恰好可覺察模糊(Just noticeable blur,JNB)的概念,方法對邊緣分塊進(jìn)行統(tǒng)計(jì)與區(qū)分,并結(jié)合邊緣分塊所對應(yīng)的邊緣寬度計(jì)算出整體的失真程度.Narvekar等[44]在JNB 的基礎(chǔ)上,通過閾值設(shè)置對平滑分塊不做處理,計(jì)算模糊檢測的累加概率(Cumulative probability of blur detection,CPBD)得到評價(jià)值.Wu等[45]利用邊緣信息構(gòu)造線擴(kuò)展函數(shù)(Line spread function,LSF),由LSF 估計(jì)點(diǎn)擴(kuò)展函數(shù)(Point spread function,PSF)的參數(shù)來衡量圖像模糊程度.上述方法中均引入了Sobel 算子.基于與文獻(xiàn)[40]相同的思想,Ong等[46]在提出的方法中引入Canny 算子.

此外,基于邊緣區(qū)域及紋理區(qū)域包括更多像素變換的原理,Bahrami等[47]提出了一種具有較低計(jì)算復(fù)雜度的評價(jià)方法,方法通過計(jì)算圖像的最大局部變化(Maximum local variation,MLV)得到反映圖像對比度信息的映射圖,再根據(jù)HVS 對變化大的區(qū)域更敏感,將較高的權(quán)重分配給較大的MLV像素,加權(quán)得到清晰度的度量結(jié)果.蔣平等[48]考慮到人眼對邊緣區(qū)域比較敏感,通過計(jì)算局部最大梯度進(jìn)行局部評價(jià),再通過對局部評價(jià)分配不同權(quán)重得到全局評價(jià)結(jié)果.Li等[49]提出一種基于離散Tchebichef 矩的盲圖像模糊評價(jià)(Blind image blur evaluation,BIBLE)方法,該方法結(jié)合了模糊圖像的梯度計(jì)算,分塊并引入Tchebichef 矩來表征圖像的形狀.隨后,Zhan等[14]提出基于圖像中最大梯度及梯度變化量的無參考圖像清晰度評價(jià)函數(shù).

可見,在基于邊緣信息的方法中,Sobel 算子與Canny 算子得到了廣泛的應(yīng)用.Sobel 算子與Canny算子各具優(yōu)勢,其中Sobel 算子運(yùn)算速度快,但易于將噪聲放大,而Canny 算子對弱邊緣敏感,但計(jì)算量大,運(yùn)算速度相對較慢.因此,從實(shí)時(shí)性的角度,許多學(xué)者采用Sobel 算子進(jìn)行邊緣檢測.

2.1.2 基于再模糊理論的方法

基于圖像再模糊理論[50]的方法是另一類比較常見的方法.Crete等[50]提出的再模糊理論結(jié)合了FR-IQA 方法的思想,對待測圖像再模糊得到了模糊程度更大的參考圖像,然后分別計(jì)算待測圖像和再模糊圖像之間相鄰像素點(diǎn)的變化給出質(zhì)量評價(jià)的結(jié)果.由于該理論簡單且易實(shí)現(xiàn),因此,大量的改進(jìn)方法得以提出.其中一種類型是將再模糊理論與結(jié)構(gòu)相似度(Structural similarity,SSIM)[51]及相關(guān)理論相結(jié)合.桑慶兵等[52]在待測圖像和參考圖像邊緣子塊上分別計(jì)算梯度結(jié)構(gòu)相似度(Gradient structural similarity,GSIM)并求和得到評價(jià)值.邵宇等[53]采用結(jié)構(gòu)張量來區(qū)分邊緣區(qū)域,在邊緣區(qū)域?qū)D像進(jìn)行高斯濾波處理得到模糊圖像,并計(jì)算模糊圖像的SSIM 得到模糊評價(jià)結(jié)果.Wang等[54]采用低通濾波器得到參考圖像并轉(zhuǎn)換到Y(jié)IQ 顏色空間,計(jì)算待測圖像和參考圖像的特征相似度(Feature similarity,FSIM)[55]并加權(quán)得出評價(jià)結(jié)果.此外,Bong等[56]將峰值信噪比(Peak signal-tonoise ratio,PSNR)和均方誤差(Mean squared error,MSE)進(jìn)行改進(jìn)得到評價(jià)結(jié)果.王紅玉等[57]求出能區(qū)分待測圖像和再模糊圖像的有效最小標(biāo)準(zhǔn)差,并計(jì)算因嚴(yán)重模糊而無法區(qū)分模糊程度時(shí)的有效最大標(biāo)準(zhǔn)差,利用這兩個(gè)標(biāo)準(zhǔn)差之間的關(guān)系得到評價(jià)結(jié)果.王冠軍等[58]則分別對待測圖像和再模糊圖像進(jìn)行奇異值分解提取模糊特征,利用Log-Gabor 濾波器組和高斯差分模型檢測視覺顯著度,最后結(jié)合顯著度對特征加權(quán)得到評價(jià)值.Chetouani等[59]則提出感知模糊指標(biāo)(Perceptual blur index,PBI)用以評價(jià)圖像模糊程度.

對上述文獻(xiàn)分析可知,此類方法主要是通過再模糊理論得到模糊圖像作為參考圖像,并引入了常見應(yīng)用于FR-IQA 的方法(如SSIM、GSIM、FSIM、MSE、PSNR 等)進(jìn)行評價(jià)指標(biāo)的計(jì)算.

2.1.3 基于奇異值分解的方法

奇異值分解(Singular value decomposition,SVD)作為一種矩陣分析方法廣泛應(yīng)用于圖像壓縮、稀疏表示及圖像質(zhì)量評價(jià)中.Sang等[60]根據(jù)不同模糊程度圖像奇異值曲線的特點(diǎn)提出NR-IQA 方法.Qureshi等[61]利用模糊對彩色圖像不同分量的影響不同,結(jié)合分量之間的相關(guān)性,同時(shí)基于彩色圖像可以看作是一個(gè)三階張量,對彩色圖像先進(jìn)行張量展開,再對每個(gè)展開計(jì)算高階奇異值進(jìn)行質(zhì)量評價(jià),該方法也適用于其他彩色空間.王冠軍等[58]提出的方法中同樣結(jié)合了SVD.

現(xiàn)有基于奇異值分解的方法可分為兩類:一種方法是通過奇異值的分布來評估圖像質(zhì)量[60],因?yàn)楫?dāng)根據(jù)圖像奇異值的指數(shù)繪制圖像時(shí),其顯示為指數(shù)遞減曲線,并且隨著模糊程度的增加,曲線會(huì)變得越來越陡峭.另一種是直接使用奇異值來評估圖像質(zhì)量[58,61].

2.1.4 基于自由能原理的方法

自由能原理最初運(yùn)用于神經(jīng)科學(xué),治療神經(jīng)疾病并用于合理地解釋世界,在對其進(jìn)行數(shù)學(xué)化之后形成了自由能原理.由于外部輸入信號與其生成模型可解釋部分之間的差距與視覺感受的圖像質(zhì)量密切相關(guān),因此,自由能原理可以用于圖像清晰度的度量.Zhai等[62]結(jié)合自由能原理提出一種無參考的失真度量.由于圖像模糊會(huì)增加局部估計(jì)自回歸(AutoRegressive,AR)參數(shù)的相似性,Gu等[63]提出一種基于AR 的圖像清晰度度量(AR-based image sharpness metric,ARISM),該方法同樣基于自由能理論,通過分別測量每個(gè)像素AR 模型系數(shù)的能量差和對比度差,進(jìn)而用比例池化計(jì)算圖像清晰度.

基于空域方法的優(yōu)點(diǎn)是概念直觀,但其缺點(diǎn)也比較明顯,由于僅考慮空域的信息,所能提取的圖像特征往往較少,從而不利于評價(jià)準(zhǔn)確性的提高.此外,由于大多數(shù)方法都是基于最基礎(chǔ)的圖像處理方法,如模板卷積運(yùn)算、像素相減等,因此,此類方法往往計(jì)算復(fù)雜度低、速度快、經(jīng)常運(yùn)用于各類實(shí)時(shí)性要求高的場合中.但由于僅限于空域,所能提取的圖像特征相對有限,因此,近幾年完全基于空域方法的研究成果較少,更多的是將空域的方法集成到其他方法中.

2.2 基于頻域的NR-IQA 方法

圖像頻域信息也可以很好地體現(xiàn)圖像某些特征,如邊緣區(qū)域?qū)?yīng)于高頻成分等.因此,頻域變換也在NR-IQA 中得到廣泛的應(yīng)用.基于頻域的NRIQA 方法主要分為以下兩種類型:基于離散傅里葉變換(Discrete Fourier transform,DFT)/離散余弦變換(Discrete cosine transform,DCT)的方法及基于小波變換的方法.

2.2.1 基于DFT/DCT 的方法

DFT 作為最為基礎(chǔ)的時(shí)頻變換之一,在NRIQA 領(lǐng)域也得到一定程度的應(yīng)用.Chetouani等[64]在原始圖像上加入了模糊降質(zhì),并通過DFT 在頻域中對這種模糊降質(zhì)進(jìn)行測量.Vu等[65]提出的S3(Spectral and spatial sharpness)在頻域測量幅度譜的斜度,在空域測量空間變化情況,最后結(jié)合視覺感知對兩種指標(biāo)進(jìn)行組合,該方法在頻域變換部分采用了DFT.盧彥飛等[66]的方法在計(jì)算圖像視覺顯著性圖時(shí)引入了DFT 相位譜.

DCT 除具有一般的正交變換性質(zhì)外,其變換矩陣的基向量也能很好地描述圖像信號的相關(guān)特征,因此,在圖像信號的頻域變換中,DCT 被認(rèn)為是一種準(zhǔn)最佳變換.由于圖像在進(jìn)行DCT 處理后,其中的高頻成分對應(yīng)于邊緣區(qū)域,因此,可以通過搜索圖像DCT 處理后的高頻信息來判斷圖像是否模糊.Marichal等[67]對圖像分塊計(jì)算DCT,通過計(jì)算非零系數(shù)來估算圖像模糊程度.Caviedes等[68]在空域提取圖像邊緣信息,并在邊緣子塊上利用DCT求出其峰度(Kurtosis)來衡量圖像質(zhì)量.張士杰等[69]利用圖像局部方差將圖像分為邊緣、平坦、紋理區(qū)域,分別計(jì)算不同區(qū)域上DCT 系數(shù)的Kurtosis,利用曲率最大準(zhǔn)則對Kurtosis 曲線進(jìn)行評估得到相應(yīng)參數(shù),進(jìn)而使用維納(Wiener)濾波算法得到復(fù)原圖像,最后結(jié)合這些復(fù)原圖像的指標(biāo)得到最終結(jié)果.

圖像進(jìn)行DCT 處理后的高頻和中頻系數(shù)隨著模糊程度的增加而減小,從而導(dǎo)致AC 系數(shù)平方和(Sum of squared AC coefficients of DCT,SSAD)的減小,故SSAD 也可以用于評價(jià)圖像模糊程度.Zhang等[70]提出一種基于尺度不變特征變換和SSAD 的評價(jià)方法.考慮到SSAD 不足以表達(dá)真實(shí)模糊圖像中的模糊程度,Zhang等[71]隨后根據(jù)梯度映射圖得到奇異值響應(yīng)函數(shù)并計(jì)算DCT 域的熵,由灰度圖計(jì)算子塊的方差,由顯著圖計(jì)算分塊權(quán)重,最后組合求出最終評價(jià)值.盧亞楠等[72]針對皮膚鏡圖像中的失焦模糊和光照不均問題,提出了利用圖像DCT 處理后的直流分量平均值評價(jià)模糊度,并以第一交流分量均值評價(jià)光照不均勻程度的NRIQA 方法.

基于DCT 的方法大部分都結(jié)合了空域方法,進(jìn)行如下兩個(gè)方面的操作:1)進(jìn)行不同區(qū)域的劃分,如采用方差區(qū)分邊緣與非邊緣區(qū)域,隨后在不同的區(qū)域進(jìn)行DCT 及后續(xù)處理;2)將空域特征與頻域特征相結(jié)合得到評價(jià)結(jié)果.

2.2.2 基于小波變換的方法

在小波變換方面,學(xué)者們主要利用圖像進(jìn)行不同小波變換(如Haar 小波、復(fù)小波、Contourlet 等)后的系數(shù)或多尺度特性得到評價(jià)結(jié)果.此類方法中往往會(huì)同時(shí)考慮圖像的全局及局部(分塊)信息.

Tong等[73]基于Haar 小波變換,對圖像進(jìn)行邊緣類型分析以判斷圖像是否模糊,并通過邊緣銳度得到評價(jià)結(jié)果.Ferzli等[74]結(jié)合小波變換與文獻(xiàn)[40]中的模糊度評價(jià)方法,分別計(jì)算水平和垂直方向上的結(jié)果并取平均作為最終評價(jià)值.Kerouh等[75]利用小波變換的多尺度特性,提取圖像的邊緣信息,通過計(jì)算不同分辨率下圖像的邊緣數(shù)量來衡量模糊程度.Vu等[76]利用小波變換之后子帶的對數(shù)能量進(jìn)行清晰度評價(jià),同時(shí)比較了對整個(gè)圖像直接進(jìn)行小波變換以及對圖像分塊進(jìn)行小波變換的結(jié)果.Gvozden等[77]提出一種快速盲圖像清晰度/模糊評價(jià)模型(Blind image sharpness/blurriness assessment model,BISHARP),方法通過計(jì)算圖像的均方根來獲取圖像局部對比度信息,同時(shí)利用小波變換中對角線小波系數(shù)進(jìn)行排序加權(quán)得到最終的評價(jià)結(jié)果.

Wang等[78]利用復(fù)小波系數(shù)的相位在邊緣附近具有相關(guān)性,而模糊圖像會(huì)破壞相位相關(guān)性的原理,將局部相位相關(guān)(Local phase coherence,LPC)用于銳度評估.一些學(xué)者在此基礎(chǔ)上進(jìn)行了深入的研究.Ciancio等[79]利用相同方向上的子帶系數(shù)位于相似的位置,而模糊會(huì)引起子帶間相位的改變來實(shí)現(xiàn)圖像質(zhì)量評價(jià).Hassen等[80]利用HVS 特性對LPC 映射圖中的值進(jìn)行排序、加權(quán)來進(jìn)行評價(jià).隨后,Hassen等[81]提出的基于局部相位相關(guān)的清晰度指標(biāo)LPC-SI (LPC-based sharpness index)為了降低鄰近特征的干擾,改進(jìn)了求小波系數(shù)的方式和進(jìn)行清晰度評價(jià)的算法.

由于Contourlet 變換具有局部化、多尺度、多方向等優(yōu)點(diǎn)[82],可以將圖像分解為多尺度多方向子帶.許多研究者利用Contourlet 變換,提取圖像的尺度信息,從而實(shí)現(xiàn)圖像質(zhì)量評價(jià).樓斌等[83]利用Contourlet 變換域的統(tǒng)計(jì)特性建立預(yù)測模型,使用失真圖像子帶均值與預(yù)測值來計(jì)量圖像的失真.焦淑紅等[84]同樣計(jì)算Contourlet 域的統(tǒng)計(jì)特征來表征圖像質(zhì)量.

通過對上述文獻(xiàn)分析可知,許多基于頻域的方法也不同程度地引入了空域方法或空域特征,從而將空域與頻域結(jié)合在一起進(jìn)行NR-IQA 方法的設(shè)計(jì),如Hosseini等[85]提出的HVS-MaxPol.此外,從文獻(xiàn)中可以發(fā)現(xiàn),由于基于空域及頻域的方法出現(xiàn)地較早,因此,此兩類方法在實(shí)驗(yàn)對比時(shí)主要針對人工模糊的數(shù)據(jù)集.

上述各類基于空域/頻域的方法優(yōu)缺點(diǎn)如表2所示.

表2 基于空域/頻域的不同方法優(yōu)缺點(diǎn)對比Table 2 Advantage and disadvantage comparison for different methods based on spatial/spectral domain

3 基于學(xué)習(xí)的模糊圖像NR-IQA 方法

無論是基于空域的方法還是基于頻域的方法,在提取出圖像特征后,大多僅經(jīng)過簡單的加權(quán)及歸一化處理而獲得最終評價(jià)結(jié)果.基于學(xué)習(xí)的方法則可以實(shí)現(xiàn)從圖像特征到質(zhì)量評價(jià)值的映射,實(shí)現(xiàn)參數(shù)的優(yōu)化,進(jìn)一步提升NR-IQA 性能.同時(shí),部分基于學(xué)習(xí)的方法還實(shí)現(xiàn)了圖像特征的提取.基于學(xué)習(xí)的NR-IQA 方法可以分為基于支持向量機(jī)(Support vector machine,SVM)的方法,其中包括支持向量回歸(Support vector regression,SVR)/支持向量聚類(Support vector clustering,SVC),基于神經(jīng)網(wǎng)絡(luò)(Neural network,NN)的方法,基于深度學(xué)習(xí)的方法,基于碼本/字典學(xué)習(xí)的方法,基于多元變量高斯(Multi variate gaussian,MVG)的方法及其他基于學(xué)習(xí)的方法,如圖3 所示.由于早期數(shù)據(jù)集大多由不同失真類型的圖像組成,僅針對模糊失真的圖像數(shù)據(jù)較少,不利于使用基于深度學(xué)習(xí)的方法.因此,早期基于學(xué)習(xí)的NR-IQA 方法主要是基于SVM 的方法.近年來,隨著數(shù)據(jù)集數(shù)量、新增數(shù)據(jù)集中圖像數(shù)量的增加及深度學(xué)習(xí)的廣泛應(yīng)用,基于深度學(xué)習(xí)的方法越來越多地被應(yīng)用于該研究領(lǐng)域.

圖3 基于學(xué)習(xí)的NR-IQA 方法分類Fig.3 Classification of learning-based NR-IQA methods

3.1 基于SVM 的方法

由于SVM 在小樣本訓(xùn)練集上能夠取得比其他算法更好的效果,且比NN 具有更好的泛化能力.因此,SVM 在NR-IQA 領(lǐng)域得到廣泛的應(yīng)用.同時(shí),由于此類方法往往基于圖像空域或(與)頻域特征進(jìn)行訓(xùn)練,其評價(jià)結(jié)果也大多優(yōu)于空域與頻域方法.

3.1.1 基于SVR+SVM/SVC 的方法

針對通用問題(含模糊失真)的NR-IQA 方法中的一大類型為兩/多階段的NR-IQA 方法.此類方法首先采用SVM 進(jìn)行失真類型訓(xùn)練與判斷,隨后采用SVR 進(jìn)行圖像質(zhì)量評價(jià).Moorthy等[86]提出兩階段盲圖像質(zhì)量評價(jià)指標(biāo)(Blind image quality indices,BIQI),該方法首先采用SVM 對小波分解系數(shù)經(jīng)廣義高斯分布(Generalized gauss distribution,GGD)模型擬合得到的參數(shù)特征對測試圖像進(jìn)行失真類型分類,從而得到測試圖像對應(yīng)不同失真類型的概率,然后采用SVR 對測試圖像計(jì)算不同失真類型情況下的圖像質(zhì)量評價(jià)結(jié)果,并根據(jù)概率加權(quán)得到最終的圖像質(zhì)量評價(jià)值.隨后,Moorthy等[87]又提出基于失真分辨的圖像真實(shí)性和完整性評價(jià)(Distortion identification-based image verity and integrity evaluation,DIIVINE)方法,采用了多達(dá)88 維的特征進(jìn)行分類.Liu等[88]同樣提出一個(gè)兩段式失真分類框架,計(jì)算基于空間-頻域熵的質(zhì)量(Spatial spectral entropy-based quality,SSEQ)指數(shù).陳勇等[89]引入小波變換,將高頻子帶進(jìn)行分塊的基礎(chǔ)上提取每個(gè)分塊的幅值和信息熵,分別計(jì)算其分布直方圖均值和斜度作為特征.Zhang等[90]則基于自然場景統(tǒng)計(jì)(Natural scene statistics,NSS)特征,分別針對多種失真類型和單一失真類型兩種圖像的質(zhì)量進(jìn)行評價(jià),該方法共分為3 個(gè)階段,即分析可能的失真類型,預(yù)測失真參數(shù)及質(zhì)量評價(jià)值計(jì)算.與上述方法不同,另外一種基于SVM 的方法不對失真進(jìn)行分類,而直接進(jìn)行不同失真圖像的質(zhì)量評價(jià).Saad等[91]在基于DCT 統(tǒng)計(jì)信息的盲圖像完整性指數(shù)(Blind image integrity notator using DCT statistics,BLIINDS)[92]的基礎(chǔ)上提出BLIINDS-II 方法,該方法中所有特征的計(jì)算均在多個(gè)尺度上進(jìn)行.

在SVR 與SVC 相結(jié)合方面,Liu等[93]基于兩階段NR-IQA 方法采用Curvelet 變換結(jié)合SVC及SVR 提出CurveletQA 方法.Zhang等[94]在空域提取經(jīng)去均值對比度歸一化(Mean subtracted contrast normalized,MSCN)后的對數(shù)導(dǎo)數(shù)特征,在頻域采用Log-Gabor 濾波器得到圖像尺度特征,所有這些特征以GGD 擬合,最后利用SVR和SVC分別構(gòu)建NR-IQA 模型和圖像失真類型識(shí)別模型.李俊峰[95]提取RGB 圖像G 分量的MSCN 系數(shù)及其4 方向鄰域系數(shù)的統(tǒng)計(jì)特征,并分別計(jì)算RGB色彩空間中各色彩分量及其紋理、相位間的互信息,利用互信息作為統(tǒng)計(jì)特征來描述其各分量間的相關(guān)性.針對盲/無參考圖像空域質(zhì)量評價(jià)指標(biāo)(Blind/referenceless image spatial quality evaluator,BRISQUE)[96]完全工作在空域,圖像特征仍有不足之處,唐祎玲等[97]在改進(jìn)方法中增加水平、垂直、主對角線和次對角線4 個(gè)方向MSCN 系數(shù)映射圖相鄰系數(shù)的皮爾遜相關(guān)系數(shù)值作為新增的特征.

3.1.2 基于SVR 的方法

SVR 也得到了學(xué)者們的廣泛關(guān)注.Mittal等[96]提出BRISQUE 分別引入了多尺度情況下的MSCN系數(shù)及非對稱廣義高斯分布(Asymmetric generalized Gaussian distribution,AGGD)模型實(shí)現(xiàn)圖像特征的提取,并使用SVR 得到評價(jià)分值.Ye等[98]在訓(xùn)練時(shí)計(jì)算所有訓(xùn)練圖像的Gabor 變換特征,并聚類生成碼本,同時(shí)保存相應(yīng)的DMOS值;在預(yù)測時(shí),根據(jù)Gabor 變換特征匹配碼本,并按相似度加權(quán)計(jì)算得到一個(gè)圖像質(zhì)量評分值,最后引入SVR實(shí)現(xiàn)特征向量到評價(jià)值的映射.Xue等[99]利用兩種常用的局部對比特征進(jìn)行聯(lián)合統(tǒng)計(jì),分別引入了梯度幅度映射及高斯拉普拉斯(Laplacian of Gaussian,LoG)響應(yīng),并使用ε-SVR[100]進(jìn)行回歸模型的學(xué)習(xí).陳勇等[101]充分考慮像素間的相關(guān)性,根據(jù)韋伯定律(Weber's law)求得差異激勵(lì)圖,并依據(jù)各向異性得到差異激勵(lì)的梯度映射圖,然后量化差異激勵(lì)得到差異量化圖,并分別與差異激勵(lì)圖、梯度映射圖進(jìn)行加權(quán)融合.Li等[102]基于人類視覺感知失真圖像的特點(diǎn),利用局部二值模式分布提取失真圖像的感知結(jié)構(gòu)特征,還提取了歸一化亮度幅值的分布來表示失真圖像中的亮度變化.Li等[103]利用局部相位和局部振幅對失真圖像進(jìn)行多尺度評估,方法中引入Gabor 變換對失真圖像進(jìn)行分解,并利用SVR 建立了不同特征與平均主觀得分之間的逼近函數(shù).針對MOS/DMOS 準(zhǔn)確性不足及數(shù)據(jù)集圖像數(shù)量不足的影響,在基于單一圖像質(zhì)量評價(jià)方法的基礎(chǔ)上,學(xué)者們又提出基于成對圖像比較的圖像質(zhì)量評價(jià)方法.Gao等[104]提出一種稱為偏好圖像對(Preference image pairs,PIPs)的方法進(jìn)行NRIQA 模型的訓(xùn)練.

上述方法均是針對通用問題提出的NR-IQA方法,不少學(xué)者也結(jié)合SVR 提出僅針對模糊失真問題的NR-IQA 方法.桑慶兵等[105]通過小波變換首先生成待測圖像的相位一致圖像,并利用灰度共生矩陣計(jì)算相位一致圖像的5 個(gè)特征從而得到評價(jià)結(jié)果.Oh等[106]針對相機(jī)抖動(dòng)產(chǎn)生的模糊圖像,在分析圖像頻域結(jié)構(gòu)的基礎(chǔ)上重點(diǎn)研究了方向特征與形狀特征.Li等[107]提出了一種基于空域和頻域的多尺度特征學(xué)習(xí)的無參考魯棒圖像清晰度評價(jià)(Robust image sharpness evaluation,RISE)方法.隨后,Li等[108]針對離焦去模糊圖像,分別提取空域和頻域中的全局與局部NSS 特征.Liu等[109]引入了定向感知局部模式算子及Toggle 算子分別用于生成及優(yōu)化結(jié)構(gòu)信息.Cai等[110]提出的方法首先對輸入圖像進(jìn)行再模糊,隨后將空域和小波域的結(jié)構(gòu)退化差異作為清晰度的感知特征.

基于SVM 的方法包括了如下兩種類型,即:1)SVR+SVM/SVC;2)SVR.其中,在針對通用問題的NR-IQA 方法中,SVM 可在兩/多階段方法中實(shí)現(xiàn)失真類型訓(xùn)練與判斷,當(dāng)僅針對模糊失真時(shí),SVM則主要在提取空域與頻域特征的基礎(chǔ)上實(shí)現(xiàn)圖像質(zhì)量預(yù)測網(wǎng)絡(luò)的學(xué)習(xí);SVR 主要進(jìn)行回歸模型的學(xué)習(xí),實(shí)現(xiàn)圖像特征到質(zhì)量評價(jià)之間的映射;SVC同樣實(shí)現(xiàn)了失真分類.各個(gè)方法之間除去上述兩種類型的不同之外,主要差異還在于進(jìn)行訓(xùn)練時(shí)所選圖像特征的不同,如引入多尺度信息、顏色信息、多方向信息等.

3.2 基于NN 的方法

Li等[111-112]將提取的特征與DMOS 作為廣義回歸神經(jīng)網(wǎng)絡(luò)(Generalized regression neural network,GRNN)的輸入.之后,Liu等[113]使用了自適應(yīng)增強(qiáng)神經(jīng)網(wǎng)絡(luò)(AdaBoosting neural network)完成NR-IQA 方法的設(shè)計(jì).為避免單一算子的局限性,沈麗麗等[114]提出的方法中同時(shí)考慮一階和二階邊緣算子,方法中同樣結(jié)合自適應(yīng)增強(qiáng)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和預(yù)測.近期,Liu等[115]結(jié)合自由能原理,提取低層人類視覺特性和高層大腦活動(dòng)的統(tǒng)計(jì)特征,構(gòu)建了一個(gè)NN 來整合所有的特征.Ciancio等[21]針對單一評價(jià)指標(biāo)在不同非特定模糊情況下往往性能較低的問題,提出一種結(jié)合了不同評價(jià)指標(biāo)及NN 的多特征分類器.

3.3 基于深度學(xué)習(xí)的方法

隨著圖像數(shù)據(jù)集中數(shù)據(jù)量的增加及深度學(xué)習(xí)方法的不斷完善(如數(shù)據(jù)增強(qiáng)技術(shù)等),近幾年來,基于深度學(xué)習(xí)的方法得到廣泛的關(guān)注,并且取得了優(yōu)于SVM 及NN 的評價(jià)結(jié)果.與SVM/NN 相似,基于深度學(xué)習(xí)的方法可以實(shí)現(xiàn)圖像質(zhì)量預(yù)測網(wǎng)絡(luò)的學(xué)習(xí).同時(shí),由于深度學(xué)習(xí)方法可以從大量數(shù)據(jù)中自動(dòng)學(xué)習(xí)圖像特征的多層表示,從而獲得大量的圖像特征信息,因此,深度學(xué)習(xí)方法也常應(yīng)用于NRIQA 方法中的圖像特征提取.

3.3.1 基于CNN/DNN 的方法

在卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)方面,Kang等[116]首先提出了基于CNN 的NR-IQA 方法,網(wǎng)絡(luò)由1 個(gè)卷積層,2 個(gè)全連接層組成,在網(wǎng)絡(luò)結(jié)構(gòu)中,特征學(xué)習(xí)和質(zhì)量回歸集成到同一個(gè)優(yōu)化過程中.Kim等[117]模擬FRIQA 方法,生成局部質(zhì)量后再匯總回歸得到評價(jià)結(jié)果.隨后,Kim等[118]又提出深度圖像質(zhì)量評估器(Deep image quality assessor,DIQA).Guan等[119]在特征提取階段從輸入圖像中提取質(zhì)量特征,并提出一種回歸方法來建模和估計(jì)所有局部區(qū)域的視覺重要性權(quán)重,從而有效地提高了評價(jià)性能.Bianco等[120]則針對CNNs 訓(xùn)練中不同階段對NRIQA 的作用進(jìn)行了實(shí)驗(yàn)分析,得出相對最優(yōu)的網(wǎng)絡(luò).Pan等[121]基于全卷積神經(jīng)網(wǎng)絡(luò)及池化網(wǎng)絡(luò)實(shí)現(xiàn)NR-IQA 方法.He等[122]提出的視覺殘差感知優(yōu)化網(wǎng)絡(luò)將NR-IQA 的訓(xùn)練分為兩個(gè)階段,即失真度識(shí)別網(wǎng)絡(luò)和圖像質(zhì)量預(yù)測網(wǎng)絡(luò),方法在第一階段引入CNN 與長短記憶模型進(jìn)行失真度的測量.不同于上述的方法,Zhang等[123]提出的深度雙線性模型(Deep bilinear convolutional neural networks,DBCNN)引入CNN 進(jìn)行了圖像失真類型的分類,該方法既適用于合成圖像,也適用于自然失真圖像.Cai等[124]提出一種稱為基于分類指導(dǎo)和特征聚合的卷積神經(jīng)網(wǎng)絡(luò)(Classification guidance and feature aggregation convolutional neural network,CGFACNN),該網(wǎng)絡(luò)同樣包括了失真類型分類及質(zhì)量評價(jià)兩個(gè)子網(wǎng)絡(luò).

上述方法均針對通用問題,也有部分僅針對模糊失真圖像的NR-IQA 方法.Li等[125]結(jié)合高級語義,在對整幅圖像進(jìn)行分塊的基礎(chǔ)上,采用深度卷積神經(jīng)網(wǎng)絡(luò)(Deep convolutional neural network,DCNN)提取高級特征來表征這些分塊,隨后采用3 種不同的統(tǒng)計(jì)結(jié)構(gòu)聚合來自不同分塊的信息,并將這些聚合特征輸入偏最小二乘法回歸模型得到評價(jià)值.Yu等[126-127]提出了一種基于淺層CNN 及GRNN 的混合模型CNN-GRNN,其中,淺層CNN用來提取圖像特征,而GRNN 則用于圖像質(zhì)量評價(jià).針對大多數(shù)自然模糊圖像都屬于失焦模糊或運(yùn)動(dòng)模糊.Li等[128]提出基于語義特征聚合 (Semantic feature aggregation,SFA)的方法緩解圖像內(nèi)容變化的影響,該方法采用預(yù)訓(xùn)練的DCNN 模型作為特征提取器.

在深度神經(jīng)網(wǎng)絡(luò)(Deep neural network,DNN)方面,Li等[129]提出基于DNN 的通用NRIQA 框架,該框架在特征提取方面采用剪切變換提取簡單特征,并利用子帶系數(shù)振幅之和作為主要特征來描述自然圖像和失真圖像.Gao等[130]從有37層的DNN 模型VGGNet (Visual geometry group net)中提取多級表示,分別在每個(gè)層上計(jì)算一個(gè)特征表示,然后估計(jì)每個(gè)特征向量的質(zhì)量得分,最后通過平均得到最終的評價(jià)結(jié)果.Bosse等[131]為NRIQA 提出一種深度圖像質(zhì)量評價(jià)方法(Deep image quality measure for NR-IQA,DIQaM-NR),整個(gè)網(wǎng)絡(luò)包含10 個(gè)卷積層和5 個(gè)池化層,以及2個(gè)全連接層.Ma等[132]提出一種基于多任務(wù)端到端優(yōu)化的DNN (Multi-task end-to-end optimized deep neural network,MEON),MEON 由失真判別網(wǎng)絡(luò)和質(zhì)量預(yù)測網(wǎng)絡(luò)兩個(gè)子網(wǎng)絡(luò)組成,并采用廣義分裂歸一化(Generalized divisive normalization,GDN)作為激活函數(shù).由于現(xiàn)有基于CNNs 的NRIQA 方法通常不能準(zhǔn)確地識(shí)別真實(shí)失真圖像中存在的復(fù)雜混合失真,Yang等[133]提出了一種端到端顯著性引導(dǎo)的深度神經(jīng)網(wǎng)絡(luò)(Saliency-guided deep neural network,SGDNet),該網(wǎng)絡(luò)包括視覺顯著性預(yù)測和圖像質(zhì)量預(yù)測的兩個(gè)子任務(wù).Yan等[134]提出一種自然場景統(tǒng)計(jì)輔助的深度神經(jīng)網(wǎng)絡(luò)(Natural scene statistics aided deep neural networks,NSSADNN),該網(wǎng)絡(luò)利用NSS 的優(yōu)點(diǎn)來提高基于CNNs 方法的泛化能力,方法包括NSS 特征預(yù)測及質(zhì)量預(yù)測兩個(gè)階段.Yan等[135]提出了一個(gè)包含圖像和梯度圖像兩個(gè)子組件的雙流卷積網(wǎng)絡(luò).

對上述方法分析可知,CNN 及DNN 主要實(shí)現(xiàn)以下4 種功能:1)特征提取;2)質(zhì)量預(yù)測;3)從特征提取到質(zhì)量預(yù)測的整個(gè)流程;4)失真分類.

3.3.2 基于GAN 的方法

一些學(xué)者也將生成對抗網(wǎng)絡(luò)(Generative adversarial network,GAN)應(yīng)用于圖像質(zhì)量評價(jià)中.不同于上述方法,GAN 的引入主要為了得到參考圖像.Lin等[136]提出的方法首先基于失真圖像生成偽參考圖像,隨后將偽參考圖像的信息與失真圖像進(jìn)行配對,并將它們輸入到質(zhì)量回歸網(wǎng)絡(luò)中,從而產(chǎn)生精確的質(zhì)量預(yù)測結(jié)果.Yang等[137]提出基于GAN 的NR-IQA 方法具有自生成樣本和自我反饋訓(xùn)練的優(yōu)點(diǎn),提高了整體網(wǎng)絡(luò)的性能,根據(jù)生成器的目標(biāo)域,方法中設(shè)計(jì)了三種不同的模型.

3.3.3 其他基于深度學(xué)習(xí)的方法

Hou等[138]采用具有5 層網(wǎng)絡(luò)結(jié)構(gòu)的深度學(xué)習(xí)方法進(jìn)行圖像質(zhì)量評價(jià),方法綜合特征提取、分類、后驗(yàn)概率計(jì)算等功能為一體,訓(xùn)練過程先采用受限波爾茲曼機(jī)(Restricted boltzmann machine,RBM)進(jìn)行層間學(xué)習(xí),再采用反向傳遞算法進(jìn)行精細(xì)調(diào)整.針對基于SSIM 的圖像質(zhì)量評價(jià)算法不能充分利用圖像的梯度特征及對比度相似性特征且往往忽略了圖像中連續(xù)色塊的一致性兩個(gè)問題,He等[139]利用基于內(nèi)容的聚類技術(shù)進(jìn)行圖像特征匹配,設(shè)計(jì)了一種自適應(yīng)的基于輪廓線的多特征融合(Skyline based multi-feature fusion,MSFF)方法,方法在特征提取階段引入了RBM.與文獻(xiàn)[104]的方法相似,Ma等[140]基于成對圖像比較的原理提出基于可分辨圖像對的圖像評估方法,方法中引入基于learning-to-rank 的RankNet.針對CNN 模型的標(biāo)注短缺問題及固定尺寸輸入的約束,Zhang等[141]提出了一種基于排序?qū)W習(xí)(Rank learning)和有效分塊提取的NR-IQA 方法.

3.4 基于字典/碼本學(xué)習(xí)的方法

字典/碼本學(xué)習(xí)也在圖像質(zhì)量評價(jià)中得到了一定程度的應(yīng)用,此類方法往往與稀疏學(xué)習(xí)/聚類算法相結(jié)合.

在與稀疏學(xué)習(xí)相結(jié)合的方法中,Yang等[142]研究了局部均值特征值(Local mean eigenvalues,LMEs)與圖像感知質(zhì)量之間的相關(guān)性,證明了LMEs 適用于圖像質(zhì)量評價(jià),并對LMEs和自然場景統(tǒng)計(jì)特征進(jìn)行稀疏字典學(xué)習(xí).Li等[143]提出一種基于稀疏表示的圖像清晰度(Sparse representation based image sharpness,SPARISH)評價(jià)函數(shù),該方法以字典(以圖像塊的方式)表示模糊圖像,并用稀疏系數(shù)計(jì)算圖像塊的能量,最終選擇具有高方差值的圖像塊所對應(yīng)的方差歸一化能量作為評價(jià)結(jié)果.Lu等[144]提出了一種基于結(jié)構(gòu)信息稀疏表示的無參考圖像清晰度評價(jià)函數(shù),方法對模糊圖像的分塊編碼進(jìn)行字典學(xué)習(xí),并引入了多尺度空間最大池化方案及SVR 模型給出最終的評價(jià)值.

在與聚類算法相結(jié)合方面,最常用方法是K 均值(K-means)聚類算法.Ye等[145]提出一種無監(jiān)督特征學(xué)習(xí)的基于碼本表示的無參考圖像評價(jià)方法(Codebook representation for no-reference image assessment,CORNIA),該方法在未標(biāo)記訓(xùn)練圖像中提取局部特征進(jìn)行K 均值聚類以構(gòu)建碼本,然后使用最大池化進(jìn)行質(zhì)量估計(jì).隨后,Xu等[146]提出一種高階統(tǒng)計(jì)聚合方法,方法將圖像塊作為局部特征,通過K 均值聚類構(gòu)造包含100 個(gè)碼字的碼本,將每個(gè)局部特征軟分配給幾個(gè)最近的聚類,并且將局部特征與對應(yīng)聚類之間的高階統(tǒng)計(jì)量(均值、方差和偏度)的差異軟聚類,以建立全局質(zhì)量感知圖像表示.Xue等[147]提出了一種質(zhì)量感知聚類(Qualityaware clustering,QAC)方法,使用比例池化策略來估計(jì)每個(gè)塊的局部質(zhì)量,然后使用QAC 來學(xué)習(xí)不同質(zhì)量級別上的質(zhì)心,并將它們作為碼本來推斷圖像塊的質(zhì)量,最后采用平均池化實(shí)現(xiàn)圖像質(zhì)量評價(jià).

此外,Wu等[148]將圖像的統(tǒng)計(jì)信息從多個(gè)域和多個(gè)顏色通道結(jié)合起來,引入了一種新的特征融合方案,而后由非參數(shù)模型生成預(yù)測的圖像質(zhì)量,并稱為標(biāo)簽傳遞(Label transfer,LT).Jiang等[149]提出的方法基于優(yōu)化多階段判別字典(Multi-stage discriminative dictionaries,MSDDs)實(shí)現(xiàn),MSDDs 是通過分階段模式執(zhí)行標(biāo)簽一致K-SVD (Label consistent K-SVD,LC-KSVD)算法學(xué)習(xí)得到.

無論是字典學(xué)習(xí)、碼本學(xué)習(xí)及標(biāo)簽傳遞方法,都是建立了圖像特征到碼本/字典/標(biāo)簽之間的傳遞關(guān)系,從而在提取待測圖像特征后,通過與碼本/字典/標(biāo)簽的匹配得到圖像質(zhì)量評價(jià)結(jié)果.

3.5 基于MVG 的方法

在質(zhì)量評價(jià)過程中,也有學(xué)者利用測試圖像特征模型參數(shù)與預(yù)先建立的模型參數(shù)之間的距離來衡量圖像質(zhì)量的好壞,比較典型的即MVG 模型.Saad等[92]提出的BLIINDS 使用DCT 系數(shù)估計(jì)圖像對比度特征,并在不同尺度上計(jì)算DCT 系數(shù)直方圖的Kurtosis值和各向異性熵最大值作為結(jié)構(gòu)特征,方法中使用了MVG 模型.Mittal等[150]提出的自然圖像質(zhì)量評價(jià)(Natural image quality evaluator,NIQE)算法中,無需利用人眼評分的失真圖像進(jìn)行訓(xùn)練,在計(jì)算其局部MSCN 系數(shù)后,根據(jù)圖像局部銳度選擇部分圖像塊作為訓(xùn)練數(shù)據(jù),以GGD及AGGD 擬合得到模型參數(shù)作為特征,采用MVG模型描述這些特征,通過計(jì)算距離來確定圖像質(zhì)量.隨后,Zhang等[151]提出一種綜合多種局部特征信息的NIQE (Integrated local NIQE,IL-NIQE)方法,進(jìn)一步提升了NIQE 的性能.Jiao等[152]對輸入圖像進(jìn)行局部MSCN 系數(shù)處理后在多個(gè)尺度上分塊計(jì)算不同方向的對數(shù)能量和方差,以MVG 模型表示自然圖像的統(tǒng)計(jì)特征,計(jì)算測試圖像特征與自然圖像特征之間的馬氏距離作為質(zhì)量評價(jià)結(jié)果.Abdalmajeed等[153]用Weibull 分布描繪特征值,再采用NIQE 方法中的評價(jià)過程進(jìn)行質(zhì)量預(yù)測.

此類方法主要建立了圖像特征與圖像質(zhì)量之間的統(tǒng)計(jì)概率模型,然后根據(jù)距離公式進(jìn)行預(yù)測.

3.6 其他基于學(xué)習(xí)的方法

在回歸學(xué)習(xí)方面.南棟等[154]結(jié)合圖像的結(jié)構(gòu)特性、顏色特性和人類感知特性,通過回歸分析的方法估計(jì)出相應(yīng)指標(biāo)的參數(shù).Panetta等[155]的彩色質(zhì)量增強(qiáng)算法中,由彩色度、銳度和對比度線性組合得到圖像質(zhì)量,并通過在訓(xùn)練集上訓(xùn)練一個(gè)多重線性回歸模型得到組合系數(shù).不同于直接將特征映射到評價(jià)結(jié)果的模型,Gu等[156]的方法中提出的向量回歸框架為輸入圖像生成置信分?jǐn)?shù)的向量,根據(jù)其池化策略,圖像中目標(biāo)所對應(yīng)的區(qū)域?qū)@得更高的權(quán)重,從而得到更可靠的評價(jià)值.Wu等[157]提出一種新的秩階正則化回歸模型進(jìn)行NR-IQA,方法的關(guān)鍵思想是在最大邊距回歸框架中引入成對秩階約束以更好地保持正確的感知偏好.Al-Bandawi等[158]則直接采用MATLAB 中的多種回歸學(xué)習(xí)函數(shù)進(jìn)行模型學(xué)習(xí).

此外,Wu等[159]提出了一種基于局部學(xué)習(xí)的NR-IQA 方法,該方法搜索測試圖像的感知相似鄰域作為訓(xùn)練集,結(jié)合所選擇訓(xùn)練數(shù)據(jù)的局部一致性得到更好的訓(xùn)練樣本,通過稀疏高斯過程實(shí)現(xiàn)圖像質(zhì)量的評價(jià).由于模糊圖像的梯度幅值遵循Weibull分布,Deng等[160]采用Weibull 統(tǒng)計(jì)量對模糊圖像的梯度幅值進(jìn)行建模,并利用稀疏極限學(xué)習(xí)將歸一化統(tǒng)計(jì)參數(shù)映射到圖像質(zhì)量評價(jià)值.

通過對基于學(xué)習(xí)方法的分析發(fā)現(xiàn),此類方法大多會(huì)結(jié)合多種不同類型的方法,而在不同的階段采用了不同的方法,如:1)在特征提取階段分為基于空域或(與)頻域的方法及采用CNN、DNN、RBM等網(wǎng)絡(luò)的方法;2)在質(zhì)量預(yù)測階段,大部分采用了基于學(xué)習(xí)的方法,包括SVM、NN、CNN 及DNN.此外,在特征提取的基礎(chǔ)上,還包括引入聚類、稀疏學(xué)習(xí)等方法以生成碼本/字典等.而在測試數(shù)據(jù)集方面,不同于早期基于空域、頻域及SVM 的方法主要對人工模糊數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),近幾年提出的基于學(xué)習(xí)的方法,尤其是基于深度學(xué)習(xí)的方法,更多的聚焦于自然模糊圖像對應(yīng)的數(shù)據(jù)集.

上述各類基于學(xué)習(xí)的方法優(yōu)缺點(diǎn)如表3 所示.

表3 基于學(xué)習(xí)的不同方法優(yōu)缺點(diǎn)對比Table 3 Advantage and disadvantage comparison for different methods based on learning

4 算法性能評價(jià)指標(biāo)

一種圖像質(zhì)量評價(jià)算法本身是否準(zhǔn)確、與人的主觀判斷是否一致,也需要一定的衡量標(biāo)準(zhǔn).通常以算法評價(jià)值和人眼主觀打分值(MOS 或DMOS)的誤差和相關(guān)性來進(jìn)行評價(jià).算法評價(jià)值與MOS或DMOS 的誤差越小、相關(guān)性越強(qiáng),說明評價(jià)越準(zhǔn)確.廣泛采用的評價(jià)指標(biāo)有以下幾個(gè)[20,80,161]:

1)平均絕對誤差(Mean absolute error,MAE)是絕對誤差的平均值,反映預(yù)測值誤差的實(shí)際情況,具體為

式中,{x1,x2,···,xn}表示人眼打分的MOS 或DMOS值,{y1,y2,···,yn}表示某種算法估計(jì)得到的圖像質(zhì)量評價(jià)值.

2)均方根誤差(Root mean squared error,RMSE)比較算法評價(jià)值與人眼主觀打分之間的絕對誤差,衡量算法預(yù)測的準(zhǔn)確性,具體為

3)線性相關(guān)系數(shù)(Linear correlation coefficient,LCC),也稱為皮爾遜(Pearson)線性相關(guān)系數(shù)(PLCC),描述算法評價(jià)值與人眼主觀打分之間的相關(guān)性,具體為

4)Spearman 秩相關(guān)系數(shù)(Spearman's rank ordered correlation coefficient,SROCC)衡量算法預(yù)測的單調(diào)性,具體為

式中,rxi,ryi分別為xi和yi在各自數(shù)據(jù)序列中的排序位置.

5)Kendall 秩相關(guān)系數(shù)(Kendall rank order correlation coefficient,KROCC)也衡量了算法預(yù)測的單調(diào)性,具體為

式中,nc是數(shù)據(jù)集中的一致對個(gè)數(shù),nd是數(shù)據(jù)集中的不一致對個(gè)數(shù).兩個(gè)數(shù)據(jù)序列中任何一對數(shù)據(jù)(xi,yi)和(xj,yj),如果滿足xi＞xj且yi＞yj或滿足xi＜xj且yi＜yj,則稱它們是一致的;如果滿足xi＞xj且yi＜yj或滿足xi＜xj且yi＞yj,則稱為是不一致的;如果滿足xi=xj或yi=yj,則既不是一致的,也不是不一致的.

6)離出率(Outlier ratio,OR)表示超出主觀得分±2 倍標(biāo)準(zhǔn)差(存在多個(gè)觀察者的主觀得分時(shí))的樣本數(shù)百分比,衡量算法預(yù)測結(jié)果的一致性,具體為

式中,Nfalse是超出主觀得分±2 倍標(biāo)準(zhǔn)差的樣本數(shù),Ntotal是總樣本數(shù).

5 常見方法實(shí)驗(yàn)與比較

為了直觀地了解NR-IQA 方法性能,本文將采用常見的NR-IQA 方法對主要數(shù)據(jù)集的模糊圖像進(jìn)行比較實(shí)驗(yàn),具體實(shí)驗(yàn)安排如下:

1)NR-IQA 方法選擇

由于應(yīng)用于模糊圖像的NR-IQA 方法已經(jīng)很多,實(shí)驗(yàn)中僅采用經(jīng)常用于不同文獻(xiàn)中進(jìn)行對比的方法,其中包含了針對通用問題圖像與僅針對模糊失真圖像的方法.對比方法的具體信息如表4 中所述,其中基于深度學(xué)習(xí)的方法網(wǎng)絡(luò)結(jié)構(gòu)如表5 所示.

表4 用于對比的不同NR-IQA 方法Table 4 Different NR-IQA methods for comparison

表5 基于深度學(xué)習(xí)的方法所采用的不同網(wǎng)絡(luò)結(jié)構(gòu)Table 5 Different network structures of deep learning-based methods

上述方法中,基于空域/頻域的方法均有對應(yīng)源代碼可供下載,因此,對比結(jié)果均在實(shí)驗(yàn)基礎(chǔ)上獲得.本部分實(shí)驗(yàn)采用聯(lián)想計(jì)算機(jī)實(shí)現(xiàn),具體配置為Intel? Core(TM)i7 CPU,2.50 GHz 及8 GB RAM,采用64 位Window 10 操作系統(tǒng).實(shí)驗(yàn)軟件平臺(tái)為MATLAB R2015a.

基于學(xué)習(xí)的方法中,由于僅部分文獻(xiàn)提供代碼與模型的下載,而大部分可供下載的模型往往僅由LIVE 數(shù)據(jù)集給出,而沒有所有數(shù)據(jù)集的模型,在其他數(shù)據(jù)集上的測試結(jié)果不夠理想,達(dá)不到原文獻(xiàn)中的結(jié)果.同時(shí),基于深度學(xué)習(xí)的方法需要搭建不同的框架,并且運(yùn)行的系統(tǒng)環(huán)境也各不相同.因此,所有基于學(xué)習(xí)方法的實(shí)驗(yàn)結(jié)果直接引用自文獻(xiàn)中的實(shí)驗(yàn)結(jié)果.具體實(shí)驗(yàn)運(yùn)行環(huán)境及參數(shù)配置可在對應(yīng)文獻(xiàn)中獲得[88,107,109-110,123-125,128,131,133-134,137,139,141,145,156].

2)圖像數(shù)據(jù)集選擇

在人工模糊數(shù)據(jù)集方面,雖然目前數(shù)據(jù)集較多(如表1 所示),但大部文獻(xiàn)在進(jìn)行實(shí)驗(yàn)對比時(shí)會(huì)選擇LIVE、CSIQ、TID2008 及TID2013 這4 個(gè)含有高斯模糊數(shù)據(jù)集的全部或者部分配合其他數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).因此,在人工模糊數(shù)據(jù)集中,本文選擇上述4 個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)對比.

在自然模糊數(shù)據(jù)集方面,近幾年隨著基于學(xué)習(xí)的方法,尤其是基于深度學(xué)習(xí)方法的廣泛提出,自然模糊數(shù)據(jù)集也得到了大量的使用.因此,本文結(jié)合基于學(xué)習(xí)的方法,選擇BID、CID2013 及CLIVE這3 個(gè)自然模糊數(shù)據(jù)集進(jìn)行對比.

3)衡量指標(biāo)選擇

針對第4 節(jié)給出的6 個(gè)主要衡量指標(biāo),我們選取在不同文獻(xiàn)中經(jīng)常使用的4 個(gè)衡量指標(biāo),即PLCC、SROCC、RMSE 及MAE 進(jìn)行對比實(shí)驗(yàn).其中針對基于學(xué)習(xí)的方法,采用PLCC 與SROCC 進(jìn)行對比實(shí)驗(yàn).

4)實(shí)驗(yàn)結(jié)果對比及分析

不同方法在不同數(shù)據(jù)集中的性能指標(biāo)如表6～8 所示,從表中可以看出,不同方法在不同數(shù)據(jù)集上各有優(yōu)勢.可見,盡管NR-IQA 方法經(jīng)過了較長時(shí)間的發(fā)展與改進(jìn),并沒有某一個(gè)方法可以保證在所有數(shù)據(jù)集上均取得最優(yōu)的效果.其中,基于深度學(xué)習(xí)的方法在失真原因最為復(fù)雜的CLIVE 數(shù)據(jù)集上的表現(xiàn)大幅優(yōu)于其他方法.而基于機(jī)器學(xué)習(xí)的方法雖然能夠在人工模糊數(shù)據(jù)集取得不錯(cuò)的性能,但在3 個(gè)自然模糊數(shù)據(jù)集上的表現(xiàn)差異大,穩(wěn)定性差.同時(shí),在取得最優(yōu)結(jié)果的方法中,僅針對模糊問題的方法占據(jù)了絕大部分.

通過對訓(xùn)練數(shù)據(jù)及基于深度學(xué)習(xí)的方法分析可知,如果訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)同屬于模糊失真圖像,則測試時(shí)將取得理想的結(jié)果;如果訓(xùn)練數(shù)據(jù)中不包括模糊失真的圖像,而測試時(shí)的圖像又包含模糊失真,則測試時(shí)模糊圖像評價(jià)結(jié)果較差[132].此外,若訓(xùn)練數(shù)據(jù)是同時(shí)包含了多種失真類型圖像,如訓(xùn)練數(shù)據(jù)中同一圖像既有模糊失真又有噪聲問題,則有助于提高某種特定失真類型圖像(如噪聲或模糊)的評價(jià)結(jié)果[123].對于基于學(xué)習(xí)的圖像質(zhì)量評價(jià)中,泛化能力是一個(gè)重要的問題.文獻(xiàn)[107,128]使用交叉驗(yàn)證來測試所提出方法的泛化能力,一共分為兩種類型的交叉驗(yàn)證:1)將人工模糊數(shù)據(jù)集中訓(xùn)練得到的模型運(yùn)用在自然模糊數(shù)據(jù)集中進(jìn)行測試;2)將自然模糊數(shù)據(jù)集中訓(xùn)練得到的模型運(yùn)用在人工模糊數(shù)據(jù)集中進(jìn)行測試.由于自然模糊比人工模糊復(fù)雜得多,因此,使用人工模糊圖像訓(xùn)練的模型在自然模糊圖像中進(jìn)行測試并不能得到理想的結(jié)果.

實(shí)驗(yàn)中針對上述幾種NR-IQA 方法進(jìn)行了不同類型方法之間的對比,如圖4和圖5 所示.其分別由表6～8 中不同方法根據(jù)不同類型對各自類型方法取得的結(jié)果取平均值得到.從圖中可以看出,在人工模糊數(shù)據(jù)集中,基于深度學(xué)習(xí)的方法在大部分評價(jià)指標(biāo)中取得了最優(yōu)的結(jié)果;而在自然模糊數(shù)據(jù)集中,基于其他學(xué)習(xí)的方法取得的結(jié)果相對較差.

圖4 不同類型NR-IQA 方法在不同人工模糊數(shù)據(jù)集中平均性能評價(jià)指標(biāo)值比較Fig.4 Average performance evaluation result comparison through different types of NR-IQA methods for different artificial blur databases

圖5 不同類型NR-IQA 方法在不同自然模糊數(shù)據(jù)集中平均性能評價(jià)指標(biāo)值比較Fig.5 Average performance evaluation result comparison through different types of NR-IQA methods for different natural blur databases

表6 基于空域/頻域的不同NR-IQA 方法在不同數(shù)據(jù)集中比較結(jié)果Table 6 Comparison of different spatial/spectral domain-based NR-IQA methods for different databases

雖然基于深度學(xué)習(xí)的方法取得的結(jié)果較好,但在實(shí)際應(yīng)用中,不同類型的方法均有其適用的場合:1)從數(shù)據(jù)集中是否有標(biāo)簽(如MOS/DMOS值等)的角度,可將其分為基于無需學(xué)習(xí)的方法,基于無監(jiān)督學(xué)習(xí)的方法,基于弱監(jiān)督學(xué)習(xí)的方法,基于半監(jiān)督學(xué)習(xí)的方法及基于監(jiān)督學(xué)習(xí)的方法.其中前兩種方法適用于無標(biāo)簽的應(yīng)用場合,通用性更強(qiáng),而后三種方法則適用于有標(biāo)簽的應(yīng)用場合,同時(shí),基于機(jī)器學(xué)習(xí)的方法在小樣本數(shù)據(jù)集中更具優(yōu)勢.2)從測試圖像類型的角度,在同樣擁有標(biāo)簽的場合,針對人工模糊圖像,所有類型的方法所取得的結(jié)果差別不大,但基于空域/頻域的方法由于無需訓(xùn)練,因此通用性更強(qiáng);針對自然模糊圖像,基于學(xué)習(xí)的方法由于經(jīng)過訓(xùn)練往往能取得明顯優(yōu)于基于空域/頻域方法的評價(jià)結(jié)果,因此更適合此類圖像.考慮到實(shí)際應(yīng)用中以自然圖像為主,因此從評價(jià)結(jié)果的角度,基于學(xué)習(xí)的方法具有更強(qiáng)的適用性.

表7 基于學(xué)習(xí)的不同NR-IQA 方法在不同人工模糊數(shù)據(jù)集中比較結(jié)果Table 7 Comparison of different learning-based NR-IQA methods for different artificial blur databases

6 總結(jié)與展望

經(jīng)過二十多年的發(fā)展,針對模糊失真圖像的NR-IQA 方法已經(jīng)取得了大量的研究成果,通過大量文章的對比可以發(fā)現(xiàn):圖像特征選取、圖像質(zhì)量評價(jià)函數(shù)設(shè)計(jì)及數(shù)據(jù)集的構(gòu)建是無參考模糊圖像質(zhì)量評價(jià)的3 個(gè)主要問題.

1)在特征選取方面,空域特征具有原理簡單、易于實(shí)現(xiàn)且實(shí)時(shí)性高的優(yōu)點(diǎn),如梯度信息、顏色信息、結(jié)構(gòu)信息等,但易于受圖像噪聲等因素的干擾而無法有效地提取特征;頻域特征則可以有效地消除干擾,如引入DFT、DCT、小波變換等,從而得到多尺度信息、變換域系數(shù)等圖像特征,但代價(jià)是運(yùn)算時(shí)間增加.大量的研究成果發(fā)現(xiàn):準(zhǔn)確合理地選擇不同空域與頻域特征的組合有助于提高模糊圖像質(zhì)量評價(jià)的準(zhǔn)確性.隨著深度學(xué)習(xí)方法的廣泛應(yīng)用,基于深度學(xué)習(xí)的特征提取選取也成為學(xué)者們的一個(gè)重要研究方向,如采用CNN、RBM 等實(shí)現(xiàn)圖像特征的提取.

2)在圖像質(zhì)量評價(jià)函數(shù)設(shè)計(jì)方面,空域及頻域的方法主要在選擇不同圖像特征的基礎(chǔ)上完成了加權(quán)及歸一化處理.而基于學(xué)習(xí)的方法則是在結(jié)合不同的圖像特征及MOS/DMOS 等人工評價(jià)結(jié)果進(jìn)行回歸學(xué)習(xí),從而得到最優(yōu)的參數(shù)或權(quán)重.

3)在圖像數(shù)據(jù)集方面,早期主要的數(shù)據(jù)集均針對多種失真問題,模糊失真圖像只是數(shù)據(jù)集中的一部分,而近幾年來的數(shù)據(jù)集中數(shù)據(jù)量有所增加,且針對模糊失真的圖像數(shù)據(jù)也有所增加.此外,數(shù)據(jù)集中的模糊圖像也由早期以人工模糊圖像為主轉(zhuǎn)變到近幾年以自然模糊圖像為主.

盡管針對模糊失真的方法已經(jīng)取得了大量的研究成果,但該領(lǐng)域仍然有許多挑戰(zhàn)需要去解決:

1)經(jīng)過近二十余年的發(fā)展,應(yīng)用于圖像質(zhì)量評價(jià)的圖像空域與頻域特征已經(jīng)得到了大量的研究成果.在基于空域/頻域的方法方面,結(jié)合具體的應(yīng)用需求,合理使用已有的多種圖像特征并進(jìn)行組合或結(jié)合最新圖像處理成果提取出新的空域或頻域特征是此類方法的一個(gè)主要研究方向,同時(shí)也是基于SVM的方法中進(jìn)行特征提取的基礎(chǔ).對于基于深度學(xué)習(xí)的方法,選擇合適的網(wǎng)絡(luò)進(jìn)行圖像特征的提取則是一個(gè)主要研究方向.

2)對于基于學(xué)習(xí)的方法,MOS/DMOS 除可以用來進(jìn)行方法性能的評價(jià)外,更是基于監(jiān)督學(xué)習(xí)方法中的重要組成部分.然而,即使已經(jīng)有不少針對圖像質(zhì)量評價(jià)的數(shù)據(jù)集,對于基于深度學(xué)習(xí)的方法而言仍然是不足的.因此,提出合理的圖像增強(qiáng)方法并設(shè)計(jì)出針對較小數(shù)據(jù)集的深度學(xué)習(xí)網(wǎng)絡(luò)用于模糊失真的NR-IQA 方法是一個(gè)主要的研究方向.此外,針對小數(shù)據(jù)集或無MOS/DMOS 的數(shù)據(jù)集而言,設(shè)計(jì)出一個(gè)半監(jiān)督/弱監(jiān)督/無監(jiān)督的深度學(xué)習(xí)方法則更有利于提高方法的通用性.

3)就數(shù)據(jù)集而言,盡管部分深度學(xué)習(xí)方法將不同的數(shù)據(jù)集結(jié)合在一起以保證參與訓(xùn)練的數(shù)據(jù)量,但由于不同數(shù)據(jù)集上評價(jià)人員的不同,評價(jià)結(jié)果必然存在一定的偏差.因此,從深度學(xué)習(xí)的角度,針對某一特定失真(如模糊失真)生成一個(gè)足夠大的數(shù)據(jù)集并得到對應(yīng)的MOS/DMOS 成為一個(gè)主要的挑戰(zhàn),尤其是針對自然失真圖像.

4)通過對上述文獻(xiàn)的分析可以發(fā)現(xiàn),絕大部分的模糊圖像質(zhì)量評價(jià)方法是針對人工模糊,其在評價(jià)自然模糊方面的能力有限.盡管近幾年來的算法針對自然模糊圖像進(jìn)行了針對性地改進(jìn),但其性能仍然有待于進(jìn)一步的提高,如表8 所示.因此,設(shè)計(jì)出更優(yōu)的針對自然模糊圖像的NR-IQA 方法仍然是迫切需要的.

表8 基于學(xué)習(xí)的不同NR-IQA 方法在不同自然模糊數(shù)據(jù)集中比較結(jié)果Table 8 Comparison of different learning-based NR-IQA methods for different natural blur databases