徐長英 曾艷嬌 陳英

摘? 要： 針對無參考的圖像質(zhì)量評價，提出一種基于SSEQ算法、BRISQUE算法和BP神經(jīng)網(wǎng)絡(luò)的質(zhì)量評價模型，其評價過程如下：利用SSEQ算法提取圖像的空間熵值和頻譜熵值;利用BRISQUE算法提取局部規(guī)范系數(shù);將圖像中提取的兩類特征值和對應(yīng)的主觀質(zhì)量分?jǐn)?shù)分別利用BP神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，并通過加權(quán)融合得到最終的客觀質(zhì)量分?jǐn)?shù)。實驗結(jié)果表明，主客觀質(zhì)量分?jǐn)?shù)的皮爾遜相關(guān)系數(shù)均在0.85以上，滿足極強相關(guān)，結(jié)果優(yōu)于部分無參考圖像質(zhì)量評價模型。

關(guān)鍵詞： 圖像質(zhì)量評價; 評價模型; SSEQ; BRISQUE; 特征值提取; 性能檢測

中圖分類號： TN911.73?34; TP391.41? ? ? ? ? ? ? ? 文獻標(biāo)識碼： A? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）21?0043?04

No?reference image quality assessment method based on weighted model

XU Changying1， ZENG Yanjiao2， CHEN Ying2

（1. Engineering Training Centre， Nanchang Hangkong University， Nanchang 330063， China;

2. School of Software， Nanchang Hangkong University， Nanchang 330063， China）

Abstract： A non?reference image quality assessment model based on SSEQ （spatial?spectral entropy based quality assessment） algorithm， BRISQUE （blind/referenceless image spatial quality evaluator） algorithm and BP neural network is proposed in this paper. The assessment process is shown as follows： the SSEQ algorithm is used to extract the spatial entropy value and spectral entropy value of the image; the BRISQUE algorithm is used to extract local norm coefficients; the two types of eigenvalues extracted from the image and their corresponding subjective quality scores are trained by BP neural network， and then the final objective quality scores are got by weighted fusion. The experimental results show that the Pearson correlation coefficients of the subjective quality score and objective quality score are all above 0.85， which meets the standard of extremely strong correlation. The results are better than those of some non?reference image quality assessment models.

Keywords： image quality assessment; evaluation model; SSEQ; BRISQUE; eigenvalue extraction; performance detection

0? 引? 言

圖像選優(yōu)方法是基于圖像質(zhì)量展開的，由于人是圖像質(zhì)量評價的主體，如何建立圖像選優(yōu)模型使主客觀評價一致是圖像處理領(lǐng)域的研究熱點[1]。目前無參考圖像質(zhì)量評價在圖像壓縮、無人機航拍和醫(yī)學(xué)圖像領(lǐng)域廣泛應(yīng)用[2]。無參考圖像質(zhì)量評價模型分為基于機器學(xué)習(xí)和基于深度學(xué)習(xí)兩類，基于深度學(xué)習(xí)又可分為OA?BIQA（Opinion Aware）和OF?BIQA（Opinion Free）[3]。對于圖像中存在的多種失真，BIQI（Blind Image Quality Indices）算法[4]基于五種失真類型的預(yù)設(shè)，將圖像的失真類型概率和其對應(yīng)的失真水平進行加權(quán)求和得出質(zhì)量分?jǐn)?shù)。文獻[5]提出的ERISQUE使用局部標(biāo)準(zhǔn)化亮度系數(shù)得出圖像失真程度。SSEQ算法[6]使用空間熵值和頻譜熵值作為圖像質(zhì)量指標(biāo)并使用支持向量機判斷失真類型并進行評價。OA?BIQA中，文獻[7]基于卷積神經(jīng)網(wǎng)絡(luò)提出IQA?CNN，使用特征提取和回歸建立學(xué)習(xí)模型，對于模糊、壓縮和噪聲失真圖像的質(zhì)量評價有很好的效果。文獻[8]提出的DeepBIQ中引入遷移學(xué)習(xí)、擴展深度學(xué)習(xí)中的網(wǎng)絡(luò)深度。OF?BIQA模型不需要使用人工評價樣本，可用性更強。文獻[9]提出的BIECON中訓(xùn)練過程包括回歸到客觀誤差圖和主觀評分兩個部分，有效避免實驗樣本受限問題。本文使用SSEQ，BQRISQUE和BP神經(jīng)網(wǎng)絡(luò)進行融合，提出一種無參考質(zhì)量評價模型。

1? 基礎(chǔ)理論

1.1? BRISQUE算法

BRISQUE（Blind Referenceless Image Spatial Quality Evaluator）是一種無參考的空間域圖像質(zhì)量評估算法。算法原理為從圖像中提取局部規(guī)范化系數(shù)（MSCN），并將其擬合成廣義高斯分布（GGD）和非對稱性廣義高斯分布（AGGD），并利用多尺度圖像提取36個特征，使用支持向量機LibSVM得出客觀質(zhì)量分?jǐn)?shù)。BRISQUE算法的流程圖如圖1所示。

MSCN系數(shù)具有由于失真的存在而改變的特征，一定程度上反映了圖像的自然統(tǒng)計特征，并且量化這些變化可以預(yù)測影響圖像的失真類型及其感知質(zhì)量。由于人類視覺系統(tǒng)觀察圖像是多尺度的，各種圖像退化也作用于圖像的多個尺度。所以在不同的尺度圖像上進行質(zhì)量評價，更符合人類感知的特性。

1.2? SSEQ算法

SSEQ（Spatial?Spectral Entropy Quality）稱為基于空間?譜熵的質(zhì)量指數(shù)，獲取圖像的空間熵值和頻譜熵值作為圖像的特征值，熵值大小可反映不同種類失真，使用支持向量機LibSVM得出客觀質(zhì)量分?jǐn)?shù)。SSEQ算法的流程圖如圖2所示。

由于空間熵值和頻譜熵值都是基于多個像素點計算出來的，所以為了使讀取的值分布均勻，本文采用塊處理，將預(yù)處理后的灰度圖像分成8×8的塊，并以此作為特征值提取最小信息單位。圖像的信息可使用[14]，[18]，[116]的采樣率，分為高、中、低3個頻率段，特征值為每個頻率段的均值和偏度值。

1.3? BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，拓?fù)浣Y(jié)構(gòu)分為輸入層、隱含層和輸出層三個部分，具有信號前向傳播、誤差后向傳播的特點。BP神經(jīng)網(wǎng)絡(luò)信號的前向傳播是指信號從輸入層經(jīng)過隱含層，再到輸出層;誤差的反向傳播是從輸出層到隱含層，再到輸入層。

使用該模型的BP神經(jīng)網(wǎng)絡(luò)對樣本進行訓(xùn)練，網(wǎng)絡(luò)的形成過程中為使誤差平方和最小，使用誤差的反向傳播不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，從而使輸出值接近期望值。其結(jié)構(gòu)圖如圖3所示。

2? 模型建立

本文中模型使用的算法有BRISQUE算法、SSEQ算法、BP神經(jīng)網(wǎng)絡(luò)和加權(quán)融合算法。首先通過BRISQUE算法得出36個特征值，SSEQ算法得出12個特征值。然后利用BP神經(jīng)網(wǎng)絡(luò)將特征值和DOMS值進行訓(xùn)練測試，其中50%作為訓(xùn)練集，50%作為測試集。最后將測試集得出的客觀質(zhì)量評分進行加權(quán)融合，得到最終的客觀質(zhì)量評分，其中，加權(quán)融合的權(quán)值為相關(guān)性檢測中相關(guān)性最大時對應(yīng)的權(quán)值。具體流程如圖4所示。

3? 實驗結(jié)果及分析

3.1? 實驗樣本描述

圖像來源于美國德克薩斯大學(xué)奧斯汀分校的電氣與計算機工程系和心理學(xué)系聯(lián)合建立的LIVE（Laboratory for Image & Video Engineering）圖像質(zhì)量評價數(shù)據(jù)庫的Release2版本，由29幅參考圖像和5種失真類型共982幅圖像組成，其中包含不同程度高斯白噪聲（WN）失真圖像174幅、不同程度高斯模糊（GBlur）失真圖像174幅、jpeg壓縮（JPEG）失真圖像233幅、jp2k壓縮（JP2K）失真圖像227幅和快速瑞利衰減（FF）失真圖像174幅。采用161人作為觀察人員，通過統(tǒng)計約25 000個數(shù)據(jù)，獲得了不同失真圖像的主觀相對質(zhì)量分?jǐn)?shù)（DMOS）。DMOS值范圍為0～100，DMOS值越大，表示圖像失真越嚴(yán)重。

3.2? 模型評價標(biāo)準(zhǔn)

本文采用線性相關(guān)系數(shù)LCC，也稱皮爾遜線性相關(guān)系數(shù)PLCC，描述預(yù)測值與主觀評分之間的相關(guān)性和算法的準(zhǔn)確性。皮爾遜相關(guān)系數(shù)定義為兩個變量之間的協(xié)方差和標(biāo)準(zhǔn)差的商，計算公式如下所示：

[ρX，Y=cov（X，Y）σXσY=E[（X-μX）（Y-μY）]σXσY]

式中[σ]為標(biāo)準(zhǔn)差。皮爾遜相關(guān)系數(shù)反映了兩個變量的線性相關(guān)性的大小，絕對值越大說明兩變量的相關(guān)性越強。相關(guān)系數(shù)大于0.8為極強相關(guān)。

3.3? 實驗結(jié)果

本文模型是在對單張失真圖像進行客觀質(zhì)量評價的基礎(chǔ)上實現(xiàn)圖像質(zhì)量的選優(yōu)，即單張圖像通過模型處理后得到其對應(yīng)的客觀質(zhì)量評價分?jǐn)?shù)，多張圖片可獲得多個對應(yīng)的客觀質(zhì)量評價分?jǐn)?shù)，對圖像進行圖像質(zhì)量評價就是預(yù)測圖像的主觀質(zhì)量分?jǐn)?shù)。如圖5a）～圖5f）所示是LIVE圖像質(zhì)量評價數(shù)據(jù)庫里高斯模糊失真中對應(yīng)的6張圖像，將這6張圖像輸入此模型可得出其對應(yīng)的客觀質(zhì)量評價分?jǐn)?shù)。表1是圖5中的6張失真圖像通過模型得出客觀質(zhì)量評價分?jǐn)?shù)和其在LIVE數(shù)據(jù)庫中對應(yīng)的主觀質(zhì)量評價分?jǐn)?shù)。

如表1所示，失真圖像5a）和失真圖像5b）對應(yīng)的主觀評價分?jǐn)?shù)分別為23.14和27.16，客觀質(zhì)量分?jǐn)?shù)分別為20.58和22.51，從中可以得出主客觀結(jié)果一致，即表明通過此模型得出的客觀質(zhì)量分?jǐn)?shù)可在失真圖像5a）和5b）中預(yù)測圖像5a）的圖像質(zhì)量優(yōu)于圖像5b）。

再者，對表1的主觀質(zhì)量評價分?jǐn)?shù)和客觀質(zhì)量評價分?jǐn)?shù)進行排序，其中主觀質(zhì)量評價分?jǐn)?shù)從小到大對應(yīng)的失真圖像依次為圖像5e），5a），5f），5b），5c），5d），客觀質(zhì)量分?jǐn)?shù)從小到大對應(yīng)的失真圖像依次為圖像5e），5a），5f），5b），5c），5d），比較得出兩個序列失真圖像客觀評價分?jǐn)?shù)的大小與主觀評價分?jǐn)?shù)大小有關(guān)，主觀質(zhì)量評價分?jǐn)?shù)越大對應(yīng)的客觀質(zhì)量評價分?jǐn)?shù)往往也會越大。在這6張圖像中圖像5e）對應(yīng)的質(zhì)量分?jǐn)?shù)最小，即圖像5e）的質(zhì)量最好。通過對LIVE數(shù)據(jù)庫中的高斯模糊失真中對應(yīng)的6張圖像的客觀和主觀質(zhì)量分?jǐn)?shù)進行分析，說明本文模型可以在一定程度上通過輸入失真圖像得出客觀質(zhì)量評價分?jǐn)?shù)的大小，對一系列圖像的質(zhì)量進行比較，選擇質(zhì)量最好的圖像。

由于考慮到模型性能，評價方法使用的是PLCC相關(guān)系數(shù)，所以需要得到大量圖像的客觀質(zhì)量評價分?jǐn)?shù)和其對應(yīng)的主觀質(zhì)量評價分?jǐn)?shù)才可以進行模型性能的評價，PLCC越接近1則表示線性相關(guān)性越好。為評價模型的整體性能，對LIVE圖像評價數(shù)據(jù)庫中的五種失真圖像使用PLCC進行相關(guān)性分析，得出的客觀評價分?jǐn)?shù)的大小與其對應(yīng)的主觀評價分?jǐn)?shù)的PLCC相關(guān)性如表2所示。

表2中五種失真圖像對應(yīng)的PLCC均在0.8～1.0的區(qū)間里，失真圖像的客觀評價分?jǐn)?shù)和主觀評價分?jǐn)?shù)呈極強相關(guān)，所以通過此模型對LIVE數(shù)據(jù)庫的五種失真圖像得出的客觀評價分?jǐn)?shù)可以找到較好質(zhì)量的圖像。其中，F(xiàn)F的PLCC系數(shù)最小，由此可知此模型對于快速瑞利衰減失真圖像質(zhì)量評價的準(zhǔn)確性最低，GBlur和WN對應(yīng)的PLCC系數(shù)相對較大，可知此模型對于高斯模糊和高斯白噪聲失真圖像質(zhì)量評價的準(zhǔn)確性高于其他三種失真圖像。

3.4? 性能檢測

將本文模型與BIQI，BRISQUE，OG?IQA和SSEQ四種經(jīng)典的無參考圖像評價模型進行PLCC比較，得到的結(jié)果如表3所示。

由表3可知，對于FF失真，本文模型優(yōu)于BIQI和SSEQ模型，略差于BRISQUE和OG?IQA模型。對于GBlur失真，本文模型優(yōu)于BIQI和OG?IQA模型，略差于BRISQUE和SSEQ模型。對于JP2K失真，本文模型優(yōu)于BIQI和BRISQUE模型，略差于OG?IQA和SSEQ模型。對于JPEG失真，本文模型明顯優(yōu)于BIQI、BRISQUE和OG?IQA模型，略差于SSEQ模型。 對于WN失真，本文模型明顯優(yōu)于BIQI模型，略優(yōu)于BRISQUE、OG?IQA和SSEQ模型。

3.5? 遷移性分析

本文模型針對TID2013數(shù)據(jù)庫進行遷移性分析，使用GBlur，JP2K和JPEG這3種失真圖像進行性能分析。TID2013圖像質(zhì)量評價數(shù)據(jù)庫中某張圖像與其對應(yīng)的5張JPEG失真圖像如圖6所示。其中圖6a）為原圖像，圖6b）～圖6f）為失真圖像，觀察比較圖像可知，圖6b）～圖6f）的5張失真圖像的信息損失程度逐漸增加。

表4是圖6中的5張失真圖像6b）～6f）通過模型得到的客觀評價分?jǐn)?shù)和其主觀評價分?jǐn)?shù)，其中分?jǐn)?shù)越大表示圖像失真程度越高。表中圖6b）～圖6f）對應(yīng)的質(zhì)量分?jǐn)?shù)的增加符合圖像失真程度的增加，并且客觀質(zhì)量分?jǐn)?shù)和主觀質(zhì)量分?jǐn)?shù)呈正相關(guān)，故此模型可以較好地預(yù)測圖像的失真程度。

表5是此模型分別在LIVE和TID2013圖像質(zhì)量評價數(shù)據(jù)庫中，對于GBlur，JP2K和JPEG這3種失真對應(yīng)的客觀質(zhì)量分?jǐn)?shù)和主觀質(zhì)量分?jǐn)?shù)的PLCC。由表5可知此模型對于TID2013圖像質(zhì)量評價數(shù)據(jù)庫的PLCC值在0.8～1.0的區(qū)間里，所以客觀質(zhì)量評價分?jǐn)?shù)和主觀質(zhì)量評價分?jǐn)?shù)呈極強相關(guān)，即模型對TID2013圖像質(zhì)量評價數(shù)據(jù)庫的圖像可以較為準(zhǔn)確地預(yù)測圖像質(zhì)量。

4? 結(jié)? 語

本文基于LIVE數(shù)據(jù)庫提出了融合SSEQ算法、BRISQUE算法和BP神經(jīng)網(wǎng)絡(luò)的無參考質(zhì)量評價模型?？筛鶕?jù)圖像在模型中得出的客觀質(zhì)量分?jǐn)?shù)較為準(zhǔn)確地實現(xiàn)系列圖像的自動選優(yōu)。該模型優(yōu)于部分無參考圖像質(zhì)量評價模型，且具有較強的遷移性。如何進一步提高圖像質(zhì)量評價的準(zhǔn)確性以及建立模型適用于多種失真類型的圖像是今后的研究方向。

參考文獻

[1] 詹憶冰.基于視覺感知特性的圖像質(zhì)量評價方法研究[D].合肥：中國科學(xué)技術(shù)大學(xué)，2018.

[2] 張滿.無參考圖像質(zhì)量評價及其應(yīng)用[D].西安：西安電子科技大學(xué)，2018.

[3] 楊璐，王輝，魏敏.基于機器學(xué)習(xí)的無參考圖像質(zhì)量評價綜述[J].計算機工程與應(yīng)用，2018，54（19）：34?42.

[4] MOORTHY A K， BOVIK A C. A two?step framework for constructing blind image quality indices [J]. IEEE signal proces?sing letters， 2010， 17（5）： 513?516.

[5] MITTAL A， MOORTHY A K， BOVIK A C. No?reference image quality assessment in the spatial domain [J]. IEEE transactions on image processing， 2012， 21（12）： 4695?4708.

[6] 鄭加蘇.基于圖像信息熵的無參考圖像質(zhì)量評估算法的研究[D].北京：北京交通大學(xué)，2015.

[7] KANG Le， YE Peng， LI Yi， et al. Convolutional neural networks for no?reference image quality assessment [C]// Procee?dings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， OH， USA： IEEE， 2014： 1733?1740.

[8] BIANCO S， CELONA L， NAPOLETANO P， et al. On the use of deep learning for blind image quality assessment [J]. Signal， image and video processing， 2018， 12（2）： 355?362.

[9] KIM J， NGUYEN A D， LEE S. Deep CNN?based blind image quality predictor [J]. IEEE transactions on neural networks & learning systems， 2019， 30（1）： 11?24.

作者簡介：徐長英（1981—），女，山東鄆城人，碩士，講師，主要研究方向為信號處理、模式識別。

曾艷嬌（1998—），女，湖南株洲人，主要研究方向為圖像處理。

陳? 英（1981—），男，江西臨川人，博士，副教授，主要研究方向為圖像處理及模式識別。