韓東旭，鐘寶江

蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州215000

1 引言

視覺(jué)是人類(lèi)最重要的能力之一，在從外界獲取信息的過(guò)程中起著關(guān)鍵的作用。高質(zhì)量、高清晰度的視覺(jué)信息一直為人們所追求，這也促進(jìn)了當(dāng)前圖像處理技術(shù)的發(fā)展。然而，如何有效地評(píng)估各類(lèi)圖像處理算法，如圖像插值、直線段檢測(cè)、角點(diǎn)檢測(cè)等，已經(jīng)成為視覺(jué)和圖像領(lǐng)域中的基本問(wèn)題。根據(jù)參考圖像的可利用性，圖像質(zhì)量評(píng)估可以被分為全參考、半?yún)⒖己蜔o(wú)參考三類(lèi)方法[1]；從是否有人參與的角度，圖像質(zhì)量評(píng)估又可以分為客觀評(píng)估和主觀評(píng)估兩種方法。

在客觀評(píng)估方法中，最早提出的即均方誤差（Mean Square Error，MSE）[2]以及峰值信噪比（Peak Signal to Noise Ratio，PSNR）[3]，這兩個(gè)客觀評(píng)估指標(biāo)僅從數(shù)學(xué)角度來(lái)分析真實(shí)圖像和待評(píng)估圖像像素強(qiáng)度的差異，并沒(méi)有考慮到人類(lèi)視覺(jué)系統(tǒng)的特性?；诮Y(jié)構(gòu)相似性，Wang 等人首先提出了“結(jié)構(gòu)相似度”[4]，并衍生出“多尺度結(jié)構(gòu)相似度”[5]、“基于梯度的結(jié)構(gòu)相似度”[6]等指標(biāo)；基于特征相似性，則有相位一致性[7]、邊緣相似性[8]等客觀評(píng)估模型；基于學(xué)習(xí)圖像質(zhì)量[9]的方法，程曉梅等人[10]提出了估計(jì)圖像退化類(lèi)型和質(zhì)量評(píng)分的雙目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)模型；陳慧等人[11]使用卷積網(wǎng)學(xué)習(xí)立體圖像的局部自然場(chǎng)景統(tǒng)計(jì)特征，并預(yù)測(cè)其質(zhì)量得分；基于雙樹(shù)復(fù)小波變換對(duì)立體圖像進(jìn)行處理，根據(jù)生成的紋理結(jié)構(gòu)等參數(shù)，顧婷婷等人[12]使用AdaBoosting BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練和預(yù)測(cè)立體圖像的質(zhì)量得分。

由于客觀評(píng)估方法的結(jié)果很多時(shí)候與人眼的真實(shí)感知并不一致，對(duì)圖像質(zhì)量進(jìn)行可靠的主觀評(píng)估顯得更為重要。主觀評(píng)估通常分為心理物理法和標(biāo)準(zhǔn)法[13]。心理物理法評(píng)估方法要求人們檢測(cè)某些信號(hào)（如光或色調(diào)）的存在，并從結(jié)果中獲得檢測(cè)閾值?；谝曈X(jué)感知的模型，Ma 等人[14]從廣泛的公共背景亮度范圍中提取“差別閾限值”?；诟嗥渌囊曈X(jué)模型，許多學(xué)者相繼提出了自己的圖像質(zhì)量主觀評(píng)估指標(biāo)，如細(xì)節(jié)分辨能力和目標(biāo)檢測(cè)能力[15]等。心理物理法能夠有效地提取主觀閾值（用于區(qū)分激勵(lì)因素的表現(xiàn)）。在圖像質(zhì)量主觀評(píng)估中，這類(lèi)方法能夠有效地識(shí)別測(cè)試信號(hào)質(zhì)量的可見(jiàn)變化。由于人眼視覺(jué)系統(tǒng)的復(fù)雜性，心理物理法很難建立完全有效的主觀評(píng)估模型。而基于直接觀察的圖像質(zhì)量主觀評(píng)估標(biāo)準(zhǔn)法為獲得高度復(fù)雜的媒體信號(hào)的一般評(píng)級(jí)提供了一條途徑。

主觀質(zhì)量評(píng)估標(biāo)準(zhǔn)法通常征集測(cè)評(píng)者對(duì)待評(píng)估的圖像、音頻序列進(jìn)行觀察并給分，然后對(duì)所有測(cè)評(píng)者的給分進(jìn)行統(tǒng)計(jì)，通常計(jì)算其平均值作為最終的評(píng)估結(jié)果，即平均意見(jiàn)得分（Mean Opinion Score，MOS）[13]。MOS是一種較為流行的感知圖像質(zhì)量的主觀指標(biāo)，根據(jù)不同的測(cè)試環(huán)境和目的，目前使用最為廣泛的是以下五種基于MOS 的圖像質(zhì)量主觀評(píng)估方法：有參考的雙激勵(lì)損傷度分級(jí)法（Double Stimulus Impairment Scale，DSIS）[16]、雙激勵(lì)連續(xù)質(zhì)量分級(jí)法（Double Stimulus Continuous Quality Scale，DSCQS）[17]、SAMVIQ（Subjective Assessment Methodology for Video Quality）[18]方法、無(wú)參考的單激勵(lì)連續(xù)質(zhì)量分級(jí)法（Single Stimulus Continuous Quality Evaluation，SSCQE）[19]、ACR（Absolute Category Rating）[18]方法。與這五種方法配合使用的5分制[13]作為一種給分尺度，以其清晰的分級(jí)模式而廣受歡迎。除此之外，還有11分制、連續(xù)分制等具備更強(qiáng)識(shí)別能力的高層次分級(jí)法?；贛OS的主觀評(píng)估方法，Liu等人[20]在進(jìn)行美學(xué)圖像的感性評(píng)估時(shí)，認(rèn)為主觀評(píng)估結(jié)果在經(jīng)過(guò)一致性檢測(cè)后更為準(zhǔn)確；Sun 等人[21]將其應(yīng)用到虛擬現(xiàn)實(shí)圖像的評(píng)估中，計(jì)算了常用的客觀質(zhì)量度量和主觀評(píng)估間的相關(guān)性。

然而，當(dāng)前對(duì)于各類(lèi)圖像處理算法的主觀測(cè)評(píng)一般均由算法提出者自己完成。在文獻(xiàn)[22]中，Xie 等人展示了對(duì)三組圖像的去噪對(duì)比實(shí)驗(yàn)，以此驗(yàn)證所提出算法的強(qiáng)去噪能力；在文獻(xiàn)[23]中，Li 等人通過(guò)放大比較各種算法重建后的圖像，進(jìn)行了主觀評(píng)估，展示了其算法的優(yōu)勢(shì)。顯然，算法提出者通常通過(guò)突出顯示圖像某一部分的細(xì)節(jié)來(lái)進(jìn)行測(cè)評(píng)，對(duì)細(xì)節(jié)的挑選容易摻雜特定偏好，且樣本數(shù)量少，并不能對(duì)算法進(jìn)行全面的測(cè)評(píng)。而若要征集無(wú)利益相關(guān)的測(cè)評(píng)者來(lái)進(jìn)行大樣本的“第三方”測(cè)評(píng)，則存在操作的復(fù)雜度高、效率低等缺陷。為此，本文設(shè)計(jì)并實(shí)現(xiàn)了一款基于MOS 的圖像質(zhì)量主觀評(píng)估系統(tǒng)。首先對(duì)相關(guān)的主觀質(zhì)量評(píng)估方法進(jìn)行了介紹，接著詳細(xì)描述了評(píng)估系統(tǒng)的設(shè)計(jì)，最后使用本系統(tǒng)對(duì)現(xiàn)有的直線段檢測(cè)算法進(jìn)行了主觀評(píng)估，展示了系統(tǒng)的實(shí)際使用效果。主要貢獻(xiàn)如下：（1）基于MOS標(biāo)準(zhǔn)建立了圖像質(zhì)量的主觀評(píng)估系統(tǒng)；（2）在設(shè)計(jì)方面，實(shí)現(xiàn)了給分雙確認(rèn)、樣本標(biāo)簽隱藏和樣本次序隱藏等功能，克服了觀察者可能存在的特定偏好，從而保證了主觀測(cè)評(píng)結(jié)果的客觀性和無(wú)偏性；（3）在實(shí)現(xiàn)方面，該系統(tǒng)支持對(duì)各類(lèi)圖像處理算法進(jìn)行主觀評(píng)估，為觀察者提供了圖像的同步放大和拖拽等便捷功能；（4）根據(jù)得到的主觀評(píng)估結(jié)果，分析驗(yàn)證了不同客觀評(píng)估指標(biāo)的可靠性。該系統(tǒng)源碼已發(fā)布在Github 網(wǎng)頁(yè)https：//github.com/hdddx/SubjectiveEvaluation。

2 相關(guān)工作

基于平均意見(jiàn)得分的圖像質(zhì)量主觀評(píng)估標(biāo)準(zhǔn)法通過(guò)統(tǒng)計(jì)多個(gè)對(duì)象的意見(jiàn)評(píng)分，得到最終的測(cè)評(píng)結(jié)果，這個(gè)結(jié)果通常也被稱(chēng)為“平均意見(jiàn)得分”，即MOS 值。MOS值是對(duì)在一組評(píng)分尺度下多個(gè)評(píng)分結(jié)果進(jìn)行平均來(lái)獲得的，公式如下：

其中，R 是N 個(gè)受試者對(duì)給定刺激的個(gè)人評(píng)級(jí)。

在評(píng)估過(guò)程中，測(cè)評(píng)者很多時(shí)候被要求以某種既定的規(guī)則來(lái)觀察圖像，并為每個(gè)圖像選擇一個(gè)預(yù)定義的分?jǐn)?shù)標(biāo)簽。合理地設(shè)置評(píng)估分?jǐn)?shù)標(biāo)簽是圖像質(zhì)量主觀評(píng)估前的必要工作之一。5分制是目前最流行的評(píng)分尺度之一，其分為5個(gè)層級(jí)（劣、差、中、良、優(yōu)），分別對(duì)應(yīng)于1～5的離散分?jǐn)?shù)。5分制包括“絕對(duì)評(píng)價(jià)全優(yōu)度尺度”（見(jiàn)表1）[16]和“相對(duì)評(píng)價(jià)群優(yōu)度尺度”（見(jiàn)表2）[16]，分別應(yīng)用于有參考的和無(wú)參考的圖像質(zhì)量評(píng)估中。除了這種具有5 個(gè)離散尺度的分級(jí)方法，還存在粒度更高的分級(jí)方法，甚至接近連續(xù)尺度。但考慮到圖像質(zhì)量評(píng)估的便捷有效，使用高粒度的分級(jí)方法則會(huì)帶來(lái)高復(fù)雜度，為此本文選擇5分制作為給分標(biāo)準(zhǔn)。

表1 主觀絕對(duì)評(píng)價(jià)全優(yōu)度尺度

表2 主觀相對(duì)評(píng)價(jià)群優(yōu)度尺度

除了合理地設(shè)置評(píng)分尺度，還需要制定一種有效的觀察規(guī)則。DSIS[16]要求測(cè)評(píng)者觀察多個(gè)由真實(shí)圖像（Ground Truth，GT）和對(duì)應(yīng)的待評(píng)估圖像組成的圖像對(duì)。與該方法相似的DSCQS[17]同樣要求測(cè)評(píng)者觀看多個(gè)圖像對(duì)，但測(cè)評(píng)者完全不知道哪一張是參考圖像，哪一張是待評(píng)估圖像。SAMVIQ 方法是DSCQS 的派生，該方法允許待評(píng)估圖像對(duì)可以在任何時(shí)刻被重復(fù)顯示與評(píng)分。相較于有參考的評(píng)估方法DSIS[16]、DSCQS[17]和SAMVIQ[18]，無(wú)參考的SSCQE[19]以隨機(jī)的方式將待評(píng)估圖像序列呈現(xiàn)給不同的測(cè)評(píng)者。與之類(lèi)似的ACR[18]方法無(wú)需參考序列，每當(dāng)播放完一張待測(cè)評(píng)圖像（8 s），都會(huì)給出一段時(shí)間讓測(cè)評(píng)者進(jìn)行給分（<10 s）。在數(shù)據(jù)分析階段，該方法不僅僅考慮了測(cè)評(píng)者給出的評(píng)分，還將每張圖像的評(píng)分時(shí)間作為一個(gè)重要參考因素。

然而，對(duì)各類(lèi)圖像處理算法使用基于MOS 的主觀質(zhì)量評(píng)估標(biāo)準(zhǔn)法進(jìn)行大樣本的主觀評(píng)估，通常存在操作復(fù)雜度高、效率低下的缺陷。為了使得主觀評(píng)估簡(jiǎn)易可行，并保證評(píng)估結(jié)果的有效性和可靠性，本文研究并設(shè)計(jì)了一款綜合的基于MOS 的圖像質(zhì)量主觀評(píng)估系統(tǒng)，主要依據(jù)了MOS標(biāo)準(zhǔn)的以下三點(diǎn)優(yōu)勢(shì)：

（1）MOS 標(biāo)準(zhǔn)在使用過(guò)程中不受主觀測(cè)試設(shè)計(jì)的限制。根據(jù)不同的測(cè)試環(huán)境和目的，該標(biāo)準(zhǔn)可以適用于多種主觀評(píng)估方法，且不需要考慮待評(píng)估圖像是如何獲得的。

（2）對(duì)于高度復(fù)雜的測(cè)評(píng)樣本信號(hào)，能夠快捷地給出其一般評(píng)級(jí)。

（3）允許足夠多的測(cè)評(píng)者參與圖像質(zhì)量的評(píng)估，從而保證了測(cè)評(píng)結(jié)果的無(wú)偏性。

具體來(lái)說(shuō)，本系統(tǒng)基于圖像質(zhì)量主觀評(píng)估標(biāo)準(zhǔn)法，融合了5分制中的“主觀絕對(duì)評(píng)價(jià)全優(yōu)度尺度”和“相對(duì)評(píng)價(jià)群優(yōu)度尺度”，同時(shí)采用雙激勵(lì)的觀察規(guī)則，設(shè)計(jì)并實(shí)現(xiàn)了給分雙確認(rèn)、樣本標(biāo)簽隱藏、樣本次序隱藏等功能，最后基于平均意見(jiàn)得分MOS 值對(duì)評(píng)估結(jié)果進(jìn)行整理與分析。

3 評(píng)估系統(tǒng)的設(shè)計(jì)

本文設(shè)計(jì)的圖像質(zhì)量主觀評(píng)估系統(tǒng)主要由輸入模塊、評(píng)估模塊和輸出模塊組成（如圖1）。各要點(diǎn)如下：輸入模塊用于自動(dòng)加載準(zhǔn)備好的圖像，實(shí)現(xiàn)了由各類(lèi)圖像處理算法得到的待評(píng)估圖像的批量導(dǎo)入與顯示，同時(shí)初始化一些必要的參數(shù)。在評(píng)估模塊中，基于雙激勵(lì)的圖像質(zhì)量主觀評(píng)估標(biāo)準(zhǔn)法，將待評(píng)估圖像序列以隨機(jī)的方式呈現(xiàn)給每一位測(cè)評(píng)者，進(jìn)行樣本標(biāo)簽隱藏、樣本次序隱藏和給分雙確認(rèn)評(píng)估。每一位測(cè)評(píng)者為每一張待評(píng)估圖像選擇的評(píng)分標(biāo)簽將實(shí)時(shí)存儲(chǔ)，并在輸出模塊中計(jì)算其平均意見(jiàn)得分，將MOS值作為評(píng)分結(jié)果。

圖1 設(shè)計(jì)的圖像質(zhì)量評(píng)估系統(tǒng)的框架

3.1 輸入模塊

輸入模塊包括評(píng)估參數(shù)的設(shè)置以及待評(píng)估圖像的導(dǎo)入。分別如下：

（1）參數(shù)設(shè)置。包括圖像處理算法數(shù)、待評(píng)估圖像組數(shù)和給分雙確認(rèn)評(píng)估中的容忍閾值，這些參數(shù)將在下面的章節(jié)中詳細(xì)介紹。以上參數(shù)均在圖像質(zhì)量主觀評(píng)估前進(jìn)行初始化，測(cè)評(píng)者無(wú)法修改。

（2）標(biāo)簽法導(dǎo)入。通過(guò)標(biāo)簽法將評(píng)估任務(wù)所需的圖像進(jìn)行批量自動(dòng)化導(dǎo)入。每一組待評(píng)估圖像都包括GT圖像和多張由不同圖像處理算法得到的圖像，這些待評(píng)估圖像通常都以圖像處理算法的簡(jiǎn)稱(chēng)命名。本系統(tǒng)會(huì)將每一組中圖像的名稱(chēng)作為標(biāo)簽來(lái)自動(dòng)進(jìn)行批量導(dǎo)入和分類(lèi)。

3.2 評(píng)估模塊

評(píng)估模塊基于雙激勵(lì)損傷度分級(jí)法，融入了給分雙確認(rèn)、樣本的標(biāo)簽和次序隱藏策略。本模塊引導(dǎo)測(cè)評(píng)者進(jìn)行可靠的圖像質(zhì)量主觀評(píng)估，并記錄每位測(cè)評(píng)者給出的評(píng)分。主要分為以下三部分：

（1）雙激勵(lì)損傷度分級(jí)評(píng)估。該評(píng)估方法要求測(cè)評(píng)者觀察特定數(shù)量的圖像，并為每一幅圖像選擇合適的評(píng)分。其中，DSIS 要求測(cè)評(píng)者對(duì)給定的圖像對(duì)進(jìn)行觀察并給出分?jǐn)?shù)，而該系統(tǒng)的觀察對(duì)象是圖像組。每個(gè)圖像組中包括一張GT圖像和多張由不同圖像處理算法得到的待評(píng)估圖像，測(cè)評(píng)者以GT圖像作為參考，對(duì)待評(píng)估圖像進(jìn)行觀察打分。考慮到同時(shí)對(duì)多張不同的待評(píng)估圖像評(píng)分，本模塊還引入了“單激勵(lì)法”中的可重復(fù)評(píng)分機(jī)制，即允許測(cè)評(píng)者重復(fù)觀察每張圖像并修改評(píng)分。同時(shí)本系統(tǒng)支持待評(píng)估圖像之間的相互切換比較，實(shí)現(xiàn)了絕對(duì)評(píng)價(jià)和相對(duì)評(píng)價(jià)的融合。為了獲得更為可靠的評(píng)估數(shù)據(jù)，本系統(tǒng)對(duì)圖像組中的圖像類(lèi)別進(jìn)行了調(diào)整。在每組圖像中，有一幅GT圖像供參考，另一幅用于評(píng)估。測(cè)評(píng)者不需要對(duì)作為參考的GT 圖像進(jìn)行評(píng)分，而需要對(duì)另一幅用于評(píng)估的GT圖像進(jìn)行評(píng)分。本系統(tǒng)將GT圖像隨機(jī)插入到待評(píng)估的圖像序列中，而不告訴測(cè)評(píng)者用于評(píng)估的GT 圖像的真實(shí)位置。測(cè)評(píng)者對(duì)用于評(píng)估的GT 圖像的給分會(huì)被記錄并用于驗(yàn)證，若該分?jǐn)?shù)不是最高的，則說(shuō)明測(cè)評(píng)者存在惡意給分的情況；反之，認(rèn)為給分是有效的。

（2）樣本的標(biāo)簽和次序隱藏。研究表明，人們能夠快速地對(duì)視覺(jué)捕捉到的信息載體（如圖像）進(jìn)行分類(lèi)，而對(duì)于分類(lèi)模式則會(huì)存在殘留效應(yīng)。比如說(shuō)，當(dāng)觀察完一組圖像并給分后，測(cè)評(píng)者往往會(huì)認(rèn)為給分最高的那張圖像對(duì)應(yīng)的圖像處理算法效果是最好的，而給分最低的那張圖像對(duì)應(yīng)的圖像處理算法效果是最差的。當(dāng)對(duì)下一組圖像進(jìn)行給分時(shí)，測(cè)評(píng)者會(huì)延續(xù)對(duì)上一組圖像的評(píng)分偏好，從而導(dǎo)致評(píng)估結(jié)果不夠準(zhǔn)確。為了克服這種特定偏好和保證測(cè)評(píng)結(jié)果的客觀性，本系統(tǒng)對(duì)觀察者隱藏了每組圖像的標(biāo)簽。盡管測(cè)評(píng)者在給分的過(guò)程中不會(huì)存在對(duì)某類(lèi)圖像特定的偏好，但仍然會(huì)對(duì)特定的圖像次序較為敏感。因此說(shuō)僅僅隱藏樣本的標(biāo)簽是不夠的，還需要對(duì)測(cè)評(píng)者隱藏樣本的次序。例如，第一組與第二組的待評(píng)估樣本序列是不一致的，每一組樣本序列的次序都是隨機(jī)生成的。

值得說(shuō)明的是，本系統(tǒng)只是在面向測(cè)評(píng)者時(shí)，隱藏了樣本的標(biāo)簽和次序，但這些有效信息都記錄在系統(tǒng)的后臺(tái)數(shù)據(jù)中，并不會(huì)刪除。因此，樣本標(biāo)簽和次序的隱藏并不會(huì)影響圖像有效信息的完整性。具體來(lái)說(shuō)，記輸入的一組樣本標(biāo)簽為l={l1,l2,…,lm} ,m 為樣本數(shù)量。系統(tǒng)會(huì)為該組樣本生成一個(gè)隨機(jī)樣本序列，記為：

其中，π(·)是一個(gè)生成和記錄隨機(jī)映射的函數(shù)，存儲(chǔ)于系統(tǒng)的后臺(tái)數(shù)據(jù)中，fπ(l)為l 的一個(gè)雙映射表示。在測(cè)評(píng)過(guò)程中，系統(tǒng)根據(jù)該隨機(jī)序列向測(cè)評(píng)者有序地展示待評(píng)估樣本，并保存測(cè)評(píng)者對(duì)所有樣本的給分（記為S），則測(cè)評(píng)者對(duì)樣本li的評(píng)分可以記為S(Li)。

當(dāng)進(jìn)行大樣本的測(cè)評(píng)時(shí)，用矩陣L=[l(1),l(2),…,l(n)]∈?m×n來(lái)表示n 組樣本的隨機(jī)序列集合。其中l(wèi)(j)∈?m是一個(gè)列向量，存儲(chǔ)了第j 組樣本的隨機(jī)序列。分?jǐn)?shù)矩陣S ∈?m×n用于存儲(chǔ)評(píng)估過(guò)程中測(cè)評(píng)者對(duì)每張圖像的給分。最終，通過(guò)計(jì)算獲得一位測(cè)評(píng)者評(píng)估后各圖像處理方法的評(píng)分向量s(s1,s2,…,sm)∈?m，即：

其中，j=1,2,…,n 且i=1,2,…,m。

（3）給分雙確認(rèn)。本系統(tǒng)采用給分雙確認(rèn)策略的目的是為了阻止無(wú)效數(shù)據(jù)（如“亂”打分）的生成。目前“第三方”測(cè)評(píng)通常直接收集測(cè)評(píng)結(jié)果，再排除無(wú)效數(shù)據(jù)，即單確認(rèn)方式，很大程度地影響了主觀測(cè)評(píng)的效率。因此，在評(píng)估過(guò)程中阻止無(wú)效數(shù)據(jù)的生成是很有必要的。本系統(tǒng)采用給分雙確認(rèn)的策略，當(dāng)測(cè)評(píng)者給出兩輪測(cè)評(píng)的分?jǐn)?shù)，通過(guò)閾值法來(lái)確認(rèn)數(shù)據(jù)的有效性。測(cè)評(píng)者需進(jìn)行兩輪圖像質(zhì)量主觀評(píng)估（對(duì)n 組圖像評(píng)分視為一個(gè)輪次），值得說(shuō)明的是，這兩輪測(cè)評(píng)樣本的標(biāo)簽和次序都被隱藏，且其次序所對(duì)應(yīng)的隨機(jī)映射函數(shù)是不同的。記兩輪評(píng)分向量的歐式距離為d，即：

其中，k=2 是測(cè)評(píng)者需要進(jìn)行主觀評(píng)估的輪次，s(k)是在第k 輪次中計(jì)算得到的各類(lèi)圖像處理方法的評(píng)分向量。當(dāng)測(cè)評(píng)者完成了兩個(gè)輪次的主觀評(píng)估后，本系統(tǒng)會(huì)比較這兩個(gè)輪次的評(píng)分結(jié)果（第一個(gè)輪次和第二個(gè)輪次）的距離。如果距離小于容忍閾值t ，則輸出兩個(gè)輪次評(píng)估結(jié)果的均值；否則，認(rèn)為本次評(píng)估結(jié)果是離群的、無(wú)效的。為了說(shuō)明這一點(diǎn)，可以寫(xiě)作以下公式：

其中，E(k)∈?m是由一位測(cè)評(píng)者進(jìn)行一次完整的獨(dú)立評(píng)估最終輸出的評(píng)分向量。

表3 描述了給分雙確認(rèn)在該系統(tǒng)中的應(yīng)用樣例。如表中所示，假設(shè)給定的容忍閾值t=30，顯然，第一輪的評(píng)估結(jié)果沒(méi)有可比較的對(duì)象，因此當(dāng)前輪次與上一輪次評(píng)分向量間的距離為NaN（Not-a-Number）。而第一輪和第二輪評(píng)分間的距離為，這兩輪評(píng)分結(jié)果具有良好的相關(guān)性，則這兩個(gè)輪次評(píng)分的均值將作為一位測(cè)評(píng)者給出的最終評(píng)分結(jié)果。

表3 給分雙確認(rèn)的示范性樣例

3.3 輸出模塊

由于測(cè)評(píng)者的個(gè)體具有差異性，圖像質(zhì)量的主觀評(píng)估很多時(shí)候需要征集多個(gè)無(wú)相關(guān)利益的測(cè)評(píng)者。該系統(tǒng)為測(cè)評(píng)者提供一次完整的、便捷的、獨(dú)立的圖像質(zhì)量主觀評(píng)估，并輸出測(cè)評(píng)結(jié)果作為Ei計(jì)算平均意見(jiàn)得分MOS值的個(gè)體評(píng)分。則參與測(cè)評(píng)者對(duì)各類(lèi)圖像處理算法yj給出的平均意見(jiàn)得分MOS值可以表示為：

其中，N 為測(cè)評(píng)者總?cè)藬?shù)，m 為待評(píng)估的圖像處理算法總數(shù)，xj表示第i 位測(cè)評(píng)者對(duì)第j 類(lèi)圖像處理算法對(duì)應(yīng)的所有待評(píng)估圖像的平均給分。本模塊除了統(tǒng)計(jì)輸出MOS值，還根據(jù)評(píng)估結(jié)果對(duì)算法進(jìn)行了排序，完成了與客觀質(zhì)量評(píng)估的相關(guān)性分析。

4 評(píng)估系統(tǒng)的實(shí)現(xiàn)

本系統(tǒng)基于Matlab語(yǔ)言，為測(cè)評(píng)者提供了友好的人機(jī)交互操作，嘗試引導(dǎo)測(cè)評(píng)者進(jìn)行圖像質(zhì)量主觀評(píng)估。測(cè)評(píng)者可以查閱根目錄中的自述文件，以便了解此系統(tǒng)運(yùn)行的過(guò)程。此外，測(cè)評(píng)者還可以在GUI圖形化界面中單擊工具欄上的問(wèn)號(hào)按鈕以獲取幫助。當(dāng)執(zhí)行錯(cuò)誤的操作時(shí)，該系統(tǒng)將自動(dòng)提示接下來(lái)需要如何操作。圖2展示了該系統(tǒng)對(duì)圖像進(jìn)行顯示、評(píng)分的主頁(yè)面，該頁(yè)面還包含了三個(gè)使得圖像質(zhì)量主觀評(píng)估更為便利的基本功能，包括對(duì)圖像的放大、縮小、拖拽等功能。在主頁(yè)面的左半側(cè)顯示的是待評(píng)估的各圖像處理算法所得到的圖像。在圖形化界面的中部是可供選擇切換的待評(píng)估圖像按鈕，除此之外，測(cè)評(píng)者需要為當(dāng)前顯示的待評(píng)估圖像從右側(cè)的5 分制標(biāo)簽中選取一個(gè)合適的評(píng)分。同時(shí)該圖形化界面具有自適應(yīng)的功能，當(dāng)被拉伸或放大時(shí)，更多的隱藏信息會(huì)顯示出來(lái)。如圖3 所示，主頁(yè)面中右下角的表格用于記錄與顯示在評(píng)估過(guò)程中測(cè)評(píng)者給出的待評(píng)估圖像序列的評(píng)分，當(dāng)GUI 圖形界面拉伸時(shí)，待評(píng)估圖像也會(huì)自動(dòng)放大。

圖2 評(píng)估系統(tǒng)圖形化界面演示

圖3 評(píng)估系統(tǒng)拉伸后的圖形化界面演示

如圖4所示，所有的相關(guān)參數(shù)都可以根據(jù)各種需求而被重新設(shè)置。在圖5中，每一位測(cè)評(píng)者在完成圖像質(zhì)量的主觀評(píng)估后，都可以看到自己的評(píng)估結(jié)果，評(píng)分以柱狀圖的形式在GUI 圖像化界面中顯示。該系統(tǒng)還提供了友好的人機(jī)交互對(duì)話窗口，如圖6 所示，測(cè)評(píng)者在系統(tǒng)的引導(dǎo)下能夠更順利地完成評(píng)估。此外，該系統(tǒng)為測(cè)評(píng)者提供了對(duì)待評(píng)估圖像放大、縮小、拖拽等功能，圖7給出了一個(gè)同步放大功能的示例。所謂的同步放大，就是當(dāng)圖像組中的一張圖像被局部放大時(shí)（無(wú)論是GT 圖像還是待評(píng)估圖像），該圖像組中的其他圖像應(yīng)當(dāng)在同樣的位置保持同樣的縮放倍數(shù)。該系統(tǒng)實(shí)現(xiàn)了最近鄰插值算法來(lái)放大圖像，而不是使用Matlab自帶的放大功能。當(dāng)測(cè)評(píng)者需要近距離地觀察待評(píng)估圖像時(shí)，該操作為評(píng)估節(jié)約了很多時(shí)間。

圖4 評(píng)估系統(tǒng)的參數(shù)設(shè)置界面演示

圖5 評(píng)估系統(tǒng)的結(jié)果輸出界面演示

圖6 用于引導(dǎo)的對(duì)話框演示

圖7 設(shè)計(jì)的圖像質(zhì)量主觀評(píng)估系統(tǒng)具備的同步放大功能

由于待評(píng)估圖像間的差異非常小，這對(duì)于不具備專(zhuān)業(yè)知識(shí)的測(cè)評(píng)者如何做到準(zhǔn)確地評(píng)估圖像質(zhì)量是非常困難的。該系統(tǒng)通過(guò)鼠標(biāo)滑輪的前后滾動(dòng)，來(lái)完成兩張圖像的快速切換，相較于點(diǎn)擊切換更加便捷。測(cè)評(píng)者通過(guò)捕捉前后切換的圖像間的輕微差異，能夠給出相對(duì)的、更為準(zhǔn)確的評(píng)分結(jié)果。

表4 對(duì)比了本文方法和其他兩種不同主觀測(cè)評(píng)方式的性能。自評(píng)估方式即由算法提出者自己挑選圖像進(jìn)行主觀比較，并總結(jié)自己的主觀感受。這種做法通常存在樣本量小等缺陷，并不能體現(xiàn)測(cè)評(píng)結(jié)果的客觀性和無(wú)偏性?！巴炼錂C(jī)器人”[24]是一款“第三方”網(wǎng)絡(luò)評(píng)估平臺(tái)，與本文設(shè)計(jì)的評(píng)估系統(tǒng)類(lèi)似，都允許征集足夠多的測(cè)評(píng)者進(jìn)行大樣本的測(cè)評(píng)，因此測(cè)評(píng)結(jié)果的無(wú)偏性可以得到保證。然而，“土耳其機(jī)器人”通常在收集測(cè)評(píng)結(jié)果后排除無(wú)效數(shù)據(jù)，操作復(fù)雜度較高，效率低，且其收集到的測(cè)評(píng)結(jié)果并不具備足夠的客觀性。本文設(shè)計(jì)的評(píng)估系統(tǒng)通過(guò)三個(gè)主要功能（隱藏樣本標(biāo)簽，隱藏樣本次序，給分雙確認(rèn)），保證了測(cè)評(píng)結(jié)果的客觀性。同時(shí)，本系統(tǒng)實(shí)現(xiàn)的給分雙確認(rèn)功能，可以阻止無(wú)效數(shù)據(jù)（如“亂”打分）的生成，使得測(cè)評(píng)更簡(jiǎn)易便捷，效率更高。

表4 不同主觀測(cè)評(píng)方式性能分析

5 評(píng)估系統(tǒng)的演示

為了展示系統(tǒng)的實(shí)際使用，本文對(duì)現(xiàn)有的直線段檢測(cè)算法進(jìn)行主觀評(píng)估。值得說(shuō)明的是，本例的作用是演示系統(tǒng)的使用過(guò)程，對(duì)單個(gè)測(cè)評(píng)者來(lái)說(shuō)，測(cè)評(píng)結(jié)果的客觀性、無(wú)偏性可以由系統(tǒng)的三個(gè)功能（樣本的標(biāo)簽隱藏，樣本的次序隱藏，給分雙確認(rèn)）來(lái)保證；若要加強(qiáng)基于測(cè)評(píng)者群體的結(jié)果客觀性、無(wú)偏性，則需要保證測(cè)評(píng)者的數(shù)量充分即可。

直線段作為一種重要的圖像特征，能夠有效表達(dá)場(chǎng)景的幾何信息和拓?fù)湫畔?。往往通過(guò)以下4 個(gè)指標(biāo)來(lái)實(shí)現(xiàn)對(duì)直線段的客觀評(píng)估：精度（Precision）、召回率（Recall）、IoU（交并補(bǔ)）和F-值（F-score）。而對(duì)檢測(cè)到的直線段進(jìn)行準(zhǔn)確的客觀評(píng)估是非常困難的。其難點(diǎn)為檢測(cè)到的直線段很難與GT 圖匹配，常常會(huì)出現(xiàn)一對(duì)多、多對(duì)一、多對(duì)多的情形。

目前被廣泛使用的直線段客觀評(píng)估算法是由Cho等人[25]在2018 年提出的。該算法基于一些誤差容忍值來(lái)識(shí)別檢測(cè)到的直線段的真陽(yáng)性。其核心思想如下，對(duì)任一檢測(cè)到的直線段ld，若其為真陽(yáng)性，必能找到滿足以下3 個(gè)條件的GT 直線段lg：（1）ld中點(diǎn)至lg的距離小于誤差容忍值τp；（2）ld與lg形成的夾角小于誤差容忍值τang；（3）ld與lg相交的部分大于比例誤差容忍值τarea。鄭行家等人[26]指出，該直線段匹配算法對(duì)于過(guò)長(zhǎng)的直線段并沒(méi)有做到很好的抑制作用。

為了進(jìn)行主觀評(píng)估，24位不具備專(zhuān)業(yè)能力的學(xué)生被招募為志愿者來(lái)評(píng)估由不同直線段檢測(cè)算法得到的直線段圖像的視覺(jué)質(zhì)量。為了使得志愿者們集中注意力做出可靠的評(píng)估結(jié)果，只考慮了6種目前先進(jìn)的直線段檢測(cè)算法（CannyLines[27]、EDLine[28]、ELSDc[29]、Linelet[25]、LSD[30]、MCMLSD[31]），如圖8 所示。從YorkUrban 直線段數(shù)據(jù)集[25]中隨機(jī)挑選了8張分辨率為640×480的圖像作為測(cè)試圖像，因此每一位志愿者需要對(duì)56 張圖像進(jìn)行評(píng)估，即8組直線段圖像（每組包含6張分別由上文提到的6 種直線段檢測(cè)算法獨(dú)立運(yùn)行得到的直線段圖像和1張?jiān)?.2節(jié)中提到的用于評(píng)估的GroundTruth圖像）。每個(gè)直線段檢測(cè)算法的平均意見(jiàn)得分都將被記錄用于比較。如圖9所示，雷達(dá)圖中的每條輻線代表24名招募志愿者中的一位，且每條輻線上的實(shí)點(diǎn)標(biāo)記了該雷達(dá)圖下方標(biāo)記相應(yīng)直線段檢測(cè)算法檢測(cè)到的8 張直線段圖像的總分。分?jǐn)?shù)越高，表明視覺(jué)效果更好。

結(jié)合Cho 等人[25]提出的客觀評(píng)估方法得到如圖10所示的主客觀評(píng)估結(jié)果，為了便于觀察比較，MOS值都縮小到了10%。在主觀評(píng)估中，算法EDLine和MCMLSD并駕齊驅(qū)，CannyLines 稍遜一籌。MOS 值為0.380 7 的EDLine和MOS為0.398 0的MCMLSD遠(yuǎn)高于CannyLine（0.338 5）、ELSDc（0.255 2）、Linelet（0.251 0）和LSD（0.250 5）的平均意見(jiàn)得分。相較于客觀評(píng)估指標(biāo)，IoU值表現(xiàn)得較為平穩(wěn)，差異性不明顯，指標(biāo)F-值、精度的變化趨勢(shì)與MOS值相似，略有不同。這也說(shuō)明指標(biāo)F-值、精度與人眼的感知能力較為一致。其中，MCMLSD的精度值較低，但得益于其較高的召回率，其F-值表現(xiàn)得較為出色。由此可以發(fā)現(xiàn)，人眼對(duì)于直線段的長(zhǎng)度、方向、位置更為敏感，對(duì)于直線段評(píng)估的準(zhǔn)則顯然更為明確、更為全面。人眼傾向于檢測(cè)到與GT 長(zhǎng)度一致的直線段，而不是如MCMLSD檢測(cè)到的過(guò)長(zhǎng)的直線段，也不是如Linelet、ELSDc 檢測(cè)到的斷斷續(xù)續(xù)的直線段；相比LSD，人眼更傾向于如EDLine 和CannyLines 檢測(cè)到的方向更準(zhǔn)確的直線段。這也更加說(shuō)明了直線段檢測(cè)算法的客觀評(píng)估指標(biāo)并不全面，而利用主觀評(píng)估能更好地驗(yàn)證客觀評(píng)估指標(biāo)的有效性。

圖8 評(píng)估系統(tǒng)在直線段檢測(cè)上的應(yīng)用樣例

圖9 6種不同的直線段檢測(cè)算法的平均意見(jiàn)得分

圖10 直線段檢測(cè)算法主客觀評(píng)估結(jié)果

6 總結(jié)

伴隨著圖像處理技術(shù)的快速發(fā)展，圖像質(zhì)量評(píng)估方法變得尤為重要。可靠的主觀質(zhì)量評(píng)估不僅能夠用于分析各類(lèi)圖像處理算法的性能，還能夠?qū)Σ煌目陀^評(píng)估指標(biāo)進(jìn)行驗(yàn)證。而若要征集無(wú)利益相關(guān)的測(cè)評(píng)者來(lái)進(jìn)行“第三方”測(cè)評(píng)，則存在操作的復(fù)雜度高、效率低等缺陷。本文研究并設(shè)計(jì)了一款基于MOS的圖像質(zhì)量主觀評(píng)估系統(tǒng)。基于本文的系統(tǒng)及公開(kāi)的軟件，不同研究者可根據(jù)自己需求對(duì)不同類(lèi)型的圖像質(zhì)量征集足夠多的測(cè)評(píng)者進(jìn)行大樣本的測(cè)評(píng)與分析。本文系統(tǒng)結(jié)合了目前主流的雙激勵(lì)損傷度分級(jí)評(píng)估，設(shè)計(jì)并實(shí)現(xiàn)了給分雙確認(rèn)、樣本的標(biāo)簽和次序隱藏等功能，保證了測(cè)評(píng)結(jié)果的客觀性和無(wú)偏性。最后，利用本文系統(tǒng)對(duì)六款先進(jìn)的直線段檢測(cè)算法進(jìn)行了主觀評(píng)估實(shí)驗(yàn)，展示了系統(tǒng)的實(shí)際使用效果。