一、引言

視頻質(zhì)量評(píng)價(jià)是對(duì)視頻解碼器等設(shè)備質(zhì)量分析評(píng)價(jià)中最為重要的步驟。將視頻解碼設(shè)備輸出的視頻與原始視頻進(jìn)行比對(duì)，即全參考視頻質(zhì)量評(píng)價(jià)，是目前應(yīng)用最為廣泛的視頻質(zhì)量評(píng)價(jià)方法之一。全參考視頻質(zhì)量評(píng)價(jià)中往往采用專家人工觀察對(duì)比待評(píng)價(jià)視頻和原始視頻的方法。但是這種方法具有顯著的缺點(diǎn)：

（1）依賴專家經(jīng)驗(yàn)，比對(duì)人員專業(yè)技能要求較高；

（2）比對(duì)結(jié)果受主觀影響較大；

（3）比對(duì)工作耗時(shí)較長，期間可能多次反復(fù)。

為解決傳統(tǒng)人工比對(duì)的缺點(diǎn)，已有大量的研究提出了基于計(jì)算機(jī)自動(dòng)比對(duì)的視頻質(zhì)量評(píng)價(jià)算法[1]。其中最為著名的包括峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）算法[2]和結(jié)構(gòu)相似性（Structural SIMilarity,SSIM）算法[3]。這些算法可以將對(duì)應(yīng)的一對(duì)被測(cè)圖像與參考圖像進(jìn)行自動(dòng)比對(duì)，計(jì)算出其定義的指標(biāo)作為被測(cè)圖像質(zhì)量的評(píng)價(jià)。

在利用上述算法對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)時(shí)，理論上只需要將被測(cè)視頻與原始視頻逐幀進(jìn)行比較，就可以獲得被測(cè)視頻每一幀圖像的質(zhì)量評(píng)價(jià)，然后以各個(gè)視頻圖像得分的統(tǒng)計(jì)值，例如平均值，作為整個(gè)視頻的質(zhì)量評(píng)價(jià)。然而，在實(shí)際視頻質(zhì)量評(píng)價(jià)中，高效、可靠地獲得被測(cè)視頻的逐幀圖像，并獲得其與原始視頻圖像逐幀對(duì)應(yīng)關(guān)系十分困難，從而造成了PSNR、SSIM等算法應(yīng)用前提要求過高，難以在實(shí)際視頻評(píng)價(jià)工作中使用的問題。造成這些困難的主要原因包括：

（1）被測(cè)視頻的輸出形式差別較大，既有數(shù)字信號(hào)輸出的，也有模擬信號(hào)輸出的。為了具備通用的視頻質(zhì)量評(píng)價(jià)功能，只能采用具有多種輸入方式的視頻采集卡對(duì)被測(cè)視頻進(jìn)行采集。而視頻采集卡采集的幀率往往與原始視頻不同，逐幀圖像的完整性也不能保證，因此采用哪些采集到的視頻幀與原始視頻進(jìn)行比較需要研究。

（2）在被測(cè)視頻采集中，一般不能保證準(zhǔn)確地從視頻的開頭進(jìn)行采集。并且為了保證整個(gè)視頻能被采集完整，需要采集相當(dāng)于原始視頻兩遍甚至更多的被測(cè)視頻。在這種情況下，找到對(duì)應(yīng)原始視頻開頭（第一幀）和結(jié)尾（最后一幀）在被測(cè)視頻幀中的位置就十分困難。找到起始點(diǎn)就不容易。

（3）由于被測(cè)視頻在采集時(shí)使用的幀率與原始視頻不同，即使在知道原始視頻開頭結(jié)尾在被測(cè)視頻中對(duì)應(yīng)位置之后，也需要為原始視頻中的每一幀找到其對(duì)應(yīng)的被測(cè)視頻幀。由于采集的幀率一般大于原始視頻的幀率，那么原始視頻中的一幀可能會(huì)對(duì)應(yīng)被測(cè)視頻中多個(gè)幀。選擇哪一幀作為質(zhì)量評(píng)價(jià)算法的輸入值得考慮。

綜上所述，盡管已有算法能夠評(píng)價(jià)視頻幀的質(zhì)量，但是在實(shí)際的視頻自動(dòng)評(píng)價(jià)系統(tǒng)中，還需要解決高效、可靠地獲得被測(cè)視頻的逐幀圖像，并給出其與原始視頻圖像逐幀對(duì)應(yīng)關(guān)系的問題。如果使用人工來找到原始視頻開頭結(jié)尾在被測(cè)視頻中的位置，并把其中的各個(gè)幀與原始視頻逐幀一一對(duì)應(yīng)，將非常的耗時(shí)費(fèi)力。在本文中，研究了獲取被測(cè)視頻逐幀圖像的方法，提出了自動(dòng)判定被測(cè)視頻逐幀圖像與原始視頻幀對(duì)應(yīng)關(guān)系的算法，并在此基礎(chǔ)上實(shí)現(xiàn)了基于SSIM的視頻質(zhì)量評(píng)價(jià)，進(jìn)一步提高了視頻質(zhì)量評(píng)價(jià)系統(tǒng)的自動(dòng)化程度和實(shí)用性。

二、視頻質(zhì)量評(píng)價(jià)算法描述與比較

1.視頻比對(duì)算法描述

視頻是由若干幀大小相同的圖像組成，因此視頻比對(duì)可以等價(jià)轉(zhuǎn)化為逐幀進(jìn)行圖像比對(duì)，最后綜合組成視頻的所有圖像幀對(duì)比結(jié)果，形成最終的視頻比對(duì)結(jié)果。

計(jì)算機(jī)視覺研究領(lǐng)域已經(jīng)提出兩種相對(duì)成熟可靠的圖像質(zhì)量比對(duì)算法：PSNR算法和SSIM算法。

2.PSNR算法

PSNR（Peak Signal-to-Noise Ratio，峰值信噪比）是一個(gè)表示信號(hào)最大可能功率和影響它的表示精度的破壞性噪聲功率的比值的工程術(shù)語。通過計(jì)算均方差（Mean Squared Error，MSE），進(jìn)一步得到原始圖像和被測(cè)圖像的PSNR值。假設(shè)原始圖像和被測(cè)圖像大小為m×n，I（i,j）和K（i,j）分別表示原始圖像和被測(cè)圖像位置為（i,j）的像素點(diǎn)的信息，則PSNR指標(biāo)計(jì)算方式如下：

其中MAXI是表示圖像點(diǎn)顏色的最大數(shù)值，如果每個(gè)采樣點(diǎn)用 8 位表示，那么就是 255。PSNR值越大，表示被測(cè)圖像與原始圖像越接近。

3.SSIM算法

SSIM（Structural SIMilarity，結(jié)構(gòu)相似性）指標(biāo)由美國得克薩斯州立大學(xué)奧斯丁分校的圖像和視頻工程實(shí)驗(yàn)室首先提出。SSIM算法的基本觀念為自然影像是高度結(jié)構(gòu)化的，亦即在自然影像中相鄰像素之間有很強(qiáng)的關(guān)聯(lián)性，而這樣的關(guān)聯(lián)性承載了場(chǎng)景中物體的結(jié)構(gòu)資訊。人類視覺系統(tǒng)在觀看影像時(shí)已經(jīng)很習(xí)慣抽取這樣的結(jié)構(gòu)性資訊。因此SSIM指標(biāo)可以衡量原始圖像與被測(cè)圖像的相似程度。假設(shè)原始圖像和被測(cè)圖像分別為x和y，則SSIM指標(biāo)計(jì)算方式如下：

4.PSNR算法和SSIM算法的比較及項(xiàng)目中的應(yīng)用

圖1和圖2是針對(duì)圖像比對(duì)算法與人工主觀比對(duì)差異的研究結(jié)果。根據(jù)分析大量測(cè)試圖片數(shù)據(jù)，PSNR算法給出的結(jié)論與人眼主觀分析結(jié)論存在較大的差異，而SSIM算法的結(jié)論與人眼主觀分析結(jié)果相似度較高。兩種算法相比，SSIM算法能更好的反應(yīng)人眼的主觀感受。

圖1 PSNR算法與人工主觀比對(duì)的差異

圖2 SSIM算法與人工主觀比對(duì)的差異

綜合上述討論，兩種圖像比對(duì)算法的特點(diǎn)參見表1。本研究中利用兩種算法不同的特點(diǎn)，在采集視頻預(yù)處理階段使用PSNR算法，在視頻比對(duì)打分階段使用SSIM算法。

5.視頻壓縮算法描述

表1 PSNR算法與SSIM算法對(duì)比

比對(duì)工具開發(fā)過程中需要對(duì)視頻的圖像幀進(jìn)行縮放。為取得較好的縮放結(jié)果，盡可能避免縮放帶來的圖像失真，研究中采用了“雙線性插值（Bilinear Interpolation）”算法。其核心思想是在兩個(gè)方向分別進(jìn)行一次線性插值，圖3給出了算法的示意圖，計(jì)算公式如下：

圖3 雙線性插值算法原理

三、視頻自動(dòng)評(píng)價(jià)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

為了進(jìn)一步提高視頻質(zhì)量評(píng)價(jià)系統(tǒng)的自動(dòng)化程度和實(shí)用性，本文提出了一種新型的全參考視頻質(zhì)量自動(dòng)評(píng)價(jià)系統(tǒng)，如圖4所示。在本系統(tǒng)中，被測(cè)設(shè)備為面向SVAC、H.265等標(biāo)準(zhǔn)的軟硬件解碼設(shè)備,通過比特流發(fā)送工具向被測(cè)設(shè)備輸入測(cè)試測(cè)試比特流,測(cè)試比特流為原始視頻經(jīng)參考編碼器編碼形成。系統(tǒng)采用視頻采集卡來統(tǒng)一地收集被測(cè)設(shè)備輸出的視頻，其中既包括了數(shù)字格式的DVI、HDMI等輸出方式，也包括了傳統(tǒng)的VGA等模擬輸出方式。本系統(tǒng)然后將采集到的待評(píng)價(jià)視頻保存為YUV視頻文件。然后系統(tǒng)對(duì)待評(píng)價(jià)視頻進(jìn)行自動(dòng)化處理，包括對(duì)待評(píng)價(jià)視頻的裁剪和縮放，待評(píng)價(jià)視頻與原始視頻的逐幀對(duì)齊。接下來將處理好的待評(píng)價(jià)視頻和原始視頻作為SSIM算法的輸入，對(duì)視頻逐幀進(jìn)行質(zhì)量評(píng)價(jià)。最后，將每幀視頻圖像的得分綜合得到對(duì)整個(gè)視頻質(zhì)量的評(píng)價(jià)。

其中本文主要的貢獻(xiàn)在于對(duì)采集得到的待評(píng)價(jià)視頻進(jìn)行全自動(dòng)化處理及評(píng)分的算法。該算法流程如圖5所示。以下將在3.1節(jié)至3.4節(jié)詳細(xì)描述這一算法各部分的設(shè)計(jì)與實(shí)現(xiàn)。

圖4 全參考視頻質(zhì)量評(píng)價(jià)系統(tǒng)結(jié)構(gòu)圖

1.采集到待評(píng)價(jià)視頻的剪裁和縮放

圖5 待評(píng)價(jià)視頻全自動(dòng)處理流程

視頻圖像幀對(duì)比的基礎(chǔ)是原始圖像幀和被測(cè)圖像幀具有相同的大小。然而實(shí)際過程中采集視頻的大小與原始視頻并不相同。此外某些采集設(shè)備對(duì)應(yīng)的采集軟件帶有寬度不定的邊框，也會(huì)影響最終的比對(duì)結(jié)果。因此在開始視頻比對(duì)之前，首先應(yīng)對(duì)采集視頻進(jìn)行剪裁和壓縮。選擇采集視頻后，軟件工具提示用戶輸入邊框?qū)挾龋ㄈ绻杉浖淮嬖谶吙騽t輸入0即可），然后根據(jù)給定的邊框?qū)挾群驮家曨l的大小，進(jìn)行剪裁和縮放。

在計(jì)算機(jī)中，圖像被轉(zhuǎn)化為數(shù)值的矩陣，因此圖像的剪裁和縮放的操作也轉(zhuǎn)化為對(duì)應(yīng)的矩陣操作，如圖6所示。其中縮放操作使用節(jié)描述雙線性插值算法，盡可能減小圖像縮放引起的失真，避免過度影響最終的視頻比對(duì)結(jié)果。

2.待評(píng)價(jià)視頻與參考視頻的逐幀對(duì)齊

被測(cè)視頻的采集過程為播放原始視頻的同時(shí)通過采集設(shè)備進(jìn)行抓取。因啟動(dòng)播放和采集很難做到同步開始，因此采集視頻的第一幀為黑屏（采集先于播放原始視頻）或原始視頻中間幀（播放原始視頻先于采集）。為解決該問題，視頻采集過程中通常需要循環(huán)播放原始視頻，保證至少完整采集一次原始視頻，然后進(jìn)行原始視頻和被測(cè)視頻的頭部幀對(duì)齊。具體的流程為：

（1）讀取原始視頻的第一幀（頭部幀）；

（2）依次讀取被測(cè)視頻的圖像幀，使用PSNR算法快速分析與原始視頻頭部幀的相似性；

（3）找到第一次出現(xiàn)與原始視頻頭部幀高度相似的圖像幀，以該幀為被測(cè)視頻比對(duì)的頭部幀；

（4）刪除被測(cè)視頻比對(duì)頭部幀之前的圖像幀，完成原始視頻與被測(cè)視頻的頭部幀對(duì)齊；

除了頭部幀對(duì)齊之外，還需進(jìn)行原始視頻和被測(cè)視頻的幀率對(duì)齊。被測(cè)視頻的幀率與顯示設(shè)備的刷新頻率一致，而顯示設(shè)備刷新頻率通常要大于原始視頻的幀率。在研究中，原始視頻的幀率為24或30，而采集視頻的幀率接近60。幀率不相等導(dǎo)致存在以下兩個(gè)嚴(yán)重問題：

（1）視頻比對(duì)依賴于原始視頻和采集視頻相對(duì)應(yīng)的圖像幀間的比對(duì)，幀率不一致則相同時(shí)間內(nèi)原始視頻和被測(cè)視頻的圖像幀數(shù)目不一致，難以選擇使用SSIM算法比對(duì)的幀；

（2）顯示設(shè)備的刷新頻率大于原始視頻幀率，很可能出現(xiàn)采集設(shè)備抓取到顯示設(shè)備正在進(jìn)行原始視頻前后兩幀間切換的情況，即呈現(xiàn)出錯(cuò)位的效果，如圖7所示。這種采集到的圖像幀嚴(yán)重影響視頻比對(duì)的結(jié)果，必須在正式使用SSIM算法比對(duì)前刪去。

圖6 圖像剪裁邊框和縮放

圖7 被測(cè)視頻出現(xiàn)錯(cuò)位情況的示意

因此，為解決原始視頻和被測(cè)視頻幀率對(duì)齊，本研究實(shí)現(xiàn)了一種“步進(jìn)式”抽取被測(cè)視頻的圖像幀，實(shí)現(xiàn)幀率對(duì)齊的算法。該算法的示意圖如圖8所示，核心思想如下：

圖8 步進(jìn)式幀率對(duì)齊算法

（1）假設(shè)被測(cè)視頻的第N幀與原始視頻的第M幀對(duì)應(yīng)；

（2）原始視頻的幀率為fpsorigin，采集視頻的幀率為fpstester，因則原始視頻第M+1幀在被測(cè)視頻中對(duì)應(yīng)的幀在下述范圍內(nèi)：

（3）因被測(cè)視頻與原始視頻的頭部幀已經(jīng)對(duì)齊，以

頭部幀為起點(diǎn)，步進(jìn)式搜索并對(duì)齊被測(cè)視頻；

（4）遞歸對(duì)齊至原始視頻的最后一幀，此時(shí)被測(cè)視頻幀率與原始視頻完全一致，可以利用SSIM算法進(jìn)行比對(duì)得分。

3.全參考視頻比對(duì)算法實(shí)現(xiàn)

PSNR算法和SSIM算法的核心思想相對(duì)較為成熟，研究中采用運(yùn)算高效的矩陣結(jié)構(gòu)表示圖像，依據(jù)已經(jīng)公開發(fā)表論文作為算法實(shí)現(xiàn)基礎(chǔ)，并根據(jù)測(cè)試結(jié)果進(jìn)行參數(shù)調(diào)優(yōu)，使得自動(dòng)視頻比對(duì)軟件工具更加適用于分析采集設(shè)備的質(zhì)量。

本文中實(shí)現(xiàn)的PSNR算法和SSIM算法均以輸入的圖像矩陣為參數(shù)，輸出的值為原始圖像和被測(cè)圖像的相似程度。

PSNR算法的部分實(shí)現(xiàn)程序示例如圖9所示：

SSIM算法的主要流程如圖10所示：

圖9 PNSR算法流程圖

圖10 SSIM算法流程圖

可以看出，SSIM算法遠(yuǎn)比PSNR算法復(fù)雜，SSIM算法執(zhí)行的時(shí)間更長，但取得與人眼主觀感受更加接近的結(jié)果。

4.系統(tǒng)人機(jī)交互界面設(shè)計(jì)

為實(shí)現(xiàn)可視化操作和比對(duì)效果，本研究開發(fā)了交互程度較高的圖形界面。軟件工具原型示意圖如圖11所示。

軟件工具分為視頻播放區(qū)、參數(shù)輸入?yún)^(qū)、結(jié)果展示區(qū)。視頻播放區(qū)循環(huán)播放原始視頻和被測(cè)的采集視頻，可以進(jìn)行人工比對(duì)；結(jié)果展示區(qū)用圖形化的方式逐幀展示比對(duì)結(jié)果，并提供被測(cè)視頻的綜合得分。

圖11 系統(tǒng)人機(jī)交互圖形界面

四、測(cè)試實(shí)驗(yàn)

為測(cè)試驗(yàn)證本研究的效果，研究中使用實(shí)際驗(yàn)證采集設(shè)備質(zhì)量的測(cè)試用例對(duì)軟件工具進(jìn)行測(cè)試，并與人工比對(duì)測(cè)評(píng)評(píng)分進(jìn)行了比較。

人工比對(duì)測(cè)試評(píng)分辦法參考行業(yè)通用主觀刺激法。

評(píng)價(jià)人員可以是專業(yè)人員，也可以是非專業(yè)人員，應(yīng)有正常的視力和彩色視覺，人數(shù)至少7人。

將測(cè)試比特流分別送入標(biāo)準(zhǔn)解碼軟件和被測(cè)設(shè)備，在顯示設(shè)備上同時(shí)顯示標(biāo)準(zhǔn)解碼軟件和被測(cè)設(shè)備的輸出圖像，由觀看員通過主觀判斷可察覺的差別的存在做出比較性評(píng)分。比較評(píng)分的分級(jí)如下：

5分：被測(cè)解碼輸出圖像與標(biāo)準(zhǔn)解碼軟件輸出圖像相同

4分：稍有差異

3分：有差異

2分：差異較大

1分：差異很大

對(duì)所有參加主觀評(píng)價(jià)的觀看員對(duì)某測(cè)試編碼比特流的評(píng)分進(jìn)行算術(shù)平均，結(jié)果即為該項(xiàng)評(píng)價(jià)指標(biāo)的平均得分的計(jì)算公式為：

式中：

測(cè)試視頻流為公安部檢測(cè)中心用于日常SVAC標(biāo)準(zhǔn)符合性測(cè)試的標(biāo)準(zhǔn)測(cè)試碼流，已通過第三方評(píng)審。

對(duì)A廠家生產(chǎn)的SVAC硬件解碼器的測(cè)試結(jié)果如表2所示。

表2 A廠商解碼器主客觀測(cè)試評(píng)分

對(duì)B廠家生產(chǎn)的SVAC硬件解碼器的測(cè)試結(jié)果如表3所示。

表3 B廠商解碼器主客觀測(cè)試評(píng)分

五、結(jié)論

SSIM算法作為一種兼顧執(zhí)行效率和準(zhǔn)確程度的圖像比對(duì)算法，在計(jì)算機(jī)圖形學(xué)的各個(gè)領(lǐng)域獲得了應(yīng)用。本文創(chuàng)造性地將SSIM算法及PSNR算法用于采集設(shè)備質(zhì)量分析中，將過去主要依賴人工比對(duì)原始視頻和被測(cè)視頻的方式轉(zhuǎn)化為一種可視化的自動(dòng)視頻比對(duì)工具。通過一系列的測(cè)試用例，證明本文提出的軟件工具不僅執(zhí)行效率較高，同時(shí)與人工比對(duì)的主觀結(jié)果較為接近，可以適用于視頻采集設(shè)備的質(zhì)量分析過程中。

然而視頻比對(duì)工具仍然有較大的研究和發(fā)展空間，后續(xù)將從以下三個(gè)方面進(jìn)一步展開深入的研究工作：

（1）目前視頻的采集與比對(duì)過程是分離的，自動(dòng)化程度不高。將繼續(xù)開發(fā)將視頻的采集和比對(duì)過程相集成，提高視頻比對(duì)軟件工具的自動(dòng)化程度和易用性；

（2）SSIM算法只是圖像比對(duì)眾多算法中的一種，一方面將繼續(xù)發(fā)掘計(jì)算機(jī)圖形學(xué)中的其他圖像比對(duì)算法，探索將其他算法應(yīng)用于視頻采集設(shè)備質(zhì)量分析領(lǐng)域，另一方面將繼續(xù)對(duì)SSIM算法調(diào)優(yōu)，使得更加接近人眼主觀感受，提高視頻比對(duì)軟件工具的可用性；

（3）可以看出SSIM算法包含大量復(fù)雜的矩陣運(yùn)算，執(zhí)行速率相對(duì)較慢。為提升視頻比對(duì)軟件工具的效率，將研究加速SSIM算法的策略，例如并發(fā)計(jì)算、GPU加速等。

通過持續(xù)研究和優(yōu)化，可視化的自動(dòng)視頻比對(duì)軟件工具將能夠逐步替代人工比對(duì)，以高效和可靠的特點(diǎn)廣泛應(yīng)用于視頻采集設(shè)備的質(zhì)量分析之中。

[1]Chikkerur, S., et al., Objective video quality assessment methods: A classification, review, and performance comparison. IEEE transactions on broadcasting, 2011. 57(2): p. 165--

[2]182.Huynh-Thu, Q. and M. Ghanbari, Scope of validity of PSNR in image/video quality assessment. Electronics

[3]letters, 2008. 44(13): p. 800--801.Wang, Z., et al., Image quality assessment: from error visibility to structural similarity. IEEE