劉哲 李秀云 楊子鵬 董雪

摘要：近年來(lái)，視頻監(jiān)控技術(shù)在智能交通、安防監(jiān)控等各行各業(yè)得到了廣泛的應(yīng)用。隨著視頻監(jiān)控設(shè)備數(shù)量的急劇增加，其自身設(shè)備的故障維護(hù)和管理面臨越來(lái)越大的挑戰(zhàn)。以往采用人工巡檢的方式對(duì)監(jiān)控視頻設(shè)備的故障管理模式已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足現(xiàn)實(shí)的需求。針對(duì)視頻監(jiān)控設(shè)備檢測(cè)中的視頻質(zhì)量分析問(wèn)題，本文設(shè)計(jì)并實(shí)現(xiàn)了一種視頻質(zhì)量實(shí)時(shí)檢測(cè)系統(tǒng)，包括圖像預(yù)處理、異常檢測(cè)、結(jié)果輸出、管理等四個(gè)模塊。其中圖像預(yù)處理模塊主要是對(duì)視頻圖像格式、分辨率等進(jìn)行處理；異常檢測(cè)模塊則是視頻常見(jiàn)異常的檢測(cè)算法實(shí)現(xiàn)部分；結(jié)果輸出模塊是對(duì)異常檢測(cè)結(jié)果的可視化顯示；管理模塊則是為用戶便于管理系統(tǒng)而設(shè)計(jì)的?測(cè)試結(jié)果表明該系統(tǒng)基本滿足視頻質(zhì)量實(shí)時(shí)檢測(cè)要求，不僅檢測(cè)異常精度高，而且系統(tǒng)性能穩(wěn)定。

關(guān)鍵詞：視頻質(zhì)量檢測(cè)；圖像質(zhì)量評(píng)價(jià)；清晰度異常；偏色

中圖分類(lèi)號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：ADOI：10.3969/j.issn.l003-6970.2017.08.044

本文著錄格式：劉哲，李秀云，楊子鵬，等.智能識(shí)別視頻圖像質(zhì)量分析系統(tǒng)在平安城市的應(yīng)用[J].軟件，2017，38（8）：220-225

引言

近年來(lái)，視頻監(jiān)控技術(shù)在智能交通、安防監(jiān)控等各行各業(yè)得到了廣泛的應(yīng)用。隨著視頻監(jiān)控設(shè)備數(shù)量的急劇增加，其自身設(shè)備的故障維護(hù)和管理面臨越來(lái)越大的挑戰(zhàn)。以往采用人工巡檢的方式對(duì)監(jiān)控視頻設(shè)備的故障管理模式已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足現(xiàn)實(shí)的需求。實(shí)現(xiàn)視頻監(jiān)控系統(tǒng)智能化自動(dòng)檢測(cè)具有十分重要的意義。本文重點(diǎn)研究的是視頻質(zhì)量檢測(cè)技術(shù)。即通過(guò)取得視頻流之后要實(shí)時(shí)地檢測(cè)出視頻圖像中是否存在亮度異常、信號(hào)缺失、噪點(diǎn)、雪花噪聲、清晰度異常以及偏色這六種視頻異常，然后將檢測(cè)結(jié)果存儲(chǔ)到數(shù)據(jù)庫(kù)中以便監(jiān)管人員進(jìn)行事后的檢索與查看，然后管理者從檢查結(jié)果中發(fā)現(xiàn)視頻監(jiān)控系統(tǒng)中的異常狀況，從而采取及時(shí)有效的措施對(duì)監(jiān)控系統(tǒng)進(jìn)行修復(fù)。本文的難點(diǎn)在于各種異常檢測(cè)的算法設(shè)計(jì)與實(shí)現(xiàn)，尤其是清晰度異常與偏色這兩個(gè)基本為圖像質(zhì)量奠定基調(diào)的異常的檢測(cè)。

1 系統(tǒng)總體設(shè)計(jì)

本文根據(jù)視頻質(zhì)量檢測(cè)的實(shí)際需求，對(duì)整個(gè)系統(tǒng)的框架進(jìn)行了設(shè)計(jì)，包括圖像預(yù)處理、異常檢測(cè)、結(jié)果輸出、管理等四個(gè)模塊。其中圖像預(yù)處理模塊主要是對(duì)視頻圖像格式、分辨率等進(jìn)行處理；異常檢測(cè)模塊則是視頻常見(jiàn)異常的檢測(cè)算法實(shí)現(xiàn)部分；結(jié)果輸出模塊是對(duì)異常檢測(cè)結(jié)果的可視化顯示；管理模塊則是為用戶便于管理系統(tǒng)而設(shè)計(jì)的。

2.1 系統(tǒng)總體框圖

根據(jù)系統(tǒng)所要完成的功能，本套視頻圖像質(zhì)量分析系統(tǒng)的結(jié)構(gòu)圖如圖1所示：

2.2 系統(tǒng)算法總體框圖

通過(guò)對(duì)系統(tǒng)需求分析，智能識(shí)別視頻圖像質(zhì)量分析系統(tǒng)主要可以分為四個(gè)部分：視頻圖像預(yù)處理、異常檢測(cè)、結(jié)果存儲(chǔ)和管理模塊。其中最為關(guān)鍵的模塊是異常檢測(cè)模塊。

視頻圖像預(yù)處理模塊是對(duì)截取到的視頻幀進(jìn)行格式、大小、存儲(chǔ)處理，以方便異常檢測(cè)模塊進(jìn)行質(zhì)量診斷；異常檢測(cè)模塊是本系統(tǒng)的核心所在，該模塊的功能是對(duì)所屬的監(jiān)控系統(tǒng)內(nèi)各路視頻流輪詢檢測(cè)，它集成了偏色、清晰度異常、噪點(diǎn)等干擾圖像質(zhì)量的因素的檢測(cè)算法；檢測(cè)結(jié)果存儲(chǔ)模塊的作用是將視頻質(zhì)量異常檢測(cè)結(jié)果包括發(fā)生哪種異常、是哪個(gè)位置的異常以及發(fā)生的時(shí)間等保存到數(shù)據(jù)庫(kù)中，以供維護(hù)人員事后查看檢測(cè)記錄；管理模塊主要是檢測(cè)系統(tǒng)進(jìn)行管理，包括用戶登錄、添加用戶和賬號(hào)管理等。

對(duì)異常的檢測(cè)是整個(gè)視頻質(zhì)量檢測(cè)系統(tǒng)的核心，它主要功能是檢測(cè)視頻畫(huà)面是否出現(xiàn)異常，并檢測(cè)判斷出是哪種異常以及返回量化后相應(yīng)的異常程度值。本文所開(kāi)發(fā)的視頻質(zhì)量檢測(cè)系統(tǒng)主要檢測(cè)的異常種類(lèi)包括：亮度異常、信號(hào)缺失、噪點(diǎn)、雪花噪聲、清晰度和偏色。本文對(duì)異常檢測(cè)，基本都是基于視頻圖像的空域特點(diǎn)，由相互獨(dú)立的數(shù)學(xué)算法完成。下面就是對(duì)系統(tǒng)中所包含的異常進(jìn)行詳細(xì)地介紹與分析，以及針對(duì)各種異常在空域的分布特征，然后采取合適的異常檢測(cè)算法構(gòu)建檢測(cè)函數(shù)，完成視頻圖像異常干擾的自動(dòng)化檢測(cè)。

3 算法模塊研究

3.1 亮度異常

當(dāng)視頻畫(huà)面出現(xiàn)亮度異常時(shí)，在視覺(jué)效果上表現(xiàn)為畫(huà)面全部、局部過(guò)亮或過(guò)暗，細(xì)節(jié)紋理不明晰，對(duì)比度相對(duì)較低。亮度異常破壞了畫(huà)面的美感，嚴(yán)重影響視頻的質(zhì)量。當(dāng)前對(duì)圖像亮度異常檢測(cè)算法主要包括灰度直方圖法與亮度均值法。對(duì)于灰度直方圖是根據(jù)亮度正常圖像的灰度級(jí)會(huì)占較多的灰度級(jí)，反之亮度異常的圖像的灰度級(jí)就會(huì)比較集中，從而用此來(lái)檢測(cè)亮度是否異常。而亮度均值法是計(jì)算整幅圖像的亮度平均值，然后與所設(shè)閾值進(jìn)行比較確定進(jìn)而判斷畫(huà)面是否亮度異常。故本文在亮度均值法的基礎(chǔ)上來(lái)檢測(cè)視頻的亮度異常。

本文對(duì)亮度異常的處理具體為：首先截取一幀視頻圖像作為待檢測(cè)幀，然后提取該幀圖像的亮度成分與事先設(shè)置好的閾值進(jìn)行比較從而得出亮度是否異常。大多情況下計(jì)算圖片亮度信息一般會(huì)選擇在YUV或者YCrCb空間，因?yàn)樗鼈兤渲械腨分量直接代表著亮度。但與上述的相比HSI模型更符合人類(lèi)視覺(jué)特性，它完全可以反映人感知顏色、亮度的基本屬性。另外與其他顏色空間比較它更好的反映了“飽和度”和“亮度”作為兩個(gè)獨(dú)立參數(shù)的直覺(jué)觀念，并且在HSI空間模型中，I分量也可直接用于表征圖像的亮度情況，還有在HSI模型中可以充分、高效的使用多種計(jì)算機(jī)視覺(jué)圖像處理算法。所以人們一般使用HSI模型來(lái)模擬人類(lèi)視覺(jué)系統(tǒng)處理圖像，而往往都能獲得更好的主觀效果。所以在本文的亮度異常檢測(cè)中，我選擇了HSI，只需計(jì)算圖像的I通道值即可得到圖片亮度分量值。提取圖片的亮度分量如下：

接著檢測(cè)亮度低于所設(shè)閾值T1的點(diǎn)的比例R1，然后結(jié)合I的值與閾值T3比較，如果滿足R1小于T1，或I小于T3則可判斷圖像亮度過(guò)暗。一樣地檢測(cè)亮度高于所設(shè)閾值T2的點(diǎn)的比例R2，然后結(jié)合I值與閾值T4比較，如果滿足R2大于T2或I大于T4則判定圖像亮度過(guò)亮。算法流程如圖3所示：

3.2 信號(hào)缺失

當(dāng)視頻出現(xiàn)無(wú)信號(hào)異常時(shí)，幀圖像會(huì)呈現(xiàn)出某種顏色的像素點(diǎn)在圖像中占絕大部分或者視頻畫(huà)面只有單一的某種顏色比如黑屏或者綠屏，稱(chēng)為信號(hào)缺失。

如果系統(tǒng)沒(méi)有視頻信號(hào)，這對(duì)視頻監(jiān)控造成的不良后果可想而知。因此根據(jù)無(wú)信號(hào)的視頻畫(huà)面的黑屏、藍(lán)屏或者某種顏色占據(jù)整個(gè)畫(huà)面的絕大部分這一特征，而由實(shí)踐證明畫(huà)面比較單一的圖像的灰度值就會(huì)有規(guī)律可循，即同一幀視頻圖像中各個(gè)像素點(diǎn)之間灰度值的差別體現(xiàn)了該幀圖像發(fā)生變化是否劇烈。當(dāng)視頻畫(huà)面發(fā)生信號(hào)丟失時(shí)，提取到的視頻幀圖像里各個(gè)像素點(diǎn)之間的灰度值的差異必然很小，那么便可推斷出即它的灰度值均方差的也會(huì)偏小。故本文根據(jù)此特點(diǎn)采取以下算法對(duì)設(shè)備故障引起的信號(hào)缺失進(jìn)行檢測(cè)。

首先，從監(jiān)控視頻中截取一幀圖像，然后對(duì)這幀圖像各像素的灰度值進(jìn)行統(tǒng)計(jì)。算出它的灰度平均值與灰度均方差，如下式：

其中，H，W分別為幀圖像的高與寬，U為各個(gè)像素點(diǎn)灰度值的平均值，是圖像位置像素點(diǎn)的值，S是所有像素點(diǎn)灰度值的均方差。將S與事先設(shè)定好的閾值K（隨機(jī)取HxW幀視頻圖像計(jì)算它們的灰度均方差的均值乘以30%所得）進(jìn)行比較，當(dāng)3小于閾值K時(shí)，則可以認(rèn)為這幀圖像可能出現(xiàn)了信號(hào)缺失的異常。但考慮到監(jiān)控系統(tǒng)可能出現(xiàn)正常的短暫現(xiàn)黑屏現(xiàn)象，如果只做一步檢測(cè)可能導(dǎo)致誤判，為檢測(cè)的準(zhǔn)確度，我們?cè)谝欢〞r(shí)間內(nèi)又截取一幀圖像進(jìn)行檢測(cè)。如果兩次結(jié)果口的值都小于所設(shè)閾值，則基本上可以斷定該視頻確實(shí)發(fā)生了信號(hào)缺失。檢測(cè)算法流程圖如圖4所示。

3.3 噪聲檢測(cè)

視頻圖像噪聲是一種不可預(yù)測(cè)、損壞圖像質(zhì)量的隨機(jī)信號(hào)，它在圖像的采集、處理、傳輸?shù)雀鱾€(gè)環(huán)節(jié)都有可能出現(xiàn)。噪聲的種類(lèi)繁多從產(chǎn)生的來(lái)源可分成：內(nèi)部與外部噪聲。內(nèi)部噪聲是指系統(tǒng)設(shè)備或者電路自身產(chǎn)生的噪聲，如電源噪聲；而外部噪聲是指導(dǎo)致系統(tǒng)產(chǎn)生噪聲的干擾來(lái)自外界，如電磁干擾。

3.3.1 噪點(diǎn)噪聲

視頻圖像噪點(diǎn)在空域上表現(xiàn)為該點(diǎn)與它鄰域周?chē)南袼攸c(diǎn)的灰度值區(qū)分很大，在視覺(jué)上的反映是有許多雜亂的斑點(diǎn)或亮或暗隨機(jī)地分布在圖像上，嚴(yán)重影響人的感知視覺(jué)。噪點(diǎn)不僅破壞了畫(huà)面的美觀，又嚴(yán)重阻礙了人們想從圖片中提取某些重要的信息，所以對(duì)視頻圖像準(zhǔn)確及時(shí)地檢測(cè)是否有噪點(diǎn)的存在意義非凡。本文根據(jù)像素點(diǎn)的鄰域信息來(lái)檢測(cè)監(jiān)控視頻中是否發(fā)生了噪點(diǎn)異常。具體的算法公式如下：

其中為噪點(diǎn)的向量和，而m則表示虛線邊框內(nèi)像素點(diǎn)包圍著的區(qū)域，代表著中心像素點(diǎn)的通道值，為中心像素點(diǎn)以外m區(qū)域內(nèi)的其它的像素點(diǎn)灰度值，由分析可知此時(shí)N取8。如果中心點(diǎn)為非邊緣點(diǎn)且fq（m）的結(jié)果大于我們所設(shè)的閾值，我就能夠判斷區(qū)域m的中心像素點(diǎn)O為噪聲點(diǎn)。而如果中心像素點(diǎn)是邊緣點(diǎn)，則經(jīng)過(guò)試驗(yàn)得知fq（m）計(jì)算出來(lái)的值要遠(yuǎn)小于事先設(shè)定的閾值。

3.3.2 雪花噪聲

目前，一般對(duì)視頻雪花噪聲檢測(cè)都是結(jié)合大量先驗(yàn)背景圖片技術(shù)作依托然后通過(guò)機(jī)器學(xué)習(xí)的方式來(lái)診斷的。然而經(jīng)過(guò)大量研究分析時(shí)，我們發(fā)現(xiàn)雪花噪聲有這些特性：紋理深，并且有規(guī)律可循，“閃爍點(diǎn)”像素灰度值劇烈變化。所以本文從像素灰度值人手，直接用數(shù)學(xué)的模型來(lái)檢測(cè)視頻中出現(xiàn)的雪花噪聲。

而本文檢測(cè)雪花噪聲的基本思想方法是：因?yàn)檎D像像素的灰度值變化一般都平緩，方差較小，而雪花的“閃爍點(diǎn)”像素灰度值劇烈變化，灰度值跳躍性大，計(jì)算方差也偏大，窗口鄰域也正是把圖像細(xì)分，不漏過(guò)可能的異常像素點(diǎn)。所以檢測(cè)雪花的思路是小窗口方差法。算法步驟具體如下：

①將截取到的彩色視頻幀圖像作灰度化處理；

②將灰度圖像的灰度級(jí)進(jìn)行壓縮，量化成16級(jí)，以減少系統(tǒng)的計(jì)算量；

③從視頻圖像左上角開(kāi)始位置將它分成3x3子塊窗口，接著便計(jì)算該區(qū)域內(nèi)9個(gè)像素點(diǎn)灰度值的方差；

④窗口遍歷大小為MxN的整幅圖像，則得到個(gè)方差值；

⑤對(duì)個(gè)方差取均值T，與閾值Th比較；

⑥若則為“雪花屏”。

雪花噪聲檢測(cè)算法流程圖如圖5所示：

3.4 清晰度異常檢測(cè)算法

清晰度對(duì)于視頻圖像的重要性不言而喻，所以能快速、準(zhǔn)確地檢測(cè)視頻的清晰度是否異常是十分必要的。目前對(duì)圖像清晰度的評(píng)價(jià)方法通常在頻域和空間域進(jìn)行。頻域方法是分析圖像的成分頻率成分進(jìn)而評(píng)價(jià)圖像的清晰度，它的優(yōu)勢(shì)在于得出來(lái)的結(jié)果通常比空域的要準(zhǔn)確。不足之處是需要進(jìn)行各種復(fù)雜的變換，所以它的運(yùn)行效率相對(duì)低下；而空域主要通過(guò)邊緣檢測(cè)算子，根據(jù)圖像灰度、梯度差來(lái)表征圖像的清晰程度。這類(lèi)方法計(jì)算簡(jiǎn)單，運(yùn)行速度快，但抗干擾性能相對(duì)較差，故往往會(huì)發(fā)生誤檢、漏檢等現(xiàn)象。

所以為彌補(bǔ)現(xiàn)有算法的不足，本文利用平方梯度法區(qū)分度較好的特點(diǎn)，用一種焦點(diǎn)窗口改進(jìn)的平均梯度算法來(lái)檢測(cè)視頻清晰度的異常。這種方法能克服計(jì)算量大的缺點(diǎn)，兼顧了準(zhǔn)確性和實(shí)時(shí)性。具體算法步驟如下：

（1）根據(jù)攝影藝術(shù)和美學(xué)理論中的三分法原則，我們將焦點(diǎn)區(qū)域的劃分為圖6所示，其中點(diǎn)O為圖像中心點(diǎn)，而點(diǎn)A，B，C和D到最近圖像邊界的距離為圖像高或?qū)挼?/3。

（2）計(jì)算大小為HxW圖像f（x，y）5個(gè)區(qū)域O，A，B，C，D的聚焦評(píng)價(jià)值。聚焦評(píng)價(jià)值計(jì)算公式如下：

其電與分別為圖像x及y方向的梯度值

之和，式子取3/2次方的目的是為了增強(qiáng)大梯度值的影響，以提高算法抗噪性。

其中M，N分別為O，A，B，C，D子塊圖像的高和寬。

（3）然后由下面公式得出圖像的整體聚焦評(píng)價(jià)值：

考慮-監(jiān)控圖像中心區(qū)域通常為有用或者是人們所感興趣區(qū)域，因此本文結(jié)合實(shí)驗(yàn)結(jié)果分析把kl取取0.15。

（4）接著計(jì)算該視頻圖像在Lab空間下的色差

值，如下式：

（5）最后便是結(jié)合聚焦評(píng)價(jià)值F與色差值SC作為清晰度評(píng)價(jià)函數(shù)，然后與閾值Thl、進(jìn)行比較，從而得出清晰與否的診斷。

清晰度異常檢測(cè)算法流程圖如圖7所示：

3.5 偏色檢測(cè)算法

成像儀器卻不具備顏色恒常性，它會(huì)受環(huán)境光照和成像設(shè)備的感光元器件感光系數(shù)的物理特性以及物體本身的反射特性等多種因素的影響，所以成像儀器拍攝到的圖像的色彩與物體表面真實(shí)色彩就會(huì)發(fā)生一定程度的偏差，這種顏色上的差異就叫偏色。要想正確檢測(cè)視頻圖像的偏色程度，首要的就是選擇合適的顏色處理空間。

一般情況下顯示器顯示的圖片是RGB顏色空間的，但RGB色彩空間具有不均勻性，所以偏色檢測(cè)中，我們選擇了1976年CIE規(guī)定的用于非自照明的顏色空間——CIELab。但由RGB色彩空間轉(zhuǎn)換到CIELab空間需要引入一個(gè)過(guò)渡的顏色空間XYZ，可以分為以下兩步：

① 將圖像從RBG色彩空間按公式轉(zhuǎn)換到過(guò)渡的色彩空間XYZ。

② M后從XYZ顏色空間按下式轉(zhuǎn)換到Lab顏色空間。

其中，f（x）為校正函數(shù)，其表達(dá)式為：

在比較了眾多偏色檢測(cè)算法后，結(jié)合本檢測(cè)系統(tǒng)的時(shí)實(shí)際情況，本文提出了一種新的偏色檢測(cè)算法一基于協(xié)方差相關(guān)函數(shù)的偏色檢測(cè)算法，利用相鄰兩幀圖像的顏色差異和相關(guān)性差異來(lái)檢測(cè)偏色干擾。具體算法步驟如下：

① 獲取檢測(cè)視頻的相鄰兩幀圖像；

② 從RGB空間轉(zhuǎn)換到Lab空間；

③ 計(jì)算對(duì)應(yīng)子塊色差方差的均值及協(xié)相關(guān)系數(shù)絕對(duì)值的均值；

④ 將兩者結(jié)果的比值進(jìn)行處理與所設(shè)閾值進(jìn)行比較從而判定是否偏色。

本模塊使用的子程序有：

4 結(jié)論

該系統(tǒng)能夠?qū)ΡO(jiān)控系統(tǒng)中視頻圖像出現(xiàn)的信號(hào)缺失、噪點(diǎn)、雪花、清晰度異常、亮度異常、偏色等常見(jiàn)畫(huà)面異常進(jìn)行準(zhǔn)確分析和判斷，重點(diǎn)介紹了信號(hào)缺失、噪點(diǎn)、雪花、清晰度異常、亮度異常、偏色這些常見(jiàn)異常的檢測(cè)算法，實(shí)現(xiàn)了視頻質(zhì)量實(shí)時(shí)檢測(cè)，是解決視頻圖像質(zhì)量分析的一種有效手段。