姚晨　沈赟潔　朱佳敏

摘? ?要：色彩還原性表征了不同色溫條件下在標(biāo)準(zhǔn)顯示設(shè)備上真實(shí)還原圖像景物各種色彩的能力。然而實(shí)驗(yàn)室環(huán)境下的測(cè)試方法是一種有參考且對(duì)測(cè)試軟件有嚴(yán)格要求的方法，無法在實(shí)際圖像監(jiān)控系統(tǒng)得到應(yīng)用。通過色彩還原色卡在實(shí)驗(yàn)室環(huán)境下的亮度估計(jì)，獲得不同色彩還原值和色卡圖像亮度值，通過機(jī)器學(xué)習(xí)獲得兩者的對(duì)應(yīng)訓(xùn)練模型，通過對(duì)實(shí)際監(jiān)控圖像亮度估計(jì)最終獲得實(shí)際監(jiān)控環(huán)境下的色彩還原參考值。

關(guān)鍵詞：色彩還原性;監(jiān)控圖像;亮度估計(jì);機(jī)器學(xué)習(xí);訓(xùn)練模型

中圖分類號(hào)：TP391.4? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

Survelliance Image Color Error Testing Driven

by Illumination Estimation

YAO Chen？SHEN Yun-jie，ZHU Jia-min

（The Third Research Institute of Ministry of Public Security，Shanghai 200030，China）

Abstract：Color error represents real color reproduction ability on survelliance image within different color temperature. However，testing method in lab is reference-based and high demanded，which can not be applied for real image survelliance system. An illumination estimation of color check-check chart is obtained in lab. Meanwhile，color error value also is computed. A machine-learning method is used for compute the training model for illumination and color error value. Finally，we get color error value for real surveillance image through image illumination estimation and trained model.

Key words：color error;surveillance image;illumination estimation;machine learning;trained model

色彩還原性是安防攝像機(jī)行業(yè)標(biāo)準(zhǔn)《安全防范視頻監(jiān)控?cái)z像機(jī)通用技術(shù)要求 GA/T 1127-2013》中的重要性能指標(biāo)，該指標(biāo)直接反應(yīng)了監(jiān)控圖像真實(shí)還原外部自然場(chǎng)景色彩的能力。然而在實(shí)驗(yàn)室環(huán)境下的測(cè)試指標(biāo)由于受到測(cè)試環(huán)境，如：測(cè)試燈箱、測(cè)試色卡、測(cè)試軟件等限制無法在實(shí)際安防工程中大面積推廣。這導(dǎo)致在行業(yè)主管部門會(huì)同第三方檢測(cè)機(jī)構(gòu)對(duì)部分已建視頻監(jiān)控系統(tǒng)開展監(jiān)督抽查工作中發(fā)現(xiàn)諸多問題，甚至存在竣工驗(yàn)收后用不符合標(biāo)準(zhǔn)規(guī)范的低劣設(shè)備更換原有設(shè)備、系統(tǒng)設(shè)備拆除或挪作他用等情況。純粹通過人力開展監(jiān)督檢查工作顯然無法成為長(zhǎng)期穩(wěn)定可靠的監(jiān)管模式。如何對(duì)實(shí)際安防監(jiān)控工程的圖像進(jìn)行有效、高效的色彩還原性評(píng)價(jià)成為亟待解決的問題。

受到無參圖像質(zhì)量評(píng)價(jià)和圖像色彩恒常性啟發(fā)，通過建立圖像亮度和色彩還原性的相關(guān)性模型來推導(dǎo)實(shí)際監(jiān)控場(chǎng)景下的圖像色彩還原性。

1? ?經(jīng)典測(cè)試方法

在實(shí)驗(yàn)室環(huán)境下目前Imatest的ColorChecker[1]對(duì)色彩還原性進(jìn)行分析。X-Rite的色彩檢查卡是8×11inch大小，包含24個(gè)色塊如圖1和圖2所示，光學(xué)密度范圍是[0.05，1.50]。

在實(shí)驗(yàn)室環(huán)境下，分別不同的色溫?cái)z取色彩還原測(cè)試卡，在截圖后由Imatest來判斷，每個(gè)色塊中的截取面積大于等于30%。最后，在圖像顏色空間Lab中計(jì)算色彩還原性ΔE，計(jì)算公式如下：

ΔE = ■? （1）

L1，L2分別圖像顏色空間L通道的原始圖像和測(cè)試圖像，a1，a2分別圖像顏色空間a通道的原始圖像和測(cè)試圖像，b1，b2分別圖像顏色空間b通道的原始圖像和測(cè)試圖像。

因此，從上述實(shí)驗(yàn)環(huán)境下的測(cè)試方法可以總結(jié)出以下的依賴性問題：

1）需要ColorCheck的測(cè)試卡支持

2）對(duì)于投射式需要測(cè)試燈箱的支持

3）需要人工截圖不同顏色patch的面積

4）需要Imatest測(cè)試軟件的支持

上述四個(gè)依賴性問題對(duì)于色彩還原性計(jì)算在實(shí)際視頻監(jiān)控系統(tǒng)中的應(yīng)用帶來的巨大的障礙。因此，如何在去除上述依賴的條件下通過有效關(guān)系映射達(dá)到和實(shí)驗(yàn)室測(cè)試結(jié)果一致效果成為需要研究的問題。

2? ?測(cè)試去依賴方法

受到無參考圖像質(zhì)量方法啟發(fā)，如果能夠?qū)olorCheck的測(cè)試卡圖像如圖3所示，進(jìn)行一些顏色特征提取擬合到Imatest的標(biāo)準(zhǔn)測(cè)試結(jié)果如圖4所示，則我們可以去除上述的四個(gè)依賴性問題。

2.1? ?圖像無參考質(zhì)量評(píng)價(jià)相關(guān)工作

目前，圖像無參考質(zhì)量評(píng)價(jià)在不用訪問原始參考圖像的基礎(chǔ)上實(shí)現(xiàn)了對(duì)圖像質(zhì)量的人眼感知估計(jì)。圖像無參質(zhì)量評(píng)價(jià)通常包含兩個(gè)步驟：特征提取和回歸訓(xùn)練。以往的很多特征提取都是基于自然場(chǎng)景統(tǒng)計(jì)。在空間域和轉(zhuǎn)換域的自然場(chǎng)景統(tǒng)計(jì)模型被應(yīng)用于質(zhì)量評(píng)價(jià)的特征圖。最近，隨著深度學(xué)習(xí)的發(fā)展，很多基于深度置信網(wǎng)、卷積神經(jīng)網(wǎng)路的特征提取方法也逐漸應(yīng)用于質(zhì)量評(píng)價(jià)的特征提取過程。在特征回歸的設(shè)計(jì)中通常采用支持向量機(jī)的回歸器（SVM regressor，SVR）[2-6]。

2.2? ?特征提取

如何進(jìn)行有效的特征提取成為本文的重要工作。色彩還原性的本質(zhì)是對(duì)圖像采集后的顏色恒常性的評(píng)估，是攝像機(jī)在白平衡后顏色差異的評(píng)價(jià)。顏色恒常性是指當(dāng)照射物體表面的顏色光發(fā)生變化時(shí)，人們對(duì)該物體表面顏色的知覺仍然保持不變的知覺特性。顏色恒常性問題是一個(gè)典型的病態(tài)反問題。通常對(duì)一個(gè)給定的色偏圖像通過光源顏色的估計(jì)獲取色度空間的匹配。目前，經(jīng)典的方法包括顏色RGB通道平均或最大響應(yīng)的基于灰度世界的方法，還有假設(shè)在不同顏色通道中平均反射差異一致的灰度邊界的方法等[7-9]。

因此，考慮采用顏色恒常性中的亮度估計(jì)作為ColorCheck色卡圖像中的全局特征，同時(shí)RGB空間的SIFT點(diǎn)作為局部特征[10]。

2.3? ?亮度估計(jì)

首先對(duì)圖像進(jìn)行對(duì)數(shù)空間變換，變換公式如下所示，

ILOG = LOG（IR，G，B）? ? ? （2）

IR，G，B為原始圖像，ILOG是變換后的圖像，LOG是對(duì)數(shù)空間算子。

受到方法[11]啟發(fā)，在圖像ILOG中獲取顏色空間的灰度像素點(diǎn)[11]，對(duì)圖像中像素塊大小為N = 7 × 7計(jì)算標(biāo)準(zhǔn)差變化，公式如下所示，

differ = （SDiN（x，y） - SDN（x，y））2? ? ? ?（3）

SDiN（x，y）為以像素點(diǎn)坐標(biāo)（x，y）為中心的像素塊的標(biāo)準(zhǔn)差。

然后對(duì)標(biāo)準(zhǔn)差歸一化獲得灰度指數(shù)GP，統(tǒng)計(jì)中圖像中GP值為0的像素點(diǎn)獲取最終的灰度像素點(diǎn)?？紤]到像素塊計(jì)算的誤差干擾，選取最終的1%像素點(diǎn)P作為最終的計(jì)算對(duì)象。最終的亮度特征為P （r，g，b）。

局部特征計(jì)算我們采用SIFT來計(jì)算RGB通道的SIFT特征點(diǎn)，計(jì)算公式如下，

ISIFT = sift（ILOG）? ? ? ? ?（4）

最終，獲得的特征向量的集合為，

{（ f1，cr1），（f2，cr2），…，（fk，crk）}? ? ? （5）

通過回歸訓(xùn)練器SVR獲得最終的

訓(xùn)練模型

整個(gè)訓(xùn)練算法流程如下：

1）讀取ColoCheck色卡圖像和色彩還原值;

2）圖像對(duì)數(shù)空間變換;

3）依次計(jì)算7×7的像素塊的標(biāo)準(zhǔn)差，標(biāo)準(zhǔn)差閾值小于0.1獲得候選像素點(diǎn)

4）對(duì)候選像素點(diǎn)由小到大排序選取1%的像素點(diǎn)，計(jì)算亮度均值，寫入特征向量

5）計(jì)算RGB空間sift特征點(diǎn)寫入特征向量

6）饋入回歸器計(jì)算訓(xùn)練模型

整個(gè)推理算法流程如下：

1）讀取監(jiān)控圖像和訓(xùn)練模型;

2）圖像對(duì)數(shù)空間變換;

3）依次計(jì)算7×7的像素塊的標(biāo)準(zhǔn)差，標(biāo)準(zhǔn)差閾值小于0.1獲得候選像素點(diǎn)

4）對(duì)候選像素點(diǎn)由小到大排序選取1%的像素點(diǎn)，計(jì)算亮度均值，寫入特征向量

5）計(jì)算RGB空間sift特征點(diǎn)寫入特征向量

6）根據(jù)訓(xùn)練模型獲得相應(yīng)的色彩還原值

3? ?實(shí)驗(yàn)分析

實(shí)驗(yàn)通過測(cè)試燈箱上的顏色還原卡獲得不同色溫、不同攝像機(jī)型號(hào)的ColorCheck數(shù)據(jù)，具體測(cè)試環(huán)境如圖5所示，整個(gè)數(shù)據(jù)集由250幅色彩還原性圖像組成如圖6所示，采用Imatest對(duì)250副圖像進(jìn)行色彩還原性計(jì)算，計(jì)算方式采用公式（1），如圖7所示。對(duì)所有的測(cè)試數(shù)據(jù)采用8 ∶ 2的比例進(jìn)行訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)的構(gòu)建。

對(duì)色彩還原性的預(yù)測(cè)值的準(zhǔn)確性采用三個(gè)相關(guān)系數(shù)評(píng)估，分別是：SROCC（Spearman rank order correlation coefficient）、KROCC（Kendall rank order correlation coeffient）和PLCC（Pearson linear correlation coefficient）。三個(gè)系數(shù)的結(jié)果如表1所示。將算法和三個(gè)傳統(tǒng)經(jīng)典的無參質(zhì)量評(píng)價(jià)方法IL-NIQE[12]、NIQMC[13]和BRISQUE[4]做了比較，從測(cè)試結(jié)果可以發(fā)現(xiàn)，本方法在三個(gè)指標(biāo)上都取得了最佳的效果，從實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)面向監(jiān)控場(chǎng)景的圖像傳統(tǒng)的方法表現(xiàn)較差，擬合度均低于0.5，因?yàn)閭鹘y(tǒng)方法多基于自然圖像分布的先驗(yàn)假設(shè)來做特征設(shè)計(jì)，而監(jiān)控場(chǎng)景的圖像采集與消費(fèi)級(jí)的圖像采集在CCD/CMOS和編碼方式上都有較大差異，導(dǎo)致最終的特征擬合失效，而新提出的方法符合監(jiān)控場(chǎng)景的圖像先驗(yàn)概率分布具有較好的特征學(xué)習(xí)結(jié)果。因?yàn)樗兴惴ㄔ趘isual studio 2017下c++實(shí)現(xiàn)，單幅圖像的預(yù)測(cè)時(shí)間小于1 s，具備實(shí)際的應(yīng)用的能力。在此基礎(chǔ)上，實(shí)際監(jiān)控圖像如圖8所示進(jìn)行實(shí)際場(chǎng)景的分析。在分析之前請(qǐng)3位技防專家對(duì)300幅實(shí)際監(jiān)控圖像進(jìn)行了色彩還原性打分，參考MOS評(píng)分系統(tǒng)（1-5分評(píng)價(jià)），5分為還原性最好，1分為最差。將亮度特征和SIFT特征擬合到1-5分的評(píng)價(jià)系統(tǒng)來判斷模型在實(shí)際系統(tǒng)中的準(zhǔn)確性，在實(shí)際監(jiān)控圖像中實(shí)驗(yàn)發(fā)現(xiàn)擬合度大約在0.75左右，從而驗(yàn)證了本方法在實(shí)際監(jiān)控系統(tǒng)中評(píng)價(jià)色彩還原性的有效性。

3.1? ?存在問題和下一步工作

Imatest的分析結(jié)果科學(xué)性還有待驗(yàn)證，攝像機(jī)在實(shí)際測(cè)試過程中不同型號(hào)相機(jī)的配置一致性如果保證也是在未來研究需要解決的問題。盡管本方法比傳統(tǒng)的質(zhì)量評(píng)價(jià)方法優(yōu)越，但是擬合度依然低于80%還有較大的改進(jìn)空間，未來需要在色彩還原科學(xué)標(biāo)注、更好的特征選取上深入開展工作來進(jìn)一步提升實(shí)際的應(yīng)用效果。因?yàn)楸O(jiān)控圖像覆蓋的圖像范圍較大包括了：白天、黑夜、室內(nèi)、室外等多場(chǎng)景，未來希望在不同場(chǎng)景下建立更多的訓(xùn)練和測(cè)試數(shù)據(jù)集。

4? ?結(jié)? ?論

通過實(shí)驗(yàn)建立了一種基于亮度估計(jì)的監(jiān)控圖像的色彩還原性的測(cè)試方法，克服了目前實(shí)驗(yàn)室環(huán)境下測(cè)試色彩還原性的強(qiáng)依賴問題，具有在實(shí)際視頻監(jiān)控系統(tǒng)中測(cè)試的價(jià)值，可以提升視頻監(jiān)控系統(tǒng)的驗(yàn)收和評(píng)價(jià)水平。通過構(gòu)建實(shí)驗(yàn)室環(huán)境下ColoCheck數(shù)據(jù)集，驗(yàn)證了方法的有效性?？紤]從實(shí)驗(yàn)室場(chǎng)景到工程場(chǎng)景圖像模態(tài)的差別，又建立監(jiān)控場(chǎng)景的數(shù)據(jù)集及相關(guān)標(biāo)注。通過實(shí)驗(yàn)驗(yàn)證了算法的可行性。未來期望在數(shù)據(jù)集構(gòu)建和特征提取上深入開展工作，進(jìn)一步提升監(jiān)控場(chǎng)景下色彩還原性預(yù)測(cè)的準(zhǔn)確率。

參考文獻(xiàn)

[1]? ? https：//www.imatest.com/docs/colorcheck/.

[2]? ? LIN W，KUO J.Perceptual visual quality metrics：a survey[J]. Journal of Visual Communication and Image Representation，2011，22 （4）：297-312.

[3]? ? SHAO L.Non-distortion-specific no-reference image quality assessment[J]. A Survey，Information Sciences，2015，301：141-160.

[4]? ? MITTAL A，MOORTHY K，BOVIK C.No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing，2012，21 （12）：4695-4708.

[5]? ? SAAD A，BOVIK C，CHARRIER C.Blind image quality assessment：A natural scene statistics approach in the DCT domain[J]. IEEE Transactions on Image Processing，2012，21 （8） ：3339-3352.

[6]? ? MITTAL A，SOUNDARARAJAN R，BOVIK C.Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters，2013，20 （3） ：209-212.

[7]? ? BEIGPUR S，VANDEWEJER J，RIESS S，et al.Multi-illuminant estimation with conditionalrandom fields[J]. Image Processing，IEEE Transactionson，2013，23（1）：83-96.

[8]? ? BIANCO S，CIOCCA G，CUSANO C，et al. Improvingcolor constancy using indoor-outdoor image classification[J]. Image Processing，IEEE Transactions on，2008，17（12）：2381-2392.

[9]? ? BIANCO S，SCHETTINI R. Adaptive color constancy usingfaces[J].? Pattern Analysis and Machine Intelligence，IEEE Transactions on，2014，36（8）：1505-1518.

[10]? LOWE D. Object recognition from local scale-invariant features[J].? International Conference on Computer Vision，1999：1150-1157.

[11]? YANG K，GAO S，LI Y，et al. Efficient illuminant estimation for color constancy using grey pixels[J].? Computer Vision and Pattern Recognition，2015：2254-2263.

[12]? ZHANG L，BOVIK C.A feature-enriched completely blind image quality evaluator[J]. IEEE Transactions on Image Processing，2015，24 （8） ：2579-2591.

[13]? GU K，LIN W，ZHAI G，YANG X.No-reference quality metric of contrast-distorted images based on information maximization[J].? IEEE Transactions on Cybernetics，2017，47 （12） ：4559-4565.