亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        顯示系統(tǒng)圖像引擎的自適應(yīng)色彩優(yōu)化算法

        2022-11-02 10:01:02張博文夏振平周波宋玉馬鳳云柏溢
        液晶與顯示 2022年11期
        關(guān)鍵詞:引擎卷積色彩

        張博文,夏振平,周波,宋玉,馬鳳云,柏溢

        (蘇州科技大學(xué) 電子與信息工程學(xué)院,江蘇 蘇州 215009)

        1 引言

        視覺(jué)是人類獲取外界信息的重要渠道,顯示系統(tǒng)則是當(dāng)今人們獲取視覺(jué)信息的主要途徑之一。隨著科學(xué)技術(shù)的不斷發(fā)展,人們對(duì)于顯示系統(tǒng)成像質(zhì)量的要求越來(lái)越高。以液晶顯示器(Liquid Crystal Display,LCD)為例,其主要由面板、控制板、菜單控制板等組件構(gòu)成,其中,控制板在整個(gè)液晶顯示器中至關(guān)重要,其上裝載的圖像引擎(一種集成芯片)是對(duì)成像質(zhì)量起到?jīng)Q定性作用的一環(huán)[1]。圖像引擎上集成的色彩優(yōu)化算法能夠?qū)D像的色彩進(jìn)行優(yōu)化[2],這對(duì)于顯示設(shè)備的圖像質(zhì)量?jī)?yōu)化具有重要意義[3]。

        傳統(tǒng)圖像引擎色彩優(yōu)化算法一般由多種算法組合而成,每種算法實(shí)現(xiàn)單一的圖像優(yōu)化。例如,直方圖均衡化算法可以使圖像亮度在顯示系統(tǒng)的成像范圍內(nèi)更加均勻地分布,優(yōu)化局部細(xì)節(jié),在優(yōu)化整體亮度過(guò)高或過(guò)低的圖像時(shí)有顯著效果[4];銳化算法主要用于補(bǔ)償圖像輪廓,增強(qiáng)局部對(duì)比度,使圖像邊緣變得清晰[5];均值濾波算法一般用于消除圖像獲取過(guò)程中因照明環(huán)境不佳或高溫引起的傳感器噪聲[6]。傳統(tǒng)算法若要追求較好的效果,需要根據(jù)圖像特征人工調(diào)整各個(gè)算法的參數(shù),這對(duì)于一個(gè)有實(shí)時(shí)性要求的算法來(lái)說(shuō)是不切實(shí)際的,故其難以自動(dòng)完成圖像的最佳優(yōu)化。

        隨著深度學(xué)習(xí)在圖像處理領(lǐng)域的快速發(fā)展,諸多深度學(xué)習(xí)架構(gòu)在該領(lǐng)域取得了長(zhǎng)足的進(jìn)步。Moran等人[7]使用了深度局部參數(shù)濾波器(Deep Local Parametric Filters)以改善圖像的色彩,借此提升圖像整體質(zhì)量。Guo等人[8]提出了一種零參考深度曲線估計(jì)(Zero-Reference Deep Curve Estimation)方法,該方法可以增強(qiáng)微光圖像,使微光圖像展示更多的局部細(xì)節(jié)。Deng等人[9]使用對(duì)抗學(xué)習(xí)(Adversarial Learning)方法實(shí)現(xiàn)了圖像剪裁和色彩增強(qiáng)的功能。當(dāng)前,實(shí)現(xiàn)上述研究中的圖像優(yōu)化功能均需要較高的硬件成本和時(shí)間成本,在實(shí)際應(yīng)用中阻力較大。為此,本文提出了一種采用全卷積神經(jīng)網(wǎng)絡(luò)[10](Fully-Convolutional Network)構(gòu)建圖像優(yōu)化算法的方法,借助空洞卷積[11]在盡量保留原圖信息的同時(shí)既擴(kuò)大了感受野,又減少了計(jì)算量和參數(shù)量,時(shí)間和硬件成本較小。因此,該網(wǎng)絡(luò)在圖像引擎色彩優(yōu)化領(lǐng)域具有較大的潛力。此外,色彩優(yōu)化算法一般使用圖像增強(qiáng)類的數(shù)據(jù)集進(jìn)行訓(xùn)練[12],但其中多數(shù)規(guī)模較小,不適用于需要優(yōu)化任意圖像的圖像引擎算法,本文為此構(gòu)建了一個(gè)全新的大規(guī)模數(shù)據(jù)集。

        為解決傳統(tǒng)圖像引擎色彩優(yōu)化算法無(wú)法針對(duì)圖像特性做出自適應(yīng)優(yōu)化的問(wèn)題,本文提出了一種基于空洞卷積的全卷積神經(jīng)網(wǎng)絡(luò)以構(gòu)建自適應(yīng)圖像引擎色彩優(yōu)化算法。該算法結(jié)合空洞卷積融合多種圖像優(yōu)化算法,可以替代多種獨(dú)立算法組合而成的傳統(tǒng)算法,側(cè)重于從人眼主觀感知的角度優(yōu)化圖像色彩。同時(shí),為了更好地構(gòu)建數(shù)據(jù)集,引入了基于神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量評(píng)估方法[13]對(duì)擴(kuò)充后的圖像對(duì)分別進(jìn)行圖像質(zhì)量評(píng)估,籍 此 優(yōu) 化 在AVA[14](Aesthetic Visual Analysis)數(shù)據(jù)集的基礎(chǔ)上構(gòu)建的High Quality AVA,最終取得了較好的效果。

        2 基本原理

        2.1 圖像引擎和色彩優(yōu)化算法

        顯示器目前主要由面板、控制板、逆變器、OSD菜單控制板、連接線纜和外殼6個(gè)部分組成[15]。其中,圖像引擎是控制板上一顆至關(guān)重要的集成芯片。圖像引擎的主要功能是接收主機(jī)發(fā)送的所有圖像信息并在其內(nèi)部實(shí)現(xiàn)圖像的轉(zhuǎn)換、測(cè)量及優(yōu)化,保證優(yōu)化后的圖像能夠正確、穩(wěn)定地顯示。其需要解決的問(wèn)題主要有圖像縮放、時(shí)序控制、色彩優(yōu)化等。色彩是決定圖像質(zhì)量的重要組成部分,故而優(yōu)越的色彩優(yōu)化算法是十分必要的。

        圖像在獲取、壓縮、傳輸和縮放的過(guò)程中難免會(huì)被平滑,導(dǎo)致圖像邊緣產(chǎn)生模糊。為使顯示器給予用戶較好的視覺(jué)體驗(yàn),需要對(duì)圖像進(jìn)行銳化和對(duì)比度調(diào)整。傳統(tǒng)圖像引擎色彩優(yōu)化算法采用了8鄰域的拉普拉斯銳化算法以及基于雙重自動(dòng)閾值分割的分段線性變換對(duì)比度增強(qiáng)算法(雙閾值線性增強(qiáng)法)。雙閾值線性增強(qiáng)法是基于Otsu[16]改進(jìn)的三段線性變換法,表達(dá)式如式(1)所示。

        其中,?(x,y)為原始圖像,g(x,y)為輸出圖像,w=0.5,T2和T3為Ostu分割方法得出的閾值分割界限。通過(guò)Ostu方法可以得到最佳的分割閾值T1,設(shè)灰度級(jí)大于T1的區(qū)域?yàn)槟繕?biāo)區(qū)域,灰度級(jí)小于T1的區(qū)域?yàn)楸尘皡^(qū)域。分別對(duì)目標(biāo)區(qū)域和背景區(qū)域之間再進(jìn)行一次分割,背景區(qū)域的閾值為T(mén)2,目標(biāo)區(qū)域的閾值為T(mén)3。雙閾值線性增強(qiáng)法能夠在一定程度上獲取圖像的特征信息,但是僅局限于輪廓層次較為分明的圖像,且需要人工調(diào)整參數(shù),而圖像引擎需要處理所有類型的圖像且在處理過(guò)程中需要盡量避免人工干預(yù),算法的自適應(yīng)性就顯得尤其重要。

        2.2 基于分類網(wǎng)絡(luò)的圖像質(zhì)量預(yù)測(cè)器

        Howard等 人 提 出 了MobileNet[17]和 一 組 超參數(shù),可以搭建規(guī)模極小的低延遲模型來(lái)滿足移動(dòng)端或嵌入式應(yīng)用的要求。MobileNet基于深度可分離卷積的模型,它將一個(gè)標(biāo)準(zhǔn)卷積分解為深度卷積和一個(gè)1×1的點(diǎn)卷積(圖1)。深度卷積對(duì)輸入圖像的每個(gè)通道應(yīng)用單個(gè)濾波器,然后點(diǎn)卷積應(yīng)用1×1卷積來(lái)組合深度卷積的輸出,該方法大幅減少了計(jì)算量,縮小了模型尺寸。因此,該輕量級(jí)架構(gòu)適用于一個(gè)資源有限平臺(tái)上的計(jì)算任務(wù),例如圖像引擎、機(jī)器人、自動(dòng)駕駛等。

        圖1 標(biāo)準(zhǔn)卷積被替換成深度卷積和點(diǎn)卷積Fig.1 Standard convolutional are replaced by depthwise convolution and pointwise convolution

        Google在2018年提出了一種與人類感知高度相關(guān)的無(wú)參考單幅圖像評(píng)價(jià)模型:NIMA(Neural Image Assessment)[13]。該 模 型 能 對(duì) 輸 入 圖 像 進(jìn)行評(píng)分,給出一個(gè)范圍在1~10之間的小數(shù)作為圖像的評(píng)分。構(gòu)建大規(guī)模圖像對(duì)數(shù)據(jù)集時(shí)普遍存在無(wú)法保證圖像優(yōu)化效果的問(wèn)題,即對(duì)原始圖像進(jìn)行增強(qiáng)后無(wú)法保證沒(méi)有過(guò)度優(yōu)化圖像,從而導(dǎo)致圖像質(zhì)量下降。NIMA模型可以幫助我們改善這一狀況,模型具體結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)首先在ImageNet數(shù)據(jù) 集[18]上進(jìn)行預(yù)訓(xùn)練,初始化基干網(wǎng)絡(luò)的權(quán)值參數(shù),然后分別在AVA數(shù)據(jù)集和TID 2013[19]數(shù)據(jù)集上進(jìn)行端到端的訓(xùn)練,得到最終的參數(shù)。

        圖2 基 于MobileNet的NIMA模 型Fig.2 NIMA model based on MobileNet

        本文將單幅圖像的評(píng)分?jǐn)?shù)據(jù)命名為NINA Score(列出的NIMA Score均取3位有效數(shù)字)??紤]到實(shí)際應(yīng)用中遇到的計(jì)算資源及存儲(chǔ)空間的問(wèn)題,采用以MobileNet為基干的評(píng)價(jià)模型作為圖像質(zhì)量預(yù)測(cè)器。該預(yù)測(cè)器用于對(duì)已構(gòu)建的圖像對(duì)進(jìn)行評(píng)分,以確保構(gòu)建理想化的數(shù)據(jù)集,使其中的目標(biāo)圖像質(zhì)量不低于原始圖像。

        3 自適應(yīng)色彩優(yōu)化算法

        3.1 網(wǎng)絡(luò)架構(gòu)

        本文為色彩優(yōu)化算法確立了3個(gè)理想標(biāo)準(zhǔn):(1)精度。一張圖像經(jīng)本文算法處理后,其峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和結(jié)構(gòu)相似性(Structural Similarity,SSIM)應(yīng)不低于傳統(tǒng)算法處理后。(2)自適應(yīng)。算法應(yīng)當(dāng)具備較強(qiáng)的泛化能力,即能夠?qū)Σ煌瑑?nèi)容的圖片做出合理的優(yōu)化。(3)規(guī)模。模型應(yīng)當(dāng)能夠被部署在圖像引擎(邊緣設(shè)備)上。

        空洞卷積可以增加感受野,同時(shí)保持特征圖尺寸不變,從而代替下采樣和上采樣。空洞卷積引入了“擴(kuò)張率”這一超參數(shù),該參數(shù)定義了卷積運(yùn)算時(shí)卷積核中各個(gè)值的間距,具體原理如圖3所示。

        在圖3中,菱形代表卷積核元素,加粗方框代表左上角卷積核元素的感受野大小,感受野的擴(kuò)大使神經(jīng)元可以接觸到圖像中更大的范圍,使得這種卷積方法可以提取出更加全局、語(yǔ)義層次更高的圖像特征,同時(shí)提高了卷積的效率。相比于傳統(tǒng)算法僅能獲取邊緣信息的情況,卷積神經(jīng)網(wǎng)絡(luò)可以共享所有卷積提取的圖像信息,能更好地根據(jù)圖像特征做出自適應(yīng)優(yōu)化。圖4為基于空洞卷積的圖像色彩優(yōu)化網(wǎng)絡(luò)架構(gòu)。網(wǎng)絡(luò)由9個(gè)卷積層構(gòu)成,從第一層至第八層采用空洞卷積,擴(kuò)張率分別為1,2,4,8,16,32,64,1。最后一層卷積采用大小為1×1的卷積核,卷積核個(gè)數(shù)為3,且不使用激活函數(shù)。除最后一層外,每個(gè)卷積層中卷積核的個(gè)數(shù)均為32,卷積核為3×3大小,均使用LReLU非線性修正單元函數(shù)進(jìn)行激活(式(2)),其中α=0.2,對(duì)卷積結(jié)果采用自適應(yīng)歸一化(Adaptive Normalization,AN)(式(3))。

        圖3 空洞卷積原理示意圖。(a)擴(kuò)張率為1,感受野為3×3的普通卷積;(b)擴(kuò)張率為2,感受野為5×5的空洞卷積;(c)擴(kuò)張率為3,感受野為7×7的空洞卷積。Fig.3 Schematic diagram of the principle of dilated convolution.(a)1-dilated convolution,each element has a receptive field of 3×3;(b)2-dilated convolution,each element has a receptive field of 5×5;(c)3-dilated convolution,each element has a receptive field of 7×7.

        圖4 圖像色彩優(yōu)化網(wǎng)絡(luò)架構(gòu)Fig.4 Architecture of image color optimization network

        其中,λs和μs是通過(guò)反向傳播與其他參數(shù)一起學(xué)習(xí)到的兩個(gè)標(biāo)量,BN是批標(biāo)準(zhǔn)化操作[20]。網(wǎng)絡(luò)通過(guò)最小化輸出圖像和參考圖像的損失函數(shù)進(jìn)行優(yōu)化,損失函數(shù)L(w,b)由L2損失和MSSIM損失構(gòu)成,對(duì)應(yīng)的權(quán)重系數(shù)分別為0.8和0.2(式(4))。

        其中輸入圖像為Ii,Ni為圖像Ii的像素個(gè)數(shù),w和b為網(wǎng)絡(luò)待訓(xùn)練的權(quán)重,?(Ii;w,b)表示網(wǎng)絡(luò)的輸出圖像,參考圖像為?(Ii)。

        3.2 High Quality AVA圖像對(duì)數(shù)據(jù)集構(gòu)建

        數(shù)據(jù)集是算法性能的決定性因素之一,大規(guī)模數(shù)據(jù)集能顯著提升算法的精度并增強(qiáng)其泛化能力。Zhang等人使用普通手機(jī)和數(shù)碼單反相機(jī)拍攝相同內(nèi)容的照片構(gòu)建了DPED[12]數(shù)據(jù)集,包含了6000多張圖像。Bychkovsky等人邀請(qǐng)了5位攝影專業(yè)的學(xué)生對(duì)5000張圖片進(jìn)行了人工修飾,最終得到了MIT-Adobe FiveK[21]數(shù)據(jù)集。這兩種方法構(gòu)建的數(shù)據(jù)集質(zhì)量較高,但所需成本非常高,因此難以構(gòu)建更大規(guī)模的數(shù)據(jù)集,而色彩優(yōu)化算法需要對(duì)輸入顯示系統(tǒng)的所有圖像進(jìn)行優(yōu)化,小規(guī)模數(shù)據(jù)集很難保證網(wǎng)絡(luò)的泛化能力。受圖像質(zhì)量評(píng)價(jià)任務(wù)[22]及相關(guān)數(shù)據(jù)集的啟發(fā),采用對(duì)AVA數(shù)據(jù)集中的高質(zhì)量圖像添加不同程度失真的方法[23]構(gòu)建了更大規(guī)模的色彩優(yōu)化數(shù)據(jù)集High Quality AVA dataset。AVA數(shù) 據(jù) 集 共 包 括超過(guò)25萬(wàn)張圖片,包含了豐富的主題。數(shù)據(jù)集中的每一張圖片平均都會(huì)被約200位攝影師打分,最后得出圖像的平均主觀意見(jiàn)分(Mean Opinion Score,MOS),分?jǐn)?shù)的取值范圍在1~10之間,分?jǐn)?shù)越高,說(shuō)明人們對(duì)于該圖像的評(píng)價(jià)越好。色彩優(yōu)化數(shù)據(jù)集中每組圖像對(duì)由原始圖像和參考圖像構(gòu)成,原始圖像的圖像質(zhì)量應(yīng)當(dāng)?shù)陀趨⒖紙D像。選取AVA中MOS在前20%的圖像作為參考圖像,共49178張圖像。對(duì)參考圖像使用退化算法,生成對(duì)應(yīng)的原始圖像,將該圖像作為原始圖像和參考圖像組合成一組圖像對(duì)以構(gòu)成數(shù)據(jù)集。圖像處理的表達(dá)式如式(5)所示:

        g(x,y)=h(x,y)△f(x,y)+η(x,y),(5)其中,?(x,y)代表高質(zhì)量的參考圖像;h(x,y)代表兩種圖像處理操作的組合,分別是冪律變換S(r)和高斯模糊G(r),符號(hào)“△”代表h(x,y)對(duì)?(x,y)的操作;η(x,y)代表由高斯噪聲構(gòu)成的加性噪聲項(xiàng)。冪律變換的表達(dá)式如式(6)所示:

        其中,c和γ為常數(shù),c取1。將冪律變換后的圖像與日常生活中的低質(zhì)量圖像進(jìn)行對(duì)比,當(dāng)γ分別取0.8和1.3時(shí),變換圖像的亮度特征與低質(zhì)量圖像較為相符,經(jīng)此處理后的數(shù)據(jù)集能夠幫助網(wǎng)絡(luò)更好地學(xué)習(xí)到灰度變換的參數(shù)信息。高斯模糊的表達(dá)式如式(7)所示:

        其中,n是模糊半徑,取值為5,δ是正態(tài)分布的標(biāo)準(zhǔn)偏差,取值為1。圖像在傳輸過(guò)程中通常會(huì)受到壓縮算法的處理,圖像邊緣易被平滑,經(jīng)對(duì)比驗(yàn)證,采用該參數(shù)處理后的圖像邊緣與經(jīng)壓縮算法處理后的圖像邊緣較為相似。高斯噪聲的表達(dá)式如式(8)所示。

        其中,z表 示 灰 度 值;zˉ表 示z的 平 均 值;σ表 示z標(biāo)準(zhǔn) 差,標(biāo) 準(zhǔn)差的平方σ2為σ的方差。此 處zˉ取0,σ2取0.001,以此來(lái)對(duì)圖像添加輕微的噪聲,避免將模型建模為圖像去噪模型。High Quality AVA數(shù)據(jù)集的構(gòu)建過(guò)程如圖5所示。圖5(a)為兩張相同的參考圖像,作為算法的輸入。首先,對(duì)圖5(a)使用兩個(gè)γ值不同的冪律變換算法S(r)得到對(duì)應(yīng)的圖像對(duì)圖5(b);然后,對(duì)其添加高斯模糊G(r)得到圖5(c);最后,對(duì)圖5(c)添加高斯噪聲η(x,y)得到圖5(d),將其標(biāo)記為原始圖像。在構(gòu)建數(shù)據(jù)集的過(guò)程中,默認(rèn)對(duì)參考圖像添加的失真會(huì)降低圖像質(zhì)量,但由于篩選出的圖像數(shù)量規(guī)模較大,無(wú)法保證每一對(duì)圖像均滿足要求,故使用NIMA模型對(duì)每一對(duì)圖像進(jìn)行評(píng)分,如果參考圖像的評(píng)分低于原始圖像,則交換兩張圖像的標(biāo)記;反之,則不做任何操作。評(píng)分和圖像重排完成后,將原始圖像與參考圖像對(duì)應(yīng)組合,以此生成新的數(shù)據(jù)集High Quality AVA dataset(HQAVA),共包含98356對(duì)圖像。

        4 算法性能分析

        4.1 客觀性能分析

        網(wǎng)絡(luò)訓(xùn)練時(shí)的硬件及軟件環(huán)境如表1所示。所使用的訓(xùn)練集和測(cè)試集從HQAVA中按照9∶1的比例隨機(jī)抽取生成。訓(xùn)練基于TensorFlow框架,采用Adam優(yōu)化器,初始學(xué)習(xí)率為0.0001,10個(gè)epoch后學(xué)習(xí)率降低為0.00001,訓(xùn)練至損失函數(shù)平穩(wěn)為止。為驗(yàn)證算法對(duì)圖像的優(yōu)化效果,采用了3個(gè)評(píng)價(jià)指標(biāo),分別是PSNR、SSIM以及NIMAScore。PSNR是基于均方誤差(Mean Squared Error,MSE)的圖像質(zhì)量評(píng)價(jià)指標(biāo),其值越大說(shuō)明圖像的失真程度越低。SSIM是一種基于圖像局部亮度和對(duì)比度進(jìn)行計(jì)算的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn),該指標(biāo)由德州大學(xué)奧斯丁分校的圖像和視頻工程實(shí)驗(yàn)室提出,是一種符合人類視覺(jué)的標(biāo)準(zhǔn),其值越接近1,說(shuō)明圖像質(zhì)量越好。

        表1 系統(tǒng)配置Tab.1 System configuration

        除了與傳統(tǒng)方法進(jìn)行對(duì)比,本文還選取了領(lǐng)域內(nèi)其他基于深度學(xué)習(xí)的方法進(jìn)行了對(duì)比。Ignatov[12]創(chuàng) 建 了DPED數(shù) 據(jù) 集 并 提 出 使 用 雙 階段網(wǎng)絡(luò)對(duì)圖像進(jìn)行優(yōu)化,該方法中所提出的損失函數(shù)被廣泛應(yīng)用。De Stoutz[24]在Ignatov網(wǎng) 絡(luò)架構(gòu)的基礎(chǔ)上進(jìn)行了優(yōu)化,在降低模型參數(shù)量的同時(shí)提升網(wǎng)絡(luò)的性能和處理速度。Zamir[25]提出了一種全新的多尺度殘差塊,以此搭建的網(wǎng)絡(luò)能在圖像去噪、超分、增強(qiáng)3個(gè)領(lǐng)域達(dá)到最佳性能。

        表2展示了上述方法在測(cè)試集上的表現(xiàn),包括傳統(tǒng)方法(2.1節(jié)所述)、DPED、FPIE、MIRNet和本文方法的平均PSNR值、平均SSIM值以及NIMA模型的平均得分,加粗值為同一評(píng)價(jià)指標(biāo)下所有方法的最優(yōu)結(jié)果。結(jié)果表明,原始圖像經(jīng)過(guò)本文算法處理后,圖像的3個(gè)評(píng)價(jià)指標(biāo)均有不同程度的提升,相較于傳統(tǒng)方法,PSNR提高了4.01 dB,SSIM提升了0.04,NIMA Score增加了0.6,表明本文方法對(duì)圖像起到了更好的優(yōu)化作用,且從NIMA Score來(lái)看,其對(duì)圖像的優(yōu)化也更加符合人的主觀感受。相較于其他深度學(xué)習(xí)的相關(guān)方法,本文方法在PSNR和NIMA Score上具有較大優(yōu)勢(shì),同時(shí)SSIM與最優(yōu)的MIRNet極為接近。圖6為本文和上述算法的優(yōu)化結(jié)果對(duì)比。圖6表明,每種方法均能從色彩角度對(duì)原始圖像進(jìn)行優(yōu)化,但也都存在不足之處。傳統(tǒng)方法能夠在一定程度上改善原始圖像邊緣模糊、色彩不夠鮮艷的問(wèn)題,但多種優(yōu)化算法的疊加放大了原始圖像中的噪聲,導(dǎo)致圖像細(xì)節(jié)不夠清晰,同時(shí),由于無(wú)法感知圖像信息并自動(dòng)調(diào)整參數(shù),傳統(tǒng)方法有時(shí)會(huì)反向優(yōu)化圖像的色彩。例如,參考圖像表明天空是烏云密布的,而傳統(tǒng)方法卻將天空中的烏云變成了白云,這與圖像原本的含義產(chǎn)生了沖突,這是沒(méi)有人工調(diào)整參數(shù)所導(dǎo)致的結(jié)果。DPED和FPIE雖能夠根據(jù)圖像特征做出優(yōu)化,但是降噪效果較差,從局部放大的圖像中可以看出,優(yōu)化過(guò)后圖像細(xì)節(jié)不夠清晰,甚至可能在優(yōu)化過(guò)程中引入了新的噪聲。MIRNet的優(yōu)化效果較好,但是整體亮度明顯地高于參考圖像,使得人群衣著的顏色不夠鮮明。本文方法在優(yōu)化圖像的同時(shí)盡可能地避免了噪聲的產(chǎn)生,由此得到的圖像亮度更加適宜,色彩更加鮮艷,具有較好的觀感。測(cè)試表明,提出的網(wǎng)絡(luò)架構(gòu)是一種有效可行的架構(gòu),希望該架構(gòu)及相關(guān)測(cè)試能為未來(lái)圖像引擎色彩優(yōu)化算法的發(fā)展提供理論參考以及新的思路。

        表2 本文方法與其他方法在測(cè)試集上的客觀評(píng)價(jià)指標(biāo)對(duì)比Tab.2 Comparison of objective evaluation indexes in test set between our method and others

        圖6 算法優(yōu)化效果對(duì)比圖Fig.6 Comparison chart of the optimization effect of algorithms

        4.2 主觀性能分析

        圖像色彩優(yōu)化算法的優(yōu)化效果最終還是取決于人的感知,無(wú)論在圖像質(zhì)量評(píng)價(jià)領(lǐng)域或是視頻質(zhì)量評(píng)價(jià)領(lǐng)域,都存在具有統(tǒng)計(jì)學(xué)意義的主觀感知實(shí)驗(yàn)標(biāo)準(zhǔn)。為從主觀感知的角度分析本文方法對(duì)圖像質(zhì)量的優(yōu)化效果,設(shè)計(jì)了相應(yīng)的主觀實(shí)驗(yàn)。被試者通過(guò)視覺(jué)感知實(shí)驗(yàn)對(duì)原始圖像和經(jīng)本文方法優(yōu)化后的圖像進(jìn)行評(píng)價(jià)。實(shí)驗(yàn)從AVA數(shù)據(jù)集中挑選了不同類型的60幅圖像,包含室內(nèi)圖像、室外圖像、自然圖像和計(jì)算機(jī)生成圖像,利用算法對(duì)原始圖像進(jìn)行優(yōu)化,得到了對(duì)應(yīng)的60幅優(yōu)化圖像。在實(shí)驗(yàn)過(guò)程中,圖像成對(duì)隨機(jī)出現(xiàn),每對(duì)圖像前后隨機(jī)顯示,被試者觀察每幅圖像后對(duì)圖像質(zhì)量進(jìn)行評(píng)分。實(shí)驗(yàn)設(shè)置如圖7所示,被試者端坐在顯示屏3倍圖像高處,正對(duì)顯示屏中央位置觀看圖像。

        圖7 視覺(jué)感知實(shí)驗(yàn)設(shè)置Fig.7 Visual perception experiment setting

        評(píng)分標(biāo) 準(zhǔn)采用5分制[26],5分為極佳,1分為最差,具體分值對(duì)應(yīng)主觀圖像質(zhì)量表述如表3所示。為保證實(shí)驗(yàn)數(shù)據(jù)真實(shí)可靠,于正式實(shí)驗(yàn)前安排練習(xí)實(shí)驗(yàn)對(duì)被試者進(jìn)行實(shí)驗(yàn)方法的練習(xí)。共22名被試者[27](包含6名女性)參與實(shí)驗(yàn),年齡在22~37歲之間,平均年齡24.5歲。所有被試者雙眼視力均正?;虺C正至正常水平。

        表3 視覺(jué)感知實(shí)驗(yàn)評(píng)分標(biāo)準(zhǔn)Tab.3 Grading standard of visual perception experiment

        實(shí)驗(yàn)結(jié)果采用SPSS軟件(IBM SPSS Statistics 20.0)進(jìn)行分析。方差分析(ANOVA)(表4)結(jié)果表明,優(yōu)化過(guò)程和圖像內(nèi)容對(duì)圖像質(zhì)量有高度顯著影響(p<0.01),且優(yōu)化過(guò)程與圖像內(nèi)容的交叉作用對(duì)圖像質(zhì)量具有高度顯著影響(p<0.01)。

        表4 各變量因素對(duì)圖像質(zhì)量評(píng)分的ANOVA分析結(jié)果Tab.4 Results of ANOVA analysis for different factors on image quality score

        原始圖像經(jīng)本文方法優(yōu)化后,圖像質(zhì)量顯著提升,如圖8所示。原始圖像的平均主觀評(píng)分為2.53,優(yōu)化圖像的平均主觀評(píng)分為3.47,歸一化后的平均主觀得分上升了61%。實(shí)驗(yàn)結(jié)果表明,本文方法能較好地優(yōu)化圖像,顯著提升了原始圖像的圖像質(zhì)量。

        圖8 原始圖像與優(yōu)化圖像的質(zhì)量評(píng)分平均值Fig.8 Mean scores of original and optimized images for image quality

        5 結(jié)論

        本文提出了一種具有高度自適應(yīng)性的圖像引擎色彩優(yōu)化算法。算法采用了基于空洞卷積的全卷積神經(jīng)網(wǎng)絡(luò)以構(gòu)建優(yōu)化算法,側(cè)重于從人眼主觀感知的角度優(yōu)化圖像色彩,可以替代多種獨(dú)立算法組成的傳統(tǒng)算法。同時(shí),針對(duì)該領(lǐng)域缺少大規(guī)模數(shù)據(jù)集的現(xiàn)狀,借助AVA數(shù)據(jù)集構(gòu)建了大規(guī)模圖像增強(qiáng)數(shù)據(jù)集High Quality AVA,并使用NIMA模型保證其合理性。所提出的色彩優(yōu)化算法能夠在圖像的亮度、對(duì)比度、清晰度方面針對(duì)圖像做出合理優(yōu)化且具有一定的泛化能力。原始圖像在經(jīng)過(guò)本文算法處理后,PSNR、SSIM以及NIMA Score相較于傳統(tǒng)算法均有顯著提升,從主觀上看能較好地優(yōu)化顯示設(shè)備畫(huà)面的色彩。在未來(lái)的研究中將會(huì)更進(jìn)一步優(yōu)化High Quality AVA數(shù)據(jù)集,從數(shù)據(jù)集的角度加強(qiáng)算法自適應(yīng)的優(yōu)化能力,同時(shí)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu),讓其能夠?qū)υ紙D像進(jìn)行更加符合人眼的優(yōu)化。

        猜你喜歡
        引擎卷積色彩
        基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        藍(lán)谷: “涉藍(lán)”新引擎
        商周刊(2017年22期)2017-11-09 05:08:31
        神奇的色彩(上)
        春天的色彩
        色彩當(dāng)?shù)?俘獲夏日
        Coco薇(2015年5期)2016-03-29 23:18:25
        2015春夏鞋履色彩大集結(jié)
        Coco薇(2015年3期)2015-12-24 02:46:58
        無(wú)形的引擎
        河南電力(2015年5期)2015-06-08 06:01:46
        基于Cocos2d引擎的PuzzleGame開(kāi)發(fā)
        久久久久久久98亚洲精品| 性色av一区二区三区密臀av| 手机在线观看亚洲av| 久久免费精品日本久久中文字幕| 亚洲av综合国产av日韩| 国产麻传媒精品国产av| 国产精品无码一区二区在线国| 91久久国产自产拍夜夜嗨| 亚洲高清一区二区三区在线观看| 国产一区二区三区乱码在线| 99久久婷婷国产亚洲终合精品 | 国产成人77亚洲精品www| 高清亚洲成av人片乱码色午夜| av中文字幕性女高清在线| 99国产精品久久一区二区三区| 欧美怡春院一区二区三区| 人妻少妇中文字幕乱码| 久久精品人人爽人人爽| 亚洲成人电影在线观看精品国产 | 一本色道久久88综合亚洲精品 | 最美女人体内射精一区二区| 无遮挡又黄又刺激又爽的视频| 丝袜美腿网站一区二区| 亚洲一区二区三区精品久久av| 99久久婷婷国产亚洲终合精品| 亚洲国产成人片在线观看无码| 色老头久久综合网老妇女| 麻豆国产成人av高清在线| 国产女主播一区二区三区| 日韩日韩日韩日韩日韩| 亚洲欧美激情在线一区| 日韩精品网| 国产精品一二三区亚洲| 国产在线无码精品无码| 一本一道av无码中文字幕﹣百度| 91网站在线看| 中文字幕专区一区二区| 亚洲av午夜福利精品一区| 免费看泡妞视频app| 香蕉网站在线| 麻豆av毛片在线观看|