亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于深度學(xué)習(xí)的水下圖像增強(qiáng)技術(shù)綜述

        2023-04-24 07:53:52李樟榕
        電視技術(shù) 2023年10期
        關(guān)鍵詞:圖像增強(qiáng)高質(zhì)量深度

        李樟榕

        (福州大學(xué) 先進(jìn)制造學(xué)院,福建 泉州 362200)

        0 引言

        地球上海洋總面積約3.6 億km2,約占地球表面積的71%,平均水深約3 795 m。海洋是巨大的資源寶庫,是未來社會物質(zhì)生產(chǎn)的重要原料基地。現(xiàn)階段,世界各國都在競相發(fā)展海洋高新技術(shù),開采海洋礦產(chǎn)資源,因此水下圖像在探索和保護(hù)水下世界中起著至關(guān)重要的作用。隨著視覺技術(shù)和網(wǎng)絡(luò)設(shè)備的蓬勃發(fā)展,關(guān)于水下圖像的視覺質(zhì)量相關(guān)話題備受關(guān)注。然而,由于惡劣、復(fù)雜的水下環(huán)境,水下原始圖像的質(zhì)量通常難以進(jìn)一步提高。水下圖像的主要特點(diǎn)是能見度差和顏色退化。例如,與藍(lán)光和綠光相比,紅色和橙色光的波長被水吸收的速度要快得多,因此水下的圖像通常以藍(lán)綠色的色調(diào)出現(xiàn)。這些不利影響限制了水下圖像在海洋生物學(xué)、考古學(xué)和生態(tài)探索中的許多實際應(yīng)用。因此,提高水下圖像的可見性,要通過高級視覺算法進(jìn)行處理。傳統(tǒng)的水下圖像增強(qiáng)方法主要基于物理模型[1]和非物理模型[2]?;谖锢砟P偷脑鰪?qiáng)方法要依靠模型的先驗方法。然而,先驗知識在不同的水下場景中通常具有較弱的健壯性,導(dǎo)致嚴(yán)重的估計偏差。此外,水下深度和光傳播系數(shù)的基本參數(shù)也難以獲得。非物理模型沒有考慮水下圖像的物理退化機(jī)制?;谏疃葘W(xué)習(xí)(Deep Learning,DL)的水下圖像增強(qiáng)技術(shù)可以有效地提高圖像的亮度、對比度、飽和度以及顏色平衡等方面的效果,并且相對于傳統(tǒng)算法效果更加顯著。

        1 基于深度學(xué)習(xí)的水下圖像增強(qiáng)方法

        1.1 基于卷積神經(jīng)網(wǎng)絡(luò)的水下圖像增強(qiáng)

        深度學(xué)習(xí),特別是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN),已經(jīng)在水下圖像增強(qiáng)中取得了顯著的成功。它們自動學(xué)習(xí)水下環(huán)境特征,提高圖像質(zhì)量,適用于各種水下任務(wù)。各種基于深度學(xué)習(xí)的水下增強(qiáng)網(wǎng)絡(luò)被提出。文獻(xiàn)[3]引入以CNN為模型的端到端框架UIE-Net,涉及去除霧霾和潤色任務(wù),用于改善水下視覺。文獻(xiàn)[4]提出了一種基于深度殘差框架的水下圖像增強(qiáng)解決方案,并提出了批歸一化的影響。文獻(xiàn)[5]提出了一種用于水下視覺恢復(fù)任務(wù)的三階段的CNN 結(jié)構(gòu),其靈感來自通道間的相關(guān)性和扭曲的彩色視覺效果的獨(dú)特特性。在文獻(xiàn)[6]中,SONG S 等人提出了一種新的水下生物識別方法,將MSRCR 圖像增強(qiáng)算法與Mask R-CNN 相結(jié)合。WANG K 等人在文獻(xiàn)[7]中提出了一種獨(dú)特的聯(lián)合網(wǎng)絡(luò)方法,通過多次迭代改進(jìn)顏色校正和脫霧。文獻(xiàn)[8]提出了基于兩級水下圖像卷積神經(jīng)網(wǎng)絡(luò)(UWCNN-SD)的水下成像模型和結(jié)構(gòu)分解的特性。文獻(xiàn)[9]解釋了一種使用深度學(xué)習(xí)技術(shù)的水下圖像增強(qiáng)模型,結(jié)果表明所提算法可以學(xué)習(xí)優(yōu)化水下圖像的視覺效果。文獻(xiàn)[10]建立了一個用于水下場景重建的端到端深度網(wǎng)絡(luò),包括通道級顏色特征提取和密集殘差特征提取兩個部分。LI C等人在文獻(xiàn)[11]提出了基于介質(zhì)傳輸引導(dǎo)的多顏色空間嵌入的水下圖像增強(qiáng)網(wǎng)絡(luò)Ucolor,結(jié)合注意機(jī)制來增強(qiáng)水下圖像。該網(wǎng)絡(luò)在場景適應(yīng)性、恢復(fù)精度和實時處理方面受到限制。CHEN 等人在這些方面做出改進(jìn),在文獻(xiàn)[12]提出了融合網(wǎng)絡(luò)(MFFN)的水下感知場景圖像增強(qiáng)方法,設(shè)計了合并特征提取模塊、特征融合模塊和注意力重構(gòu)模塊的度量。

        1.2 基于生成對抗網(wǎng)絡(luò)的水下圖像增強(qiáng)

        由于生成對抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)在圖像生成方面的巨大成功,基于GAN 的水下圖像增強(qiáng)方法得到了廣泛的研究。LI J等人設(shè)計的WaterGAN[13]是最早基于GAN 的水下圖像增強(qiáng)的嘗試,利用生成對抗網(wǎng)絡(luò)從空氣中的圖和深度圖生成人工合成的水下圖像數(shù)據(jù)集,并使用生成式數(shù)據(jù)集進(jìn)行訓(xùn)練,再使用校正網(wǎng)絡(luò)對未標(biāo)定的真實水下圖像進(jìn)行恢復(fù)。為了避免對成對訓(xùn)練數(shù)據(jù)的要求,LI C 在文獻(xiàn)[14]中提出了一種弱監(jiān)督的水下色彩校正網(wǎng)絡(luò)(UCycleGAN),然而未考慮到水下圖像深層網(wǎng)絡(luò)的健壯性問題。GUO Y 等人[15]使用多尺度密集生成對抗網(wǎng)絡(luò)(MDGAN),利用密集連接以及殘差學(xué)習(xí)的方法來提高水下圖像增強(qiáng)的健壯性。為了解決脫霧、對比度調(diào)整和自動顏色增強(qiáng)的挑戰(zhàn),ISLAM M J 等人[16]設(shè)計了快速的水下圖像增強(qiáng)模型,這個基于GAN 的模型被命名為FUnIE-GAN。他們將問題表述為圖像到圖像的轉(zhuǎn)換,假設(shè)在輸入和輸出之間,即失真和增強(qiáng)圖像之間,存在一個非線性映射。LIU R 等人[17]提出了雙對抗性對比學(xué)習(xí)的水下增強(qiáng)方法,在增強(qiáng)網(wǎng)絡(luò)中嵌入了一個任務(wù)感知反饋模塊,利用檢測器的相干梯度信息使得水下圖像增強(qiáng)的結(jié)果有利于檢測。

        2 水下圖像質(zhì)量評價指標(biāo)

        圖像質(zhì)量評價指標(biāo)是衡量圖像質(zhì)量高低的重要指標(biāo)。目前,基于深度學(xué)習(xí)的水下圖像質(zhì)量評價指標(biāo)主要分為主觀定性評價和客觀定量評價兩類。主觀定性評價是指評價者通過視覺感知對水下圖像的清晰度、色彩飽和度、亮度及對比度等做出視覺評價。評價結(jié)果的好壞取決于評價者的視覺感官,無法用數(shù)學(xué)模型進(jìn)行描述??陀^定量評價是指利用具體的計算公式計算出水下圖像在某個指標(biāo)上的值,從而實現(xiàn)對水下圖像的質(zhì)量評價。根據(jù)有無參考圖像,可以將水下圖像客觀定量評價分為全參考圖像質(zhì)量評價和無參考圖像質(zhì)量評價。下面將詳細(xì)介紹這兩類評價指標(biāo)。

        2.1 全參考圖像質(zhì)量評價指標(biāo)

        對于有高質(zhì)量參考圖像的配對數(shù)據(jù)集,常使用峰值信噪比(Peak Signal to Noise Ratio,PSNR)和結(jié)構(gòu)相似性(Structural Similarity,SSIM)作為全參考圖像質(zhì)量評價指標(biāo)。

        壓縮后的圖像都會在某種程度上與原始圖像不同。通常使用PSNR 值來衡量經(jīng)過處理后的圖像質(zhì)量是否能讓人滿意。PSNR 數(shù)值越大表示圖像的失真程度越小。對于大小為m×n的圖像,其PSNR的計算公式為

        式中:x表示網(wǎng)絡(luò)增強(qiáng)后的圖像,y表示高質(zhì)量的參考圖像,EMS是兩者的均方誤差。

        PSNR是最普遍的評價圖像質(zhì)量高低的方法。不過,人眼的視覺感知會受到許多因素的影響,因此PSNR 的數(shù)值和人眼看到的視覺質(zhì)量不能保持完全一致。

        通過亮度(luminance)、對比度(contrast)、結(jié)構(gòu)(structure)3 方面進(jìn)行評估的結(jié)構(gòu)相似性SSIM可以用來衡量兩幅圖像的相似性。SSIM 的取值范圍為0 ~1,其值越大,代表兩幅圖像之間的相似度越高。SSIM計算公式為

        式中:x表示網(wǎng)絡(luò)增強(qiáng)后的圖像,y表示高質(zhì)量參考圖像,μx、μy分別為圖像x與圖像y的均值,σx2、σy2分別為圖像x與圖像y的方差,ci(i=1,2,3)則為避免除數(shù)為0 而引入的常數(shù),其中c1=(0.01×255)2,c2=(0.03×255)2,c3=c2/2。為了簡化形式,實際計算中,一般令α=β=γ=1,最后簡化得

        2.2 無參考圖像質(zhì)量評價指標(biāo)

        對于沒有高質(zhì)量參考圖像的水下圖像,可通過采用水下圖像顏色質(zhì)量評估(Underwater Color Image Quality Evaluation,UCIQE)、水下圖像質(zhì)量 測 量(Underwater Image Quality Measurement,UIQM)和自然圖像質(zhì)量評估(Natural Image Quality Evaluation,NIQE)這3 種常見的無參考圖像質(zhì)量評價指標(biāo)進(jìn)行評價。

        UCIQE 是由色度、飽和度和對比度組成的評價指標(biāo)。其中,色度、飽和度和對比度分別用于量化偏色、模糊和低對比度。UCIQE 的值越高,表示圖像質(zhì)量越好。UCIQE的計算公式為

        式中:σc表示色度標(biāo)準(zhǔn)差,cl表示亮度對比度,μs表示飽和度的均值,c1、c2、c3均為加權(quán)系數(shù)。色度的方差與人類對感興趣的水下彩色圖像的感知具有良好的相關(guān)性,因此在UCIQE 中使用色度來量化色偏。對比度用于測量在統(tǒng)一背景下看到的單個目標(biāo)的局部對比度。飽和度的均值μs表示色彩純度,值越高表示色相越純。

        UIQM 是由水下圖像色彩度測量(Underwater Image Colourfulness Measure,UICM)、水下圖像清晰度度量(Underwater Image Sharpness Measure,UISM)和水下圖像對比度度量(Underwater Image Contrast Measure,UIConM)組成的評價指標(biāo)。顏色均衡、偏差小的水下圖像,UICM 的值高;邊緣信息豐富的圖像,UISM 的值高;塊內(nèi)對比度高的水下圖像,UIConM 的值高。UIQM 的值越高,圖像質(zhì)量越好。UIQM 的計算公式為

        式中:c1、c2、c3分別為這3 項指標(biāo)的權(quán)重系數(shù)。

        自然圖像質(zhì)量評估是基于一組“質(zhì)量感知”特征,并將其擬合到MVG 模型中,通過計算被測量圖像與數(shù)據(jù)庫中高質(zhì)量圖像之間的MVG 模型差距來評估圖像質(zhì)量。NIQE 主要包含選取重要區(qū)域圖像塊、空間域特征提取(NSS)、特征化圖像塊、NIQE指標(biāo)設(shè)計以及MVG 模型構(gòu)建5 個部分。NIQE 的計算公式為

        式中:v1、v2、C1、C2表示高質(zhì)量圖像的MVG 模型與待測圖像的MVG 模型的均值向量和協(xié)方差矩陣。這樣就可以得出高質(zhì)量圖像分布與待測圖像分別之間的距離。因此,NIQE 值越小,差值越小,待測圖像就越接近于高質(zhì)量圖像。

        3 水下圖像數(shù)據(jù)集

        由于水下環(huán)境的特殊性以及設(shè)備技術(shù)有限,很難獲得水下圖像數(shù)據(jù)集。在過去10 年中,很多水下圖像研究者利用各種方法去獲得水下圖像數(shù)據(jù)集。目前,基于深度學(xué)習(xí)的水下圖像增強(qiáng)相關(guān)文章中用到最多的數(shù)據(jù)集就是水下圖像增強(qiáng)基準(zhǔn)數(shù)據(jù)集(Underwater Image Enhancement Benchmark,UIEB)和增強(qiáng)水下視覺感知數(shù)據(jù)集(Enhancement of Underwater Visual Perception,EUVP)。下面介紹這兩種數(shù)據(jù)集,幫助讀者快速了解每個數(shù)據(jù)集的特征。

        3.1 UIEB 數(shù)據(jù)集

        UIEB 數(shù)據(jù)集的建立由數(shù)據(jù)收集和參考圖像生成兩個過程構(gòu)成。在數(shù)據(jù)集收集階段,為了收集涵蓋多種水下場景、不同質(zhì)量退化特征以及具有豐富圖像內(nèi)容的數(shù)據(jù)集,LI 等人從Google、Youtube、相關(guān)論文[18-21]及LI 等人拍攝得到的水下圖像中進(jìn)行收集。經(jīng)過數(shù)據(jù)細(xì)化,大部分收集到的圖像被淘汰,剩下大約950 張候選圖像。對于收集的水下圖像集,采用12 種圖像增強(qiáng)方法生成參考圖像。利用原始水下圖像和增強(qiáng)結(jié)果,邀請50 名志愿者對每張原始的水下圖像的12 個增強(qiáng)圖像進(jìn)行兩兩比較。兩兩比較獲勝的圖像將在下一輪再次比較,經(jīng)過11次后選出最好的增強(qiáng)圖像結(jié)果。最后,志愿者對最終得到的最好的增強(qiáng)圖像進(jìn)行檢查,并將其標(biāo)記為滿意或不滿意。如果超過一半的志愿者將該增強(qiáng)圖像標(biāo)記為滿意,則將其作為原始水下圖像的參考圖像;如果超過一半的志愿者將該增強(qiáng)圖像標(biāo)記為不滿意,則將其原始水下圖像作為具有挑戰(zhàn)性的圖像,并丟棄該增強(qiáng)圖像。最終獲得了890 張成對的原始圖像及其參考圖像,以及具有挑戰(zhàn)性的60 張原始水下圖像。此數(shù)據(jù)集可參考文獻(xiàn)[22]。

        3.2 EUVP 數(shù)據(jù)集

        EUVP 數(shù)據(jù)集包含大量成對和未成對的水下圖像。這些圖像具有較差和良好的感知質(zhì)量。這些圖像是在海洋探索和實驗期間使用7 臺不同的相機(jī)在不同的能見度條件下拍攝的。數(shù)據(jù)集中包含一些從公開的YouTube 視頻中提取到的圖像。這些圖像體現(xiàn)了不同的場景、照明條件及水體類型等。在此基礎(chǔ)上,研究者利用人類視覺觀察方法建立水下圖像的感知偏好模型,以區(qū)分圖像的質(zhì)量,從而準(zhǔn)備未配對的數(shù)據(jù)。參與者檢查了幾個圖像屬性(如顏色、清晰度和對比度)并考慮了場景的前景和對象是否可識別。因此,不成對的訓(xùn)練支持對水下圖像質(zhì)量的人類感知偏好建模。另外,基于CycleGAN[23]模型,通過學(xué)習(xí)將高質(zhì)量圖像轉(zhuǎn)換為失真圖像,從而訓(xùn)練配對數(shù)據(jù)。成對的數(shù)據(jù)集由underwater_dark、underwater_imagenet 和underwater_scenes 共3 個子集組成。underwater_dark 由5 550 對灰度失真圖像和彩色高質(zhì)量參考圖像組成。underwater_imagenet和underwater_scenes 分別由3 700 對和2 185 對彩色失真圖像和彩色高質(zhì)量參考圖像構(gòu)成。

        4 結(jié)語

        由于水下介質(zhì)和懸浮粒子對光線的吸收和散射等,水下圖像通常存在顏色失真、對比度低及細(xì)節(jié)丟失等問題,嚴(yán)重影響了水下高級作業(yè)的開展。因此,研究人員需要水下圖像增強(qiáng)的相關(guān)技術(shù)來提高水下圖像質(zhì)量。在深度學(xué)習(xí)快速發(fā)展的今天,這已經(jīng)成為研究的熱點(diǎn)之一。本文首先介紹了水下圖像增強(qiáng)的特點(diǎn),其次討論了基于深度學(xué)習(xí)的水下圖像增強(qiáng)的各種方法和水下圖像質(zhì)量評價兩方面的研究進(jìn)展,最后提供了現(xiàn)在比較常用的水下圖像數(shù)據(jù)集,希望對讀者有所幫助。

        猜你喜歡
        圖像增強(qiáng)高質(zhì)量深度
        堅持以高質(zhì)量發(fā)展統(tǒng)攬全局
        圖像增強(qiáng)技術(shù)在超跨聲葉柵紋影試驗中的應(yīng)用
        高質(zhì)量項目 高質(zhì)量發(fā)展
        水下視覺SLAM圖像增強(qiáng)研究
        深度理解一元一次方程
        牢牢把握高質(zhì)量發(fā)展這個根本要求
        虛擬內(nèi)窺鏡圖像增強(qiáng)膝關(guān)節(jié)鏡手術(shù)導(dǎo)航系統(tǒng)
        “三部曲”促數(shù)學(xué)復(fù)習(xí)課高質(zhì)量互動
        深度觀察
        深度觀察
        水蜜桃一二二视频在线观看免费 | 亚洲三级中文字幕乱码| 无码AⅤ最新av无码专区| 日韩精品不卡一区二区三区 | 久久AV中文综合一区二区| 亚洲第一区二区快射影院| 中文字幕乱码亚洲美女精品一区| 国产av午夜精品一区二区入口| 国产精品自拍午夜伦理福利| 亚洲男人天堂一区二区| 欧美激情在线播放| 国产精品亚洲欧美大片在线看| 好吊色欧美一区二区三区四区| 99精品电影一区二区免费看| 亚洲午夜精品久久久久久抢 | 国产久热精品无码激情| 日韩中文字幕中文有码| 亚洲无AV码一区二区三区| 亚洲人成伊人成综合网中文| 一区二区三区激情免费视频| 亚洲av无码乱码在线观看富二代| 挺进朋友人妻雪白的身体韩国电影| 国产一区曰韩二区欧美三区| 两个人免费视频大全毛片| 少妇精品揄拍高潮少妇桃花岛| 国产精品蝌蚪九色av综合网| 中国老熟妇506070| 国产精品igao视频| 国产久热精品无码激情 | 少妇一区二区三区乱码 | 精品国产成人亚洲午夜福利| 亚洲色偷偷综合亚洲AVYP| 久久国产精品一区二区| 国内精品国产三级国产avx| 日本刺激视频一区二区| 日韩av无码一区二区三区| 欧美黑人群一交| 久久久久国色av∨免费看| 久久婷婷国产五月综合色| 亚洲国产高清精品在线| 国产边摸边吃奶叫床视频|