亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        夜間拍照圖像質量增強算法的研究與實現(xiàn)

        2017-04-24 10:25:00楊榮堅
        計算機應用與軟件 2017年4期
        關鍵詞:均衡化閃光燈像素點

        曾 皓 楊榮堅 陳 鵬

        1(中國民用航空西北地區(qū)空中交通管理局通信網(wǎng)絡中心 陜西 西安 710086)2(西安電子科技大學通信工程學院 陜西 西安 710071)

        夜間拍照圖像質量增強算法的研究與實現(xiàn)

        曾 皓1楊榮堅2陳 鵬2

        1(中國民用航空西北地區(qū)空中交通管理局通信網(wǎng)絡中心 陜西 西安 710086)2(西安電子科技大學通信工程學院 陜西 西安 710071)

        由于移動智能設備在夜間拍攝圖像時,傳統(tǒng)的閃光燈和無閃光燈條件下拍攝圖像的融合算法在圖像配準步驟中存在不準確以及在圖像融合步驟中存在效果不佳的缺點。針對上述問題,提出一種夜間拍照圖像質量增強算法。該算法首先提出基于ASIFT夜間圖像配準算法來對閃光燈和無閃光燈條件下拍攝圖像進行配準,避免傳統(tǒng)配準方法的過擬合問題,然后用基于細節(jié)重構的圖像融合算法對配準后圖像進行融合,大大增強圖像的細節(jié)信息。實驗結果表明,基于ASIFT的夜間圖像配準算法,可以提高夜間圖像配準精確度,有效地避免出現(xiàn)重影等問題,而基于細節(jié)重構的圖像融合算法有效地解決了色偏問題和細節(jié)提取問題。經(jīng)過該算法處理后的圖像既保留原來的光照氛圍,又增強圖像的細節(jié)信息,大大提高了圖像的主客觀質量。

        圖像配準 圖像增強 ASIFT 特征點均衡

        0 引 言

        隨著人們的生活水平的日益提高,相機以及智能手機越來越普及。拍照作為智能手機最重要的功能之一,不僅可以拍下平時生活中遇到的美麗風景,而且也可以幫助人們記錄生活點滴,因此越來越受到追捧,人們對拍攝圖像質量的要求也越來越高。然而在夜間拍攝的圖像,由于光照強度低,傳感器無法獲取足夠的信息,導致拍攝的圖像噪聲大且整體亮度很低,給人不好的視覺觀感。Georg Petschnigg等[1]提出閃光燈和無閃光燈條件下拍攝圖像的融合算法。該算法將閃光燈和無閃光燈條件下拍攝的圖像進行融合,提取閃光燈條件下拍攝的圖像的細節(jié)信息,將其融合到濾波后的無閃光燈條件下拍攝的圖像中,這樣既保留了無閃光燈條件下拍攝圖像的光照氛圍,又保留了閃光燈條件下拍攝圖像的細節(jié)信息,從而大大提高了所拍攝圖像的視覺觀感。

        閃光燈和無閃光燈條件下拍攝圖像在進行融合處理之前,需要對這兩幀圖像進行配準,才能進行后續(xù)的融合處理?;邳c特征的進行配準算法的ASIFT(Affine-SIFT)算法是從SIFT算法演化過來的。ASIFT算法對縮放、旋轉和光照不敏感,對拍攝角度也不敏感,具有完全仿射不變性。然而傳統(tǒng)的基于ASIFT[2]配準算法在夜間多光照應用場景下存在一定的局限性,存在特征點匹配對過于集中的問題,求解投影變換矩陣時避免出現(xiàn)過擬合的問題。此外,Georg Petschnigg等提出閃光燈和無閃光燈條件下拍攝圖像的融合算法也存在不足。一是由于該算法是針對R、G、B通道分別進行濾波和細節(jié)增強處理,導致處理后的結果出現(xiàn)色偏問題。二是由于真實場景的復雜性,一味地將閃光燈條件下拍攝圖像的細節(jié)信息融合到無閃光燈條件下拍攝的圖像中,可能會使融合后的圖像效果不如融合之前。

        因此,本文設計實現(xiàn)了一套完整的夜間拍照圖像質量增強算法,主要包括兩部分:首先提出一種基于ASIFT的夜間拍照圖像配準算法,該算法克服了傳統(tǒng)基于ASIFT配準算法在夜間多光照應用場景下檢測到的特征點過少無法求解投影變換矩陣[3]的問題,以及特征點過于集中導致的所求解的投影變換矩陣出現(xiàn)過擬合的問題;接下來,在分析閃光燈和無閃光燈條件下拍攝圖像融合算法的局限性基礎上,提出一種基于細節(jié)重構的圖像融合算法,包括顏色空間轉換、對待融合圖像濾波去噪、紋理信息重構和圖像融合四個部分。實驗結果表明,該算法既保留原來的光照氛圍,又增強圖像的細節(jié)信息,大大改善了圖像的質量,給人以更加真實和愉悅的觀感。

        1 傳統(tǒng)的圖像配準和圖像融合算法

        1.1 ASIFT圖像配準算法

        傳統(tǒng)的圖像配準采用的是基于ASIFT(Affine-SIFT)特征的圖像配準算法。ASIFT算法是一種點特征提取算法,具有對縮放、旋轉和光照不敏感,而且對拍攝角度也不敏感,具有完全仿射不變性。ASIFT算法包含以下步驟:① 構建尺度空間;② 檢測DOG尺度空間的極值點;③ 精確化特征點位置;④ 特征點方向分配;⑤ 特征點描述子的生成;⑥ 匹配特征點;⑦ 利用隨機抽樣一致(Ransac)算法[4]剔除圖像配準過程中形成的誤匹配對。

        然而當傳統(tǒng)的基于ASIFT特征的圖像配準算法應用于夜間場景時,如果待配準圖像分別是在連續(xù)拍攝的閃光燈和無閃光燈條件下拍攝的圖像,通過大量的實驗表明,往往存在以下兩個問題:① 在環(huán)境光照強度較弱的條件下,往往無閃光燈條件下拍攝的圖像過暗,將導致檢測到的特征點過少,以至于沒有足夠的特征點匹配對用來求解投影變換矩陣,使得兩幅圖像不能配準。② 當在閃光燈條件下拍攝的圖像出現(xiàn)前景過亮而背景過暗的情形時,將導致檢測到的特征點過于集中在某一個較小的范圍,使得求解投影變換矩陣時出現(xiàn)過擬合的問題,從而降低配準精度。

        1.2 閃光燈和無閃光燈條件下拍攝圖像融合算法

        Georg Petschnigg等提出閃光燈和無閃光燈條件下拍攝圖像融合算法,該算法將閃光燈和無閃光燈條件下拍攝的圖像進行融合,提取閃光燈條件下拍攝的圖像的細節(jié)信息,將其融合到濾波后的無閃光燈條件下拍攝的圖像中,這樣既保留了無閃光燈條件下拍攝圖像的光照氛圍,又保留了閃光燈條件下拍攝圖像的細節(jié)信息,從而大大提高了所拍攝圖像的視覺觀感。該算法的關鍵在于以下三點:第一,對待融合的圖像進行濾波去噪,這就涉及到濾波器的選擇問題,必須是邊緣保護的濾波器,要求其在濾除噪聲的同時,保護邊緣紋理;第二,閃光燈條件下拍攝的圖像的細節(jié)提取;第三,上述的這些處理分別在R、G、B三個通道進行。

        然而,根據(jù)大量的實驗表明,該算法仍然存在以下的不足:第一,由于該算法是針對R、G、B通道分別進行濾波和細節(jié)增強處理,導致處理后的結果出現(xiàn)色偏問題。主要原因是對于彩色圖像而言,RGB顏色空間的三個通道是緊密相聯(lián)的[5],如果分別對這三個通道進行處理,可能會造成圖像的色調(diào)改變,從而發(fā)生色偏的問題。第二,由于真實場景的復雜性,比如這樣一個場景:一個人站在一棟高樓前,此時,閃光燈條件下拍攝的圖像可能會出現(xiàn)人非常清晰而背景一片漆黑的問題。這時無閃光燈條件下拍攝的圖像的部分細節(jié)可能會好于閃光燈條件下拍攝的圖像,如果一味的將閃光燈條件下拍攝圖像的細節(jié)信息融合到無閃光燈條件下拍攝的圖像中,可能會出現(xiàn)融合后的圖像效果不如融合之前。

        2 夜間拍照圖像質量增強算法

        本文提出的夜間拍照圖像質量增強算法的整體流程如圖1所示。輸入原始的閃光燈和無閃光燈條件下拍攝的圖像,經(jīng)過圖像配準模塊進行配準,得到配準后的閃光燈和無閃光燈條件下拍攝的圖像。再經(jīng)過圖像融合模塊,最終輸出圖像質量增強的結果。

        圖1 整體流程圖

        整體流程圖中的圖像配準模塊采用基于ASIFT的夜間圖像配準算法,它針對傳統(tǒng)的ASIFT算法的缺點進行了改進。圖像融合模塊采用基于細節(jié)重構的圖像融合算法,它是對Georg Petschnigg等提出閃光燈和無閃光燈條件下拍攝圖像融合算法的改進。下面詳細介紹基于ASIFT的夜間圖像配準算法和基于細節(jié)重構的圖像融合算法。

        2.1 基于ASIFT的夜間圖像配準算法

        鑒于ASIFT圖像配準算法在夜間應用場景下所表現(xiàn)出的不足,本文提出了一種基于ASIFT的夜間圖像配準算法,算法流程如圖2所示。

        圖2 基于ASIFT的夜間圖像配準算法的流程圖

        圖2所示流程圖中,主要對傳統(tǒng)的ASIFT配準算法加入直方圖均衡化、判斷是否出現(xiàn)過擬合的問題、自適應特征點匹配對均衡化三個模塊。其中,① 直方圖均衡化模塊可以很好地解決在環(huán)境光照強度較弱的條件下檢測到特征點過少的問題;② 判斷是否出現(xiàn)過擬合的問題模塊可以根據(jù)特征點匹配對的列坐標和行坐標的標準差信息,判斷特征點匹配對是否過于集中,如果過于集中則進行自適應特征點匹配對均衡化處理,否則,無需處理直接求解投影變換矩陣,這樣可以減少配準流程所需的時間;③ 自適應特征點匹配對均衡化模塊根據(jù)已檢測出的特征點匹配對的位置信息,對特征點匹配對均衡化處理,很好地解決了特征點匹配對過于集中的問題,使得本算法能在求解投影變換矩陣時避免出現(xiàn)過擬合的問題,提高配準精度。下面詳細介紹這三個模塊。

        2.1.1 直方圖均衡化模塊

        直方圖均衡化[6]是指對待處理的灰度圖像中每個像素點的灰度值利用灰度變換函數(shù)進行處理,從而使得變換后的圖像每個灰度級上的像素點個數(shù)相同。

        假設輸入的灰度圖像為A(x,y),其直方圖為HA(r),灰度變化函數(shù)為s=f(r),該函數(shù)具有單調(diào)非減的連續(xù)可微的特性,輸入圖像的灰度值經(jīng)過該函數(shù)的轉換得到輸出的灰度圖像B(x,y),其直方圖為HB(r),直方圖的原理圖如圖3所示。

        圖3 直方圖的原理圖

        輸入和輸出灰度圖像的直方圖關系可以由如下過程導出,由圖3可得式(1):

        HB(s)ds=HA(r)dr

        (1)

        可得:

        (2)

        由于要直方圖均衡化,所以輸出灰度圖像的直方圖HB(s)為一常數(shù),可得:

        (3)

        由以上的理論基礎,對于輸入的待配準的圖像,按式(4)對每個像素點的值進行映射,可得直方圖均衡預處理之后的待配準圖像:

        f(r)=RmP(r)

        (4)

        具體代碼是:圖2的圖像灰度化步驟后,將灰度圖IplImageimgFlash、imgNoflash(IplImage是OpenCV中的一種圖像存儲結構)送到直方圖均衡化函數(shù)histEqu()中,histEqu()是按照式(4)原理編寫的函數(shù),它將返回直方圖均衡化之后的灰度圖。

        2.1.2 判斷是否出現(xiàn)過擬合的問題模塊

        如圖4(a)所示的是兩幅待配準圖像利用ASIFT算法檢測到的特征點匹配對的分布圖,從該圖中可以看出特征點匹配對都是正確匹配的,基本沒有誤匹配的特征點。圖4(b)為對配準后的兩張圖像利用融合算法進行融合的得到的結果圖。從圖4(c)和(d)所示的局部放大圖可以看出,由于這兩個區(qū)域都是特征點匹配對集中的區(qū)域,所以最后的融合結果中并沒有出現(xiàn)重影的問題。而圖4(e)所示的區(qū)域由于沒有特征點匹配對的分布,從圖中可以看出最后的融合結果出現(xiàn)了較為嚴重的重影問題。因此,如果待配準圖像的特征點匹配對集中在某一個較小的區(qū)域內(nèi),就有可能導致在該區(qū)域內(nèi)配準精度特別高,而遠離該區(qū)域的其他區(qū)域,由于沒有特征點匹配對而導致配準精度降低。這就是過擬合的現(xiàn)象。

        圖4 過擬合問題的驗證

        鑒于上述問題,我們根據(jù)特征點匹配對的位置信息,給出過擬合判斷算法。具體算法如下:

        第一步 根據(jù)式(5),計算特征點匹配對中閃光燈條件下拍攝圖像的特征點在列方向和行方向的位置的平均值:

        (5)

        第二步 根據(jù)式(6)計算特征點匹配對中閃光燈條件下拍攝圖像的特征點在列方向和行方向上的二階距:

        (6)

        其中,mx和my分別表示特征點匹配對中閃光燈條件下拍攝圖像的特征點在列方向和行方向上的二階距,其它參數(shù)和上文一致。

        第三步 根據(jù)式(7)計算特征點匹配對中閃光燈條件下拍攝圖像的特征點在列方向和行方向上的標準差:

        (7)

        第四步 判斷行和列坐標的標準差是否滿足下述判斷條件:

        Dx

        (8)

        其中,T1和T2分別表示判斷是否過于集中的閾值,T1、T2的值由圖像的大小決定。

        如果待配準的兩張圖像最后檢測出的特征點匹配對中閃光燈條件下拍攝圖像的特征點的分布滿足式(8),則認為特征點匹配對過于集中,需要均衡化處理。否則,認為分布較為均勻,無需均衡化處理。

        具體代碼是:圖2流程圖中的利用RANSAC算法剔除誤特征點匹配對步驟后,得到matchingslistinLier(matchingslist是OpenCV中的一種匹配對結構體),將inLier送到判斷是否出現(xiàn)過擬合的問題函數(shù)isOverFitting()中,isOverFitting()是按照上述原理編寫的函數(shù),它從inLier中獲得每對特征點匹配對的位置信息,并按照如上公式進行計算,最后返回True或False。

        2.1.3 自適應特征點匹配對均衡化模塊

        針對投影變換矩陣出現(xiàn)過擬合的問題,本文提出了一種自適應特征點匹配對均衡算法,該算法充分利用已檢測出的特征點匹配對的位置信息,對特征點匹配對進行均衡化處理,從而有效地避免了過擬合的問題。

        首先,按照式(9),將閃光燈條件下拍攝的圖像分成M×M個相同大小的子塊:

        (9)

        其中,HW表示子塊的寬度,?」表示向下取整操作,W表示圖像的寬度,M表示閃光燈下拍攝的圖像每一行的子塊個數(shù)(在本文中M取2),HH表示子塊的高度,H表示圖像的高度。

        然后,往閃光燈條件下拍攝圖像的每一個子塊中均勻地添加N×N個特征點,按照式(10)和式(11)計算閃光燈下拍攝的圖像擬添加的特征點的列坐標和行坐標:

        (10)

        (11)

        最后,按照式(12)和式(13),計算無閃光燈條件下拍攝的圖像擬添加的特征點的列坐標和行坐標:

        (12)

        (13)

        具體代碼是:將灰度圖imgFlash、imgNoflash輸入自適應特征點匹配對均衡化函數(shù)autoEqualMatchlist()中,autoEqualMatchlist()是按照上述原理編寫的函數(shù),它按照如上公式在imgFlash均勻添加特征點,并在imgNoflash中計算對應點的特征點,最終該函數(shù)返回新得到的特征點匹配對指針。

        2.2 基于細節(jié)重構的圖像融合算法

        針對GeorgPetschnigg等提出閃光燈和無閃光燈條件下拍攝圖像融合算法的局限性,本文提出基于細節(jié)重構的圖像融合算法,它包含顏色空間轉換、對待融合圖像濾波去噪、紋理信息重構和圖像融合四個部分。其中,顏色空間轉換模塊將RGB顏色空間轉換到YUV顏色空間[7],從而有效地避免色偏問題的出現(xiàn);紋理信息重構模塊是為了針對不同的場景更好地提取細節(jié)信息。上述的兩個模塊是本算法與原來的融合算法最大的不同之處,正是有了這兩個模塊,使得本算法對于原算法有更好的性能。基于細節(jié)重構的圖像融合算法的整體流程如圖5所示。

        圖5 基于細節(jié)重構的圖像融合算法流程圖

        第一步 按照式(14),分別對閃光燈和無閃光燈條件下拍攝的圖像進行顏色空間的轉換,將RGB顏色空間轉換到YUV顏色空間:

        (14)

        其中,R、G、B分別是紅、綠、藍三個通道的值,Y表示亮度分量,U表示色度分量,V表示濃度分量。

        式(14)也可以近似變換成:

        Y=0.299×R+0.587×G+0.114×BU≈0.492×(B-Y)V≈0.877×(R-Y)

        (15)

        第二步 分別對閃光燈和無閃光燈條件下拍攝的圖像的Y、U、V通道利用WLS濾波器進行濾波,去除噪聲,得到濾波后的各個通道的像素值如下:FYBase、FUBase、FVBase和AYBase、AUBase、AVBase。其中FYBase、FUBase、FVBase分別是閃光燈條件下拍攝的圖像的Y、U、V通道經(jīng)過WLS濾波器得到的結果,AYBase、AUBase、AVBase分別是無閃光燈條件下拍攝的圖像的Y、U、V通道經(jīng)過WLS濾波器得到的結果。

        第三步 重構YBase。

        按照式(16)計算閃光燈條件下拍攝圖像的濾波后的Y通道的值比無閃光燈條件下拍攝圖像的濾波后的Y通道的值大的像素點的比例α:

        (16)

        其中,H表示圖像的高度,W表示圖像的寬度。

        如果α<0.9,那么利用FYBase和AYBase根據(jù)式(17)和式(18)求得用于最后融合的濾波后的Y通道:

        FinalYBase(i,j)= AYBase(i,j)>FYBase(i,j)?

        AYBase(i,j):FYBase(i,j)

        (17)

        否則:

        FinalYBase(i,j)=AYBase(i,j)

        (18)

        第四步 分別對閃光燈和無閃光燈條件下拍攝的圖像的Y、U、V通道利用式(19)進行細節(jié)信息的提?。?/p>

        (19)

        其中,AYDetail、AUDetail、AVDetail分別表示無閃光燈條件下拍攝的圖像的Y、U、V通道的細節(jié)信息,F(xiàn)YDetail、FUDetail、FVDetail分別表示閃光燈條件下拍攝的圖像的Y、U、V通道的細節(jié)信息,AY、AU、AV分別表示無閃光燈條件下拍攝的圖像的Y、U、V通道,F(xiàn)Y、FU、FV分別表示閃光燈條件下拍攝的圖像的Y、U、V通道,ε取0.02,為了避免除數(shù)為零,其他參數(shù)的意義和上文一致。

        第五步 重構Y、U、V通道的紋理信息矩陣。

        重構Y通道的紋理信息矩陣的主要思想:由于夜間拍照的場景復雜,可能出現(xiàn)即使在開閃光燈條件下拍攝的圖像也存在局部區(qū)域的細節(jié)信息不如無閃光燈條件下拍攝的圖像,如果一味地認為閃光燈條件下拍攝圖像的細節(jié)更優(yōu),可能會導致融合后圖像的質量反而不如無閃光燈條件下拍攝的圖像。所以本文提出的思路是提取待融合的兩張圖像中細節(jié)較好的那一部分。具體實施過程中,考慮到由于隨機噪聲的存在,故對于某一像素點,以該像素點半徑M為鄰域的像素點的Y通道的細節(jié)平均值作為衡量該像素點細節(jié)強弱的標準。

        按照式(20),重構紋理信息矩陣:

        ASum(i,j)=∑(k,l)∈Ω(i,j)AYDetail(k,l)FSum(i,j)=∑(k,l)∈Ω(i,j)FYDetail(k,l)FinalYDetail(i,j)= ASum(i,j)>FSum(i,j)? AYDetail(i,j):FYDetail(i,j)FinalUDetail(i,j)=ASum(i,j)>FSum(i,j)? AUDetail(i,j):FUDetail(i,j)FinalVDetail(i,j)=ASum(i,j)>FSum(i,j)? AVDetail(i,j):FVDetail(i,j)

        (20)

        其中,i表示像素點的行坐標,j表示像素點的列坐標,k表示鄰域像素點的行坐標,l表示鄰域像素點的列坐標,Ω(i,j)表示第i行第j列像素點的大小為(2M+1)×(2M+1)的鄰域,ASum(i,j)表示無閃光燈條件下拍攝的圖像第i行第j列像素點Y通道的的細節(jié)信息的好壞程度,F(xiàn)Sum(i,j)表示閃光燈條件下拍攝的圖像第i行第j列像素點Y通道的細節(jié)信息的好壞程度,AYDetail、AUDetail、AVDetail、FYDetail、FUDetail、FVDetail表示的意義與上文一致。

        第六步 按照式(21),分別對Y、U、V通道進行圖像融合:

        FianlY=FinalYBase×FianlYDetailFianlU=AUBase×FinalUDetailFianlV=AVBase×FinalVDetail

        (21)

        其中,F(xiàn)ianlY、FianlU、FianlV分別表示融合后圖像的Y、U、V通道,其他參數(shù)的意義和上文一致。

        第七步 按照式(22)將YUV顏色空間轉換到RGB顏色空間,并輸出:

        (22)

        具體代碼是:將匹配后的灰度度圖imgFlash、imgNoflash輸入基于細節(jié)重構的圖像融合函數(shù)imgFushion()中,imgFushion()是按照上述原理編寫的函數(shù),它進行了顏色空間轉換、圖像濾波、細節(jié)提取、重構等處理(其中顏色空間轉化使用OpenCV函數(shù)cvCvtColor()),該函數(shù)返回融合得到的RGB圖像imgF。

        3 實驗結果與分析

        本文實驗是在Window7系統(tǒng)下,處理器型號為IntelI5-480M,使用VisualStudio2013和OpenCV2.4.9進行的。實驗所采用的圖片為使用三星GalaxyS5手機在各類場景下所拍攝的,分辨率為3 984×2 988,并截取主要區(qū)域。

        3.1 圖像質量評價指標

        本文采用客觀質量評價指標[8],包括平均梯度和信息熵。

        1) 平均梯度

        平均梯度[9]是指圖像各像素點梯度的平均值。平均梯度可以用來表征圖形的清晰度,平均梯度越大,說明圖像的紋理越多,圖像越清晰。平均梯度可以由式(23)表示:

        (23)

        2) 信息熵

        圖像的信息熵主要是統(tǒng)計每個灰度級出現(xiàn)的概率,并根據(jù)信息論中信息熵[10]的概念算出相應的信息量,可以由式(24)表示:

        (24)

        其中,H(X)表示信息熵,P(xi)表示灰度級xi出現(xiàn)的概率。

        正如信息論中信息熵的概念一樣,圖像的信息熵主要用來表征圖像所包含的信息量的大小,信息熵越大,說明圖像包含的信息量越大。

        3.2 結果與分析

        本節(jié)中,首先將對本文提出的夜間拍照圖像質量增強算法進行實驗測試,驗證算法的有效性和正確性。然后,將本文提出算法的實驗結果和GeorgPetschnigg等提出閃光燈和無閃光燈條件下拍攝圖像融合算法的實驗結果作對比,從主觀和客觀兩個角度來衡量兩種算法的性能。

        3.2.1 算法性能分析

        1) 第一組圖像數(shù)據(jù)

        圖6 原始圖像

        圖7 本文算法融合效果

        圖8 局部放大圖

        從該組實驗結果可以看出,由圖6(b)所示的的無閃光燈條件下拍攝圖像的墻壁、冰箱、柜子上的噪聲較大,給人一種模糊的感覺,而圖7所示的本文算法的效果圖這些位置上的噪聲明顯減少,整體顯得更加清晰。從圖8所示的第一個局部放大圖可以看出原圖中冰箱上的字顯得模糊不清,色彩不鮮艷,而本文算法該位置上的字更加清晰,色彩還原度更高,噪聲更小。同樣,第二個局部放大圖所示的原圖柜子表面的噪聲斑點很大,而且邊緣出現(xiàn)模糊感。而本文算法在該位置上明顯噪聲減小,邊緣的棱角更加銳利、清晰。除此之外,罐頭顏色和棱角也更加分明,總體更符合人的主觀感受。

        2) 第二組圖像數(shù)據(jù)

        圖9 原始圖像

        圖10 本文算法融合效果

        圖11 局部放大圖

        對于上述實驗結果,由圖9(b)所示的無閃光燈條件下拍攝圖像噪聲較大,給人模糊的感覺。對比本文算法的效果圖10可以看出,本文算法既保留了無閃光燈條件下拍攝圖像的光照氛圍,而且圖像的細節(jié)信息更加豐富、更加清晰。從圖11的第一個局部放大圖可知,原圖的墻壁上的紋理比較模糊,而且噪聲較大,而本文算法墻壁上的紋理清晰,且噪聲很少。第二個局部放大圖中,本文算法的噪聲比原圖減少了很多,而且原圖鋼筆和書本的顏色由于光照低變得很黑,失去了原來的顏色,而本文算法由于提取了閃關燈條件下拍攝圖像的細節(jié)并融合到最后的效果中,所以使得鋼筆和書本的顏色都得到了還原。綜上所述,本文算法在保留原圖光照氛圍的前提下,使得圖像的細節(jié)信息更豐富,清晰,更加符合人的視覺感受。

        3) 第三組圖像數(shù)據(jù)

        圖12 原始圖像

        圖13 本文算法融合效果

        圖14 局部放大圖

        如圖12-圖14所示。從該組實驗結果可以看出,由圖12(b)所示的無閃光燈條件下拍攝的圖像紙箱上的噪聲和桌子的紋理比較模糊,整張圖的噪聲較大,而本文算法的效果無論從清晰度和噪聲方面都要好于原圖。在圖14所示的局部放大圖中,原圖桌面上的紋理和紙箱上的字顯然沒有本文效果圖的紋理清晰,本文效果圖更加符合人的主觀感受。

        3.2.2 算法性能比對

        在本小節(jié)中,針對GeorgPetschnigg等提出閃光燈和無閃光燈條件下拍攝圖像的融合算法的局限性,接下來用實驗驗證本文算法相對于原算法性能上是否有提升。

        1) 第一組圖像數(shù)據(jù)

        圖15 原始圖像

        圖16 最后融合結果

        如圖15-圖16所示。從該組實驗結果可以看出,圖16(a)所示的原算法結果圖中橙色的雕像相對于原圖更加清楚、明亮,細節(jié)信息更加豐富,而背景卻沒有原圖清晰,顯得很模糊。這主要是因為原算法總是將閃光燈條件下拍攝圖像的細節(jié)融合到無閃光燈條件下拍攝的圖像中,但是該組測試圖像中的閃光燈條件下拍攝圖像的背景的細節(jié)信息遠沒有無閃光燈條件下拍攝的圖像好,因此最后的融合效果的背景還不如無閃光燈條件下拍攝的圖像好。而本文算法效果不僅橙色雕像的細節(jié)比原圖清楚,而且,由于本文算法采用了紋理信息重構算法提取兩張圖像中較好的細節(jié)信息,因此背景的細節(jié)紋理也比原算法好,更加接近無閃光燈條件下拍攝的圖像。

        2) 第二組圖像數(shù)據(jù)

        圖17 原始圖像

        圖18 最后融合結果

        3) 第三組圖像數(shù)據(jù)

        圖19 原始圖像

        圖20 最后融合圖像

        如圖17-圖20所示。從圖20(a)中可以看出,原算法最后融合的結果圖中葉子的邊緣區(qū)域出現(xiàn)了偏紫的問題,出現(xiàn)了較為嚴重的色偏。而本文算法將處理的色彩空間轉換到YUV顏色空間,由于這個顏色空間是亮度通道和色度通道相互隔離的,因此能有效地避免色偏的問題。從圖20(b)可以看出葉子邊緣的色偏基本不存在了,色調(diào)正常,從而驗證了本文算法的有效性。

        表1從平均梯度和信息熵兩個客觀質量評價指標的角度比較了原算法和本文算法性能上的優(yōu)劣。

        表1 算法性能對比

        從表1可以看出,本文算法的平均梯度要好于原算法,說明本文算法效果圖的細節(jié)紋理更加豐富清晰,而且本文算法的信息熵要優(yōu)于原算法,說明本文算法的處理結果圖所包含的信息量更加豐富。

        4 結 語

        本文提出一種夜間拍照圖像質量增強算法。該算法提取閃光燈和無閃光燈條件下拍攝圖像較好的細節(jié)信息并將它融合到去噪后的無閃光燈圖像中,算法主要包括基于ASIFT的夜間圖像配準和基于細節(jié)重構的圖像融合兩個模塊。實驗結果表明,基于ASIFT的夜間圖像配準算法,將待增強的圖像進行配準,避免由于特征點匹配對過于集中而導致過擬合的問題,提高了配準的精確度,可以有效地避免出現(xiàn)重影等問題;基于細節(jié)重構的圖像融合算法模塊有效地解決了色偏問題和細節(jié)提取問題,不僅能保留夜間光照氛圍,而且能夠增強圖像的細節(jié)信息,提高圖像清晰度。

        本文提出的算法具有較強的普適性,可應用于例如手機終端在夜間場景拍照的場合,通過連續(xù)拍攝兩張分別在閃光燈和無閃光燈條件下拍攝圖像,經(jīng)本文算法處理,可以獲得擁有夜間場景氛圍下比單純無閃光燈模式拍照質量更好的圖像效果。

        [1]GeorgPetschnigg,RichardSzeliski,ManeeshAgrawala,etal.DigitalPhotographywithFlashandNo-FlashImagePairs[J].ACMTransactionsonGraphics,2004,23(3):664-672.

        [2]YuG,MorelJM.Afullyaffineinvariantimagecomparisonmethod[C]//Acoustics,SpeechandSignalProcessing,2009.ICASSP2009.IEEEInternationalConferenceon.IEEE,2009:1597-1600.

        [3] 高滿屯.透視投影的基本方程及變換矩陣[J].西北工業(yè)大學學報,1987,5(4):140-148.

        [4]MartinAFischler,RobertCBolles.Randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography[J].CommunicationsoftheACM,1981,24(6):381-395.

        [5]ForsythDA.Anovelalgorithmforcolorconstancy[J].InternationalJournalofComputerVision,1990,5(1):5-35.

        [6] 吳成茂.一種廣義直方圖及其在彩色圖像增強中的應用[J].計算機工程與應用,2011,47(22):164-167.

        [7]BruceJ,BalchT,VelosoM.Fastandinexpensivecolorimagesegmentationforinteractiverobots[C]//IEEEInternationalConferenceonIntelligentRobotsandSystems,2000,3:2061-2066.

        [8] 蔣剛毅,黃大江,王旭,等.圖像質量評價方法研究進展[J].電子與信息學報,2010,32(1):219-226.

        [9] 朱孔鳳,姜威,王瑞芳,等.一種新的圖像清晰度評價函數(shù)[J].紅外與激光工程,2005,34(4):464-468.

        [10]ShannonCE.Amathematicaltheoryofcommunication[J].ACMSIGMOBILEMobieComputingandCommunicationsReview,2001,5(1):3-55.

        RESEARCH AND IMPLEMENTATION OF IMAGE ENHANCEMENT ALGORITHM FOR NIGHTTIME IMAGE

        Zeng Hao1Yang Rongjian2Chen Peng2

        1(NorthwestRegionalAirTrafficManagementBureauofCAAC,Xi’an710086,Shaanxi,China)2(SchoolofTelecommunicationEngineering,XidianUniversity,Xi’an710071,Shaanxi,China)

        When smart device take picture at night, the conventional image fusion algorithm of flash and no-flash image pairs has problems of inaccuracy of image registration and unsatisfied result of image enhancement. Thus, an image enhancement algorithm for nighttime image is proposed. Firstly, in order to avoid the over-fitting problem caused by feature points which are too concentrated, a nighttime image registration algorithm based on Affine-SIFT is proposed to register flash and no-flash image pairs. Next, the presented method used image fusion algorithm based on detail reconstruction to fuse the registered flash and no-flash image pairs. The experimental results show that the proposed algorithm can improve the accuracy of image registration and avoid the ghost in fused image. Furthermore, the proposed algorithm can improve the details in image and reduce color distortion. Flash and no-flash image pairs processed by the proposed algorithm can maintain ambient illumination in the no-flash image, improving the details and quality.

        Image registration Image enhancement ASIFT Feature points equalization

        2016-01-08。國家自然科學基金項目(61372068)。曾皓,助理工程師,主研領域:通信工程。楊榮堅,碩士生。陳鵬,碩士生。

        TP3

        A

        10.3969/j.issn.1000-386x.2017.04.033

        猜你喜歡
        均衡化閃光燈像素點
        博物館為什么禁止用閃光燈拍照
        愉快地給娃照相吧 別怕閃光燈
        媽媽寶寶(2019年10期)2019-10-26 02:45:34
        基于無線通信的閃光燈控制系統(tǒng)設計
        電子測試(2018年15期)2018-09-26 06:01:10
        基于canvas的前端數(shù)據(jù)加密
        基于逐像素點深度卷積網(wǎng)絡分割模型的上皮和間質組織分割
        請關閉閃光燈
        學生天地(2016年35期)2016-04-16 05:16:44
        制度變遷是資源均衡化的關鍵
        直方圖均衡化技術在矢量等值填充圖中的算法及實現(xiàn)
        基于Node-Cell結構的HEVC幀內(nèi)編碼
        電視技術(2014年11期)2014-12-02 02:43:28
        一種改進的直方圖均衡化方法
        科教導刊(2012年12期)2012-04-29 05:18:30
        久久久久亚洲av无码a片软件 | а√天堂资源官网在线资源| 日韩精品无码一区二区中文字幕| 免费精品美女久久久久久久久久| 极品少妇在线观看视频| 国产午夜视频一区二区三区| 亚洲中文字幕在线第二页| 91精品国产综合成人| 看全色黄大色大片免费久久久| 男女射精视频在线观看网站| 国产成人亚洲综合无码品善网| 国产人妻黑人一区二区三区| 精品人妻一区二区三区蜜桃| 国产精品日韩av一区二区三区| 波多野42部无码喷潮在线| 日韩AV不卡六区七区| 久久久诱惑一区二区三区| 亚洲av一区二区三区蜜桃| 色欲av蜜桃一区二区三| 亚洲人成综合网站在线| 成人在线视频自拍偷拍| 人妻av有码中文字幕| 久久精品免视看国产成人| 99在线视频精品费观看视| 亚洲精品熟女av影院| 一本一道vs无码中文字幕| 国产内射性高湖| 久久久国产精品粉嫩av| 国产av一区二区亚洲精品| 成人网站免费看黄a站视频| 精品无码av不卡一区二区三区 | 久久精品无码专区东京热| 午夜宅男成人影院香蕉狠狠爱 | 国产午夜无码视频免费网站| 亚洲无人区乱码中文字幕| 中国娇小与黑人巨大交| 国产精品成人免费视频网站京东| 日韩无码尤物视频| 五月激情在线视频观看| 国产男女猛烈无遮挡免费网站 | 日本久久精品福利视频|