孫光民 趙瑩帝
摘要 通過課題的研究背景及意義,可以明確視頻圖像去霧霾的必要性。因為圖像增強技術(shù)去霧霾時只增強對比度,去霧霾效果不好,所以本文選用圖像復(fù)原算法。首先,結(jié)合暗通道先驗理論和大氣散射模型,實現(xiàn)單幀圖像去霧霾。該方法會導(dǎo)致天空等特殊區(qū)域出現(xiàn)失真。然后,通過閾值法、定值法和容差機制法對大氣光系數(shù)和透射率做出改進,總結(jié)出五種去霧霾優(yōu)化算法。再結(jié)合調(diào)查問卷的結(jié)果從主觀評價去霧霾效果,記錄算法運行時間從客觀評價去霧霾速度。最后,對背景靜態(tài)的視頻進行去霧霾。先提取背景幀,然后求取通用大氣光系數(shù)和通用透射率,再用它們給每一幀圖像去霧霾。此方法移除霧霾后視頻不同幀圖像之間無色差,同時去霧霾速度比較理想。
關(guān)鍵詞:暗通道先驗;圖像去霧霾;視頻去霧霾;容差機制
中圖分類號: TP39 ? ? ? ?文獻標識碼:A
文章編號:1009-3044(2020)17-0167-03
Abstract: Through the research background and significance of the topic, it is possible to clarify the necessity of removing haze in video images. Because the image enhancement technology only enhances the contrast when haze is removed, the effect of defogging is not good, so the image restoration algorithm is used in this thesis. Firstly, the single-frame image defogging is achieved by combining the dark channel prior theory and the atmospheric scattering model. This method will cause distortion in special areas such as the sky. Then, the atmospheric optical coefficient and transmittance are improved by the threshold method, fixed value method and tolerance mechanism method, and five kinds of dehaze optimization algorithms are summarized. Combined with the results of the survey questionnaire from the subjective evaluation to the haze effect, the recording algorithm running time objectively evaluates the haze speed. Finally, go to the background static video to go haze. The background frame is extracted first, then the general atmospheric light coefficient and the universal transmittance are obtained, and then they are used to de- haze each frame of image. This method has no color difference between the images of different frames of the video after the fog is removed, and at the same time, the speed of de- haze is ideal.
Key words: dark channel prior;image defogging;video defogging;tolerance mechanism
1 緒論
視頻圖像在我們的生活中被廣泛應(yīng)用。霧霾影響視頻圖像的拍攝效果,妨礙我們直接從中直接獲取有用信息。這說明視頻圖像去霧霾很有必要。目前視頻圖像去霧霾軟件技術(shù)主要分為圖像增強算法和圖像復(fù)原算法。圖像增強算法只注重對比度的提高,有時會出現(xiàn)殘霧。圖像復(fù)原算法從成像原理上進行去霧霾。最終本文使用圖像復(fù)原算法分支下基于先驗信息的暗通道先驗理論進行視頻圖像去霧霾。
2 基于暗通道先驗理論圖像去霧霾的實現(xiàn)
暗通道先驗理論[1]最簡潔的描述:在絕大多數(shù)非天空的區(qū)域里,某一些像素總會存在至少一個通道具有很低的值。也就是說,該區(qū)域的光強最小值趨近于零。
公式(1)為大氣散射模型,公式中I(x)為待處理的有霧霾圖像,J(x)為需要恢復(fù)的清晰無霧霾圖像,A是大氣光系數(shù),t(x)為透射率?;诖髿馍⑸淠P偷膱D像去霧霾算法就是解上述方程中J(x)獲取原圖像的過程。
觀察公式(1),這是一個有無數(shù)解的方程。要想通過有霧霾圖像反解出無霧霾圖像,就需要借助先驗知識。首先,通過有霧霾圖像求解其暗通道圖。然后,在有霧霾圖像的暗通道圖中選取灰度值前0.1%的像素點,記錄下他們的位置,對應(yīng)這些位置到原始有霧霾圖像中,選取亮度值最高的點,將其三通道值作為大氣光系數(shù)。接著,結(jié)合大氣光系數(shù)和有霧霾圖像的暗通道圖,求解出預(yù)估透射率圖。再將預(yù)估透射率圖作為輸入圖,原始有霧霾圖像作為導(dǎo)向圖,進行導(dǎo)向濾波,得到精細透射率圖。最終,結(jié)合精細透射率圖、大氣光系數(shù)和原始有霧霾圖像,求解無霧霾圖像。單幀圖像去霧霾的實現(xiàn)如圖1所示。
3 單幀圖像去霧霾算法的優(yōu)化
由于原始暗通道先驗去霧霾算法對于天空等特殊區(qū)域處理不佳,本章著重于優(yōu)化圖像去霧霾算法。
3.1五種改進方法
本文應(yīng)用閾值法、定值法和容差機制法,分別優(yōu)化大氣光系數(shù)和透射率,從不同方向?qū)υ及低ǖ老闰炄レF霾算法(方法A)做出改進。同時,我們以調(diào)查問卷的結(jié)果作為人們對不同算法去霧霾效果的認可程度,結(jié)合主觀分析,總結(jié)每個方法的特點。
過亮天空區(qū)域去霧霾后圖像失真是由大氣光系數(shù)A過大造成的。于是本文用閾值法優(yōu)化大氣光系數(shù)。通過大量實驗,我們發(fā)現(xiàn)大氣光系數(shù)220是一個臨界值,高于此值容易發(fā)生去霧霾后圖像失真現(xiàn)象。當大氣光系數(shù)低于220時,不做優(yōu)化。當大氣光系數(shù)高于220時,取其值為220。閾值法優(yōu)化大氣光(方法B)只能解決過亮天空區(qū)域造成的影響,對于其他天空區(qū)域處理依舊不是很好。
經(jīng)過不斷實驗,我們發(fā)現(xiàn)大氣光系數(shù)取220可以兼容大量圖像去霧霾的情況。當用定值法優(yōu)化大氣光系數(shù)時,會導(dǎo)致圖像不同程度變暗,有時可以達到偏暗個性化的要求,有時會帶來失真問題。定值法優(yōu)化大氣光(方法C)是一種快速去霧霾算法,在去霧霾速度上優(yōu)于其他五種算法。
方法B和方法C只能消除過亮天空區(qū)域的影響,當天空區(qū)域不是很亮?xí)r,很難從大氣光系數(shù)A單方面判斷是否存在天空區(qū)域。此時需要考慮A與I的差值。吳城論文中[2]提到容差機制,將|I-A|
因為每個像素點對應(yīng)單獨的透射率,所以優(yōu)化透射率可以作用于圖像局部。蔣建國提出[3]容差機制法優(yōu)化透射率時無霧霾圖像J的調(diào)整公式為:
蔣建國認為K取50效果最佳。容差機制法非線性優(yōu)化透射率(方法E)自適應(yīng)性最好,既可以防止天空區(qū)域失真,也能保留圖像深處景色信息。
天空區(qū)域過多時,容差機制法非線性優(yōu)化透射率(方法E)已經(jīng)無法完全消除天空區(qū)域的失真,此時可以將天空區(qū)域的透射率設(shè)為定值1。容差機制法定值優(yōu)化透射率(方法F)能處理天空區(qū)域過多的情況,但有時會導(dǎo)致非天空區(qū)域有殘霧。
3.2不同改進算法優(yōu)勢的對比分析
在保證去霧霾效果的同時,提高處理速度也是必要的,因為去霧霾算法的處理效果和處理速度都決定著該算法能否應(yīng)用于實際。通過記錄程序運行時間,本文歸納出方法C是單幀圖像快速去霧霾算法。
結(jié)合表1與圖3,即可發(fā)現(xiàn)沒有一種方法可以保證所有圖像去霧霾效果都很好。因為每張有霧霾圖像都有其個性,無共性。布局相似的兩張有霧霾圖像,去霧霾效果的主觀評價差異卻很大。這是因為針對不同圖像,人們注重去霧霾后圖像的區(qū)域不同。
4 視頻去霧霾方法探索
視頻去霧霾速度的提高和不同幀圖像之間色差的減小,是本文主要考慮的兩個問題。
本文原始去霧霾流程為:1)將有霧霾視頻拆解成幀圖像;2)對每幀圖像進行去霧霾;3)將去霧霾后所有幀圖像合成無霧霾視頻。
本文使用原始去霧霾流程對背景動態(tài)視頻進行處理時,去霧霾后的視頻發(fā)生閃爍現(xiàn)象,這是由于不同幀圖像之間透射率和大氣光系數(shù)差異過大導(dǎo)致。本文更換視頻源,使用原始去霧霾流程對背景靜態(tài)視頻進行處理,發(fā)現(xiàn)去霧霾后視頻不同幀圖像之間色差減小,但是去霧霾速度依舊很慢。
本文優(yōu)化視頻去霧霾流程:1)從有霧霾視頻中每隔10幀取一幀,對取出的幀取平均,得到背景幀;(2)將背景幀的透射率和大氣光系數(shù)作為通用透射率和通用大氣光系數(shù),對每一幀有霧霾圖像進行處理;(3)將去霧霾后所有幀圖像合成無霧霾視頻。
使用優(yōu)化視頻去霧霾流程對背景靜態(tài)視頻進行處理時,去霧霾后視頻不同幀之間無色差,同時去霧霾速度明顯提高。觀察圖4,即可發(fā)現(xiàn)針對一個174幀長10秒的有霧霾視頻,使用原始流程去霧霾時間長達200秒。優(yōu)化流程后,針對該視頻處理時間只需要16秒。使用優(yōu)化流程處理一個長度為303幀的視頻只需要17秒,處理時間不隨原視頻長度成比例線性大幅度增加。這說明該算法具有可行性。
5 結(jié)論
視頻圖像去霧霾是當今研究的熱點問題。人們可以從去霧霾后的視頻圖像中直接獲取有效信息。在視頻圖像去霧霾領(lǐng)域,被公認最實用的是暗通道先驗算法。但是原始暗通道先驗去霧霾算法對天空區(qū)域處理不佳,本文歸納并總結(jié)出五種圖像去霧霾優(yōu)化算法,可以從不同方面對去霧霾后天空區(qū)域失真進行改善。視頻去霧霾方面,我們發(fā)現(xiàn)原始視頻去霧霾流程會導(dǎo)致背景動態(tài)視頻去霧霾后發(fā)生閃爍現(xiàn)象。我們用原始視頻去霧霾流程對背景靜態(tài)視頻進行處理,處理后視頻不同幀圖像之間色差減小,但是去霧霾速度很慢。本文優(yōu)化視頻去霧霾流程后,再對背景靜態(tài)視頻進行處理,去霧霾后視頻不同幀圖像之間無色差,同時去霧霾速度很理想。最終,本文視頻圖像去霧霾算法均具有實用性。
參考文獻:
[1] He Kaiming,Sun Jian,Tang Xiaoou. Single Image Haze Removal Using Dark Channel Prior.[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2010.
[2] 吳城. 基于暗原色先驗的視頻去霧研究[D].北方民族大學(xué),2016.
[3] 蔣建國,侯天峰,齊美彬.改進的基于暗原色先驗的圖像去霧算法[J].電路與系統(tǒng)學(xué)報,2011,16(2):7-12.
【通聯(lián)編輯:唐一東】