文/王松

圖像是人類獲取信息、表達(dá)信息和傳遞信息的重要手段，自從數(shù)字圖像誕生以后，圖像就逐步成為了人類獲取信息的主要形式之一。如今，觀看在線視頻、視頻會(huì)議、視頻通話、手機(jī)拍照、掃描儀掃描文件已經(jīng)成為我們?nèi)粘９ぷ魃畹囊徊糠郑@些都涉及到與視頻圖像打交道。隨著大數(shù)據(jù)時(shí)代的來臨，視頻圖像數(shù)據(jù)也在海量產(chǎn)生，視頻圖像處理技術(shù)的研究和應(yīng)用也開始向智能化的方向發(fā)展。

圖像處理在安防監(jiān)控中的應(yīng)用

視頻圖像在采集、處理、壓縮、傳輸?shù)冗^程受多種因素的影響，最終圖像可能存在噪聲、清晰度不夠、圖像過曝或者過暗等問題。圖像處理技術(shù)主要是目的就是為了最終給客戶呈現(xiàn)出一個(gè)高質(zhì)量、視覺友好的視頻圖像。目前衡量圖像質(zhì)量的幾個(gè)重要的指標(biāo)分別是亮度、顏色、清晰度、對比度和噪聲等幾個(gè)方面。圖像處理包括圖像增強(qiáng)、圖像復(fù)原、圖像校正、圖像拼接等方面，本文主要講述了圖像增強(qiáng)技術(shù)在圖像質(zhì)量方面的應(yīng)用，包括寬動(dòng)態(tài)、圖像插幀、圖像透霧、圖像防抖、圖像降噪、壞點(diǎn)校正、對比度提升、邊緣增強(qiáng)。

寬動(dòng)態(tài)。寬動(dòng)態(tài)主要應(yīng)用在同時(shí)存在極亮和極暗的區(qū)域的場景。它可以同時(shí)保留高亮和暗部信息，即看清亮處又看清暗處。常用的寬動(dòng)態(tài)技術(shù)目前有兩種，多幀合成和單幀色調(diào)映射。多幀合成利用傳感器多次曝光進(jìn)行數(shù)據(jù)融合，同時(shí)保留長曝光低照信息和短曝光高亮信息，可達(dá)到比傳統(tǒng)傳感器寬50db以上的動(dòng)態(tài)范圍。單幀色調(diào)映射通過對圖像的不同區(qū)域亮度信息局部進(jìn)行調(diào)整，使暗區(qū)提亮、亮區(qū)抑制，提升整幅圖像的可見度。兩者各有優(yōu)劣。多幀合成優(yōu)點(diǎn)是可達(dá)到更大的動(dòng)態(tài)范圍，缺點(diǎn)是容易造成運(yùn)動(dòng)拖尾色邊，同時(shí)畫面可能變蒙。單幀色調(diào)映射則不會(huì)造成運(yùn)動(dòng)拖尾色邊，但是它的動(dòng)態(tài)范圍不變，只是把本來不清晰可見的一些信息進(jìn)行了增強(qiáng)，當(dāng)場景存在的亮處和暗處差距大時(shí)，只有選擇多幀合成的方法。下圖是兩種方法的效果：

圖1 多幀合成寬動(dòng)態(tài)效果對比

圖2 單幀色調(diào)映射

圖像插幀。由于網(wǎng)絡(luò)條件帶寬限制和其他因素的影響，監(jiān)控視頻畫面會(huì)出現(xiàn)停滯感和跳躍感，甚至出現(xiàn)拖影的現(xiàn)象。圖像插幀技術(shù)可使最后呈現(xiàn)的運(yùn)動(dòng)畫面平滑、不跳躍，提供更好的視覺體驗(yàn)。插幀技術(shù)采用幀速率上轉(zhuǎn)換（FRUC，也稱幀率提升），即在兩幀畫面之間插入新幀是主流方法，通過實(shí)時(shí)計(jì)算場景物體的移動(dòng)速度和方向，得到運(yùn)動(dòng)矢量的估計(jì)，據(jù)此生成新的插幀圖像。它能夠提供更好的視覺質(zhì)量，特別是在低碼率視頻應(yīng)用中，提高幀率可以恢復(fù)由于帶寬受限而在編碼端被跳過的視頻幀，從而使觀看者可以觀賞自然平滑的運(yùn)動(dòng)場景。

圖像透霧。當(dāng)前的視頻監(jiān)控系統(tǒng)對天氣條件非常敏感，當(dāng)遇到雨霧、陰霾等能見度較低的情況時(shí)，景物圖像嚴(yán)重退化，這極大地限值和影響了戶外視頻監(jiān)控系統(tǒng)效用的發(fā)揮。目前全球氣候越來越惡劣，霧霾天氣時(shí)常出現(xiàn)，透霧技術(shù)可突出源圖像中重點(diǎn)觀測內(nèi)容，極大程度還原圖像的細(xì)節(jié)，解決“看的清”問題，實(shí)現(xiàn)監(jiān)控系統(tǒng)全天候工作。圖像透霧效果如下：

圖3 圖像透霧前后效果對比

圖像透霧主流的方法是根據(jù)成像原理建立透霧模型，估計(jì)出相關(guān)參數(shù)，然后反推出透霧后的圖像。圖像透霧在霧的濃度還不是很大的時(shí)候可以取得較好的效果。如果霧很濃導(dǎo)致圖像基本沒有什么信息，那就可能需要光學(xué)透霧，光學(xué)透霧是通過特制的光學(xué)鏡頭來感知特殊波段的光線實(shí)現(xiàn)透霧。

圖像防抖。攝像機(jī)通常被置于載體上時(shí)，由于載體的運(yùn)動(dòng)或載體機(jī)座的振動(dòng)導(dǎo)致攝像機(jī)的晃動(dòng)，拍攝的圖像序列出現(xiàn)了抖動(dòng)現(xiàn)象，由于圖像的抖動(dòng)很容易引起眼睛的疲勞，影響觀測者對圖像序列的觀看和分析，也影響了圖像的后續(xù)處理。防抖技術(shù)就是為了減輕或消除這種抖動(dòng)。圖像防抖有硬件防抖和電子防抖。其中硬件防抖是依靠專門的光學(xué)鏡頭或者其他硬件實(shí)現(xiàn)。電子防抖是通過圖像處理技術(shù)進(jìn)行去除抖動(dòng)，該技術(shù)首先通過估計(jì)當(dāng)前幀的運(yùn)動(dòng)矢量，然后根據(jù)估計(jì)的運(yùn)動(dòng)矢量對當(dāng)前幀進(jìn)行運(yùn)動(dòng)補(bǔ)償，從而達(dá)到穩(wěn)定圖像序列的目的。

圖像降噪。傳感器在將光信號量化成數(shù)字信號時(shí)會(huì)引入噪聲，尤其是當(dāng)光線比較弱和傳感器增益比較大時(shí)噪聲更明顯。隨后在各個(gè)ISP處理環(huán)節(jié)對圖像數(shù)字信號進(jìn)行處理時(shí)都有可能會(huì)引入噪聲。圖像降噪力求移除圖像噪聲的同時(shí)盡量保持其細(xì)節(jié)和結(jié)構(gòu)。輸出圖像的信噪比會(huì)得到增強(qiáng)，給客戶更好的視覺感受，同時(shí)可以壓低碼流利于編碼存儲(chǔ)。降噪目前主要分為2D降噪和3D降噪。

2D降噪是空域?yàn)V波，通過低通濾波將圖像中的高頻成分過濾掉，但是在光線比較暗或者增益比較大時(shí)，降噪濾波對于噪點(diǎn)和細(xì)節(jié)之間無法做到完全區(qū)分，因此在濾除噪點(diǎn)的同時(shí)也會(huì)將部分細(xì)節(jié)抹平從而降低圖像清晰度，如下圖6所示：

圖4 2D降噪模塊效果對比

3D降噪是不僅在空域還增加時(shí)域上的降噪。視頻的前后幀圖像在時(shí)間上是相關(guān)的，但是噪聲在時(shí)間上是不相關(guān)的。時(shí)域降噪就是利用該原理進(jìn)行前后幀的疊加處理進(jìn)行降噪。時(shí)域降噪算法的優(yōu)點(diǎn)非常明顯，能夠較好的保持圖像的邊緣和細(xì)節(jié)信息。它的缺點(diǎn)是如果時(shí)域降噪做的過強(qiáng)容易導(dǎo)致運(yùn)動(dòng)物體出現(xiàn)拖尾現(xiàn)象。

圖5 3D降噪模塊效果

壞點(diǎn)校正。傳感器由于生產(chǎn)工藝的限制，在出廠前可能會(huì)有一些壞的像素點(diǎn)，在成像時(shí)會(huì)留下離散的、比較突兀(過暗或者過亮)的像素點(diǎn)。在ISP模塊里對其進(jìn)行校正時(shí)在消除壞點(diǎn)的同時(shí)，也會(huì)把畫面中的某些細(xì)節(jié)當(dāng)做壞點(diǎn)進(jìn)行處理，這樣就會(huì)降低清晰度，如下圖8所示：

圖6 壞點(diǎn)校正對清晰度影響示意圖

對比度模塊。由于人眼對亮度信號特別敏感，一張圖像中暗處和亮度細(xì)節(jié)都比較突顯的時(shí)候，人眼就感覺畫面通透，清晰度比較高。對比度增強(qiáng)模塊就是將畫面中暗處和亮處的灰度值反差拉開，在保留暗處和亮處細(xì)節(jié)的同時(shí)，將圖像的邊緣部分起到增強(qiáng)清晰度的效果，如圖9所示：

圖7 對比度增強(qiáng)模塊對清晰度的影響

邊緣增強(qiáng)模塊。該模塊增強(qiáng)圖像邊緣部分細(xì)節(jié)，它主要是一種補(bǔ)償輪廓、突出邊緣信息以使圖像更為清晰的處理方法。銳化的目標(biāo)實(shí)質(zhì)上是要增強(qiáng)圖像中的高頻成分。它與降噪濾波是一個(gè)相對的處理過程。若圖像未做邊緣增強(qiáng)時(shí)，人眼看上去像邊緣部分不夠銳利，但是同時(shí)該模塊如果做的太強(qiáng)會(huì)對整體圖像引入新的噪聲，如圖10所示：

圖8 邊緣增強(qiáng)對圖像效果的影響

安防領(lǐng)域圖像處理向智能化發(fā)展

安防領(lǐng)域的芯片不像手機(jī)芯片那樣性能每年都在大幅提升。圖像處理算法，尤其是高級的一些算法往往伴隨著大量的運(yùn)算量，由于芯片處理能力仍然有限，許多算法在芯片上無法實(shí)現(xiàn)。安防領(lǐng)域的發(fā)展必須伴隨著攝像機(jī)芯片性能的提升，這樣才能實(shí)現(xiàn)更多的視頻圖像處理應(yīng)用，提供更好的圖像體驗(yàn)。

隨著手機(jī)4G、5G發(fā)展、國家的寬帶戰(zhàn)略，網(wǎng)絡(luò)傳輸端的能力會(huì)得到提升，隨著編解碼技術(shù)發(fā)展，保證畫質(zhì)情況下，碼流也可降低。一些用來補(bǔ)救因?yàn)閭鬏攲?dǎo)致的清晰度下降、幀率不足、馬賽克等問題的需求可能會(huì)下降，但是相應(yīng)的其他的圖像效果需求又會(huì)冒出，一些新的圖像處理技術(shù)會(huì)被引入。

目前圖像的處理還主要是圖像處理、圖像分析的初級階段。還沒有結(jié)合更高層次的圖像理解或者深度學(xué)習(xí)等方法。如何在不斷改進(jìn)圖像處理分析能力的同時(shí)，借助圖像理解、深度學(xué)習(xí)，對于圖像形成語義層次的認(rèn)識，即把對圖像場景描述與理解、場景中目標(biāo)識別、目標(biāo)之間關(guān)系等結(jié)合到圖像的處理分析上，是算法人員的一大挑戰(zhàn)。目前算法存在的一些難以解決的問題，可能在更高維度上可能可以更好的進(jìn)行處理。

結(jié)束語

目前在安防領(lǐng)域，圖像處理技術(shù)主要是為了增強(qiáng)圖像質(zhì)量，如上所述一些算法存在的一些問題，還需要算法的不斷提升改進(jìn)。圖像質(zhì)量沒有最好，只有更好。算法改進(jìn)之路也是永無止境。當(dāng)然，另一方面，我們也需要認(rèn)識到算法是一種工具可以改善效果，但是前端的硬件決定了輸入源的效果，良好的硬件無疑將極大的提升圖像的質(zhì)量，因此硬件的成像效果改善也需要不斷提升。