張騰騰,劉雙廣,2
(1.重慶郵電大學(xué)通信與信息工程學(xué)院,重慶高校市級光通信與網(wǎng)絡(luò)重點(diǎn)實(shí)驗(yàn)室,泛在感知與互聯(lián)重慶市重點(diǎn)實(shí)驗(yàn)室,重慶400065;2.高新興科技集團(tuán)股份有限公司,廣州510530)
自動聚焦技術(shù)作為攝像機(jī)領(lǐng)域最基本、最核心的技術(shù)之一[1],其可分為主動式自動聚焦和被動式自動聚焦[2],前者主要是利用紅外測距、超聲測距等主動測距方法結(jié)合查表等方法驅(qū)動電機(jī)進(jìn)行自動聚焦,后者主要利用清晰度評價(jià)函數(shù)對當(dāng)前圖像清晰度進(jìn)行評價(jià)結(jié)合一定的聚焦搜索策略驅(qū)動電機(jī)完成自動聚焦。由于大倍率的攝像機(jī)的使用,聚焦速度減慢,主要有一下幾種原因,第一,峰值搜索算法如爬山算法以及其優(yōu)化算法,混合搜索算法、粗精兩段式搜索算法不夠優(yōu)化,由于高倍率攝像機(jī)焦距變得越來越大,對于控制變倍的電機(jī)總步數(shù)也相應(yīng)的增加而導(dǎo)致搜尋的次數(shù)逐漸增多,這個(gè)無法避免;第二,應(yīng)用場景復(fù)雜,低照度,低對比度,且沒有具有特性的目標(biāo)物,導(dǎo)致目標(biāo)物距獲取困難;第三,高分辨率的圖片,計(jì)算量大[3];第四,聚焦曲線測量困難,使用查表法等主動式聚焦數(shù)據(jù)量大,查表速度慢。
為了解決大倍率攝像機(jī)聚焦慢,物距難以獲取的問題,本文通過對不同物距下的聚焦曲線(變焦曲線)[1-2,4]的研究,通過合理選擇測量物距,將所測量的聚焦曲線擬合成對焦曲面,通過分析當(dāng)前聚焦位置反查出目標(biāo)物距信息,利用此物距信息和聚焦曲面進(jìn)行變焦跟蹤處理,使得在進(jìn)行變倍的同時(shí)進(jìn)行聚焦從而加快聚焦速度。但由于聚焦曲面存在誤差,本研究通過對放縮后的圖片使用快速DCT 變換的數(shù)字處理的方法實(shí)現(xiàn)快速準(zhǔn)確地聚焦。同時(shí)由于使用聚焦曲面,可以根據(jù)當(dāng)前的聚焦位置信息從而粗略的獲取當(dāng)前目標(biāo)的物距,對目標(biāo)信息的獲取,具有一定的參考意義。
快速聚焦技術(shù)主要為了解決大倍率變焦攝像機(jī)聚焦慢,其根本原因在于相同倍率下不同物距時(shí)的聚焦位置差別較大導(dǎo)致,通過研究不同物距下的聚焦曲線擬合得到聚焦曲面參數(shù),利用這些參數(shù)快速驅(qū)動聚焦電機(jī)到達(dá)聚焦位置附近,從而大幅度縮短聚焦時(shí)間,之后利用合適的數(shù)字圖像處理的方法進(jìn)行精確聚焦即可。聚焦曲面的測量和擬合、數(shù)字圖像處理的選擇是快速聚焦的兩個(gè)組成部分。
鏡頭作為攝像機(jī)核心的器件之一,決定著攝像機(jī)的諸多性能,如倍率、視場角、中心偏移、圖像效果等,其主要由控制變倍鏡片的變倍電機(jī)(Zoom 電機(jī))、控制聚焦鏡片的聚焦電機(jī)(Focus 電機(jī))、控制采光量的光圈電機(jī)(Iris 電機(jī))、控制濾光的濾光片電機(jī)(Ircut 電機(jī))如圖1 所示。
圖1 攝像機(jī)鏡頭內(nèi)結(jié)構(gòu)示意圖
不同鏡片組結(jié)構(gòu)可能不同,但與自動聚焦直接相關(guān)的就是Zoom 電機(jī)和Focus 電機(jī),電機(jī)每一個(gè)位置對應(yīng)一個(gè)電機(jī)步數(shù),即Zoom 電機(jī)的步數(shù)稱為Zoom,F(xiàn)ocus 電機(jī)步數(shù)稱為Focus,當(dāng)聚焦目標(biāo)不變時(shí),在可以聚焦清晰的物距下,每一個(gè)Zoom 都有唯一的一個(gè)Focus與之對應(yīng)使得在傳感器上的圖像最清晰,所有倍率下的Zoom-Focus 數(shù)據(jù)構(gòu)成該物距下的聚焦曲線[1]。如圖2 所示是不同物距下的聚焦曲線圖,不同物距的聚焦曲線形狀幾乎相同,但在最大倍率的時(shí)候不同物距上的聚焦值相差最大,對于小倍率攝像機(jī)來說,其焦距較小,所以在最大倍率的下不同物距下的Focus 相差不大,但對于大倍率攝像機(jī)來說,由于焦距變大,導(dǎo)致最大倍率時(shí)不同物距下Focus 相差很大,最大可達(dá)全程的50%,在物距較大時(shí)突然大倍率變倍時(shí),聚焦搜索范圍是最大的,可達(dá)全程的50%以上。
傳統(tǒng)攝像機(jī)一般只測量最遠(yuǎn)的一條聚焦曲線作為加快聚焦使用,但由于大倍率攝像機(jī)聚焦可調(diào)范圍較大,且不同物距下的聚焦值變化較大,導(dǎo)致搜索次數(shù)增加而聚焦變慢。由多條聚焦曲線根據(jù)擬合可以生成三維曲面,此曲面自變量為物距和Zoom 值,因變量為Focus 值。
圖2 不同物距下的聚焦曲線圖
圖3 聚焦曲面圖
如圖3 所示,此曲面具有一下特點(diǎn):
(1)物距越大,聚焦曲線變化率越小,物距越小,聚焦曲線變化率越大。
(2)曲線存在單峰值,記Focus 最大時(shí)Zoom 為Zoommax,當(dāng)Zoom>Zoommax時(shí),曲面變化很小,幾乎成為一個(gè)平面,Zoom (3)物距大于1200 米曲線變化很小。 為了方便我們進(jìn)行數(shù)據(jù)測量、擬合以及后期使用,我們使用等分最大倍聚焦值法進(jìn)行測量物距的確定,使用等分1200 米的聚焦曲線,從而得到合理的變倍位置得到合理的采樣點(diǎn),之后對一一進(jìn)行測量聚焦點(diǎn),使用二元四次多項(xiàng)式擬合得到聚焦曲面的擬合參數(shù),擬合方程如下: 其中a0~a1為擬合參數(shù),D 為當(dāng)前的物距值,Z 為當(dāng)前的倍率值,即Zoom 值,距的獲取,當(dāng)前的物距值可以通過使用激光測距來實(shí)時(shí)獲取。 由于主動測距方法的固有缺陷是的使用聚焦曲面的方法實(shí)現(xiàn)聚焦不能做到準(zhǔn)確聚焦,一般由于外界因素如碰撞,震動或者測量數(shù)據(jù)不準(zhǔn)導(dǎo)致聚焦曲線發(fā)生變化,而不能做到準(zhǔn)確聚集,但是這種變化是微弱的,會導(dǎo)致曲線變化很小,故需要在聚焦位置進(jìn)行精確的聚焦搜索,但這種搜索,不是為了加快聚焦速度,而是為了進(jìn)行精準(zhǔn)聚焦。 數(shù)字圖像處理依據(jù)采集的圖像進(jìn)行清晰度計(jì)算,從而驅(qū)動電機(jī)進(jìn)行聚焦搜索[5],根據(jù)對焦窗口、清晰度評價(jià)函數(shù)、對焦搜索算法等不同,而形成了很多對焦算法。一般是針對高分辨率的圖片為降低計(jì)算量而需要選擇合適聚焦窗口,目前存在的對焦窗口的選擇方法有中心選取和多區(qū)域選取法等固定窗口選擇算法,但由于固定聚焦窗口算法存在著不能準(zhǔn)確找到聚焦目標(biāo)的問題,近兩年來,研究者使用較多的是自適應(yīng)窗口選取法。本研究使用一種抽稀放縮的方法對圖片進(jìn)行放縮,在降噪和考慮了全局畫面的同時(shí)縮減聚焦窗口,減少計(jì)算。 考慮到攝像機(jī)所使用的復(fù)雜場景,且可直接輸出YUV 數(shù)據(jù),聚焦窗口必須以整個(gè)畫面為窗口進(jìn)行清新度評價(jià),但真對高分辨率的圖像來說,全局檢測是非常慢的,尤其是使用DCT 變換的方法[6],對于大尺寸圖片,其運(yùn)算量非常之大,為減少計(jì)算量,本研究采用的方法是同時(shí)使用均勻抽稀和放縮法來減小圖片尺寸。首先獲取3840×2160 的4K 分辨率圖像的灰度信息,之后對灰度信息進(jìn)行抽稀從而縮小圖片的尺寸,之后對抽稀后的圖像進(jìn)行放縮,進(jìn)一步縮小圖片尺寸,最后對放縮后的圖片進(jìn)行清晰度計(jì)算,如圖4。數(shù)據(jù)經(jīng)過抽稀后,數(shù)量大量減少,并且基本保證能反映原圖形或曲線的基本形狀特征,能夠?yàn)檫M(jìn)一步的處理節(jié)省空間和時(shí)間。 圖4 抽稀結(jié)構(gòu)圖 考慮到需要對全圖進(jìn)行清晰度評價(jià)的同時(shí)縮小圖片尺寸來減少計(jì)算量,本研究使用抽稀放縮法進(jìn)行構(gòu)建清晰度評價(jià)窗口,原因有以下三點(diǎn),第一,由于監(jiān)控?cái)z像機(jī)應(yīng)用場景廣泛,可能會出現(xiàn)部分遮擋的情況,不能只利用局部的清晰度評價(jià)值來作為全圖清晰度值,防止發(fā)生近限聚焦(聚焦在較近的物體上);第二,4K分辨率圖片數(shù)據(jù)量大,相比較而言,任何在此基礎(chǔ)上的計(jì)算都是非常慢的,無法做到實(shí)時(shí)處理,而由于相鄰數(shù)據(jù)變化最小,考慮使用抽取相鄰數(shù)據(jù)進(jìn)行縮減尺寸,但抽取量又不能大少,以防止發(fā)生嚴(yán)重失真;第三,抽稀后圖片相比較小,可以使用差值進(jìn)行縮放,以彌補(bǔ)由于抽稀導(dǎo)致的失真,同時(shí)進(jìn)一步減少尺寸,加快計(jì)算。 清晰度評價(jià)函數(shù)必須具有高靈敏度、單峰性、抗干擾性和簡潔性[7],以保證能夠區(qū)分離焦和對焦?fàn)顟B(tài)的圖像。其函數(shù)有很多,基于統(tǒng)計(jì)信息的清晰度評價(jià)函數(shù),基于變換域的清晰度評價(jià)函數(shù),基于灰度的清晰度評價(jià)函數(shù)。 由于通過抽稀放縮法確定的圖形尺寸非常小,可以使用效果較好的DCT 變換進(jìn)行清晰度檢測,但由于傳統(tǒng)DCT 變換比較耗時(shí),且在變換后只有高頻分量得到使用,低頻部分也需要計(jì)算,故本算法使用改進(jìn)后的快速DCT 變換: 其中:寫成矩陣形式為:F=ATfA。 傳統(tǒng)DCT 變換使用原始公式進(jìn)行計(jì)算,每次都需要計(jì)算大量三角函數(shù),而快速DCT 變換使用提前計(jì)算好的系數(shù)矩陣進(jìn)行計(jì)算,省去大量三角關(guān)系計(jì)算,本算法在快速DCT 變換的基礎(chǔ)上研究發(fā)現(xiàn),低頻部分變換系數(shù)并未使用到,但卻進(jìn)行了計(jì)算,進(jìn)而造成了計(jì)算上的冗余,可以只針對部分高頻參數(shù)計(jì)算從而進(jìn)一步加快計(jì)算,如圖5 所示,其中計(jì)算公式為: 圖5 DCT變換結(jié)果取樣圖 由于越靠近右下角對應(yīng)的高頻參數(shù)越重要,故使用四個(gè)參數(shù)來強(qiáng)調(diào)高頻參數(shù),其中,4α+3β+2γ+δ=1,且0<α<β<γ<δ<1,由于只是用最后四行和四列的局部數(shù)據(jù)作為最終結(jié)果,故在矩陣A( )i,j 中的前三行也可以不用計(jì)算,最終參與計(jì)算的A( )i,j 如下: 有了較合適的清晰度評價(jià)函數(shù)后,需要結(jié)合一定的聚焦搜索策略才能快速的做到準(zhǔn)確聚焦,這也是提高聚焦速度的關(guān)鍵。 聚焦搜索算法主要是依據(jù)評價(jià)函數(shù)的結(jié)果進(jìn)行最佳位置的搜索,由于評價(jià)函數(shù)都具有較好的單峰性,所以搜索算法只需要找到峰值即可完成對焦操作,最經(jīng)典的算法就是爬山算法[8]。 無論何種聚焦搜索算法,其主要目的就是利用清晰度評價(jià)結(jié)果快速的找到峰值,以完成快速聚焦。但在本研究中,由于使用了聚焦曲面,快速驅(qū)動電機(jī)到達(dá)聚焦最佳位置附近,但卻不能保證每次均是最佳聚焦,且當(dāng)圖片屬于高噪聲、高度模糊時(shí),無論何種聚焦評級函數(shù)都會出現(xiàn)擾動,而出現(xiàn)偽聚焦峰值,導(dǎo)致電機(jī)移動方向被改變,而造成錯(cuò)誤的聚焦、或者聚焦不清等現(xiàn)象。在本研究中我門采用在聚焦曲面一定范圍內(nèi)進(jìn)行聚焦搜索,即二次局部全搜索算法,該范圍隨著倍率的增大而增大,這是根據(jù)倍率越大,聚焦曲面在同一倍率下的聚焦值變化越大的特點(diǎn)所決定。 根據(jù)所使用的攝像機(jī)的物焦曲線以及聚焦曲面擬合誤差可以確定此范圍最大值,假設(shè)聚焦區(qū)間總的數(shù)值為M,物距最小時(shí)最大倍率的聚焦值為F1,物距最大時(shí)最大倍的聚焦值為F2,而聚焦曲面擬合誤差為E,則需要根據(jù)((F1-F2)/M,E,Zoom)三個(gè)數(shù)值共同定義搜索空間,其類似于聚焦曲面的上下聚焦范圍。獲得此聚焦范圍后,在此范圍內(nèi),首先進(jìn)行一次大步長的全局搜索,這個(gè)操作使我們可以獲得一個(gè)歸一化聚焦評價(jià)曲線,之后,尋找到最大值后,進(jìn)一步縮小區(qū)間,進(jìn)行精細(xì)的小范圍局部搜索,之后同樣獲得一個(gè)歸一化聚焦評價(jià)曲線,最后利用該曲線便可以確定最佳峰值位置。由于在聚焦峰值兩側(cè)圖像清晰度具有對稱性,可以根據(jù)對稱性來指導(dǎo)聚焦搜索,以確定最佳的搜索位置。 實(shí)驗(yàn)選取了的攝像機(jī)為33 倍智能高清網(wǎng)絡(luò)攝像機(jī)鏡頭,對實(shí)際環(huán)境進(jìn)行觀測,獲得了多個(gè)場景的聚焦圖像,算法首先將4K 分辨率的圖片每隔4 行(列)取一行(列),將原3840×2160 大小變?yōu)?60×540,之后通過縮放圖片將其變?yōu)?84×216。限于篇幅,在此給出其中一種場景的實(shí)驗(yàn)對比結(jié)果,場景如圖6。 圖6 實(shí)驗(yàn)場景圖 實(shí)驗(yàn)使用MATLAB R2017 在Windows 64 位系統(tǒng)中進(jìn)行仿真,使用本研究所提算法結(jié)與其他算法進(jìn)行比較,試驗(yàn)中α=0.25,β=0.1,γ=0.15,δ=0.3,仿真結(jié)果如圖7。 圖7 仿真結(jié)果 表1 各評價(jià)函數(shù)用時(shí)比較 由上述實(shí)驗(yàn)結(jié)果可以看出,速度最快的是基于灰度檢測的算法,但考慮到歸一化評價(jià)函數(shù)的靈敏性來說,傳統(tǒng)快速DCT 變換以及本研究算法對其的改進(jìn)靈敏性最高,而從運(yùn)行時(shí)間上來說,而本研在速度和效果上均優(yōu)于傳統(tǒng)快速DCT 變換,本算法的改進(jìn)DCT 方法運(yùn)行時(shí)間不到傳統(tǒng)快速DCT 的1/10,證明了算法正確性和有效性。 將本算法應(yīng)用于33 倍自研攝像機(jī),結(jié)合激光測距對實(shí)際場景進(jìn)行自動聚焦,聚焦時(shí)間如表2。 表2 實(shí)際場景聚焦時(shí)間表 在表2 中,遠(yuǎn)距離選取的是800 米建筑物,中距離選取的25 米建筑物,近距離選取的是3.5 米帶有條紋的平面,而大倍率是在Zoom 為-3032(放大約29 倍),小倍率是在Zoom 為13656(放大約2 倍)。由上表可以看出,當(dāng)處于小倍率時(shí),本研究所提算法,搜索區(qū)間較小,搜索次數(shù)較少,但是當(dāng)處于大倍率下,由于聚焦搜索區(qū)間較大,搜索次數(shù)較多,導(dǎo)致聚焦時(shí)間變長,而在以上場景中平均聚焦時(shí)間為3.707 秒,只進(jìn)行兩次聚焦搜索,在聚焦時(shí)間有所優(yōu)化。 針對大倍率監(jiān)控?cái)z像機(jī)快速聚焦的要求,本文提出一種基于聚焦曲面為核心的快速聚焦的方法,同時(shí)針對4K 分辨率的圖像使用抽稀放縮法縮減數(shù)據(jù)量,使用改進(jìn)型快速DCT 變換作為評價(jià)函數(shù),結(jié)合聚焦曲面的使用,提出了二次局部全搜索算法進(jìn)行峰值搜索。實(shí)驗(yàn)結(jié)果表明,該方法可以通過快速驅(qū)動聚焦電機(jī)到達(dá)清晰度最佳位置附近,之后僅進(jìn)行二次局部搜索即可確定最佳聚焦位置,實(shí)現(xiàn)了大幅度減少聚焦時(shí)間。但該算法仍存在不足,由于高度模糊的圖片亮度增加,而使用抽稀放縮法損失了一定的細(xì)節(jié)成分,導(dǎo)致圖像在高度模糊聚焦值異常增加,不利于聚焦搜索,故可以通過對圖片的模糊度進(jìn)行檢測,利用檢測結(jié)果來修正DCT 變換結(jié)果,將是本研究今后的方向。2 數(shù)字圖像處理
2.1 聚焦窗口
2.2 清晰度評價(jià)函數(shù)
2.3 峰值搜索算法
3 算法實(shí)驗(yàn)及分析
3.1 仿真實(shí)驗(yàn)及分析
3.2 實(shí)際場景實(shí)驗(yàn)及分析
4 結(jié)語