陳智,陳廣東,程浩,黃海行(.南京航空航天大學(xué) 電子信息工程學(xué)院,江蘇 南京 006;.南京航空航天大學(xué) 無人機(jī)研究院,江蘇 南京 006)
基于合成孔徑聚焦圖像信息的車載三維視覺導(dǎo)航方法
陳智1,陳廣東2,程浩1,黃海行1
(1.南京航空航天大學(xué) 電子信息工程學(xué)院,江蘇 南京210016;2.南京航空航天大學(xué) 無人機(jī)研究院,江蘇 南京210016)
合成孔徑視覺測距是多目視覺測量與單目視覺測量相結(jié)合的產(chǎn)物。合成孔徑聚焦測距方法是一種通用的圖像視覺方法,對(duì)光照、色彩、紋理等變化穩(wěn)定性好,能實(shí)時(shí)處理,適用于復(fù)雜的交通管理工程,為車輛自動(dòng)駕駛找到了一種新導(dǎo)航方法。利用小孔成像模型攝像機(jī)共面陣列獲取圖像序列,根據(jù)圖像序列獲取各距離段所對(duì)應(yīng)的桶型失真和像差校正疊加圖像,計(jì)算基準(zhǔn)圖像中每個(gè)像素的鄰域與每一幅校正疊加圖像中相應(yīng)區(qū)域的相似測度,并選取相似測度隨像差校正疊加圖像變化的范圍大于一預(yù)設(shè)閾值的像素作為可測距像素,相似度最大的校正疊加圖像所對(duì)應(yīng)的距離段即為該可測距像素對(duì)應(yīng)目標(biāo)點(diǎn)所處的距離段。實(shí)測數(shù)據(jù)表明該測距方法具有魯棒性好,算法簡單的優(yōu)點(diǎn)。
攝像機(jī)陣列;合成孔徑;聚焦測距;單目視覺
車輛自主駕駛是目前的熱門課題,對(duì)道路環(huán)境的探測是個(gè)難題,采用雷達(dá)、激光等多個(gè)傳感器的探測系統(tǒng)造價(jià)高,卻不能解決復(fù)雜環(huán)境下對(duì)道路環(huán)境的正確評(píng)估,成為車輛自主駕駛技術(shù)推廣的瓶頸。立體視覺測距作為機(jī)器視覺領(lǐng)域內(nèi)基礎(chǔ)技術(shù)之一,廣泛應(yīng)用于機(jī)器視覺定位、目標(biāo)跟蹤、視覺避障等領(lǐng)域,尤其是作為視覺導(dǎo)航和伺服控制中不可或缺的基礎(chǔ)技術(shù)受到廣泛的關(guān)注。機(jī)器視覺測量主要分為:單目視覺測量、雙目視覺測量、多目視覺測量、結(jié)視覺測量構(gòu)光視覺測量等。合成孔徑視覺測距是多目視覺測量與單目視覺測量相結(jié)合的產(chǎn)物。
多目立體視覺是同時(shí)利用多個(gè)采集設(shè)備對(duì)場景進(jìn)行觀測。根據(jù)觀測視角之間的差異又可以分為寬基線和窄基線。寬基線觀測視角差異較大,對(duì)場景有較全面的觀測,但是遮擋、透視效應(yīng)比較嚴(yán)重,所以在重建中只能恢復(fù)離散的空間點(diǎn)集。而窄基線和人眼的結(jié)構(gòu)比較類似,觀測點(diǎn)視角差和距離都比較小,對(duì)場景的大部分都能找到較好的對(duì)應(yīng)關(guān)系,因此可以得到稠密的場景距離信息即深度圖(Depth Map)。立體視覺在各個(gè)研究領(lǐng)域都有著重要的應(yīng)用。在城市的規(guī)劃和設(shè)計(jì)上,配合已有的全球定位系統(tǒng)(Global Positioning System,GPS)和慣性導(dǎo)航系統(tǒng)(Inertial Navigation System,INS)系統(tǒng),利用視頻序列中的深度信息提取,可以進(jìn)行完整的街道或者建筑的重建。這對(duì)于地型檢測、地圖可視化以及虛擬現(xiàn)實(shí)都有重要的幫助[1]。在航拍和衛(wèi)星圖像中,數(shù)字高程模型(DigitalElevation Model,DEM)的獲取相對(duì)比較困難。并且由于觀測距離的限制,傳統(tǒng)的雙目立體視覺不能提供足夠的觀測角度差。基于窄基線的DEM數(shù)據(jù)提取也成為值得研究的關(guān)鍵技術(shù)[2]。在二維圖像中,存在一些無法解決的問題,比如遮擋、顏色相似目標(biāo)等。立體視覺可以將場景中感興趣目標(biāo)在三維空間中進(jìn)行檢測,輔助分割(Color Segmentation)、摳圖(Matting)、修復(fù)(Inpaint)等技術(shù)[3],實(shí)現(xiàn)多目標(biāo)檢測、識(shí)別和跟蹤應(yīng)用。另外在圖像拼接中立體信息也有很重要的應(yīng)用[4]。
單目視覺利用圖像的聚散焦效應(yīng)實(shí)現(xiàn)圖像測距。單目視覺不存在特征點(diǎn)匹配等問題[5-11],結(jié)構(gòu)簡單,運(yùn)算速度快而具有廣闊的應(yīng)用前景。單目視覺距離的分辨率與光學(xué)鏡頭孔徑正相關(guān),要獲得高的距離測量精度,就需用大孔徑鏡頭成像。大孔徑光學(xué)鏡頭除制造難度大外,成像面移動(dòng),鏡頭孔徑(光圈)張縮等動(dòng)作需做機(jī)械運(yùn)動(dòng),使用不便。在光學(xué)鏡頭的生產(chǎn)制造技術(shù)實(shí)踐中,人們很早就意識(shí)到光學(xué)鏡頭大孔徑可看成由諸多子孔徑合成而來。合成孔徑原理早已被國內(nèi)外業(yè)界知曉,但與信號(hào)處理相結(jié)合的應(yīng)用卻時(shí)間不長,在成像載體為膠片和模擬信號(hào)感光器的年代,人們主要在光學(xué)和機(jī)械系統(tǒng)中利用合成孔徑方法改善光學(xué)鏡頭的性能,例如菲涅耳透鏡[8]。數(shù)字化成像設(shè)備的普及給合成孔徑處理帶來了巨大便利,近年歐美日韓在這一領(lǐng)域進(jìn)行了前沿性研究。本文根據(jù)合成孔徑原理,將多機(jī)位小孔成像合成為大孔徑圖像,與單鏡頭成像效果一致,用數(shù)字圖像處理方法實(shí)現(xiàn)成像面的靈活移動(dòng),鏡頭孔徑(光圈)靈活張縮,應(yīng)用單目聚焦原理得到距離信息。航拍圖像序列處理,移動(dòng)攝像機(jī)圖像序列處理,都可采用合成孔徑原理獲得深度信息。
合成孔徑聚焦測距方法是一種通用的圖像視覺方法,對(duì)光照、色彩、紋理等變化穩(wěn)定性好,適宜車輛自主駕駛工程應(yīng)用。合成孔徑測距與一般多目視覺的區(qū)別在于合成孔徑聚焦形成的合成孔徑增益,提高了信噪比,此外它對(duì)特定距離聚焦的同時(shí),其他距離處的目標(biāo)像散焦為均勻平滑的像斑,這些像斑對(duì)測距的干擾相對(duì)較小,也就是說合成孔徑通過散焦濾除了其他距離處目標(biāo)像干擾。
大孔徑鏡頭成像時(shí),通過鏡頭各部位的入射光線經(jīng)鏡頭折射后,目標(biāo)光線重新會(huì)聚,在成像面成二維像。若將入射光線按所通過的子孔徑分離成像,再用信號(hào)處理方法疊加,就得到合成孔徑像,成像結(jié)果與大孔徑鏡頭成像一致。圖1顯示全孔徑成像時(shí),正確距離處點(diǎn)經(jīng)大孔徑光學(xué)鏡頭聚焦在成像面上,為一點(diǎn);而另一距離處的目標(biāo)點(diǎn)成像為一圓,它由各子孔徑成像組成,因此我們能仿真大孔徑鏡頭成像過程,將各子孔徑像按一定規(guī)則疊加,得到合成孔徑像,它具有大孔徑鏡頭成像的特征,可以應(yīng)用單目測距的方法測量合成孔徑目標(biāo)的距離。形成合成孔徑像,并沒有要求圖1大孔徑圈中所有子孔徑像都參與計(jì)算,只需部分子孔徑像參與疊加計(jì)算,就能形成合成孔徑效應(yīng)。合成孔徑測距與一般多目視覺的區(qū)別在于合成孔徑聚焦形成的合成孔徑增益,提高了信噪比,此外它對(duì)特定距離聚焦的同時(shí),其他距離處的目標(biāo)像散焦為均勻平滑的像斑,這些像斑對(duì)測距的干擾相對(duì)較小,也就是說合成孔徑通過散焦濾除了其他距離處目標(biāo)像干擾。
圖1 合成孔徑聚焦成像
攝像機(jī)陣的各攝像機(jī)成像符合小孔成像模型,合成孔徑聚焦立體視覺陣列的相同攝像機(jī)Cn平行放置,n=-N,…,0,…N,基準(zhǔn)攝像機(jī)C0安裝在陣列中心,以線陣為例,所有攝像機(jī)均勻固定在長度為2NB的橫桿上,攝像機(jī)間距為B,基準(zhǔn)攝像機(jī)C0在橫桿中心。攝像機(jī)的鏡頭方向與橫桿垂直。所有攝像機(jī)中軸線共面平行。這樣一來,攝像機(jī)Cn與基準(zhǔn)攝像機(jī)的基線為nB。
各攝像機(jī)坐標(biāo)系的原點(diǎn)是各自鏡頭的光心,Z軸通過光心指向場景點(diǎn)方向,且垂直于圖像平面,X軸通過光心沿著基線方向,Y軸通過光心垂直于另外兩軸,這三者滿足右手定則。xn為目標(biāo)點(diǎn)P在各圖像坐標(biāo)系中橫坐標(biāo),z為P到攝像機(jī)主平面的距離,nB為基線長度,f為焦距。由幾何關(guān)系可以得出攝像機(jī)Cn與基準(zhǔn)攝像機(jī)C0的像差為:
其中Lc為靶面像素距離,f為小孔鏡頭焦距。
若基準(zhǔn)攝像機(jī)C0的圖像為s0(x,y),則合成孔徑疊加圖像為:
其中:
為合成孔徑像素?cái)U(kuò)散核,與光學(xué)孔徑不同,合成孔徑核擴(kuò)散范圍可以很大,擴(kuò)散方式可以是離散的,擴(kuò)散維和方向也可以人為設(shè)計(jì)。式(1)移位是亞像素級(jí),可以使合成孔徑像聚焦在任意距離處,即成像面可以任意移動(dòng)。直接將所有圖疊加所得合成像對(duì)無窮遠(yuǎn)處目標(biāo)聚焦。攝像機(jī)線陣長度2NB為合成孔徑長度,舍棄線陣兩端攝像機(jī)圖像可類比于縮小了合成鏡頭的光圈。由于線陣相鄰攝像機(jī)基線很短,減輕了視點(diǎn)不同造成的遮擋圖像變化。
合成孔徑聚焦立體視覺要求獲得同一目標(biāo)不同機(jī)位的多個(gè)圖像,對(duì)光照、攝像機(jī)差異、噪聲等有較強(qiáng)的適應(yīng)能力。圖像序列可以來自攝像機(jī)陣列,也可以是同一攝像機(jī)移位分時(shí)拍攝。實(shí)際上航拍圖像序列處理,移動(dòng)攝像機(jī)圖像序列處理,也可采用了合成孔徑原理獲得深度信息。
圖2為不同機(jī)位拍攝合成孔徑圖像序列,拍攝用攝像機(jī)為超景深的小孔鏡頭,圖像序列并非同時(shí)采集,各圖像光照差異很大。
圖2 合成孔徑圖像序列
圖像的超分辨率重建是指從一系列退化的低分辨率觀測圖像中構(gòu)造出一幅或多幅清晰的高分辨率圖像,這種方法的核心思想是用時(shí)間帶寬換取空間分辨率,即對(duì)一組相同場景下具有亞像素位移關(guān)系的低分辨率的圖像序列,利用他們的相互補(bǔ)充的信息以及目標(biāo)的先驗(yàn)信息,恢復(fù)出圖像采集生成時(shí)丟失或降低的高頻信息,從而重建出高分辨率的圖像。自Tsai和Huang[12]于1984年第一次提出多幀圖像的超分辨率重建技術(shù)的數(shù)學(xué)模型和可行解以來,超分辨率重建技術(shù)取得了長足的發(fā)展與進(jìn)步。按照?qǐng)D像重建處理域的不同,超分辨率重建技術(shù)可以劃分為頻域法和空域法兩類。相比較而言,空域法有更多的靈活性和更廣的適用范圍,它可以充分考慮更為一般的運(yùn)動(dòng)及退化模型,有效地利用多種圖像的約束信息,如馬爾柯夫隨機(jī)場(Markov Random Field,MRF)、模糊和運(yùn)動(dòng)等各種先驗(yàn)知識(shí),是當(dāng)前乃至今后的研究重點(diǎn),其代表性方法主要包括非均勻插值法(Non-uniform Interpolation)、迭代反投影法(Iterative Back Projection,IBP)、凸集投影法 (Projection Onto Convex Set,POCS)、最大后驗(yàn)概率估計(jì)法(Maximum a Posteriori,MAP)、正則化方法、MAP/POCS混合法、自適應(yīng)濾波法等。分辨率的提高實(shí)際是通過更高的空間采樣率去除混疊實(shí)現(xiàn)的。是把在獲取圖像時(shí)丟失或退化的高頻信息恢復(fù)出來,對(duì)一系列彼此間有亞像素位移的低分辨率圖像通過增加傳感器的空間采樣率,恢復(fù)由混疊產(chǎn)生的高頻成分,從而生成一個(gè)含有較少的模糊、噪聲和混疊的高分辨率圖像。圖像復(fù)原3個(gè)過程逐步執(zhí)行的實(shí)現(xiàn)流程,如圖3所示。首先通過圖像配準(zhǔn)估計(jì)出低分辨率圖像間的相對(duì)位移,并將采樣數(shù)據(jù)映射到高分辨率網(wǎng)格上,從而形成一副由非均勻間隔采樣網(wǎng)格點(diǎn)上的樣本值組成的復(fù)合圖像。然后通過內(nèi)插和重采樣可將這些低分辨率圖像的像素點(diǎn)填入高分辨率圖像網(wǎng)格上,獲得一幅初步的重建圖像。最后,對(duì)第二步中所得到的圖像進(jìn)行后處理,包括采用經(jīng)典的維納濾波將圖像中的模糊和噪聲去除,獲得最終的重建圖像。
圖3 非均勻插值超分辨重建法基本步驟
在非均勻插值算法的研究方面,Keren[13]等人提出了一種包括整體平移和旋轉(zhuǎn)的超分辨率重建模型,這一算法計(jì)算簡單,但對(duì)于消除觀測圖像之間的頻譜混疊效果并不明顯。Aizawa[14]等提出了另一種基于內(nèi)插的方法,對(duì)通過立體相機(jī)獲取的低分辨率圖像的超分辨率復(fù)原問題進(jìn)行了分析,但這一算法同樣沒有考慮運(yùn)動(dòng)和光學(xué)模糊。Komatsu[15]等人利用塊匹配技術(shù)實(shí)現(xiàn)低分辨率圖像間的運(yùn)動(dòng)參數(shù)估計(jì),并借助Landweber算法重建高分辨率圖像。Nguyen[16]等提出了一種基于小波變換的非均勻采樣插值算法,其基本思想是將低分辨率圖像序列變換到不同尺度的小波空間,然后在小波域?qū)D像進(jìn)行重建,從而得到高分辨率的重建圖像。不同機(jī)位拍攝合成孔徑圖像序列不但存在位移視差,還存在桶型失真,將桶型失真校正與高分辨率重建圖像相結(jié)合,可提高計(jì)算效率,考慮到重建圖像的分辨率和硬件計(jì)算能力,參與重建的圖像序列數(shù)量不能太多,以達(dá)到重建圖像最高分辨率極限作為標(biāo)準(zhǔn)。這種插值重建方法采用簡單的觀測模型,只能重建圖像因攝像機(jī)靶面欠采樣造成的分辨率損失,而不能恢復(fù)采樣感光單元占面量化誤差。通常參與重建的圖像序列數(shù)量以4幅左右為宜。圖4為桶型失真校正與高分辨率重建圖像示意圖,圖中符號(hào)“×”和“△”代表的采樣點(diǎn)分別來自圖像序列中的兩個(gè)圖像,二者存在桶型失真和移位,符號(hào)“.”是插值結(jié)果,它的密度高于圖像序列,達(dá)到高分辨率重建圖像的目的。
這樣全部圖像序列需分組進(jìn)行高分辨率重建,再將各組結(jié)果疊加形成合成像。圖5為圖像序列合成像,圖5(a)聚焦在車輛前沿處,圖5(b)聚焦在相對(duì)遠(yuǎn)景處,由于合成孔徑直徑比光學(xué)鏡頭大得多,所以微小的目標(biāo)距離差異,也能造成明顯的聚散焦效應(yīng)。圖像序列合成像對(duì)單個(gè)圖像光照、攝像機(jī)抖動(dòng)、噪聲等差異有明顯抑制能力。聚焦測距允許合成像因誤差造成聚焦像清晰度有所下降。
圖4 桶型失真校正與高分辨率重建圖像
圖5 圖像序列合成像
合成孔徑聚焦空域測距法能有效測量目標(biāo)距離[6],其基本原理是將合成像與基準(zhǔn)像相比,相似性測度最大,說明該處聚焦,根據(jù)聚焦參數(shù)得到目標(biāo)距離。合成孔徑聚焦測距法只對(duì)特定距離目標(biāo)聚焦,聚焦目標(biāo)信號(hào)能量集中,受其他距離目標(biāo)信號(hào)影響小,聚焦像能量集中在小區(qū)域,易于與其他距離目標(biāo)區(qū)分,算法穩(wěn)定,適于工程應(yīng)用。
相比于用圖像的銳度和梯度分割聚焦區(qū)和散焦區(qū),用與基準(zhǔn)圖的相似度分割圖像更為穩(wěn)健。相似性測度是衡量兩幅圖像相似度的指標(biāo),相似性測度的選擇是圖像配準(zhǔn)中最重要的步驟之一,在基于灰度信息的圖像配準(zhǔn)中,比較常用的配準(zhǔn)測度有誤差平方和,誤差絕對(duì)和,歸一化互相關(guān),以及互信息等。Studholme[17]提出了歸一化互信息(Normalized Mutual Information,NMI),表現(xiàn)形式如下:
式中(x,y)為像素坐標(biāo)。H(R)和H(F)別是基準(zhǔn)圖像和合成圖像在坐標(biāo)(x,y)鄰域圖像塊的信息熵,(R,F(xiàn))聯(lián)合熵。互信息作為圖像配準(zhǔn)的相似性測度,最重要的是需要估計(jì)兩幅圖像塊的熵和聯(lián)合熵,即計(jì)算概率和聯(lián)合概率,最常用的直方圖法計(jì)算簡單[18],從直觀的角度突出了以頻率代替概率來進(jìn)行密度估計(jì),本文即采用直方圖法計(jì)算互信息。
取邊長為5個(gè)像素的方滑塊,作為滑塊中心像素鄰域,在畫面中由左至右,由上向下依次滑遍整幅畫面,計(jì)算滑塊內(nèi)圖像與基準(zhǔn)圖相似測度Rz(x,y),以有序間隔改變z值計(jì)算Rz(x,y),重復(fù)上述過程,得到所有z值對(duì)應(yīng)的Rz(x,y)。
應(yīng)用聚焦效應(yīng)測距時(shí)目標(biāo)區(qū)圖像熵不能太小,即目標(biāo)區(qū)圖像要有一定信息量,否則不會(huì)產(chǎn)生聚散焦差別,圖6為基準(zhǔn)圖信息熵分布二值圖像,其中白色區(qū)域表示該區(qū)圖像有足夠的目標(biāo)信息量,可以測距,而零值區(qū)表示該區(qū)圖像沒有足夠的目標(biāo)信息量,不可以測距。
圖6 基準(zhǔn)圖信息熵分布
以信息熵分割圖像也是件復(fù)雜工作,且會(huì)困擾于各個(gè)圖像采樣條件差異??疾霷z(x,y)就可區(qū)分聚散焦差別,分割圖像。熵小的圖像其Rz(x,y)隨z變化小,反之則動(dòng)態(tài)范圍大。給相似度Rz(x,y)動(dòng)態(tài)范圍設(shè)一門限,對(duì)基準(zhǔn)圖中各像素領(lǐng)域區(qū),Rz(x,y)動(dòng)態(tài)范圍大于門限的目標(biāo)測距才是有效測距,最大相似度對(duì)應(yīng)的z值為該像素的距離。
系統(tǒng)框圖如圖7所示:
圖7 合成孔徑聚焦立體視覺算法
圖8為合成孔徑目標(biāo)深度圖像,圖中亮度表示目標(biāo)深度,左側(cè)亮度與距離對(duì)照表的尺度單位為米。該圖需與圖6二值圖比照,可得目標(biāo)有效部位的深度。
圖8 合成孔徑視覺測得目標(biāo)深度圖像
由圖8可測距點(diǎn)距離信息,加上街道模型和車輛模型先驗(yàn)信息,不難分析出道路上各車道占用情況,規(guī)劃出自動(dòng)駕駛車輛可用車道,為自動(dòng)駕駛車輛導(dǎo)航。完整的立體視覺還包括三維建模的平滑和精細(xì)化工作,但在自動(dòng)駕駛車輛導(dǎo)航中可省略。
由(1)式得:
其中的最小值為距離分辨量:
它符合單目視覺距離測量分辨量特征[5-19],式中常數(shù)σ= Lc·d(x0-xn)是可區(qū)分靶面視差(在實(shí)孔徑單目視覺中為與靶面最小分辨單元有關(guān)的常數(shù)),Lc由硬件定,d(x0-xn)是圖像可區(qū)分像素視差,由算法決定,可達(dá)亞像素,即d(x0-xn)≤1,通常用1作為d(x0-xn)的評(píng)估值。(4)式表明距離分辨量與距離平方成正比,距離越遠(yuǎn)測距精度越差。由式(4)可見增加合成孔徑長度NB或選用長焦距f可提高分辨率,但會(huì)帶來測距范圍變化。
測距最遠(yuǎn)距離理論值為無窮遠(yuǎn),但測距分辨量為無窮大,沒有實(shí)踐意義,通常認(rèn)為測距最遠(yuǎn)距離受目標(biāo)可識(shí)別圖像大小限制。
測距最近距離受測距死區(qū)限制,進(jìn)入測距死區(qū)后,有部分線陣攝像機(jī)看不見目標(biāo),影響圖像聚焦測距。攝像機(jī)分布密度,分布是否均勻影響非距離z處場景圖像是否被均勻平滑。攝像機(jī)數(shù)量增加意味著計(jì)算量增加和系統(tǒng)誤差增加。由于合成孔徑可實(shí)現(xiàn)高分辨率重建,所以基準(zhǔn)攝像機(jī)要選用高像素,以實(shí)現(xiàn)高精度測距。
合成孔徑聚焦立體視覺作為一種視覺通用處理方法,適用于復(fù)雜的交通管理工程。能實(shí)時(shí)處理,三維測量像為車輛自動(dòng)駕駛找到了一種新導(dǎo)航方法。
[1]Pollefeys M,Nister D,F(xiàn)rahm J,et al.Detailed real-time urban 3d reconstruction from video[J].International Journal of Computer Vision,2008,78(2):143-167.
[2]Morgan G,Liu J,Yan H.Sub-pixel stereo-matching for DEM generation from narrow baseline stereo imagery[C]//Proceedings of International Geoscience and Remote Sensing Symposium,volume 3.IEEE.1284-1287.
[3]Guofeng Z,Jiaya J,Wei H,et al.Robust bilayer segmentation and motion/depth estimation with a handheld camera[C]// Pattern Analysis and Machine Intelligence,IEEE Transactions on,2011,33(3):603-617.
[4]Rav-Acha A,Engel G,Peleg S.Minimal aspect distortion(MAD)mosaicing of long scenes.International Journal of Computer Vision,2008,78(2):187-206.
[5]黃桂平,李廣云.單目視覺測量技術(shù)研究[J].計(jì)量學(xué)報(bào),2004,25(4):314-317.
[6]Xiong Y,Shafer S.Depth from focusing and defocusing[C]// Proceedings CVPR'93.1993IEEEComputer Society conference on Computer Vision and Pattern Recognition,1993:967-976.
[7]Nayar S K.Shape from focus system[C]//Proceedings of the IEEE Computer Society conference on Computer Vision and Pattern Recognition,champaign,illinois,1992:302-308.
[8]Subbarao M,Tyan J K.The optimal focus measure for passive auto focusing and Depth-from-Focus[C].Proceedings of SPIE conference on Video metrics IY,PhiladelPhia,1995 (2598):89-99.
[9]Rajagopalan A N,Chaudhuri S.Space-Variant Approaches to Recovery of Depth from defocused Images[J].Computer Vision and Image Understanding,1997,68(3):309-329.
[10]Pentland.A new sense for depth of field[J].IEEE Trans.on PAM,1987(19):523-531.
[11]Subbarao M,Gurulnoorthy N.Depth recovery from blurred edges[J].CVPR,1988(88):498-503.
[12]Huang T S,Tsai R Y.Multi-frame image restoration and registration[C]//Advances in Computer Vision and Image Processing,1984(I):317-339.
[13]Keren D,Peleg S,Brada R.Image sequence enhancement using subpixel displacements[J].Proceedings of IEEE Computer Society Conference on Computer Visionand Pattern Recognition,1988,5(1):742-746.
[14]Aizawa K,Komatsu T,Saito T.Acquisition of very high resolution images using stereo cameras[C]//In SPIE Visual Communications and Image Processing,1991(1):318-328.
[15]Komatsu T,Aizawa K,Igarashi T,et al.Signal-processing based method for acquiring very high resolution image with multiple cameras and its theoretical analysis[J].Proc.Inst. Elec.Eng.,1993(140):19-25.
[16]Nguyen N,Milanfar P.An efficient wavelet-based algorithm for image super resolution[J].IEEE International Conference on Image Processing,2000(2):351-354.
[17]Studholme C,Hill D L G,Hawkes D J.An overlap invariant entropy measure of 3D medical image alignment[J].Pattern Recognition,1999,32(1):71-86.
[18]Maes F,CollignonA,VandermeulenD,et al.Multi-modality image registration by maximization of mutual information. IEEE Transactions on Medical Imaging,1997(2):87-198.
[19]董杰.基于單目視覺的散焦測距算法的研究[D].青島:中國海洋大學(xué),2010.
Vehicular three-dimensional visual navigation method based on synthetic aperture focusing image information
CHEN Zhi1,CHEN Guang-dong2,CHENG Hao1,HUANG Hai-xing1
(1.College of Electronic and Information Engineering,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China;2.Research Institute of Unmanned Aircraft,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China)
Synthetic aperture visual measurement is the combination object of multi-vision measurement and monocular vision measurement is.Synthetic aperture focusing measurement is a common image vision method.The method is stable when illumination,color,or texture changed and it's real-time processing.The technique is suitable for complicated transportation management project and it provides a novel navigation method for autonomous vehicle driving system.Using pinhole imaging model,a sequence of images is taken by coplanar camera arrays.For each segment,barrel distortion and parallax correction stack image is calculated.Then the regional similarity metric of the reference image and the stack image is got.The target distance is in the segment which has maximum similarity metric of the reference image and the stack image.Simulation results verify the efficacy of this scheme.Depth from synthetic aperture focus has good robustness and the algorithm is simple.
camera arrays;synthetic aperture;depth from focus;monocular vision
TN911.73
A
1674-6236(2016)11-0181-05
2015-06-27稿件編號(hào):201506228
陳 智(1990—),男,安徽安慶人,碩士研究生。研究方向:圖像處理、合成孔徑聚焦成像。