亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于Kinect相機(jī)的深度圖像修復(fù)算法

        2021-07-29 00:30:32劉繼忠王聰
        關(guān)鍵詞:中值雙邊空洞

        劉繼忠,王聰

        (南昌大學(xué)機(jī)器人研究所,江西 南昌330031)

        微軟公司的Kinect產(chǎn)品發(fā)布之后,逐漸吸引了大量科研人員的關(guān)注。Kinect作為一款RGB-D相機(jī),可以同時(shí)采集彩色(RGB)圖像和深度圖像,廣泛應(yīng)用于三維場景重建[1]、目標(biāo)追蹤系統(tǒng)[2]、同時(shí)定位與地圖構(gòu)建(SLAM)和機(jī)器人導(dǎo)航等領(lǐng)域。深度圖像中把相機(jī)到場景的距離以灰度值的形式儲(chǔ)存。在計(jì)算機(jī)視覺領(lǐng)域主要有3種獲取深度信息的方法:第1種是單目相機(jī),其不能直接得到物體與相機(jī)的距離,需經(jīng)過相機(jī)平移后計(jì)算深度,但有尺度不確定性的缺點(diǎn);第2種是雙目相機(jī),它可以通過兩個(gè)相機(jī)的視差計(jì)算深度,但計(jì)算視差的運(yùn)算量較大,消耗計(jì)算資源;第3種是RGB-D相機(jī)[3],如Kinect等,它可同時(shí)獲得彩色圖像和相對應(yīng)的深度圖像,因可以直接得到深度信息,且價(jià)格低廉,性價(jià)比較高。但是,Kinect在采集深度圖像時(shí),遇到區(qū)域遮擋、鏡面反射等情況,所得圖像會(huì)在這些區(qū)域產(chǎn)生大量空洞(即在深度圖像里空洞對應(yīng)區(qū)域的灰度值為0)和噪聲[4]。因此,為了得到高質(zhì)量的深度數(shù)據(jù),需要對采集的深度圖像進(jìn)行修復(fù),為后續(xù)的三維重建提供數(shù)據(jù)參考。

        針對上述問題,許多研究人員對深度圖像空洞修復(fù)和去噪進(jìn)行了大量探索研究。其中,基于濾波的方法來達(dá)到修復(fù)的方式相對簡單且應(yīng)用廣泛。Elguebaly等[5]提出了一種基于高斯濾波的修復(fù)方法,該方法有較好的修復(fù)效果,主要體現(xiàn)在處理小型空洞或噪聲的情況,但在處理大面積的空洞時(shí)效果較差。Esfahani等[6]采用了基于雙邊濾波的修復(fù)方法,該方法能夠有效地處理邊緣處的較小的空洞噪聲,且能同時(shí)考慮到空洞點(diǎn)處的像素信息與位置信息。Chen等[7]提出用聚類的思想修復(fù)深度空洞的區(qū)域,該方法采用彩色圖聚類的結(jié)果為引導(dǎo),在空洞點(diǎn)處搜索引導(dǎo)圖像的非空洞點(diǎn),選擇該點(diǎn)的深度值作為空洞填充值,但該方法在使用時(shí)過于依賴聚類的結(jié)果,且魯棒性欠佳。Lu等[8]提出一種通過利用噪聲彩色圖像來修復(fù)深度值缺失的區(qū)域,并進(jìn)行去噪的方法,在低秩子空間約束中,通過RGB-D稀疏值合成矩陣來達(dá)到修復(fù)深度值和去噪的目的,深度圖像處理效果較好。在進(jìn)行深度圖像處理時(shí),濾波器大多只具有單一的修復(fù)空洞或去噪的功能。因此,本文提出了基于聯(lián)合雙邊濾波器和中值濾波相結(jié)合的方法,來修復(fù)采集的原始深度圖像中的空洞和噪聲。通過實(shí)驗(yàn)證明,該方法即可以有效的修復(fù)深度圖像的空洞區(qū)域,也能很好的去除噪聲。

        1 算法框架

        使用Kinect設(shè)備獲得彩色(RGB)圖像和深度圖像的信息,并將它們裁剪對齊,如圖1所示。再使用基于聯(lián)合雙邊濾波器和中值濾波相結(jié)合的方法,對采集的深度圖像中的空洞和噪聲進(jìn)行修復(fù),本文算法框架如圖2所示。

        圖2 算法框圖Fig.2 Algorithm block diagram

        (a) 彩色圖像

        1.1 預(yù)處理

        由于Kinect的彩色攝像頭和深度攝像頭的拍攝視點(diǎn)不同心(即不在同一位置),故應(yīng)先將彩色圖像與深度圖像對齊[9]。本文使用張正友標(biāo)定法來標(biāo)定彩色相機(jī)與深度相機(jī)的內(nèi)外參數(shù),這里就不詳細(xì)贅述。圖3為Kinect相機(jī)示意圖。

        圖3 Kinect v2相機(jī)Fig.3 Kinect v2 camera

        根據(jù)Kinect相機(jī)參數(shù)可以得知,Kinect彩色相機(jī)分辨率為1 920×1 080,深度相機(jī)分辨率為512×424,深度圖像幀率為30 fps,深度有效值的范圍為0.5~4.5 m,深度相機(jī)的視角為水平70°、垂直60°,而超出這一范圍的場景信息,都無法采集,此區(qū)域?yàn)檫吘墴o效區(qū)域。為了更好地對圖像進(jìn)行處理,本文將用裁剪圖像的方式去除邊界無效區(qū)域信息,以此來保證整體的深度圖像質(zhì)量。

        1.2 空洞修復(fù)

        Kinect在采集深度數(shù)據(jù)時(shí)[10],在鏡面反射區(qū)域或鄰近物體遮擋區(qū)域容易造成深度圖像信息丟失,它們在深度圖像上會(huì)以空洞形式存在,該空洞區(qū)域的深度值為0。聯(lián)合雙邊濾波[11]是基于雙邊濾波發(fā)展演化而來,雙邊濾波器[12]是一種非線性濾波器,采用了加權(quán)平均的思想。主要是用周邊像素灰度值的加權(quán)平均代表某個(gè)像素的強(qiáng)度,所用的加權(quán)平均基于高斯分布。雙邊濾波的權(quán)重不僅考慮像素的歐氏距離,還考慮像素領(lǐng)域中的顏色差異[13]。由于它結(jié)合了像素間的空域信息和灰度相似性,對于離它距離較遠(yuǎn)或與其像素值差別較大的點(diǎn)都不會(huì)對該點(diǎn)像素值造成太大影響,因此可以很好地保護(hù)邊緣,但雙邊濾波的權(quán)值不穩(wěn)定。雙邊濾波器計(jì)算公式如下:

        (1)

        (2)

        式中:Jp為濾波后的像素值;Kp為歸一化因子;Ω為待修復(fù)像素點(diǎn)p的鄰域;f表示空域權(quán)重;g表示值域權(quán)重,二者分別引入了像素間的距離與像素值的差別,一般f和g都是以點(diǎn)p為中心的高斯濾波器。

        (3)

        1.3 去噪

        Kinect v2屬于飛行時(shí)間(time of flight,TOF)的深度相機(jī),即測量光在Kinect相機(jī)到場景的飛行往返時(shí)間以獲得距離。而基于光學(xué)的測距在采集圖像時(shí)會(huì)產(chǎn)生噪聲的干擾。噪聲類型主要是椒鹽噪聲。對于椒鹽噪聲的存在,本文將采用中值濾波來處理。中值濾波是Tukey于1971年提出,是一種非線性濾波技術(shù)。對于均值濾波等線性濾波器在處理圖像時(shí),會(huì)造成圖像細(xì)節(jié)模糊,而在一定的條件下,中值濾波可以避免這種情況,并且中值濾波對圖像掃描噪聲等的處理效果較好,同時(shí)也能對圖像的邊緣信息有很好的保留,實(shí)現(xiàn)保邊去噪的效果[14]。其基本原理把數(shù)字圖像或數(shù)字序列中的某一點(diǎn)值,用其鄰域中的各點(diǎn)值的中值替代。通過這種方法對孤立的噪聲點(diǎn)具有很好的消除作用。

        簡單來說,當(dāng)使用中值濾波在對圖像進(jìn)行處理時(shí),會(huì)取3×3(或5×5、7×7等)的函數(shù)窗,從圖像的邊緣開始橫向或豎向依次進(jìn)行移動(dòng)處理,并計(jì)算以點(diǎn)[i,j]為中心的函數(shù)窗像素中值,具體操作如下:

        1) 在每次移動(dòng)時(shí),對于點(diǎn)[i,j],把鄰域窗口內(nèi)的圖像像素值進(jìn)行排列;

        設(shè)在鄰域窗口內(nèi)的各像素值為x1,x2,…,xn,接下來對于一維數(shù)列x1,x2,…,xn,把n個(gè)數(shù)據(jù)按大小排列:xi1≤xi2≤…≤xim,則公式如(4);

        (4)

        2) 取其統(tǒng)計(jì)中的中值作為該點(diǎn)[i,j]新值。

        一般采用長度為奇數(shù)點(diǎn)(即2n+1,n為正整數(shù))的鄰域。當(dāng)窗口在深度圖像數(shù)據(jù)上移動(dòng)時(shí),經(jīng)過中值濾波后輸出窗口內(nèi)各像素的中值作為新的像素值,來取代原窗口中心像素值。當(dāng)像素點(diǎn)為偶數(shù)時(shí),中值即為像素排序后的中間兩個(gè)的平均值。通過這種方式,遍歷完整幅深度圖,即可將噪聲濾除。

        2 實(shí)驗(yàn)結(jié)果與分析

        本文算法在Visual Studio 2013平臺上結(jié)合OpenCV 2.4.9用C++實(shí)現(xiàn),處理器為Inter i5-8300H 2.3 GHz主頻的PC機(jī),8 G內(nèi)存,Windows 10操作系統(tǒng),傳感器Kinect v2通過USB 3.0接口連接PC機(jī)。為了驗(yàn)證本文的有效性,通過與聯(lián)合雙邊濾波和高斯濾波進(jìn)行定性和定量對比實(shí)驗(yàn)。

        2.1 中值濾波的窗口選擇

        對于中值濾波的窗口大小選擇,本文使用Middlebury數(shù)據(jù)庫中的數(shù)據(jù)集Cones圖像來進(jìn)行試驗(yàn)。本文先通過人為添加強(qiáng)度40%椒鹽噪聲到深度圖像,然后使用不同窗口的中值濾波進(jìn)行去噪,最后根據(jù)結(jié)果對比來選擇合適的中值濾波窗口。實(shí)驗(yàn)結(jié)果如圖4所示。

        對于中值濾波來說,窗口越小,細(xì)節(jié)保留的會(huì)越多,但會(huì)有一部分椒鹽噪聲還沒有濾除,如圖4(d)和圖4(e)所示,3×3窗口的中值濾波過后的深度圖像,可以明顯看出存在大量的噪聲;5×5窗口的中值濾波過后未能完全濾除,仍存在少許的噪聲。圖4(f)中,經(jīng)過7×7窗口的中值濾波過后,已經(jīng)明顯沒有椒鹽噪聲;當(dāng)窗口尺寸大時(shí),雖然對噪聲濾除效果更好,但是圖像細(xì)節(jié)會(huì)丟失。圖4(g)相對于圖4(f),在面具之上的部分背景的深度信息細(xì)節(jié)已經(jīng)開始丟失,杯子里的木條中間部分也因深度信息丟失出現(xiàn)斷層現(xiàn)象。相對于其他尺寸的窗口,7×7窗口的中值濾波去噪的效果更好,圖像細(xì)節(jié)更完整。故本文選擇中值濾波的窗口大小為7×7。

        (a) Cones原始彩色圖 (b) Cones原始深度圖 (c) 添加噪聲 (d) 窗口數(shù)3×3

        2.2 Middlebury數(shù)據(jù)庫數(shù)據(jù)實(shí)驗(yàn)結(jié)果

        選擇Middlebury數(shù)據(jù)庫中的Midd1圖像作為測試圖像,并在深度圖像中人工添加一些空洞和噪聲。本次實(shí)驗(yàn)中,添加椒鹽噪聲到深度圖像中,同時(shí)在該深度圖像添加黑色的區(qū)域,該區(qū)域表示空洞,即深度值為0。本文將添加空洞和噪聲后的深度圖像作為待修復(fù)圖像,如圖5(c)所示。實(shí)驗(yàn)結(jié)果表明,經(jīng)過高斯濾波后,圖像中有大量的噪點(diǎn),且對空洞的填充效果不佳;聯(lián)合雙邊濾波對添加的空洞基本上能很好地修復(fù),但是圖像中的物體邊緣出現(xiàn)漂移。本文算法對空洞修復(fù)和去除噪聲都有較好的效果,修復(fù)后的物體邊緣光滑。表1為各種方法的均方誤差(RMSE)和峰值信噪比(PSNR)的結(jié)果,與高斯濾波和聯(lián)合雙邊濾波相比,本文所提出的方法的RMSE值有所下降,PSNR的值有所增加,具有更好的修復(fù)效果。

        (a) Midd1原始彩色圖 (b) Midd1原始深度圖 (c) 添加黑洞和噪聲的深度圖像

        表1 Midd1的RMSE和PSNR值Tab.1 Midd1’s RMSE and PSNR values

        2.3 Kinect采集數(shù)據(jù)實(shí)驗(yàn)結(jié)果

        通過Kinect傳感器采集一組室內(nèi)深度圖像,并使用高斯濾波、聯(lián)合雙邊濾波和本文方法進(jìn)行處理,所得的實(shí)驗(yàn)結(jié)果如圖6所示。從圖6的實(shí)驗(yàn)結(jié)果表明,高斯濾波對于深度圖像中的物體邊緣區(qū)域的空洞修復(fù)效果不好;聯(lián)合雙邊濾波對桌子以及上面的物體邊緣,黑板邊緣、柜子邊緣等區(qū)域的空洞能夠修復(fù),但物體邊緣會(huì)出現(xiàn)漂移,且圖像部分區(qū)域會(huì)有模糊現(xiàn)象。本文方法能很好地修復(fù)物體邊緣的空洞,而且物體輪廓更清晰。

        (a) 彩色圖 (b) 深度圖 (c) 高斯濾波 (d) 聯(lián)合雙邊濾波 (e) 本文算法

        3 結(jié)語

        針對Kinect相機(jī)采集深度圖像存在空洞和噪聲,提出了一種基于聯(lián)合雙邊濾波和中值濾波相結(jié)合的深度圖像處理方法,完成了對深度圖像的修復(fù)。實(shí)驗(yàn)通過開源數(shù)據(jù)集和Kinect自采數(shù)據(jù)作為實(shí)驗(yàn)對象,并使用不同的方法來進(jìn)行對比。數(shù)據(jù)集通過向深度圖像中添加人工噪聲和空洞,從RMSE和PSNR值進(jìn)行了對比。修復(fù)后的PSNR有所增加,RMSE相對減少,空洞修復(fù)和去噪效果較為理想。實(shí)驗(yàn)結(jié)果表明,經(jīng)本文方法修復(fù)后的深度圖像輪廓更加清晰,物體邊緣更加光滑,修復(fù)的效果更好。

        猜你喜歡
        中值雙邊空洞
        Lagrange中值定理的巧妙應(yīng)用
        電子產(chǎn)品回收供應(yīng)鏈的雙邊匹配策略
        微分中值定理教法研討
        空洞的眼神
        后中值波電流脈沖MIG焊工藝
        新型自適應(yīng)穩(wěn)健雙邊濾波圖像分割
        用事實(shí)說話勝過空洞的說教——以教育類報(bào)道為例
        新聞傳播(2015年20期)2015-07-18 11:06:46
        雙邊同步驅(qū)動(dòng)焊接夾具設(shè)計(jì)
        焊接(2015年5期)2015-07-18 11:03:41
        中厚板雙邊剪模擬剪切的研究
        天津冶金(2014年4期)2014-02-28 16:52:46
        函數(shù)矩陣的增減性及中值定理
        久久偷拍国内亚洲青青草| 色欲av自慰一区二区三区| 国产亚洲美女精品久久久2020| 中国人妻被两个老外三p| 另类亚洲欧美精品久久不卡| 在线免费观看亚洲天堂av| 东京道一本热码加勒比小泽| 最新国产精品国产三级国产av| 国产成人自拍高清在线| 免费网站内射红桃视频| 国产欧美日韩精品a在线观看| 一区二区免费电影| 美女被躁到高潮嗷嗷免费观看| 91盗摄偷拍一区二区三区| 乱人伦中文视频在线| 激情久久av一区av二区av三区| 亚洲五月七月丁香缴情| 国产精品一区二区久久精品蜜臀| 高潮内射主播自拍一区| 亚洲av日韩av天堂久久| 亚洲的天堂av无码| 亚洲色AV性色在线观看| 国产精品一区又黄又粗又猛又爽 | 婷婷四房播播| 日本一区不卡高清在线观看| 人妻av在线一区二区三区| 丝袜人妻一区二区三区| 国内a∨免费播放| 中文字幕亚洲无线码a| 手机av在线观看视频| 白白色白白色视频发布| 中文字幕亚洲欧美日韩2019| 久久中文字幕亚洲精品最新| 少妇被啪出水在线视频| 亚洲综合精品中文字幕| 亚洲色欲综合一区二区三区| 国产久视频| 精品中文字幕在线不卡| 成人毛片av免费| 啪啪无码人妻丰满熟妇| 亚洲国产精品嫩草影院久久av|