亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        海量視頻流與三維場景實時集成技術(shù)

        2019-11-13 02:39:12
        長江科學(xué)院院報 2019年11期
        關(guān)鍵詞:視頻流紋理攝像頭

        (1.長江科學(xué)院 空間信息技術(shù)研究所,武漢 430010;2.鄂北地區(qū)水資源配置工程建設(shè)與管理局,武漢 430071)

        1 研究背景

        工程安全是工程建設(shè)管理的重要環(huán)節(jié),視頻監(jiān)控信息是描述工地現(xiàn)場安全狀況最為直觀的資料,也是工程建設(shè)過程管理的核心數(shù)據(jù)來源。傳統(tǒng)的視頻監(jiān)控系統(tǒng)將所有視頻探頭的監(jiān)控視頻在屏幕上進(jìn)行平鋪展示,用戶無法直觀地了解監(jiān)控點的具體位置、周圍環(huán)境;同時,由于監(jiān)控點之間是互相獨立的,多路視頻之間的關(guān)系不直觀,無法還原整體施工場景。

        將施工場景的地表三維模型與視頻監(jiān)控信息進(jìn)行綜合集成應(yīng)用,實現(xiàn)視頻流在三維場景下的實時展示和播放,便于管理部門有效而全面地把握施工現(xiàn)場的真實環(huán)境,為工地現(xiàn)場的安全防護(hù)、突發(fā)性事故應(yīng)急與救援提供決策支持。

        自Neumann等[1]提出實時視頻與三維場景融合技術(shù)在大范圍增強(qiáng)虛擬環(huán)境(augmented virtual environment,AVE)的構(gòu)建以來,劉啟芳等[2]對AVE技術(shù)用于目標(biāo)檢測也做了初步的探討。動態(tài)紋理映射是增強(qiáng)虛擬環(huán)境相關(guān)技術(shù)中的一項關(guān)鍵技術(shù),文獻(xiàn)[3-4]對其進(jìn)行了深入的研究。劉猛[5]詳細(xì)探討了動態(tài)紋理映射問題,但其主要針對序列圖像進(jìn)行實驗,未做到多路視頻實時渲染。李增忠[6]對紋理映射進(jìn)行了詳細(xì)研究,提出了各種局部紋理精確映射算法。趙凱等[7]根據(jù)實際應(yīng)用提出Extend Shadow map算法將視頻圖像與三維場景無縫貼合,但未對視頻和場景的配準(zhǔn)過程做詳細(xì)說明。阮芹[8]利用2個普通的USB攝像頭進(jìn)行了視頻流的無縫拼接和實時顯示研究,包括攝像頭標(biāo)定、畸變校正、特征點提取與配準(zhǔn)、圖像融合和視頻顯示等部分。侯沛宏[9]利用消費級深度相機(jī)和配準(zhǔn)好的多視圖像與網(wǎng)格模型,對多視紋理的無縫拼接方法做了探討。王力[10]和王聰[11]對視頻配準(zhǔn)技術(shù)進(jìn)行了詳細(xì)研究,王一等[12]提出了一種基于梯度和與一致性組合策略的無縫紋理映射方法,針對三維紋理映射中存在接縫、顏色差異大等問題,采用基于梯度值之和的選片算法,結(jié)合一致性檢查、全局顏色校正和局部顏色校正等策略,消除影像的模糊、重影與色差,實現(xiàn)無縫紋理映射,同時避免影像失焦和障礙物的影響,但該方法僅在數(shù)據(jù)量小的情況下適用,效率上無法滿足實時視頻映射需求。簡洪登等[13]在視頻與場景已配準(zhǔn)的前提下提出了基于GLSL的多重視頻紋理映射與融合。

        綜上所述,雖已有多位學(xué)者對投影紋理映射技術(shù)進(jìn)行了探討,但多是討論映射處理的某一項關(guān)鍵技術(shù),比如紋理映射方法[5-7]、紋理拼接方法[8-9]、影像配準(zhǔn)方法[10-11]等,并沒有給出一個完整的從視頻監(jiān)控到三維模型的解決方案,無法將其有效應(yīng)用于解決現(xiàn)實工程問題當(dāng)中去;同時,現(xiàn)有文獻(xiàn)多是針對紋理投影的技術(shù)研究,基于紋理與圖像已配準(zhǔn)的前提,對于任意視頻攝像頭,在姿態(tài)未知的情況下如何進(jìn)行映射的問題并未做深入探討。

        本文研究海量視頻流與三維場景實時集成的解決方案,集成現(xiàn)場安裝多視角視頻探頭,通過視頻流解碼技術(shù)得到多路視頻影像序列,再通過影像與地表三維模型配準(zhǔn)估算視頻探頭姿態(tài),采用多路視頻紋理增強(qiáng)和融合技術(shù)改善視頻視覺效果,消除多路視頻間的色差,真實還原監(jiān)控現(xiàn)場的動態(tài)信息。

        圖1 視頻流與三維場景實時集成技術(shù)流程Fig.1 Flow chart of real-time integration of video streaming and 3D scene technology

        本文提出的具體解決方案流程如圖1所示。首先對監(jiān)控現(xiàn)場傳輸回的視頻流進(jìn)行視頻解碼,獲取視頻影像序列,再將序列影像與地表三維模型進(jìn)行配準(zhǔn),估算攝像頭姿態(tài);隨后,對視頻影像進(jìn)行紋理映射,并對多個視頻紋理進(jìn)行增強(qiáng)顯示和融合處理,最終實現(xiàn)視頻流在三維場景下的集成渲染。

        2 監(jiān)控視頻編解碼

        視頻編碼技術(shù)的復(fù)雜程度直接影響后續(xù)視頻解碼過程的效率。目前國際上常用的視頻編碼技術(shù)標(biāo)準(zhǔn)主要有MPEG系列[14-15]、H.26X系列及VC-1系列[16]。

        2.1 MPEG系列標(biāo)準(zhǔn)

        MPEG是活動圖像專家組(Moving Picture Exports Group)的縮寫,是壓縮運動圖像及其伴音的視/音頻壓縮標(biāo)準(zhǔn)[15],也是最為經(jīng)典的視頻壓縮標(biāo)準(zhǔn)。它基于幀間壓縮技術(shù),存儲連續(xù)幀間差異(高頻信息),因此能夠獲得較大的壓縮比。MPEG-4的最大壓縮比可達(dá)到4 000∶1,大大提高了視頻流傳輸效率。

        2.2 H.264/AVC

        H.264是MPEG-4壓縮標(biāo)準(zhǔn)的第10部分,采用混合編碼的方式來提高壓縮比率,其最大壓縮比優(yōu)于MPEG-4。H.264編碼在對誤碼和丟包的處理更為魯棒的同時也具有很強(qiáng)的網(wǎng)絡(luò)適應(yīng)性。

        2.3 VC-1

        VC-1編解碼器是目前常用的高清編碼格式之一,雖然其壓縮比不如MPEG-4,但其解碼計算量小于MPEG-4,在實現(xiàn)流暢播放方面更為容易。

        根據(jù)視頻的編碼技術(shù)不同,本文分別采用相應(yīng)的解碼器對視頻進(jìn)行實時解碼以獲取視頻影像序列。

        3 海量視頻與三維場景的紋理映射

        3.1 視頻與地表模型配準(zhǔn)

        為了實現(xiàn)海量視頻流與三維場景的紋理映射,首先要進(jìn)行視頻影像與地表三維模型點之間的配準(zhǔn),才能準(zhǔn)確獲取視頻影像上每一點紋理的精確位置。由于監(jiān)控系統(tǒng)中攝像頭是固定不變的,其位置和姿態(tài)都相對固定,因此就可以進(jìn)一步解算出視頻攝像頭的外方位元素,得到攝像頭的姿態(tài)數(shù)據(jù)。

        本文具體配準(zhǔn)流程如下:

        (1)對視頻影像序列以及當(dāng)前的數(shù)字表面模型像分別進(jìn)行SIFT特征提取,然后對特征描述量進(jìn)行匹配,從而找到對應(yīng)點。這里采用SIFT特征基于其平移旋轉(zhuǎn)不變特性,提取到的特征點準(zhǔn)確性更高。

        (2)對于影像上某個SIFT關(guān)鍵點,遍歷計算其到數(shù)字表面模型上的每個SIFT特征點的歐式距離,得到最鄰近點與次鄰近點,其距離分別表示為D1和D2,當(dāng)二者比值滿足小于某一閾值時,認(rèn)為該點對為匹配點對。本文認(rèn)為二者比值滿足D1/D2<0.8時是初匹配正確的點。

        (3)采用RANSAC算法對初匹配正確的點進(jìn)行二次篩選,進(jìn)一步剔除殘差,得到最終的配準(zhǔn)結(jié)果。

        3.2 攝像頭姿態(tài)估算

        根據(jù)地表模型上的三維點和視頻影像上的二維點的對應(yīng)關(guān)系,采用直接線性法解算攝像頭姿態(tài)。

        假設(shè)相機(jī)矩陣為P,地表三維點為X,它在影像上的對應(yīng)點x=[u,v,1]T滿足關(guān)系

        λx=PX。

        (1)

        式中λ為系數(shù)。

        令P1,P2,P3分別表示相機(jī)矩陣的第1、第2、第3行,則

        (2)

        (3)

        AP=0 。

        (4)

        當(dāng)匹配點對個數(shù)>6時,采用最小二乘法求得相機(jī)矩陣的解。表1為本實驗中計算得到的第1路視頻對應(yīng)的相機(jī)位置及姿態(tài)信息。

        表1 第1路視頻相機(jī)位置與姿態(tài)計算值Table 1 Estimation result of the location and pose of camera #1

        3.3 紋理映射

        在已知攝像頭姿態(tài)的情況下,根據(jù)攝像頭的姿態(tài)參數(shù)可直接計算得到需要映射的紋理坐標(biāo)。紋理投影映射在可實現(xiàn)紋理與空間三維點的實時對應(yīng)的同時,也有效避免了紋理的拉伸變形。

        整個映射過程為:①根據(jù)估計得出的攝像頭的位置姿態(tài)建立地表三維點和視頻影像上紋理坐標(biāo)的映射關(guān)系;②透視修正插值得到當(dāng)前屏幕像素對應(yīng)的紋理坐標(biāo);③進(jìn)行紋理拾取,將映射紋理投射到三維模型表面進(jìn)行顯示,并每秒進(jìn)行視頻影像的刷新顯示。

        4 多路視頻紋理融合

        在三維展示平臺上進(jìn)行不同攝像頭拍攝的視頻流實時紋理映射時,需要對不同攝像頭拍攝的視頻依次進(jìn)行紋理渲染。不同時間、不同位置拍攝的視頻由于光照條件不同,視頻之間的紋理明暗程度通常會有差別,這導(dǎo)致了2個問題:一方面,有些視頻影像成像條件不佳導(dǎo)致視頻動態(tài)對比度不夠,視覺效果不佳;另一方面,不同的光照條件導(dǎo)致相鄰的視頻影像之間存在明暗差異,產(chǎn)生明顯的拼縫。為了改善視覺效果,需要對視頻影像進(jìn)行影像增強(qiáng),再在重疊區(qū)域進(jìn)行融合處理以消除拼接線。具體流程如下:

        (1)在視頻映射前,對視頻影像進(jìn)行硬件加速實現(xiàn)實時直方圖均衡化,以改善視頻流影像的動態(tài)對比度。

        (2)對于拼接線,采用倒距離加權(quán)融合的思路對相鄰影像進(jìn)行融合,實現(xiàn)影像漸變效果以消除拼接線。在紋理重疊區(qū)域,沿拼接重疊區(qū)域的對角線方向進(jìn)行加權(quán)融合,隨著離對角線的距離增加,一個視頻影像的權(quán)值逐漸減小,而另一個影像的權(quán)值逐漸增加,權(quán)值大小由當(dāng)前點到重疊區(qū)域的對角線的距離決定。

        圖2為2個視頻幀的重疊區(qū)域示意圖,其中ABCD為重疊區(qū)域,BD為重疊區(qū)域?qū)蔷€。

        圖2 對角倒距離加權(quán)算法示意圖Fig.2 Schematic diagram of diagonal weighted algorithm

        假設(shè)第1個攝像頭視頻的紋理坐標(biāo)為(s1,t1),第2個攝像頭視頻的紋理坐標(biāo)為(s2,t2)。

        (1)根據(jù)當(dāng)前三維點對應(yīng)的紋理坐標(biāo)計算紋理重疊區(qū)域的位置,包括水平距離Smax和垂直距離Tmax,并得到對角線方程。

        (2)在重疊區(qū)域內(nèi)根據(jù)當(dāng)前渲染點到對角線的距離,分別計算2個通道的權(quán)值。

        (3)根據(jù)2個權(quán)值計算得到融合后的顏色值,得到當(dāng)前點的渲染值。

        直線BD的斜率k為

        (5)

        文獻(xiàn)[13]給出了具體的加權(quán)融合公式,如式(6)所示,其中α為當(dāng)前通道的權(quán)值。

        (6)

        5 實 驗

        本文采用武漢某倉庫作為實驗區(qū)域,該區(qū)域現(xiàn)有三維展示平臺,加載了數(shù)字高程模型(DEM)和倉庫的數(shù)字表面模型(DSM),如圖3(a)所示。利用高清攝像頭采集了多路視頻數(shù)據(jù),視頻圖像采用了H.264編碼技術(shù)進(jìn)行編碼。本實驗中采用的硬件設(shè)備為普通計算機(jī),CPU為Intel i5四核CPU,內(nèi)存為8 G,顯卡為NVIDIA Geforce GTX970M,顯存為1 G。

        本實驗首先對視頻進(jìn)行解碼,得到影像序列,為平衡配準(zhǔn)精度和計算量,選取前5 min的監(jiān)控視頻流,在SIFT+RANSAC配準(zhǔn)后,估算攝像頭的姿態(tài)。由于該倉庫的攝像頭是固定攝像頭,認(rèn)為該姿態(tài)為不變常量,因此在完成一次估計之后,后續(xù)所有基于該攝像頭拍攝的視頻均可直接做紋理映射。實驗截圖如圖3(b)所示,為視頻投影到DSM上的顯示結(jié)果??梢詮闹脖活伾闯鲆曨l中的植被由于光照不同而偏亮,DSM中的植被顏色偏暗一些。除色彩差別以外,幾何形狀上可以實現(xiàn)精確映射。

        圖3 場景三維疊加顯示Fig.3 Three-dimensional display of the experiment area

        將視頻投影結(jié)果放大,并在動態(tài)播放條件下進(jìn)行實時渲染,圖4為視頻實時動態(tài)播放下不同時刻的渲染結(jié)果截圖。由圖4可以看到,三維場景下,視頻被準(zhǔn)確投影到每個攝像頭所在的位置,當(dāng)點擊攝像頭圖標(biāo)時,可清晰地看到當(dāng)前監(jiān)控區(qū)域的視頻信息,視頻紋理與三維平臺上的地表模型之間能有較好的融合效果,從視覺上可以清晰地看到小車在地表三維場景中流暢地行駛。

        圖4 不同時刻的視頻映射結(jié)果Fig.4 Result of the experiment at different instances

        該實驗場景渲染的面數(shù)大概為200萬,表2為實時渲染的效率統(tǒng)計。由表2可知,針對2路、4路、6路、8路視頻,本文渲染效率穩(wěn)定在48 fps以上,均能達(dá)到實時映射渲染的標(biāo)準(zhǔn),同時運行效率優(yōu)于文獻(xiàn)[13]的實驗結(jié)果。另外,文獻(xiàn)[13]未給出8路視頻下的實時渲染效率,本文給出了8路視頻的渲染效率,為高于48 fps。

        表2 實時渲染效率Table 2 Real-time rendering efficiency

        6 結(jié) 論

        本文對多路視頻流與三維場景的實時集成技術(shù)進(jìn)行了深入的探討,給出了完整的解決方案。實驗結(jié)果表明,本文的方法可以獲得較好的視覺效果,不同攝像頭拍攝的視頻流之間的明暗程度一致,視頻接邊實現(xiàn)平滑過渡。在整個算法流程中,相機(jī)姿態(tài)求解是否準(zhǔn)確直接影響后期高質(zhì)量紋理映射。為了提高相機(jī)姿態(tài)估算,可在配準(zhǔn)環(huán)節(jié)之后進(jìn)行人機(jī)交互操作,微調(diào)相機(jī)參數(shù)。另一方面,當(dāng)攝像頭拍攝的視頻流影像與當(dāng)前平臺展示的三維場景具有較大的差異時,若要保證前景和背景的色彩一致性,在做色彩融合時可能需要更多耗時,在此情況下需要對視頻流與三維模型的高效色彩融合算法進(jìn)行進(jìn)一步研究和探討。

        猜你喜歡
        視頻流紋理攝像頭
        浙江首試公路非現(xiàn)場執(zhí)法新型攝像頭
        邊緣實時視頻流分析系統(tǒng)配置動態(tài)調(diào)整算法研究
        攝像頭連接器可提供360°視角圖像
        基于視頻流傳輸中的擁塞控制研究
        基于BM3D的復(fù)雜紋理區(qū)域圖像去噪
        軟件(2020年3期)2020-04-20 01:45:18
        使用紋理疊加添加藝術(shù)畫特效
        TEXTURE ON TEXTURE質(zhì)地上的紋理
        Coco薇(2017年8期)2017-08-03 15:23:38
        美國視頻流市場首現(xiàn)飽和征兆
        消除凹凸紋理有妙招!
        Coco薇(2015年5期)2016-03-29 23:22:15
        奔馳360°攝像頭系統(tǒng)介紹
        狠狠躁夜夜躁人人爽天天| 精品奇米国产一区二区三区| 日韩av在线不卡一区二区 | 男性一插就想射是因为啥| 91国产视频自拍在线观看| 久久精品免费中文字幕| 开心五月激情综合婷婷色| 拍摄av现场失控高潮数次| 国产成人久久精品亚洲小说| 国产日本精品一区二区免费| 成人麻豆视频免费观看| 欧洲乱码伦视频免费| 国产成人午夜精华液| 国产在线一区观看| 伊在人亚洲香蕉精品区麻豆| 手机在线免费av网址| 末成年人av一区二区| 国产一区二区在线视频| 亚洲精品免费专区| 无码a级毛片免费视频内谢| 人妻av中文字幕精品久久| 成人一区二区三区国产| 尤物在线精品视频| 天天综合亚洲色在线精品| 亚洲先锋影院一区二区| 日本一区二区三级免费| 亚洲一区二区二区视频| 日韩欧美成人免费观看| 国产精品爽黄69天堂a| 国产成人美女AV| 按摩师玩弄少妇到高潮hd| 亚洲1区第2区第3区在线播放| 免费a级毛片在线播放| 日韩人妻无码精品久久免费一| 亚洲不卡av不卡一区二区| 久久亚洲一级av一片| av在线不卡免费中文网| 国产三级av在线播放| 国产成人久久综合热| 淫秽在线中国国产视频| 亚洲国产精品久久久久秋霞小说|