技術(shù)宅

最近虛擬現(xiàn)實（VR）非常的火熱，不過VR雖然可以給我們帶來虛擬真實的體驗，但是這種體驗大多基于虛擬畫面，用戶并不能進行實時互動。麻省理工學(xué)院目前開發(fā)出了一種互動視頻技術(shù)（Interactive Dynamic Video），則可以讓用戶和視頻進行觸摸互動體驗。效果就類似星球大戰(zhàn)中的絕地武士那樣在屏幕中制造波瀾，即使隔著一個次元的屏障。那么什么是互動視頻技術(shù)？這種技術(shù)是怎么實現(xiàn)視頻的觸摸互動？又會給我們的生活帶來什么樣的影響？

科技掃盲 互動視頻是個什么鬼

使用過VR設(shè)備的朋友都知道，當我們帶上類似Oculus虛擬設(shè)備觀看視頻時，我們可以進入更加真實的視頻世界。但是無論這個虛擬體驗有多么真實，作為觀眾永遠只是旁觀者，我們只能觀看視頻，而無法與視頻進行互動交流（圖1）。

為了能夠讓用戶和VR視頻有更多的互動體驗，麻省理工學(xué)院開發(fā)了互動視頻技術(shù)。這種技術(shù)可以讓我們在觀看視頻的同時進行觸摸交流，比如在演示視頻中，虛擬的皮卡丘出現(xiàn)在草叢中后，用戶只要拖動鼠標，草叢就會動起來，這個效果就像生活中的真實場景一樣（圖2）。

觸摸視頻 認識互動視頻背后的原理

互動視頻的亮點就是互動，即用戶可以通過鼠標、觸摸等操作讓視頻中原來靜止不動的物體“動起來”，從而獲得更加真實的體驗。比如在上述演示視頻中，原來畫面中的草叢實際上是靜止的，但是通過觸摸操作可以讓其晃動，這樣在虛擬皮卡丘跳躍到草叢后草叢會晃動，感覺就像生活中真實的場景一樣。那么這種視頻互動的效果是怎么實現(xiàn)的呢？

大家知道，現(xiàn)實生活中的物體如果受到外力的作用，物體就會發(fā)生震動。這樣要讓視頻中原來靜止的物體能夠和用戶的觸摸進行互動，傳統(tǒng)的方法是使用3D建模來建立互動式模擬，通過建立虛擬3D模型實現(xiàn)和用戶的互動。這種3D建模方法可以讓用戶通過觸摸虛擬3D模型獲得互動，但是3D建模技術(shù)難度大，3D渲染需要花費大量的時間，而且也不是每一種物體都可以進行建模。因此這種傳統(tǒng)3D建模技術(shù)無法在常見的VR場景中大范圍使用（圖3）。

麻省理工學(xué)院現(xiàn)在開發(fā)的視頻互動技術(shù)則繞開3D建模。開發(fā)人員首先利用攝像機預(yù)先拍攝禁止物體在受到外力作用下的微小震動視頻（最短只需5秒的視頻片段）。接著開發(fā)人員利用一個算法來生成一個預(yù)測模型，通過這個模型來預(yù)測出該物體在其他外力下產(chǎn)生的震動模式。獲取物體預(yù)測震動模式后，研究人員還會將該模型和物體在實際外力作用下的震動進行比較并進行校正，這樣進行多次算法修正后，這個預(yù)測模型就可以比較真實地反映出物體在外力作用下的震動了。這樣通過將視頻互動化，分析并預(yù)估出物體如何應(yīng)對各種未知作用力，探索出了視頻交互的新方式（圖4）。

我們以上述Pokemon Go游戲為例，開發(fā)人員首先拍攝視頻畫面中草叢在外力作用下的震動視頻，通過算法和預(yù)測模型就可以預(yù)測出草叢在小精靈附著時的震動狀態(tài)。這樣當游戲中的小精靈出現(xiàn)在草叢上面的時候，草叢就會由于這個虛擬物體的作用而出現(xiàn)相應(yīng)的震動，看上去就像有個真正的實物落在草叢中。同樣的，當我們使用手捕捉小精靈觸碰到手機攝像頭展示的草叢時，手機上顯示的草叢也會發(fā)生相應(yīng)的震動，整個的游戲操作就像是在現(xiàn)實生活中真實的觸碰，可以讓VR游戲擁有更為逼真的游戲場景（圖5）。

不僅僅是觸摸 互動視頻技術(shù)發(fā)展前景

通過上述介紹，我們知道視頻互動技術(shù)可以讓我們觸碰虛擬視頻中的物體并獲得反饋。在游戲領(lǐng)域，該技術(shù)的出現(xiàn)可以讓讓我們獲得更為真實的體驗。比如在一些VR射擊游戲中，使用互動視頻技術(shù)后，用戶通過扣動虛擬槍械可以獲得像在使用真槍一樣的感覺，如開槍后的后座力震動、扣動扳機后的形變等。這種游戲感覺是不是讓人神往？

互動視頻技術(shù)還可以應(yīng)用在購物領(lǐng)域，在VR購物中我們可以在遠程真實看到需要購買的物品，如果結(jié)合視頻互動，那么用戶就可以獲得更加真實的購物體驗。比如一些絲綢衣服，用戶甚至可以通過觸摸布料，通過布料的變形來判斷質(zhì)量的好壞，整個購物體驗就像是你在實體商場購買衣服。這種全新的購物體驗自然可以讓大家更有買、買、買的沖動。

當然類似的應(yīng)用還可以用在很多領(lǐng)域，比如橋梁設(shè)計，通過橋梁模擬受力形變來獲得承重參數(shù)。這項技術(shù)用于電影制作中，可以通過算法模擬出真實世界的情景，可以簡化特效師的工作，打造逼真的視覺效果，通過這種虛擬受力獲得更多的特技效果等。