宋 萍 陳純毅 胡小娟 于海洋

(長春理工大學(xué)計算機科學(xué)技術(shù)學(xué)院，吉林 長春 130000)

1 引言

虛擬現(xiàn)實技術(shù)的不斷發(fā)展和普及不僅推動影視藝術(shù)的發(fā)展，更促使人們開始探索更適用于VR 影片的剪輯方法，其中敘事類VR 電影是眾多VR 電影中的重要組成部分。大多數(shù)敘事以及剪輯手法是在傳統(tǒng)非VR 電影中探索得到的，在更復(fù)雜的VR電影中，由于觀眾可以自行觀看想要觀看的區(qū)域，導(dǎo)致了觀看方向的不可控，也就意味著觀眾在觀影過程中可能錯過重要的敘事線索。因此探索已有的剪輯手法是否還能在VR 電影中起到引導(dǎo)觀眾注意的作用，以及探索更復(fù)雜的敘事類VR 電影中影響感知連續(xù)性的因素是本文的主要研究目的。

本文分析了由專業(yè)電影制作人制作的敘事類VR 電影 《Help》，相對于其他類型的VR 電影來說，敘事類VR 電影的場景更復(fù)雜，對話和動作更多。本文在不影響其主要故事線的情況下將敘事類VR 電影進行剪輯，將整個電影分為8 個視頻段，每段視頻隨機邀請5位受試者觀看，根據(jù)受試者頭部佩戴的VR 顯示頭盔以及眼動儀記錄的觀看信息，分析得出影片連續(xù)性的評價。本文首先對影片的剪輯手法以及剪輯前后的關(guān)注區(qū)域個數(shù)進行了多層回歸分析，驗證以前的發(fā)現(xiàn)在更復(fù)雜的情況下是否依然適用；其次本文根據(jù)敘事類VR 電影情節(jié)更復(fù)雜、動作更多的特點，引入了新的評價指標，即平滑追蹤，基于實驗分析，本文認為剪輯后關(guān)注區(qū)域的個數(shù)對敘事類VR 電影的連續(xù)性有影響。

2 相關(guān)工作

在VR 視頻播放過程中對觀看者進行恰當?shù)挠^看引導(dǎo)可以讓觀看者在觀看VR 視頻中保持注意力的連續(xù)，目前大多使用以下兩種引導(dǎo)方法。

一是顯式引導(dǎo)，這種引導(dǎo)方式會在畫幅上直接顯示用于引導(dǎo)觀看者注意力的光標或者圖示。Wallgrün等人發(fā)表的論文詳細討論了三種常用的2D 顯式引導(dǎo)方式，分別是雷達式、箭頭式以及光點式引導(dǎo)在引導(dǎo)觀看者注意時力的區(qū)別。Wallgrün等人認為，三種視覺引導(dǎo)機制均可以有效引導(dǎo)觀看者定位到需要關(guān)注的目標區(qū)域，但是三種顯式引導(dǎo)方法中，箭頭引導(dǎo)方式是最受歡迎的，也是效率最高的，經(jīng)常玩電子游戲的人更習(xí)慣雷達式引導(dǎo)。但是由于是顯式引導(dǎo)，在提高了引導(dǎo)效率的同時，畫面的美觀性則需要改進。而在最近的工作中，Lin等人使用VR 體育視頻和VR 紀錄片作為測試序列，比較了箭頭引導(dǎo)和鏡頭移動兩種視覺引導(dǎo)方法對觀看者注意力的引導(dǎo)效果。他們的結(jié)論是，觀看者的觀看效果取決于個體差異，例如視頻的內(nèi)容以及觀看者觀看視頻的目的等。Komogortsev等人進一步研究了畫面閃爍作為引導(dǎo)機制時的引導(dǎo)效果，發(fā)現(xiàn)電影中無論是強閃爍或者弱閃爍對觀看者的注意力引導(dǎo)都沒有區(qū)別，畫面閃爍雖然可以引導(dǎo)觀看者的注意力，但也提高了對電影不重要細節(jié)的回憶。

二是隱式引導(dǎo)，也是本文主要關(guān)注的引導(dǎo)方法。隱式引導(dǎo)一般用劇情線索、剪輯手段或電影中的聲音燈光等對觀看者進行注意力的引導(dǎo)。2017年Serrano的科研團隊引入了連續(xù)性評價指標，用于在虛擬現(xiàn)實內(nèi)容的連續(xù)性編輯環(huán)境中量化觀看者行為，同時也總結(jié)了一些影響連續(xù)性的因素，即若想獲得更高的連續(xù)性，則剪輯前后的關(guān)注區(qū)域要在同一視場范圍內(nèi)，并且傳統(tǒng)剪輯手法在全景視頻中依然可以沿用，無論剪輯情況如何，每個剪輯開始后會有一個探索高峰。2018 年Maranes等人在Serrano工作的基礎(chǔ)上，將數(shù)據(jù)集調(diào)整為時間更長同時也是專業(yè)人士制作的VR 紀錄片，在隱式引導(dǎo)下討論剪輯手法對全景電影連續(xù)性的影響。Maranes等人認為，即使在時間更長的紀錄片情況下，傳統(tǒng)的剪輯手法依然可以很好地應(yīng)用到VR 電影的剪輯中。

從上述VR 電影的連續(xù)性研究方法中可以看出，其中大多數(shù)都是使用短時、簡單、可控的實驗測試視頻和嚴格的實驗條件來探索VR 電影感知連續(xù)性的特點，這樣的研究大多只適用于定焦的、場景單一的VR 電影，得到的結(jié)論很難直接應(yīng)用于更復(fù)雜的、時間更長的、情節(jié)更多變的敘事類VR 電影的連續(xù)性研究當中。

3 評價指標與VR 電影內(nèi)容特征量化

為了研究場景更復(fù)雜多變的敘事類VR 電影，本文采用谷歌公司在2015年拍攝的災(zāi)難題材VR 電影《Help》作為測試序列，并且采用了新的評價指標用于解釋更復(fù)雜的電影場景。

本文方法的整體流程如圖1所示，分為兩大模塊:一是視頻特征量化模塊，用于獲取敘事類VR電影的連續(xù)性特征；二是評價指標量化模塊，用于獲取VR 視頻的連續(xù)性評價指標。最后將生成的評價指標和視頻特征輸入到多層線性回歸模型中，得到視頻特征對敘事類VR 電影連續(xù)性的最終影響。

圖1 實驗流程圖

3.1 影響連續(xù)性的電影內(nèi)容特征

本文將影響敘事類VR 電影連續(xù)性的電影內(nèi)容特征分為三種，分別是剪輯類型 (E)、剪輯前關(guān)注區(qū)域的個數(shù)(R)和剪輯后關(guān)注區(qū)域的個數(shù)(R)。

基于傳統(tǒng)電影的剪輯理論，本文首先考慮三種不同類型的剪輯手法對全景電影連續(xù)性的影響{E1、E2、E3}，它們是按照空間、時間和動作的維度定義的，分別指代動作連續(xù)性剪輯、動作不連續(xù)性剪輯、連續(xù)性剪輯。由于E3 剪輯類型在VR 電影中很少出現(xiàn)，所以只考慮前兩種最常用的剪輯類型:E＝{E1、E2}。

動作連續(xù)性剪輯 (E1)，即剪輯前后場景、時間不同，但是由一個連貫性的動作承接剪輯前后的邏輯。動作不連續(xù)剪輯 (E2)，這里指代用于場景切換的跳切剪輯，通常在雙重敘事或者場景切換的情況下使用。對于E1 類型 (在時間空間上的不連續(xù)以及在動作上的連續(xù)剪輯)和E2 類型的剪輯(在時間空間以及動作上均不連續(xù)的剪輯)分別去分析其對影片連續(xù)性的影響。剪輯示意圖如圖2所示。

圖2 剪輯示意圖

在考慮了剪輯對連續(xù)性的影響后，本文第二點考慮了關(guān)注區(qū)域(Region of Interest，ROI)對連續(xù)性的影響。本文根據(jù)影片特征將ROI在畫面中的數(shù)量分為無ROI、一個ROI、兩個ROI的情況，如圖3所示。本文將剪輯前的ROI以及剪輯后的ROI分別標記為R和R，并用其取值代表ROI數(shù)量。

圖3 ROI示意圖

3.2 全景電影的連續(xù)性評價指標

本文沿用了Serrano在2017年提出的連續(xù)性評價指標的同時，采用了一種新的適用于敘事類VR 電影的評價指標:平滑追蹤。本章對平滑追蹤給出了詳細的解釋。

3.2.1 剪輯后注意到ROI的幀數(shù)

剪輯后注意到ROI的幀數(shù)是評價指標中最直觀的一種，簡單表示視頻中剪輯發(fā)生后，觀察者注意到ROI區(qū)域內(nèi)之前的幀數(shù)，該度量的時間越長，代表剪輯后觀看者反應(yīng)時間越長，更容易錯過劇情。以下記為(Frame To ROI，N)。

3.2.2 ROI內(nèi)注視百分比

該指標計算觀看者在剪輯后找到感興趣區(qū)域后，感興趣區(qū)域內(nèi)的注視相對于總注視量的百分比。它給出了觀眾對感興趣區(qū)域的興趣程度的估計，該比值越高代表觀看者對ROI內(nèi)容的感興趣程度越高。以下記為(Percent of ROI gaze，P)。

3.2.3 注視幀數(shù)

注視幀數(shù)指標計算觀眾在觀看過程中的注視總次數(shù)，這個指標直觀的表示了觀看者執(zhí)行了多少次注視。其取值越低，代表觀看者在觀看電影中掃視的占比更高，這意味著觀看者在觀看過程中更喜歡觀察環(huán)境而不是去觀看特定的影片情節(jié)。以下記為(Frame of gaze，N)。

3.2.4 平滑追蹤占比

以上三種評價指標是Serrano等人在2017年提出的，適用于傳統(tǒng)意義上的定焦影片或紀錄片的連續(xù)性評價，但在敘事電影中，無法保證ROI在畫幅中是保持不動的。為了解決這個問題，本文引入了一種新的評價指標:平滑追蹤幀數(shù)占比。這個新的評價指標捕捉了觀看者跟隨ROI的運動而運動的跟蹤注視行為。

首先根據(jù)基于速度識別的算法可以快速計算出所有視點中的掃視點。通過計算前后兩幀內(nèi)容視點距離計算出當前視點的移動速度。

在初步分割過程中，本文找出速度特征大于40pix/s的所有高速點，并且如果兩個視點之間的時間間隔小于100ms，那么這些數(shù)據(jù)視為掃視數(shù)據(jù)。大部分的掃視數(shù)據(jù)都可以在這一步識別出來。

之后進行注視和平滑追蹤的分類。由于注視和平滑追蹤無法通過閾值進行分類，所以采用聚類分割法，首先計算剩余視線段起點和終點之間的平均速度特征。文獻 [7]中提出的速度特征計算公式為:

最后根據(jù)局部密度確定聚類中心，將剩余視點分為兩部分，其中Sd平均值高的一組認定其中的視點樣本為平滑追蹤，另外一組視點為注視視點。平滑追蹤指標以下記為(P)。

3.3 多層回歸模型

為了探究每種剪輯方式對最終影片的連續(xù)性的影響，通常人們將影響影片連續(xù)性的因素，結(jié)合線性回歸模型，將回歸結(jié)果與收集到的結(jié)果進行比對，由此判斷這些因素對影片連續(xù)性的影響。但是敘事類VR 電影相較其他類型的VR 電影，其剪輯手法更加復(fù)雜多變，需要根據(jù)劇情發(fā)展確定適用于當前場景的剪輯方式，才能最大程度確保觀看者在觀看該敘事類VR 電影時能感受到時間與空間的連貫性，進而感受完整的電影劇情。而線性回歸模型由于本身的限制，不適用于分析復(fù)雜因素對結(jié)果的影響。為了確定敘事類VR 電影的剪輯方法對影片最終連續(xù)性的影響，探究出一套適用于復(fù)雜敘事場景的剪輯方式，因此，我們采用多層回歸模型對數(shù)據(jù)進行分析。

將上文所述影響連續(xù)性的電影內(nèi)容特征:剪輯方式(E1、E2)，剪輯前后ROI區(qū)域的數(shù)量作為輸入，建立多層回歸模型 (Hierarchical Linear Model，HLM)。

4 實驗設(shè)計

實驗所用數(shù)據(jù)集選取2016年Justin Lin導(dǎo)演的VR 影片《Help》，實驗人員由10名年齡在20～30歲的成年人組成，其中男性4名，女性6名。實驗人員中有1 名男性以及1 名女性有VR 體驗經(jīng)歷，實驗人員信息如表1所示，每次實驗受試者需要使用VR 頭盔觀看VR 電影，每個視頻段由隨機5人觀看，共40次重復(fù)實驗。

表1 實驗人員信息表

本文使用一個配備了Droolon F1眼球追蹤配件的HTC VIVE Pro，記錄90Hz的數(shù)據(jù)，單眼分辨率1400×1600，雙眼分辨率2880×1600，視場角為110度，頭盔配備一對主動降噪耳機來再現(xiàn)立體聲。受試者需站立觀看視頻，所有受試者的視力在測試的過程中都處于正常范圍，每個受試者首先執(zhí)行眼睛跟蹤器校準程序。為了確保所有受試者的起始條件相同，視頻將從受試者適應(yīng)VR 環(huán)境后開始播放。用Unity游戲引擎顯示視頻，在同一臺計算機上記錄頭部方向，同時記錄眼睛跟蹤數(shù)據(jù)。從眼動校準到試驗結(jié)束所需的總時間大約為15分鐘。我們對原始采集到的數(shù)據(jù)進行預(yù)處理并計算視點信息。

本文根據(jù)第3節(jié)中提出的兩種影響連續(xù)性的電影內(nèi)容特征 (剪輯方式，ROI的數(shù)量)，在不影響VR 電影敘事情節(jié)的情況下對視頻進行了初步剪輯，分別為時間連續(xù)性剪輯、空間連續(xù)性剪輯。初選出10個視頻段，根據(jù)情節(jié)需要以及對兩種影響連續(xù)性特征的排列組合，最終選出8個視頻段作為實驗時播放的視頻，剪輯信息如表2所示，表中剪輯發(fā)生時間以幀為單位。本文對每一個視頻段進行了ROI的標記工作，在主要關(guān)鍵的一幀手動標記ROI區(qū)域，對其他非關(guān)鍵幀進行插值操作，生成最終的ROI參照視頻。

表2 剪輯信息表

在實驗數(shù)據(jù)分析部分，本文使用評價指標N、P、N、P作為因變量，首先進行單因素回歸分析，如表3所示，其中P≤0.05時，表示該特征在單因素方差分析中差異檢驗顯著。F 值是F檢驗的統(tǒng)計量，也就是組間和組內(nèi)的離差平方和與自由度的比值，顯著性就是與F統(tǒng)計量對應(yīng)的顯著性水平。

(1)剪輯方式對連續(xù)性的影響:如表3 所示，剪輯方式對于四種評價指標P、N、N、P的顯著值P 均大于0.05，代表剪輯方式對最終的連續(xù)性并無影響。

表3 單因素回歸分析表 (E)

(2)ROI對于連續(xù)性的影響:對剪輯前后的ROI個數(shù)進行單因素回歸分析，分析結(jié)果如表4、表5所示。

表4 剪輯前的ROI(Rb)單因素回歸分析表

表5 剪輯后的ROI(Ra)單因素回歸分析表

數(shù)據(jù)結(jié)果表明，在觀看敘事類VR 電影的過程中，剪輯前存在的ROI數(shù)量對本文中提出的四種評價指標均無顯著影響，故本文認為視頻的R特征對最終的連續(xù)性沒有影響。但是剪輯后的ROI數(shù)量對以上四種評價指標，除N外的顯著值P 均大于0.05。R對N和P均無顯著影響，這表明一旦受試者看到其中一個ROI，ROI的數(shù)量不會影響剪輯后的探索行為。

將R作為自變量，而將N作為因變量進行線性回歸分析，回歸的標準誤差為2.78；回歸參數(shù)的顯著性檢驗值T 為2.568，顯著值P 為0.017，小于0.05，故可得回歸模型公式為:

其中模型R 方值為0.209，意味著R以解釋N的20.9%變化原因。對模型進行F 檢驗時發(fā)現(xiàn)模型通過F檢驗(F＝6.595，P＝0.017＜0.05)，說明剪輯后ROI數(shù)量一定程度上會對指標N產(chǎn)生影響關(guān)系，模型回歸系數(shù)為7.143，意味著視頻特征R會對N產(chǎn)生顯著的正向影響關(guān)系。

為了進一步分析R對于VR 電影的連續(xù)性的影響，本文將R與其余的視頻特征相結(jié)合，對評價指標P進行多層回歸模型的分析，并將R根據(jù)取值創(chuàng)建為兩個虛變量分別命名為R、R，用來指代R的兩種ROI存在情況，對評價指標P多層回歸模型分析結(jié)果如表6所示:

表6 多層回歸分析表

由表6的數(shù)據(jù)可以看出R可以解釋P的變化，并且會對P產(chǎn)生顯著的正向影響關(guān)系。這些結(jié)果說明，在敘事類VR 電影的后期制作中，對最終的連續(xù)性有顯著影響的是剪輯后的ROI數(shù)量，其中，當剪輯后有兩個ROI區(qū)域時，連續(xù)性要比區(qū)域中只有一個ROI的情況要低。所以本文研究認為，剪輯后關(guān)注區(qū)域的數(shù)量是影響影片連續(xù)性的關(guān)鍵因素。

最后，我們根據(jù)Serrano在文獻 [4]中提供的數(shù)據(jù)集對模型進行了驗證，在Serrano提供的數(shù)據(jù)集上的48個視頻段進行了線性回歸的擬合，擬合效果如圖4 所示，其中橫坐標表示測試視頻編號，縱坐標的單位為幀。分別計算了48 個視頻對應(yīng)的N值以及N的預(yù)測值，其中第15到第30個樣本R個數(shù)為2個或2個以上，可以看出模型擬合效果良好，但是隨著R的增多，模型預(yù)測效果會有下降。

圖4 Nframe 的預(yù)測值與真實值對比圖

5 結(jié)語

本文通過對情節(jié)更為復(fù)雜、場景更多變的敘事類VR 電影，引入更適合敘事類VR 電影的連續(xù)性評價指標即平滑追蹤占比，并對剪輯片段進行主觀觀看實驗，通過對主觀數(shù)據(jù)的處理及分析發(fā)現(xiàn):(1)在本文討論的敘事類VR 電影中，沒有發(fā)現(xiàn)剪輯方式對最終的感知連續(xù)性存在顯著影響；(2)剪輯后ROI的數(shù)量越少，觀看者就能越快地找到重點需要關(guān)注的區(qū)域，從而提高觀影過程中的連續(xù)性；(3)剪輯后的ROI數(shù)量越少，那么觀眾對于ROI的關(guān)注程度就越高。目前，本文的實驗僅對現(xiàn)有的數(shù)據(jù)進行了分析，今后還會邀請更多觀看者參與實驗，并且按照不同的個體差異分隊測試以尋找更多的規(guī)律。