摘要：文章提出了數(shù)據(jù)視頻時(shí)碼幀同步的方案，通過(guò)時(shí)碼將數(shù)據(jù)與視頻關(guān)鍵幀綁定，進(jìn)而在用戶終端進(jìn)行同步顯示，同時(shí)通過(guò)PIP技術(shù)以及節(jié)目后臺(tái)相關(guān)的SDK接口，實(shí)現(xiàn)交互包裝的融合節(jié)目落地應(yīng)用。經(jīng)過(guò)詳細(xì)方案的論證以及實(shí)際的節(jié)目落地應(yīng)用，融合媒體的交互包裝對(duì)于用戶黏性的提升和留存時(shí)長(zhǎng)以及商業(yè)化助力都有非常積極的作用。

關(guān)鍵詞：融合媒體；交互包裝；廣播電視節(jié)目包裝；節(jié)目創(chuàng)新應(yīng)用

doi：10.3969/J.ISSN.1672-7274.2023.02.059

中圖分類號(hào)：G 206，TN 94" " " " " " " "文獻(xiàn)標(biāo)示碼：A" " " " " " " "文章編碼：1672-7274（2023）02-0-03

Research on the Application of Integrated Media Interactive Packaging

ZHENG Xudong

（Tencent Technology （Beijing） Co.， Ltd.， Beijing 100049， China）

Abstract： This paper proposes a scheme of data video time code frame synchronization， which binds data and video key frames through time codes， and then displays them synchronously at user terminals. At the same time， it realizes the integrated program landing application of interactive packaging through PIP technology and SDK interfaces related to the program background. After detailed scheme demonstration and actual program landing application， the interactive packaging of integrated media has a very positive effect on the improvement of user stickiness， retention time and commercialization.

Key words： integration media; interactive packaging; packaging of radio and television programs; program innovation and application

隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，催生了用戶對(duì)于自主地獲取、選擇更豐富信息的需求。同時(shí)，節(jié)目制作方對(duì)于獲取用戶反饋以及增強(qiáng)節(jié)目互動(dòng)性的需求也與日俱增，融合媒體對(duì)于交互包裝的需求日益顯現(xiàn)，所有這些都催生了一個(gè)新的應(yīng)用領(lǐng)域——融合媒體交互包裝應(yīng)用[1]。

1" 痛點(diǎn)分析

1.1 信息量少，千人一面

在傳統(tǒng)包裝模式下，包裝呈現(xiàn)的內(nèi)容多少、側(cè)重展現(xiàn)的信息維度、上屏的時(shí)間長(zhǎng)短，都受到畫(huà)面構(gòu)圖、節(jié)目流程等因素的制約。即使演播室側(cè)掌握著整個(gè)節(jié)目的所有數(shù)據(jù)信息，也無(wú)法將其在同一時(shí)間全部呈現(xiàn)給觀眾。只能是制作方推送什么，觀眾收看什么。

例如，某個(gè)用戶在一檔游戲類節(jié)目中想多了解參演嘉賓的情況，但是在節(jié)目中，每個(gè)嘉賓只有在出場(chǎng)時(shí)，包裝信息才給予了《人名條》《信息板》等相關(guān)介紹，內(nèi)容較為簡(jiǎn)略，呈現(xiàn)時(shí)間也很短，用戶無(wú)法充分地獲取其想要的信息。在游戲過(guò)程中，觀眾能看到什么內(nèi)容取決于演播室推送什么內(nèi)容，可能用戶正在仔細(xì)分析某一些包裝信息時(shí)，畫(huà)面已經(jīng)切換走了。

1.2 單向通信，數(shù)據(jù)錯(cuò)位

傳統(tǒng)模式下，信息的傳播方向是從演播室到觀眾，觀眾較難參與節(jié)目互動(dòng)。即使輔以諸如在終端App中添加交互按鈕、彈幕、網(wǎng)站留言等技術(shù)手段，也會(huì)因?yàn)榫W(wǎng)絡(luò)質(zhì)量不佳導(dǎo)致無(wú)法實(shí)現(xiàn)實(shí)時(shí)的交互。

例如當(dāng)主持人口播某個(gè)互動(dòng)活動(dòng)開(kāi)始時(shí)，工作人員將活動(dòng)開(kāi)始的指令發(fā)送給終端，由于用戶們的網(wǎng)絡(luò)環(huán)境各異，會(huì)導(dǎo)致部分觀眾還沒(méi)有看到主持人口播的畫(huà)面時(shí)，就收到活動(dòng)開(kāi)始的指令。顯示在App數(shù)據(jù)區(qū)的節(jié)目實(shí)時(shí)數(shù)據(jù)也同樣會(huì)出現(xiàn)快于畫(huà)面呈現(xiàn)的情況。

1.3 業(yè)務(wù)分離，強(qiáng)制升級(jí)

由于沒(méi)有一個(gè)統(tǒng)一的將視頻流、數(shù)據(jù)和控制信號(hào)進(jìn)行綁定的機(jī)制，一個(gè)業(yè)務(wù)的實(shí)現(xiàn)需要在各種類型的終端上分別進(jìn)行開(kāi)發(fā)。業(yè)務(wù)的增改均與終端有強(qiáng)綁定關(guān)系，需要用戶升級(jí)終端后才可以使用該業(yè)務(wù)。

例如，節(jié)目需要增加“讓觀眾在觀看視頻過(guò)程中投票”的功能，需要在IOS、安卓、PC、Web終端分別開(kāi)發(fā)這些前端交互的業(yè)務(wù)，同時(shí)觀眾必須升級(jí)包含這些業(yè)務(wù)的App版本后才能使用新增的功能。

1.4 賽事數(shù)據(jù)，相互分離

目前大部分基于移動(dòng)端或者電視的賽事直播，都是比賽信號(hào)或者節(jié)目信號(hào)與相關(guān)的數(shù)據(jù)傳輸，沒(méi)有達(dá)到“有需要有數(shù)據(jù)（服務(wù)），無(wú)需要專注比賽”的效果。

例如，網(wǎng)友通過(guò)手機(jī)觀看賽事，如果需要查看某些球員或者相關(guān)的賽事數(shù)據(jù)，就要“跳出”視頻播放器，打開(kāi)相關(guān)網(wǎng)站、網(wǎng)頁(yè)，進(jìn)行查找，然后如此反復(fù)，邊看邊查；這就失去了賽事轉(zhuǎn)播的連貫性和即時(shí)性。對(duì)于綜藝節(jié)目更是如此，投票、點(diǎn)贊的數(shù)據(jù)和窗口如果不做在產(chǎn)品中，臨時(shí)想增加一個(gè)互動(dòng)選項(xiàng)或者為參賽的選手點(diǎn)贊互動(dòng)，這些就不可能做到。

1.5 精彩片段，一網(wǎng)打盡

現(xiàn)階段直播類節(jié)目必須要等到所有的節(jié)目直播結(jié)束后，才可以進(jìn)行點(diǎn)播操作，并且觀看點(diǎn)播要到不同的頁(yè)卡中選擇那些有實(shí)時(shí)交流、互動(dòng)需求的網(wǎng)友和觀眾，就要等節(jié)目結(jié)束后才能相互討論和分享。

例如，對(duì)于足球比賽，有些觀眾是從賽事進(jìn)行中開(kāi)始觀看的，中途錯(cuò)過(guò)了從比賽開(kāi)始到進(jìn)入轉(zhuǎn)播畫(huà)面之間的所有的精彩片段（進(jìn)球、精彩射門(mén)、紅黃牌等），如何做到無(wú)論從任何時(shí)間點(diǎn)進(jìn)入賽事畫(huà)面，都可以即刻欣賞直播內(nèi)容，同時(shí)還能把之前錯(cuò)過(guò)的精彩片段“補(bǔ)上”，這給我們交互包裝提出了新的要求。

2" 解決痛點(diǎn)

2.1 包裝、數(shù)據(jù)、畫(huà)面三者分離

與傳統(tǒng)包裝“嵌入”電視信號(hào)不同，本系統(tǒng)將包裝的樣式、包裝中呈現(xiàn)的數(shù)據(jù)以及電視畫(huà)面三者以不同的路徑分發(fā)傳輸，在觀看終端分別接收后再將三者渲染呈現(xiàn)。這樣觀眾不再受限于傳統(tǒng)包裝呈現(xiàn)限制的信息，而可以接收到全部的信息，

2.2 時(shí)碼同步

對(duì)于上文中提到的電視畫(huà)面和數(shù)據(jù)（包括控制數(shù)據(jù)和節(jié)目實(shí)時(shí)數(shù)據(jù)），在制作端加上時(shí)碼信息，觀看終端獲取到這些數(shù)據(jù)后，在渲染呈現(xiàn)時(shí)，強(qiáng)制將賽事的數(shù)據(jù)信息和賽事的視頻關(guān)鍵幀信息通過(guò)時(shí)碼信息對(duì)齊。最終在用戶的播放器端一同播出，從而解決數(shù)據(jù)錯(cuò)位的問(wèn)題。不僅如此，如果你是剛剛開(kāi)始觀看賽事直播，甚至可以通過(guò)拖曳時(shí)間線，對(duì)比賽進(jìn)行快速掃描，選擇自己喜歡的精彩時(shí)刻觀看，與此同時(shí)，相關(guān)賽事數(shù)據(jù)也會(huì)自動(dòng)同步，不會(huì)因?yàn)橥弦窌r(shí)間線而造成數(shù)據(jù)的“不同步”。

2.3 包裝可交互

將觀看終端從原來(lái)的兩層結(jié)構(gòu)（播放器控制層和畫(huà)面渲染層）變更為三層結(jié)構(gòu)（播放器控制層、包裝渲染層和畫(huà)面渲染層）。其中，包裝渲染層可以用H5（或其他）的方式實(shí)現(xiàn)，再輔以交互技術(shù)（如JavaScript）即可實(shí)現(xiàn)包裝的交互（如呈現(xiàn)更多內(nèi)容，收集觀眾反饋等）?？山换サ陌b不僅提供了用戶與節(jié)目組雙向通信的通道，而且也可以讓觀眾通過(guò)交互的方式自主選擇想要查看的信息。如果觀眾不需要這些數(shù)據(jù)信息，只需要將交互包裝“隱藏”起來(lái)，這樣就可以全屏欣賞比賽，真正做到了“有需求有（數(shù)據(jù)）服務(wù)，無(wú)需求無(wú)打擾，讓觀眾全程定制化地享受節(jié)目以外的服務(wù)。

2.4 畫(huà)中畫(huà)交互

將在直播中產(chǎn)生的全部數(shù)據(jù)，包括時(shí)碼、音視頻信號(hào)、實(shí)時(shí)數(shù)據(jù)、播控?cái)?shù)據(jù)和包裝數(shù)據(jù)全部存儲(chǔ)下來(lái)，并將音視頻流轉(zhuǎn)為文件。在點(diǎn)播模式下完全復(fù)現(xiàn)直播時(shí)的包裝和數(shù)據(jù)呈現(xiàn)。通過(guò)提供對(duì)直播節(jié)目（賽事）的打點(diǎn)服務(wù)，結(jié)合PIP（畫(huà)中畫(huà)）技術(shù)，可以讓觀眾在欣賞直播節(jié)目的同時(shí)，即刻回顧點(diǎn)播精彩片段，實(shí)現(xiàn)即刻交流和分享。對(duì)于體育賽事直播，無(wú)論什么時(shí)刻進(jìn)入直播畫(huà)面，你都可以邊看直播邊回顧，無(wú)論是精彩射門(mén)還是換人都可以一個(gè)不落地盡收眼底。

3" 系統(tǒng)架構(gòu)與方案

整個(gè)系統(tǒng)在宏觀上分為演播室端、云服務(wù)端和用戶終端三部分。演播室端負(fù)責(zé)對(duì)信號(hào)進(jìn)行時(shí)碼加嵌并發(fā)出播控指令；云服務(wù)端負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)和分發(fā)，包括包裝數(shù)據(jù)、節(jié)目實(shí)時(shí)數(shù)據(jù)、播控?cái)?shù)據(jù)以及用戶反饋數(shù)據(jù)；用戶終端負(fù)責(zé)按當(dāng)前視頻的時(shí)碼呈現(xiàn)響應(yīng)的包裝和數(shù)據(jù)，并響應(yīng)用戶的交互操作。

附帶時(shí)碼的視頻和數(shù)據(jù)分別由兩個(gè)CDN路徑傳輸，由于視頻比數(shù)據(jù)更大，傳輸消耗的時(shí)間更長(zhǎng)，所以同樣時(shí)碼的數(shù)據(jù)總是能先于視頻到達(dá)用戶終端，等待視頻播放到相應(yīng)的時(shí)碼時(shí)才進(jìn)行呈現(xiàn)。

4" 系統(tǒng)集成與使用流程

4.1 系統(tǒng)集成

整體的中臺(tái)已經(jīng)落地應(yīng)用交互包裝管理平臺(tái)、交互包裝播控平臺(tái)、云服務(wù)幾個(gè)模塊的功能，完成了IOS/Android端SDK的開(kāi)發(fā)。在進(jìn)行實(shí)際的落地集成時(shí)，除了將這些平臺(tái)服務(wù)遷移到目標(biāo)域名下，還需要進(jìn)行節(jié)目數(shù)據(jù)的對(duì)接以及用戶終端的SDK集成工作。其中，節(jié)目數(shù)據(jù)對(duì)接是將目標(biāo)的節(jié)目管理系統(tǒng)中需要使用交互式包裝的節(jié)目的相關(guān)信息，如ID、內(nèi)網(wǎng)播放流地址、所屬類別等信息同步到“交互包裝管理平臺(tái)”作為基礎(chǔ)數(shù)據(jù)；用戶終端的SDK集成是對(duì)自研的SDK和目標(biāo)平臺(tái)的視頻播放終端進(jìn)行整合，最主要的集成點(diǎn)是將播放器解析出的當(dāng)前視頻的時(shí)碼信號(hào)發(fā)送給SDK，以及在點(diǎn)開(kāi)交互視頻時(shí)調(diào)用SDK進(jìn)行初始化工作（分層、預(yù)加載交互式包裝）。

4.2 使用流程

在完成集成和部署測(cè)試后，實(shí)際執(zhí)行階段流程如下。①節(jié)目組按照節(jié)目特點(diǎn)提出交互式包裝的需求，包括樣式、承載內(nèi)容、交互效果、數(shù)據(jù)綁定等；②在經(jīng)過(guò)需求評(píng)估和溝通后，商定最終的需求范圍和交付時(shí)間；③進(jìn)行交互式包裝的制作、測(cè)試、部署、節(jié)綁定目信息；④完成直播中的播控操作（直播后自動(dòng)直播轉(zhuǎn)點(diǎn)播）。

5" 系統(tǒng)亮點(diǎn)

5.1 信息全面且定制化

（1）節(jié)目數(shù)據(jù)與包裝的分離使得演播室可以將全部的節(jié)目數(shù)據(jù)都分發(fā)給終端，由終端的邏輯和用戶操作來(lái)決定展示哪些數(shù)據(jù)。

（2）通過(guò)對(duì)用戶信息的分類（如性別、IP地址、問(wèn)答反饋展現(xiàn)出來(lái)的喜好等）可以為不同的用戶推送不同的包裝內(nèi)容。

（3）可支持終端多語(yǔ)言實(shí)時(shí)切換、橫豎屏切換。

（4）當(dāng)觀眾有需求，系統(tǒng)提供服務(wù)；當(dāng)觀眾沒(méi)有需求時(shí)，觀眾不會(huì)被額外的包裝和數(shù)據(jù)交互層所打擾，盡情專注比賽（節(jié)目）。

5.2 包裝可交互

（1）用戶在視頻播放畫(huà)框內(nèi)即可完成交互操作，乃至可在觀看節(jié)目時(shí)完成支付消費(fèi)的操作。數(shù)據(jù)和交互操作也可以延伸到視頻播放框外使用。

（2）用戶對(duì)節(jié)目可以進(jìn)行實(shí)時(shí)反饋，演播室能夠?qū)崟r(shí)獲取用戶反饋的統(tǒng)計(jì)信息。

（3）可以跟隨節(jié)目的進(jìn)度，即時(shí)與觀眾交互，增強(qiáng)用戶的黏性以及節(jié)目的趣味性和參與度。

5.3 時(shí)碼同步，數(shù)據(jù)先行

（1）所有數(shù)據(jù)與畫(huà)面幀級(jí)同步，不因具體用戶的網(wǎng)絡(luò)情況導(dǎo)致呈現(xiàn)不同，不因直播或點(diǎn)播的模式導(dǎo)致呈現(xiàn)不同。

（2）因?yàn)閿?shù)據(jù)到達(dá)終端的時(shí)間會(huì)比視頻更快，因而在發(fā)生播出錯(cuò)誤后及時(shí)更改，可以在觀眾看到錯(cuò)誤數(shù)據(jù)之前，完成修正。

（3）因?yàn)閿?shù)據(jù)和視頻時(shí)碼同步，避免了因?yàn)閿?shù)據(jù)延遲少過(guò)早“劇透”賽事結(jié)果的現(xiàn)象發(fā)生。

5.4 流程不變

（1）對(duì)于包裝需求方來(lái)說(shuō)，從提出包裝需求到包裝上線，使用的流程沒(méi)有變化，對(duì)于包裝的功能能夠有更多的交互可選項(xiàng)。

（2）對(duì)于實(shí)際的演播室播出來(lái)說(shuō)，變更的是播控包裝的軟件，對(duì)于播出流程沒(méi)有變更。當(dāng)然，如果節(jié)目需要，可以在直播中實(shí)時(shí)收集用戶反饋來(lái)變更播出內(nèi)容。

（3）所有的交互包裝和傳統(tǒng)的節(jié)目包裝都可以通過(guò)一個(gè)界面實(shí)現(xiàn)播控和編輯操作，不僅節(jié)省了人力，同時(shí)還讓包裝更加有層次。

6" 后續(xù)規(guī)劃

（1）創(chuàng)建更多通用的交互包裝模板。雖然節(jié)目之間業(yè)務(wù)的具體需求各異，但同類節(jié)目甚至大多數(shù)節(jié)目都有普遍使用的交互式模式，如人名條、高光時(shí)刻、問(wèn)答、商業(yè)化廣告等，我們后續(xù)規(guī)劃將在功能性和視覺(jué)樣式兩個(gè)難度上抽象出更多的通用交互包裝模板，使得在項(xiàng)目制作過(guò)程中可以直接符合這些模板。

（2）搭建低代碼的交互包裝制作平臺(tái)。目前，交互包裝的制作流程是設(shè)計(jì)師根據(jù)需求進(jìn)行功能樣式的設(shè)計(jì)，之后由前端開(kāi)發(fā)工程師實(shí)現(xiàn)。我們后續(xù)規(guī)劃搭建一個(gè)低代碼平臺(tái)，將前端工程師的代碼實(shí)現(xiàn)工作交由平臺(tái)來(lái)自動(dòng)完成，設(shè)計(jì)師只需要在平臺(tái)上按照設(shè)計(jì)者的思路完成功能樣式設(shè)計(jì)，即可完成交互包裝的制作，更進(jìn)一步，將數(shù)據(jù)綁定等操作也可以封裝到平臺(tái)中，實(shí)現(xiàn)無(wú)代碼開(kāi)發(fā)。

7" 結(jié)束語(yǔ)

交互包裝最大的亮點(diǎn)是打破了傳統(tǒng)的觀看邏輯和收視習(xí)慣，讓觀眾當(dāng)導(dǎo)演，讓平臺(tái)不僅提供視頻信號(hào)，還提供同步的包裝數(shù)據(jù)服務(wù)、點(diǎn)播服務(wù)、交互服務(wù)等。相信在不久的未來(lái)，大家會(huì)慢慢接受并習(xí)慣這種觀看模式。■

參考文獻(xiàn)

[1] 中國(guó)電影電視技術(shù)學(xué)會(huì)成立40周年影視科技創(chuàng)新發(fā)展白皮書(shū)[Z]，2022.8.