金 炯，吳國(guó)芳

（紹興職業(yè)技術(shù)學(xué)院，浙江 紹興 312000）

0 引言

隨著現(xiàn)代影視技術(shù)的高質(zhì)量發(fā)展，人們對(duì)各類影視作品的特效要求越來(lái)越高，對(duì)一些高互動(dòng)性的電視娛樂(lè)項(xiàng)目需求不斷增加。對(duì)此，本文以虛擬演播室技術(shù)的應(yīng)用為例，介紹智能人物摳像技術(shù)，明確人物摳像方法的適應(yīng)性與適用場(chǎng)景，提高摳像技術(shù)在現(xiàn)階段虛擬演播室領(lǐng)域的實(shí)際應(yīng)用質(zhì)量。

1 摳像技術(shù)分析

在視頻分辨率不斷提高的今天，人們對(duì)圖像的沉浸性效果要求越來(lái)越高。同時(shí)，摳像技術(shù)的發(fā)展也在不斷強(qiáng)調(diào)圖像與場(chǎng)景的深度融合。通常情況下，影視作品的摳圖工作以綠幕作為背景，利用色鍵摳像原理進(jìn)行后期處理。一般情況下，在拍攝視頻過(guò)程中，為方便后期修剪，前景色彩不會(huì)使用與背景相近的顏色，這樣在后期摳圖中便可以分辨出哪部分是前景哪部分是背景。盡管這個(gè)辦法大大降低了拍攝難度，但也有很多困難和限制。一方面，在光線的作用下，背景的色彩會(huì)被反射到前景上，因此前景上不能完全認(rèn)為不存在任何一種背景色彩，這就是所謂的“溢色”現(xiàn)象，是后期摳圖處理中的技術(shù)難點(diǎn)之一。另一方面，色彩的抓取和摳圖還得有專用的攝影棚，制作成本相對(duì)比較昂貴。因?yàn)樵摷夹g(shù)的發(fā)展已經(jīng)相對(duì)比較成熟，并且具有較高的處理效率，所以現(xiàn)階段該技術(shù)在影視拍攝等場(chǎng)合得到了大量的應(yīng)用?，F(xiàn)如今，隨著云計(jì)算與人工智能（Artificial Intelligence，AI）技術(shù)的飛速發(fā)展，現(xiàn)階段虛擬演播室的摳像技術(shù)得到革命性的突破，使得系統(tǒng)能夠自動(dòng)選擇前景，并且可以有效地對(duì)人物的頭發(fā)和邊緣進(jìn)行處理，在不顯露出任何處理痕跡的情況下，還原各個(gè)細(xì)節(jié)[1]。

2 自然場(chǎng)景摳像方法

色鍵抓取摳圖的對(duì)象要求在特定的環(huán)境下拍攝，因此屬于非自然條件情況下拍攝，但是自然場(chǎng)景摳像則是在不做任何特別布景時(shí)對(duì)拍攝到的照片、影像進(jìn)行的摳像操作，具有不受空間和時(shí)間約束的優(yōu)勢(shì)，適用于事先拍好的照片或影像處理工作。目前，常見的方法有基于三分圖的人物摳象方法，單張圖像摳圖以及背景輸入的人物摳象。

2.1 三分圖的人物摳像

從影視后期摳圖工作角度來(lái)看，色鍵摳像方法屬于一種對(duì)人物摳圖的簡(jiǎn)化方法，與借助三分圖方法進(jìn)行人物摳像處理原理相似，區(qū)別在于這里引入的約束并沒(méi)有實(shí)現(xiàn)背景與前景在圖像空間上的細(xì)致分割處理，實(shí)例如圖1 所示。

圖1 基于三分圖的摳像示意圖

由圖1 能夠看出，該方法通過(guò)人為畫出的方式確定大致前景區(qū)域（即圖中白色區(qū)域）以及背景區(qū)域（即黑色區(qū)域），還有圖中一些不確定前景與背景的區(qū)域。借助人工智能技術(shù)可預(yù)測(cè)出不確定是前景圖像還是背景圖像便可以實(shí)現(xiàn)圖像摳圖?，F(xiàn)階段應(yīng)用到摳圖領(lǐng)域的神經(jīng)網(wǎng)絡(luò)算法與傳統(tǒng)方法都可以實(shí)現(xiàn)上述目的。盡管基于三分圖的摳圖方法對(duì)算法的要求不高，但是卻極大增加工作量。若在后期處理過(guò)程中想把一個(gè)視頻里的所有人體及其特征都摳出來(lái)，不但會(huì)花費(fèi)大量時(shí)間，而且實(shí)際摳圖的效果無(wú)法確定，即摳圖后的質(zhì)量會(huì)受到后期人員對(duì)三分圖劃分的精細(xì)度影響。對(duì)此，為簡(jiǎn)化這個(gè)該方法，近幾年相關(guān)研究者進(jìn)行過(guò)很多改進(jìn)，比如只讓用戶簡(jiǎn)單參與以此方式確認(rèn)背景或前景[2]。

2.2 單張圖像摳圖

為避免影響，有研究提出采用一幅圖像的方式，將透明遮擋信息從一幅圖像中直接輸出出來(lái)。首先，該算法模型利用語(yǔ)義劃分的方式，對(duì)目標(biāo)進(jìn)行輪廓或大概的定位。該部分操作與之前的三分圖相似，只是由手工繪制變?yōu)橛删W(wǎng)絡(luò)自動(dòng)生成，之后對(duì)目標(biāo)具體細(xì)節(jié)部位進(jìn)行預(yù)測(cè)，最終實(shí)現(xiàn)目標(biāo)的精確定位與摳圖操作。

2.3 背景圖像的摳像方法

背景圖像輸入的摳像方法是一種圖像處理技術(shù)，旨在從包含人物和背景的圖像中將人物對(duì)象精確地提取出來(lái)，以便將其放置在不同的背景中或進(jìn)行其他后續(xù)處理。這種方法通常涉及計(jì)算機(jī)視覺(jué)和圖像分割技術(shù)。

首先，需要做好數(shù)據(jù)準(zhǔn)備工作，收集具有明顯人物和背景的圖像數(shù)據(jù)集，包括具有不同背景和姿勢(shì)的圖像，對(duì)這些圖像進(jìn)行標(biāo)記以標(biāo)示人物的位置，可以使用邊界框或像素級(jí)別的標(biāo)記。對(duì)圖像進(jìn)行預(yù)處理和特征提取，包括去噪、亮度和對(duì)比度調(diào)整等操作，以確保輸入圖像的質(zhì)量，使用計(jì)算機(jī)視覺(jué)技術(shù)來(lái)識(shí)別人物與背景之間的差異，包括顏色、紋理、形狀及邊緣等特征。

其次，借助分割算法進(jìn)行分割操作。常用的分割算法有三種?；陂撝档姆指?，通過(guò)設(shè)置像素值的閾值來(lái)將圖像分成前景和背景；基于邊緣的分割，檢測(cè)圖像中的邊緣，基于邊緣將圖像分割成區(qū)域；基于深度學(xué)習(xí)的方法，使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）或語(yǔ)義分割網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)像素級(jí)別的分割。

最后，進(jìn)行圖像的后期處理，即對(duì)分割結(jié)果進(jìn)行后處理，以去除可能的噪音或錯(cuò)誤，包括填充孔洞、去除小對(duì)象或執(zhí)行形態(tài)學(xué)操作。

使用該技術(shù)需要注意的是，基于背景圖像輸入的人物摳像是一個(gè)復(fù)雜的任務(wù)，成功的結(jié)果取決于圖像質(zhì)量、分割算法選擇以及后續(xù)處理步驟的質(zhì)量。在實(shí)際應(yīng)用中，可能需要使用不同的技術(shù)和工具來(lái)適應(yīng)不同類型的圖像和場(chǎng)景。深度學(xué)習(xí)方法在這個(gè)領(lǐng)域取得了很大的進(jìn)展，特別是語(yǔ)義分割網(wǎng)絡(luò)，可以更準(zhǔn)確地識(shí)別和分割人物對(duì)象[3]。

2.4 深度圖像的摳像

基于深度圖像輸入的人物摳像方法是一種圖像處理技術(shù)，利用深度圖像（包含圖像中每個(gè)像素的深度信息）來(lái)進(jìn)行人物的精確分割。這種方法可以將人物從深度圖像中提取出來(lái)，并將其放置在不同的背景中，或用于對(duì)人物進(jìn)行其他后續(xù)處理。該方法同樣需要進(jìn)行圖像數(shù)據(jù)的預(yù)處理，獲取包含人物和背景的深度圖像數(shù)據(jù)集，可使用深度相機(jī)或其他三維傳感器進(jìn)行采集，對(duì)數(shù)據(jù)集中的深度圖像進(jìn)行標(biāo)記，以標(biāo)記人物的區(qū)域，常見的標(biāo)記方式有像素級(jí)別的標(biāo)注或邊界框標(biāo)注。首先，對(duì)深度圖像進(jìn)行預(yù)處理，如去噪、平滑或調(diào)整圖像的對(duì)比度和亮度等操作，以提升分割的效果。其次，從深度圖像中提取特征，可以使用形狀、深度值及表面法線等特征來(lái)描述人物和背景之間的差異；借助深度學(xué)習(xí)方法來(lái)進(jìn)行圖像分割，特別是語(yǔ)義分割網(wǎng)絡(luò)，可以將每個(gè)像素分類為屬于人物或背景的類別，從而實(shí)現(xiàn)人物的精確分割。最后，將分割得到的人物對(duì)象與新的背景合成，或進(jìn)行其他后續(xù)處理，如顏色校正、光照調(diào)整或添加特效等[4]?；谏疃葓D像輸入的人物摳像方法相比于僅使用RGB 圖像的方法可以提供更準(zhǔn)確的分割結(jié)果，因?yàn)樯疃葓D像提供了場(chǎng)景中物體的更多信息。然而，這種方法對(duì)深度圖像的準(zhǔn)確性和質(zhì)量要求較高，因此在應(yīng)用此方法時(shí)，需要確保深度圖像的質(zhì)量和準(zhǔn)確性，并選擇適當(dāng)?shù)纳疃葘W(xué)習(xí)架構(gòu)和算法來(lái)處理分割任務(wù)。

3 基于自然場(chǎng)景的摳像方法

3.1 基于自然場(chǎng)景的摳像方法

本節(jié)探究自然環(huán)境場(chǎng)景下的圖像摳圖方法。自然場(chǎng)景環(huán)境下，圖像人物摳像方法的優(yōu)缺點(diǎn)對(duì)比如表1 所示。

表1 自然場(chǎng)景下圖像人物摳像方法對(duì)比

由表1 的對(duì)比可知，不同摳圖方法均有各自的優(yōu)缺點(diǎn)，且都依賴拍攝原圖的質(zhì)量與數(shù)據(jù)集，若拍攝圖像或視頻質(zhì)量不高則會(huì)直接影響摳圖效果。另外，摳圖依賴數(shù)據(jù)集的完整性，若數(shù)據(jù)集中缺少某項(xiàng)數(shù)據(jù)或插件則不能達(dá)到良好的摳圖效果。比如，基于單張照片輸入的摳圖方法雖然具有通用性，并且適用于各種拍攝場(chǎng)景，但是存在明顯的缺陷，即對(duì)數(shù)據(jù)集有強(qiáng)烈的依賴性，若沒(méi)有數(shù)據(jù)集可能無(wú)法獲得良好的結(jié)果?；谌謭D片的算法要求使用三分圖片當(dāng)作初始輸入數(shù)據(jù)，因此該方法更適用于一些專業(yè)領(lǐng)域的編輯軟件。而基于背景影像以及深度影像的摳圖技術(shù)則更適合直播、在線會(huì)議等領(lǐng)域，因?yàn)樵谏鲜霏h(huán)境中，攝像機(jī)是固定的，被拍攝者一般不會(huì)觸碰攝像機(jī)，拍攝背景不會(huì)改變，所以在這種情況下使用深度影像的影像處理方法實(shí)際處理結(jié)果將高于背景影像處理方法，但代價(jià)較高。在直播中，背景通常是經(jīng)過(guò)設(shè)計(jì)的，主播需要展示自己的商品，因此將角色挖出并替換可能不符合主播的要求。然而，對(duì)于沒(méi)有實(shí)際角色或商品的虛擬直播來(lái)說(shuō)，其具有更大的潛力[5]。

3.2 線上應(yīng)用

本節(jié)以阿里云視頻云技術(shù)為例，介紹摳像技術(shù)的線上應(yīng)用。阿里云以AI 摳像技術(shù)為基礎(chǔ)，發(fā)布了一款云互動(dòng)虛擬工作室，可以為用戶提供云上的場(chǎng)景摳像和虛擬場(chǎng)景制作。虛擬工作室采用“實(shí)時(shí)互動(dòng)+導(dǎo)播”的方式，用戶只需要一款手機(jī)軟件就可以進(jìn)行直播，滿足了用戶的操作要求，為用戶創(chuàng)造一種沉浸式的、可以達(dá)到廣電級(jí)效果的直播體驗(yàn)。云計(jì)算交互虛擬演播室采用實(shí)景預(yù)設(shè)背景摳像以及摳像合成處理等眾多智能技術(shù)，可以實(shí)現(xiàn)多個(gè)實(shí)時(shí)實(shí)景的即時(shí)摳像以及虛擬背景生成，從而有效地解決主持人和嘉賓不在同一個(gè)空間不能進(jìn)行專業(yè)演播的問(wèn)題。因此，可以將處于不同地點(diǎn)的人合成到任何一個(gè)錄播室中，這樣即使相隔較遠(yuǎn)，也可以利用虛擬演播技術(shù)，感受到在同一個(gè)空間中的沉浸感。

4 結(jié)語(yǔ)

人工智能技術(shù)標(biāo)志著社會(huì)進(jìn)入新一輪發(fā)展時(shí)期。在虛擬演播室技術(shù)領(lǐng)域，借助人工智能技術(shù)，可有效減少人工處理的工作內(nèi)容，簡(jiǎn)化傳統(tǒng)摳圖方法，為后續(xù)演播室技術(shù)全面化與互動(dòng)化發(fā)展奠定基礎(chǔ)。借助人工智能摳像技術(shù)，可為節(jié)目播出形式提供更加多元化的發(fā)展方向，為后續(xù)業(yè)務(wù)的發(fā)展提供服務(wù)。