李曈

摘要： 文章提出基于深度學(xué)習(xí)的實(shí)時(shí)視頻通話人像摳圖方法，充分利用了多維監(jiān)控空間進(jìn)行摳圖特征多維識(shí)別，從而更加準(zhǔn)確地提取人像邊緣和背景特征，進(jìn)一步優(yōu)化摳圖效果。研究通過生成人像三分圖，建立適用于實(shí)時(shí)視頻通話的人像摳圖模型，為人像編輯提供了更高質(zhì)量的摳圖工具。實(shí)驗(yàn)結(jié)果顯示，這一方法不僅在摳圖效果上表現(xiàn)出較高的連接度，而且具有較好的應(yīng)用潛力，可以有效提升人像摳圖的精準(zhǔn)性和實(shí)時(shí)性，對(duì)視頻通話等場(chǎng)景具有積極意義。

關(guān)鍵詞：深度學(xué)習(xí)；視頻通話；人像摳圖；摳圖方法

中圖分類號(hào)：G642? 文獻(xiàn)標(biāo)志碼：A

0 引言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，視頻通話已成為人們?nèi)粘贤ǖ闹匾绞健Ｈ欢?，視頻通話中的背景往往會(huì)影響通話體驗(yàn)，尤其是當(dāng)背景雜亂或與主題無關(guān)時(shí)。為了解決這一問題，人像摳圖技術(shù)應(yīng)運(yùn)而生［1］。該技術(shù)能夠?qū)⒁曨l通話中的人像從背景中分離出來，從而使用戶可以將人像置于任何所需的背景之上。然而，現(xiàn)有的摳圖技術(shù)往往存在處理速度慢、效果不佳等問題，無法滿足實(shí)時(shí)視頻通話的需求［2］。

針對(duì)現(xiàn)有技術(shù)的不足，本文提出了一種基于深度學(xué)習(xí)的實(shí)時(shí)視頻通話人像摳圖方法，通過實(shí)驗(yàn)驗(yàn)證了所提出方法的有效性和實(shí)時(shí)性。

1 基于深度學(xué)習(xí)的實(shí)時(shí)視頻通話人像摳圖方法設(shè)計(jì)

1.1 摳圖特征多維識(shí)別

創(chuàng)建多維監(jiān)控空間，首先使用掃描設(shè)備進(jìn)行初始面部掃描。接下來，通過復(fù)制面部圖像并進(jìn)行分析，系統(tǒng)會(huì)比較面部特征［3］。利用人臉姿態(tài)估計(jì)技術(shù)，可以調(diào)整面部方向，從而擴(kuò)大識(shí)別范圍并提高面部圖像識(shí)別的準(zhǔn)確性。計(jì)算識(shí)別時(shí)標(biāo)準(zhǔn)人臉比例的公式為：

H=（1-θ）2∑χy+χθy+2（1）

在公式（1）中，θ表示瞳孔雙眼之間的距離，H表示標(biāo)準(zhǔn)人臉尺度值，y反映識(shí)別次數(shù)，χ反映瞳孔中心到鼻子末端的距離。表示識(shí)別率［4］。標(biāo)準(zhǔn)人臉尺度值是用于對(duì)特征進(jìn)行標(biāo)準(zhǔn)識(shí)別的值，根據(jù)實(shí)際的識(shí)別需求和標(biāo)準(zhǔn)校準(zhǔn)，對(duì)人臉的單個(gè)位置進(jìn)行二次提取，收集獲得的數(shù)據(jù)以供進(jìn)一步使用。

1.2 基于深度學(xué)習(xí)生成人像三分圖

本文的目標(biāo)是根據(jù)人臉的大小，調(diào)整人像三分圖中未知區(qū)域的比例，使得摳圖方法更加靈活，能夠適應(yīng)不同的人臉尺寸和比例，提高了算法的普適性和通用性［5］。將深度學(xué)習(xí)技術(shù)應(yīng)用于生成人像三分圖中，能夠提高在實(shí)際應(yīng)用場(chǎng)景中視頻摳圖對(duì)圖像影響的準(zhǔn)確性。

為了實(shí)現(xiàn)這一目標(biāo)，采用人臉檢測(cè)的方法來確定圖像中的人臉位置，獲取左右瞳孔、鼻型和左右嘴角等關(guān)鍵部位的轉(zhuǎn)向單元［6］。雙眼瞳孔之間的距離是一個(gè)重要的參考值，它反映了面部識(shí)別中使用的面部大小。然而，如果面部位置發(fā)生顯著變化，面部的寬度和高度也會(huì)隨之改變。當(dāng)臉部左右旋轉(zhuǎn)的角度發(fā)生變化時(shí)，雙眼之間的距離也會(huì)相應(yīng)改變。抬頭和低頭也會(huì)影響面部的高度。為了獲得相對(duì)穩(wěn)定的參考值，使用方程（2）來表示。

S=max（P，N）（2）

在公式（2）中，S表示標(biāo)度值，N是瞳孔中心到鼻子末端可移動(dòng)的最大距離，P是瞳孔雙眼之間可移動(dòng)的距離。

通常，用于訓(xùn)練的人像三分圖是在α的標(biāo)記圖像的基礎(chǔ)上繪制的。在α的圖像中創(chuàng)建人像三分圖，經(jīng)過腐蝕和膨脹操作，從圖像α中去除每個(gè)像素，得到3個(gè)點(diǎn)的圖像。控制雙邊肖像上未知區(qū)域的占比具體方程如式（3）所示。

Ti=128|Dk（Ai）-HEk（Ai）|>th

Ai其他（3）

在公式（3）中，Ai表示原始像素值，Dk表示稀釋算子，Ek表示腐蝕算子，k表示函數(shù)核，th表示人像三分圖中未知區(qū)域的比例閾值。像素Ti有3個(gè)可能的值：0，127和254，分別表示背景、未知區(qū)域和地面。在阿爾法圖像中，像素Ai的值只有0和254。其中，0表示背景，254表示地面。通過這個(gè)公式，可以精確地控制人臉圖像的分割，從而提高圖像處理的準(zhǔn)確性和穩(wěn)定性。

通過調(diào)整人臉比值S，可以實(shí)現(xiàn)對(duì)腐蝕和擴(kuò)展核大小、未知區(qū)域的專一率以及訓(xùn)練和移除三角形等操作的精確控制，從而優(yōu)化人臉圖像的分割過程，提高分割結(jié)果的準(zhǔn)確性和質(zhì)量。

使用上述方法進(jìn)行面部標(biāo)準(zhǔn)化，將面部標(biāo)準(zhǔn)化為128像素×128像素?；陔p眼間的距離，使用相似的變換矩陣?yán)L制128張標(biāo)準(zhǔn)化的面部圖像。與上述方法相同，使用比例縮放、平移和裁剪變換公式將肖像轉(zhuǎn)換為標(biāo)準(zhǔn)1024像素×1024像素，使用面部特征點(diǎn)作為參考點(diǎn)。變換矩陣如下：

τ=a0b

0ac（4）

a=48/S;b=γx-162;c=γy-255;（γx，γy）為原圖像中鼻尖關(guān)鍵點(diǎn)的坐標(biāo)。

為了獲得更精細(xì)的人像三分圖，采用了基于深度學(xué)習(xí)的方法，對(duì)第三時(shí)刻表生產(chǎn)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。輸入數(shù)據(jù)是來自RGB的3個(gè)特征圖像。該網(wǎng)絡(luò)具有多個(gè)通道，能夠提供前景、背景和未知區(qū)域的3個(gè)分割結(jié)果。特別地，采用了Resnet101結(jié)構(gòu)進(jìn)行訓(xùn)練，該結(jié)構(gòu)能夠產(chǎn)生3個(gè)部分的時(shí)間表。損失函數(shù)由交叉熵?fù)p失函數(shù)定義。在訓(xùn)練過程中，使用了基于深度學(xué)習(xí)的18618個(gè)訓(xùn)練視頻通話中的3個(gè)分割圖像。此外，還使用了方程（4）來裁剪成1026×513預(yù)訓(xùn)練圖像。最后一層被修改為3個(gè)輸出類別。使用553個(gè)圖像數(shù)據(jù)進(jìn)行訓(xùn)練，該方法能夠改進(jìn)該層的學(xué)習(xí)指標(biāo)，降低整個(gè)網(wǎng)絡(luò)的學(xué)習(xí)指標(biāo)，從而更好地協(xié)調(diào)整個(gè)網(wǎng)絡(luò)。

在三分圖生成網(wǎng)絡(luò)模型前向推斷過程中，根據(jù)方程（4），將彩色圖像轉(zhuǎn)換為1026×1026分辨率。模型結(jié)果為1026×1026的分割圖T。當(dāng)將圖像I與分割圖T連接時(shí)，原始的3個(gè)Q生成通道是RGB圖像數(shù)據(jù)，第四通道則是4個(gè)T通道分割圖像中的圖像Q。為了將圖像Q縮小到320×320分辨率，從而生成人像三分圖。此外，必須在整個(gè)過程中記錄圖像的轉(zhuǎn)換參數(shù)，以便最終能夠重新建立原始分辨率的圖像。

1.3 構(gòu)建實(shí)時(shí)視頻通話人像摳圖模型

基于之前獲取的三分圖像，利用圖像信號(hào)處理開發(fā)了一個(gè)智能人臉摳圖模型。首先，利用公共密鑰矩陣和三角形處理程序來獲得處理信號(hào)的簡(jiǎn)化過程，構(gòu)建了相應(yīng)的顯示密鑰公式。其次，利用原始自然圖像來校準(zhǔn)更深層次的信息和視覺有效性信息，對(duì)多級(jí)切割位置進(jìn)行過度分割。通過集成形態(tài)學(xué)稀釋和侵蝕算法，可以測(cè)量分割單元的值，從而獲得所需的切割圖像。利用彩色紋理圖、熱特性圖以及儲(chǔ)量表示方法，通過完成初始閾值的處理來獲得地面目標(biāo)閾值的精確結(jié)果，從而獲取精細(xì)的前景目標(biāo)摳圖結(jié)果。

使用生成的人像三分圖，構(gòu)建了透明度遮罩矩陣，即將人像和背景分離的掩模矩陣。為人像區(qū)域賦予一個(gè)透明度值，通常為1（完全不透明），表示該部分保留在最終圖像中。為背景區(qū)域賦予另一個(gè)透明度值，一般為0（完全透明），表示該部分在最終圖像中被完全去除。邊界區(qū)域則根據(jù)具體需求賦予中間的透明度值，用來實(shí)現(xiàn)人像和背景之間的自然過渡效果。將生成的透明度遮罩矩陣與原始圖像進(jìn)行融合，根據(jù)遮罩矩陣中不同區(qū)域的透明度值，將人像和背景合成為一幅新的圖像。這樣就可以實(shí)現(xiàn)透明度遮罩效果，使得人像被準(zhǔn)確地提取并與背景合成，達(dá)到更加自然、逼真的視覺效果。實(shí)時(shí)視頻通話人像摳圖模型的計(jì)算公式如下：

Eq=τ010110010

→En=τ00…0001…1001…1000…00（5）

在公式（5）中，Eq和En表示圖像采集和處理的膨脹過程。

2 實(shí)驗(yàn)論證

本研究的主要目標(biāo)是分析和評(píng)估基于深度學(xué)習(xí)的實(shí)時(shí)視頻通話人像摳圖方法在實(shí)際應(yīng)用中的效果。為了實(shí)現(xiàn)這一目標(biāo)，采用了比較分析的方法，建立了3個(gè)測(cè)試組，張遠(yuǎn)等［3］的基于不同場(chǎng)景下三分圖擴(kuò)展的圖像摳圖算法（傳統(tǒng)方法1）、劉相良等［6］的基于多級(jí)表征線索注意模型的輕量化摳圖方法（傳統(tǒng)方法2）以及本文提出的基于深度學(xué)習(xí)的實(shí)時(shí)視頻通話人像摳圖方法。在實(shí)驗(yàn)過程中，根據(jù)實(shí)際需求和標(biāo)準(zhǔn)的變動(dòng)，對(duì)最終的試驗(yàn)結(jié)果進(jìn)行了對(duì)比驗(yàn)證。

2.1 實(shí)驗(yàn)準(zhǔn)備

利用綜合顯示技術(shù)分析和構(gòu)建智能人臉測(cè)試環(huán)境。選擇100條人臉識(shí)別圖像視頻作為主要測(cè)試對(duì)象，其中訓(xùn)練組40條，測(cè)試組60條。使用PyTorch處理核心視頻，然后獲取適當(dāng)?shù)臄?shù)據(jù)和信息，將其集成到面部視頻中。主要的摳圖指標(biāo)如表1所示。

根據(jù)表1，確定了摳圖的基本指標(biāo)設(shè)定。此外，使用替換技術(shù)創(chuàng)建了多維回收空間，開發(fā)了動(dòng)態(tài)嚴(yán)格訓(xùn)練集，確定了字符像素值為205，將其他像素值設(shè)為? 0。使用獲得的人像三分圖視頻來膨脹完成基本的摳圖環(huán)境設(shè)置。

在預(yù)先構(gòu)建的測(cè)試環(huán)境中，使用深度學(xué)習(xí)技術(shù)測(cè)試了實(shí)時(shí)視頻通話人像摳圖方法。為了測(cè)試結(jié)果準(zhǔn)確，創(chuàng)建了6個(gè)摳圖任務(wù)，從選定的100個(gè)人臉視頻中選擇了60個(gè)進(jìn)行摳圖處理?；谏疃葘W(xué)習(xí)技術(shù)生成三分圖，對(duì)整個(gè)視頻進(jìn)行方位統(tǒng)計(jì)和處理，使用模型和轉(zhuǎn)換模塊校準(zhǔn)面部識(shí)別特征，創(chuàng)建適當(dāng)?shù)淖R(shí)別鍵坐標(biāo)，最終轉(zhuǎn)換阿爾法視頻。通過調(diào)整視頻阿爾法的綜合指標(biāo)和參數(shù)，通過在面部的相應(yīng)位置進(jìn)行摳圖，得出了摳圖數(shù)據(jù)集的平均分辨率標(biāo)準(zhǔn)。經(jīng)過初步處理后，將其設(shè)置在指示器位置，測(cè)算摳圖后新圖像的連接度，最終得到實(shí)驗(yàn)結(jié)果并進(jìn)行記錄。在上述設(shè)置的基礎(chǔ)上，比較和分析實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)結(jié)果如圖1所示。

2.2 對(duì)比實(shí)驗(yàn)

從圖1中可以看出，本文方法的圖像連接度超過了最低控制標(biāo)準(zhǔn)0.014%，均高于傳統(tǒng)方法1和傳統(tǒng)方法2，這表明該方法具有較好的摳圖效果，連接度較高，更具應(yīng)用價(jià)值。

3 結(jié)語

隨著科技的不斷發(fā)展，人們對(duì)視頻通話的需求越來越高，對(duì)通話體驗(yàn)的要求也越來越嚴(yán)格。因此，人像摳圖技術(shù)作為提升視頻通話體驗(yàn)的關(guān)鍵技術(shù)，其研究具有重要的意義。本文所提出的基于深度學(xué)習(xí)的實(shí)時(shí)視頻通話人像摳圖方法，旨在解決傳統(tǒng)摳圖技術(shù)存在的問題，滿足實(shí)時(shí)視頻通話的需求。實(shí)驗(yàn)結(jié)果表明，該方法在保證摳圖效果的同時(shí)，具有較好的實(shí)時(shí)性，為提升視頻通話體驗(yàn)提供了有力支持。

參考文獻(xiàn)

［1］趙子榮，司亞超.基于U2Net的自動(dòng)摳圖技術(shù)研究［J］.河北建筑工程學(xué)院學(xué)報(bào)，2023（3）：202-206.

［2］李國(guó)貞，潘紅改.Photoshop軟件中的摳圖方法和圖像合成應(yīng)用［J］.漯河職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2023（5）：24-28.

［3］張遠(yuǎn)，黃磊.基于不同場(chǎng)景下三分圖擴(kuò)展的圖像摳圖算法［J］.智能計(jì)算機(jī)與應(yīng)用，2023（7）：128-133.

［4］李曉穎，李思琪，洪雪梅，等.采用精確摳圖的單條自然圖像背景虛化合成方法［J］.華僑大學(xué)學(xué)報(bào)（自然科學(xué)版），2023（3）：391-397.

［5］楊天成，楊建紅，陳偉鑫.圖像摳圖與copy-paste結(jié)合的數(shù)據(jù)增強(qiáng)方法［J］.華僑大學(xué)學(xué)報(bào)（自然科學(xué)版），2023（2）：243-249.

［6］劉相良，張林叢，朱宏博，等.基于多級(jí)表征線索注意模型的輕量化摳圖方法［J］.控制與決策，2024（1）：87-94.

（編輯 王永超）

Real-time video ting method based on deep learning

LI? Tong

（School of Computer Science and Engineering， Northeastern University， Shenyang 110819， China）

Abstract：? The article proposes a real-time video call portrait cutout method based on deep learning， which fully utilizes the multidimensional monitoring space for multidimensional recognition of cutout features， thereby achieving more accurate extraction of portrait edges and background features， and further optimizing the cutout effect. A portrait cutout model suitable for real-time video calls was established by generating a portrait tripartite graph， providing a higher quality cutout tool for portrait editing. The experimental results show that this method not only exhibits high connectivity in the cutout effect， but also has good application potential， which can effectively improve the accuracy and real-time performance of portrait cutout， and has positive significance for scenarios such as video calls.

Key words： deep learning; video call; portrait matting; matting method