易 茹

(安徽工貿(mào)職業(yè)技術(shù)學(xué)院 藝術(shù)與傳媒學(xué)院,安徽 淮南 232007)

0 引言

人工智能技術(shù)在20世紀(jì)90年代開始嶄露頭角,機(jī)器視覺技術(shù)經(jīng)過20年的發(fā)展,已廣泛應(yīng)用于視頻監(jiān)護(hù)、虛擬成像、影視制作等行業(yè)[1]。尤其是人物建模生成二維動(dòng)畫的技術(shù),是目前科技研究的熱點(diǎn)之一。人物建模的關(guān)鍵在于人物運(yùn)動(dòng)狀態(tài)下的姿態(tài)識(shí)別及模擬,對(duì)視頻圖像的預(yù)處理、人物邊緣輪廓繪制提煉,并運(yùn)用大數(shù)據(jù)分析建模最終生成人體二維動(dòng)畫模型[2-3]。隨著機(jī)器學(xué)習(xí)在圖像處理領(lǐng)域的應(yīng)用逐漸成熟,將深度學(xué)習(xí)與計(jì)算機(jī)二維動(dòng)畫成像技術(shù)結(jié)合成為可能,Arikan O等人提出了使用Toronto大學(xué)的通用模型-線框模型建模,建模方法效率較高,圖像取材簡(jiǎn)單,但是數(shù)據(jù)噪聲過大,影響了動(dòng)作的精確度[4]。浙江大學(xué)CAD&CG國家重點(diǎn)實(shí)驗(yàn)室通過曲線/曲面建模以及真實(shí)感圖形繪制,輔助以計(jì)算機(jī)動(dòng)畫模擬進(jìn)行人體動(dòng)作建模,實(shí)驗(yàn)效果較好,但特征匹配的精確度值對(duì)最終的建模結(jié)果影響較大。國內(nèi)其他的科研單位,尚處于學(xué)術(shù)探索和研究階段,提出的算法在應(yīng)用時(shí)往往對(duì)硬件的計(jì)算能力有較高的要求[5]。從國內(nèi)外研究情況來看,人物姿態(tài)的識(shí)別及二維動(dòng)畫生成的關(guān)鍵在于對(duì)人物本身的每個(gè)動(dòng)作的姿態(tài)提取、圖像壓縮以及后續(xù)的提煉運(yùn)用,而深度學(xué)習(xí)領(lǐng)域的卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像的處理上展示了強(qiáng)大的優(yōu)勢(shì)[6]。本文將著重研究深度神經(jīng)網(wǎng)絡(luò)與動(dòng)畫成像技術(shù)的有效結(jié)合,提出改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu),實(shí)現(xiàn)多人運(yùn)動(dòng)復(fù)雜場(chǎng)景下實(shí)時(shí)的、二維的人物姿態(tài)輸出。運(yùn)用動(dòng)畫建模技術(shù)生成二維的動(dòng)畫圖像,對(duì)比經(jīng)典的算法,本文算法明顯提高了動(dòng)作識(shí)別的精準(zhǔn)度以及算法的執(zhí)行速度。

1 DLHPE人體姿態(tài)識(shí)別算法(deep leraning&human posture estimation)

將深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)架構(gòu)應(yīng)用于人體姿態(tài)、識(shí)別算法,其輸入數(shù)據(jù)為視頻攝像機(jī)獲取的真彩圖像。首先對(duì)真彩圖像進(jìn)行縮放處理,經(jīng)過神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)多次處理后,形成人體姿態(tài)的關(guān)鍵輸出點(diǎn)位,與真彩圖像的位置相呼應(yīng),最終形成人體姿態(tài)模型圖。在此基礎(chǔ)上進(jìn)行動(dòng)畫加工,生成最終的二維動(dòng)畫[7]。

上述過程是目前研究人員已經(jīng)論證并實(shí)施的算法,針對(duì)此算法,本文對(duì)神經(jīng)網(wǎng)絡(luò)處理算法進(jìn)行了優(yōu)化,讓原本需要多次迭代處理的圖像的過程簡(jiǎn)化為僅需一次執(zhí)行,同時(shí)結(jié)合聚類算法對(duì)關(guān)鍵點(diǎn)進(jìn)行歸類處理,提升整體效能的同時(shí)改進(jìn)了算法準(zhǔn)確性。算法結(jié)構(gòu)如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)圖

本文提出的算法基于由下而上的人體姿態(tài)識(shí)別算法,在多人復(fù)雜的環(huán)境下,率先識(shí)別人員運(yùn)動(dòng)的關(guān)鍵點(diǎn),然后經(jīng)過關(guān)鍵點(diǎn)的合理鏈接形成人體運(yùn)動(dòng)骨骼圖。利用卷積神經(jīng)網(wǎng)絡(luò)處理基礎(chǔ)圖片時(shí),只需要進(jìn)行一次卷積即可完成分析。首先根據(jù)人體關(guān)節(jié)點(diǎn)坐標(biāo)、關(guān)節(jié)層級(jí)和類型,建立人體有向鏈路的特征圖,便于圖像的數(shù)字化處理進(jìn)而完成卷積運(yùn)算,如圖2所示。

圖2 人體有向鏈路的特征圖

圖2所代表的人體特征圖中,對(duì)關(guān)鍵關(guān)節(jié)點(diǎn)的坐標(biāo)、層級(jí)及類型以特征向量的形式標(biāo)識(shí),對(duì)于特征點(diǎn)(x,y),其對(duì)應(yīng)的特征向量為公式(1):

{Pc,Tto}

(1)

式中:Pc代表特征點(diǎn)(x,y)及其對(duì)應(yīng)關(guān)節(jié)所歸屬的類型的概率值;Tto代表特征點(diǎn)的父節(jié)點(diǎn)的坐標(biāo)值與該特征點(diǎn)本身坐標(biāo)的偏置值,該數(shù)值為特征向量值。

基于概率論基礎(chǔ)知識(shí),以像素值為(w,h)的圖像為例,進(jìn)行卷積神經(jīng)處理后,其熱圖特征圖的大小為(w/8,h/8,9),對(duì)應(yīng)的偏置特征向量圖的大小為(w/8,h/8,2)。標(biāo)識(shí)該圖像對(duì)應(yīng)的熱圖中坐標(biāo)點(diǎn)(x,y)的特征向量值代表了關(guān)節(jié)坐標(biāo)點(diǎn)的類型及其概率值,計(jì)算方法如公式(2):

{Phead,Pneck,Pshoulder,Parm,Phahd,Ppelvis,Pknee,Pfoot,Pbackground}

(2)

對(duì)人體姿態(tài)識(shí)別過程中的關(guān)鍵關(guān)節(jié)點(diǎn)分類和歸類,本文采取的處理方式為以限定范圍的視野數(shù)據(jù)為輸入,對(duì)局部輸入?yún)^(qū)域的像素進(jìn)行針對(duì)性的分類,提升算法執(zhí)行效能。

通過偏置向量值計(jì)算目標(biāo)所在的位置進(jìn)行歸類,無需投入精力運(yùn)算方向的特征向量映射矩陣,極大地提升了卷積神經(jīng)網(wǎng)絡(luò)的處理能力。本文的算法采用局部輸入像素法處理圖像,識(shí)別人體左右方向難度較大,因此,在預(yù)處理階段進(jìn)行左右識(shí)別處理,以降低卷積神經(jīng)網(wǎng)絡(luò)的處理難度。

本文所采用的端到端的全卷積神經(jīng)網(wǎng)絡(luò)的整體架構(gòu)如圖3所示。

圖3 端到端的全卷積神經(jīng)網(wǎng)絡(luò)的整體架構(gòu)

在圖3所示網(wǎng)絡(luò)結(jié)構(gòu)圖中,輸入圖片卷積部分采用的前端處理結(jié)構(gòu)為ResNet34,即殘差網(wǎng)絡(luò)結(jié)構(gòu),對(duì)圖片完成多輪迭代卷積處理的圖片大小已經(jīng)縮小數(shù)倍,此時(shí)應(yīng)用層間殘差進(jìn)行連接來改善網(wǎng)絡(luò)的深度處理能力,避免出現(xiàn)網(wǎng)絡(luò)梯度消失的問題。

第二部分核心是反卷積部分,在圖片采樣的同時(shí),進(jìn)行卷積操作。在逐層卷積的過程,通過層間的連接完成特征圖層的累加操作,從而降低因?yàn)樵紙D片經(jīng)過反復(fù)縮放后引起的圖像分辨率變小的問題。

第三階段為中間圖像生成階段,通過反卷積操作得到輸出特征向量圖,進(jìn)行圖像檢測(cè)過程處理,該過程經(jīng)過3個(gè)1×1的卷積縮小后的特征圖數(shù)據(jù)量的殘差模塊處理后,使用3×3的卷積完成特征提取。

第四階段為圖像生成處理模塊,通過2個(gè)不同的圖像處理環(huán)節(jié),獲得熱圖和卷積層級(jí)鏈接圖。這個(gè)部分引入了注意力模塊,該模塊對(duì)于高注意力值的圖片設(shè)置高權(quán)重,并將圖片的分辨率處理分為2個(gè)部分,一是生成關(guān)鍵關(guān)節(jié)點(diǎn)的熱圖,二是生成對(duì)應(yīng)的鏈接圖,從而加速處理過程。

最后一個(gè)階段為輸出階段,使用1×1的卷積層完成反卷積層處理,并與中間圖像生成階段的輸出圖串聯(lián),獲得最終生成結(jié)果。

在輸入圖像識(shí)別階段,算法的核心在于RestNet34的殘差網(wǎng)絡(luò)結(jié)構(gòu)。深度學(xué)習(xí)的原理是通過設(shè)置深層網(wǎng)絡(luò)提升學(xué)習(xí)效果,但是由于前向反饋及傳播次數(shù)的增加導(dǎo)致梯度消失以及梯度爆炸出現(xiàn)的頻率變高,因此,本文引入了殘差來改善上述問題,殘差x1+1的計(jì)算公式為:

x1+1=x1+F(x1,W1)

(3)

其中:x1代表網(wǎng)絡(luò)的輸入數(shù)據(jù);F(x1,W1)代表網(wǎng)絡(luò)的輸出數(shù)據(jù);W1代表殘差的輸出單元。通過公式(3)可以發(fā)現(xiàn),深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的輸入與輸出存在差異,殘差的網(wǎng)絡(luò)在正向傳播時(shí)能避免網(wǎng)絡(luò)層數(shù)增加造成傳輸質(zhì)量的降低,也可以避免梯度消失,實(shí)現(xiàn)正?；貍?。本文采用的VGG為19層,屬于深度訓(xùn)練網(wǎng)絡(luò),引入殘差結(jié)構(gòu)來避免層數(shù)增加造成的傳播質(zhì)量下降問題非常關(guān)鍵。

在圖像生成的階段,采用了基于注意力處理模塊完成關(guān)節(jié)點(diǎn)連接生成熱圖的動(dòng)作。注意力處理模塊主要包含卷積塊和3×3的卷積層,考慮到各種級(jí)別的特征圖所對(duì)應(yīng)的檢測(cè)對(duì)象的比率不同,圖像生成階段會(huì)引入掩碼圖,進(jìn)行層級(jí)匹配。具體結(jié)構(gòu)如圖4所示,包含通道注意力和輸出注意力模塊,分別用于提取特征圖和增強(qiáng)特征圖。

圖4 注意力網(wǎng)絡(luò)結(jié)構(gòu)圖

另外,經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn),常用的損失函數(shù)對(duì)于引入殘差網(wǎng)絡(luò)的深度學(xué)習(xí)網(wǎng)絡(luò)性能和速度提升作用不明顯,本文提出了新的帶有掩碼的L2損失函數(shù)的計(jì)算方法,如公式(4)所示。

(4)

其中:L代表損失;x,y是指的輸入的數(shù)據(jù)樣本;x′,y′是標(biāo)簽項(xiàng)值;h,w代表樣本圖片的高度和寬度。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 訓(xùn)練過程

本實(shí)驗(yàn)的測(cè)試訓(xùn)練集選取了MSCOCO的大型圖像數(shù)據(jù)集,該數(shù)據(jù)集包含了物理上的人物渲染架構(gòu)機(jī)制,以及各種運(yùn)動(dòng)姿態(tài)下人體的關(guān)節(jié)信息、服飾信息、人物表情信息等,配合各種光流、背景、天氣等情況,較好地滿足人物姿態(tài)識(shí)別及二維動(dòng)畫建模的需要。訓(xùn)練過程中,提煉數(shù)據(jù)集中標(biāo)注的人體關(guān)鍵點(diǎn)的位置坐標(biāo)值和可見的類型識(shí)別值。在數(shù)據(jù)預(yù)處理階段,采用了數(shù)據(jù)強(qiáng)化處理策略,規(guī)避可能出現(xiàn)的過度擬合,具體包括對(duì)圖像的隨機(jī)裁剪、縮小、反轉(zhuǎn)、按隨機(jī)角度旋轉(zhuǎn)等。訓(xùn)練執(zhí)行時(shí),采用了牛頓動(dòng)量法,設(shè)置期初學(xué)習(xí)率為0.002。通過自適應(yīng)學(xué)習(xí)率的定量衰減,訓(xùn)練損失函數(shù)循環(huán)迭代10次后,在訓(xùn)練集的結(jié)果仍然保持的前提下,將學(xué)習(xí)率縮小到原來的十分之一。經(jīng)過5 d的學(xué)習(xí),完成本文提出神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練。圖5是MSCOCO數(shù)據(jù)集樣例。

圖5 MSCOCO數(shù)據(jù)集實(shí)例圖

2.2 結(jié)果與分析

在不同硬件條件下,將本文提出的算法與目前性能較好的Open Pose算法的執(zhí)行性能進(jìn)行對(duì)比分析。本文對(duì)GXT 1080Ti、GTX1070、GTX1060 3種型號(hào)顯卡下的運(yùn)算結(jié)果進(jìn)行了對(duì)比,結(jié)果如表1所示。

表1 不同算法執(zhí)行性能對(duì)比

本文提出DLHPE深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法的鏈接映射的損失率為58.7,分類的損失率為56.5,這個(gè)結(jié)果對(duì)比Open Pose算法,精確度提升2%左右,處理速度的提升如表1中所示,提升了8倍以上。實(shí)驗(yàn)中也對(duì)輸入圖像的背景、光線以及多人物多姿態(tài)情況對(duì)處理速度的影響進(jìn)行了測(cè)試,結(jié)果是這些因素的影響可以忽略不計(jì)。圖6為本文算法進(jìn)行人物姿態(tài)識(shí)別結(jié)果示意圖。

圖6 本文算法進(jìn)行人物姿態(tài)識(shí)別結(jié)果圖

在本文提出的基于深度學(xué)習(xí)的人物姿態(tài)識(shí)別算法的基礎(chǔ)上,進(jìn)一步將該算法與經(jīng)典二維人物動(dòng)畫生成算法Phase-Funcationed Neural Network相結(jié)合,進(jìn)行了動(dòng)畫人物的生成[8]。根據(jù)用戶的輸入和運(yùn)動(dòng)軌跡,完成人物實(shí)時(shí)動(dòng)作的二維展示。過程中通過使用特殊的相位函數(shù)進(jìn)行模型權(quán)重的計(jì)算,通過對(duì)高度圖等采樣環(huán)境的變化和輸入,獲得權(quán)重矩陣,以完成計(jì)算骨架和動(dòng)作變化。由于人體的動(dòng)作具有時(shí)間周期的可循環(huán)重復(fù)性,所以借助特定時(shí)刻的循環(huán)相位信息,規(guī)范神經(jīng)網(wǎng)絡(luò)的輸出值,遵循固定的周期,從而完成動(dòng)畫的生成。最終的動(dòng)畫生成效果如圖7所示。

圖7 二維動(dòng)畫生成結(jié)果圖

3 結(jié)論

在進(jìn)入智能化、大數(shù)據(jù)時(shí)代的今天,深度學(xué)習(xí)與動(dòng)畫的深度融合逐步成為數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域研究的熱點(diǎn)。本文以深度學(xué)習(xí)技術(shù)的核心算法神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)算法為基準(zhǔn),結(jié)合人物動(dòng)作姿態(tài)識(shí)別和二維動(dòng)畫建模,實(shí)現(xiàn)了針對(duì)動(dòng)畫人物構(gòu)建改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。實(shí)驗(yàn)比對(duì)發(fā)現(xiàn),本文提出的模型在經(jīng)典的人物姿態(tài)識(shí)別基礎(chǔ)上,展示出了更精準(zhǔn)的識(shí)別能力和良好的執(zhí)行性能,改進(jìn)后算法識(shí)別精準(zhǔn)度提升約2%,性能提升了8～10倍,明顯優(yōu)于其他經(jīng)典算法,實(shí)驗(yàn)數(shù)據(jù)充分說明了本文算法在對(duì)人體動(dòng)作姿態(tài)識(shí)別方面的優(yōu)勢(shì)。