亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于深度卷積網(wǎng)絡(luò)的3D人臉重構(gòu)算法

        2022-07-10 09:05:36
        激光與紅外 2022年6期
        關(guān)鍵詞:模型

        陳 娜

        (蘭州工業(yè)學(xué)院計算機與人工智能學(xué)院,甘肅 蘭州 730050)

        1 引 言

        基于單張人臉圖片的3D人臉重構(gòu),無論是在計算機圖形[1]還是光學(xué)成像[2]領(lǐng)域均是一個極具挑戰(zhàn)性的研究方向。由于人臉豐富的差異特征,能夠在性別、身份以及當前興起的識別、支付等領(lǐng)域廣泛運用[3]。但隨著科技的不斷發(fā)展,二維人臉圖片的局限性越發(fā)明顯,而3D人臉具有更為全面的信息、更強的魯棒性,得到國內(nèi)外學(xué)者更為廣泛的關(guān)注[4]。

        目前,關(guān)于基于單張人臉圖片的3D人臉重構(gòu)研究主要可以分為三類:基于統(tǒng)計模型的3D人臉重構(gòu)、基于單一模板的3D人臉重構(gòu)以及基于深度學(xué)習的3D人臉重構(gòu)。其中,基于統(tǒng)計模型的3D人臉重構(gòu)主要是依賴訓(xùn)練數(shù)據(jù)的統(tǒng)計分析,進而運用主成分分析等方法生成3D人臉模型[5-7]。該方法雖然可以有效地生成3D人臉模型,但對人臉五官及面部表情的描述有限?;趩我荒0宓?D人臉重構(gòu)是使用輸入圖像作為指導(dǎo),根據(jù)初始反射率和參考模型表面的幾何形狀找到陰影的初始估計位置,迭代計算位置區(qū)域的投影位置及深度信息,之后使用所獲得的陰影特征信息構(gòu)建3D人臉模型[8-9]。該方法并不能有效地將人臉模板變換到期望的形態(tài),或多或少存在與真實人臉有信息差異的問題?;谏疃葘W(xué)習的3D人臉重構(gòu)則是收到近年深度學(xué)習對圖像特征信息自主學(xué)習的啟發(fā),通過神經(jīng)網(wǎng)絡(luò)自主訓(xùn)練圖像與參數(shù)、幾何關(guān)系之間的映射關(guān)系,從而利用有限的2D人臉圖像信息自主訓(xùn)練生成3D人臉模型的方法[10-12]。

        國內(nèi)近年也有許多學(xué)者致力于這方面研究,例如文獻[13]首先對2D人臉圖像標準化,使用光照信息和對稱紋理重構(gòu)人臉自遮擋區(qū)域的紋理;然后依據(jù)2D-3D點對應(yīng)關(guān)系從標準化的2D人臉圖像獲取相應(yīng)的3D人臉紋理,結(jié)合人臉形狀重構(gòu)和紋理信息,最終得到最終的3D人臉重構(gòu)結(jié)果。文獻[1]通過重新渲染合成的方法將參數(shù)化模型擬合到輸入的多視角圖片,然后在紋理域上求解一個光流問題來獲取不同視角之間的對應(yīng)關(guān)系;通過對應(yīng)關(guān)系可以恢復(fù)出人臉的點云,并利用基于明暗恢復(fù)幾何的方法來恢復(fù)人臉細節(jié);從而提出了一種多階段優(yōu)化的方法來解決基于多視角圖片在未知姿態(tài)、表情以及光照條件下的高精度三維人臉重構(gòu)問題。文獻[14]針對人的臉部特征復(fù)雜、細節(jié)紋理豐富,獲取高精度人臉3D模型成本高、工作量大的問題,利用球形燈光裝置建立6種不同的光照模式,并利用偏振光特性對鏡面反射光和漫反射光進行分離;利用單向梯度光圖像,并基于雙向反射分布函數(shù)(BRDF)得到反射光方向與法線方向的關(guān)系,通過計算獲取鏡面反射和漫反射法線圖,從而提出了一種基于梯度光圖像的高精度3D人臉重構(gòu)算法。

        然而,這類3D人臉重構(gòu)算法由于優(yōu)化復(fù)雜度高,且存在局部最優(yōu)解和初始化不良等問題,通常模型復(fù)雜度較高、運算量較大。鑒于卷積神經(jīng)網(wǎng)絡(luò)在圖像重構(gòu)方面的強大潛力,本文通過使用深度卷積神經(jīng)網(wǎng)絡(luò)直接學(xué)習2D人臉圖像從像素到3D坐標的映射,從而提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的單張圖片向3D人臉自動重構(gòu)算法。

        2 單張圖片向3D人臉自動重構(gòu)

        2.1 基于3DMM的圖像信息提取

        本文首先基于3D轉(zhuǎn)換模型(3D Morphable Model,3DMM)來提取2D人臉圖像的密集信息[15]:

        (1)

        圖1 基于3 DMM的圖像信息提取

        (2)

        為了使3D人臉模型能夠以單張2D人臉圖像為基礎(chǔ)進行重構(gòu),本文將其中人臉圖像的基準點信息由一個稀疏集合表示,并用矩陣U表示這些二維信息的x和y坐標:

        (3)

        從而,3D形狀矩陣A與二維信息U之間的關(guān)系可以用弱透視投影(Weak Perspective Projection)來描述,即:

        U=sRΑ(∶,d)+t

        (4)

        式中,s是標度參數(shù);R是由三個旋轉(zhuǎn)角度信息α,β和γ所控制的3×3旋轉(zhuǎn)矩陣的前兩行;d是一個N-dim索引向量,表示與二維信息對應(yīng)的有語義意義的3D頂點的索引;t是一個由tx和ty組成的轉(zhuǎn)換參數(shù)。

        通過收集所有參數(shù)相關(guān)投影,將形成投影向量m=(s,α,β,γ,tx,ty)T。由此,可以將任何2D人臉圖像看作是3D人臉模型的平面投影。

        2.2 DCNN架構(gòu)

        鑒于目前深度學(xué)習在計算機視覺以及圖像處理中的長足發(fā)展,如圖2所示,本文構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN),從輸入2D人臉圖像中學(xué)習非線性映射函數(shù)f(Θ)從而對應(yīng)的投影參數(shù)m和形狀參數(shù)p,然后再利用估計的參數(shù)來構(gòu)造密集的3D人臉模型。

        圖2 基于DCNN架構(gòu)的3D人臉重構(gòu)

        如圖3所示,為本文所構(gòu)建的基于深度卷積神經(jīng)網(wǎng)絡(luò)的單張圖片向3D人臉重構(gòu)架構(gòu)。圖中,兩個分支共享前三個卷積模塊。在第三個模塊之后,使用兩個相互獨立的卷積網(wǎng)絡(luò)模塊來提取特定任務(wù)的特征信息,再接入兩個完全連接層神經(jīng)層來將特征轉(zhuǎn)移到最終輸出。其中,每個卷積網(wǎng)絡(luò)模塊的結(jié)構(gòu)顯示在左下角區(qū)域中。每個卷積網(wǎng)絡(luò)模塊由兩個卷積層和一個最大池化層組成,后面是一個批處理歸一化層和一個激勵層。

        圖3 基于深度卷積神經(jīng)網(wǎng)絡(luò)的單張圖片向3D人臉重構(gòu)架構(gòu)

        為了改進卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果,本文使用了一個包含多個制約條件的損失函數(shù)[17-20]:參數(shù)制約條件Gpr使估計參數(shù)與真實值參數(shù)之間的差異最??;運用地標擬合制約條件Glm降低2D人臉圖像的對準誤差;運用輪廓擬合制約條件Gc強制將估計的3D人臉模型的輪廓與輸入圖像的輪廓像素進行匹配;運用SIFT配對制約條件Gs以鼓勵兩張人臉圖像的SIFT特征點對對應(yīng)相同的3D頂點。

        由此,構(gòu)建總體損失函數(shù):

        (5)

        式中,λlm,λc,λs為權(quán)重系數(shù)。

        本文3D人臉模型構(gòu)建是通過深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)實現(xiàn)的。網(wǎng)絡(luò)訓(xùn)練過程中,將初始全局學(xué)習率設(shè)為e-3,并在訓(xùn)練誤差趨于平穩(wěn)時將學(xué)習率降低10倍。將每批訓(xùn)練數(shù)據(jù)大小設(shè)為32,網(wǎng)絡(luò)衰減系數(shù)為0.005,激勵函數(shù)衰減因子設(shè)為0.01。通過多次訓(xùn)練,總體損失函數(shù)的權(quán)重系數(shù)λlm定為5、λc定為1、λs定為1。

        其中,參數(shù)制約條件Gpr由下式定義為:

        (6)

        3D形狀矩陣A(∶,ilm)投影到2D平面上,將地標擬合制約條件Glm定義為:

        (7)

        式中,F為下標,表示Frobenius范數(shù);L為預(yù)定義地標的數(shù)量。

        2.3 輪廓擬合制約條件(CFC)

        由于輪廓擬合制約條件Gc的描述相對比較復(fù)雜,為此專設(shè)一小節(jié)進行闡述。

        輪廓擬合制約條件的目的是使所要重構(gòu)的3D人臉模型的投影外邊界(即輪廓)與輸入的2D人臉圖像中相應(yīng)的輪廓像素之間的誤差最小。在將2D平面渲染到3D空間上時,可以將其外輪廓看作是背景與三維面之間的邊界。

        在利用人臉輪廓信息構(gòu)建制約條件束過程中,需要遵循以下三個步驟:(1)檢測2D人臉圖像中的真實輪廓;(2)描述估計的3D形狀矩陣A(∶,ilm)上的輪廓頂點;(3)確定真實輪廓與估計輪廓的對應(yīng)關(guān)系,并以擬合誤差作為反饋。具體步驟如下所述。

        在第三步中,通過點對點的通信來評估Ulm和A(∶,ilm)之間的約束。由于二維圖像中只能檢測出部分輪廓像素,而三維形狀輪廓則通常是完整的,因此需要將二維圖像上的輪廓像素與三維形狀輪廓上的最近點進行匹配,從而計算出最小距離。由此,將這所有最小距離的總和定義為輪廓擬合制約條件Gc:

        (8)

        為了使輪廓擬合制約條件可微,對式(8)進行改寫,計算圖像中最近輪廓投影點的頂點指數(shù),即k0=argmink∈ilm‖A(∶,ilm)-Ulm(∶,j)‖2。

        Ulm(∶,j)‖2

        (9)

        2.4 SIFT配對制約條件(SPC)

        運用尺度不變特征變換(SIFT)配對制約條件(SPC)對密集形狀進行預(yù)測,使其能夠預(yù)先定義的標志(如邊緣、皺紋和痣等)以外的重要面部點上保持一致。

        尺度不變特征變換(SIFT)描述是一種經(jīng)典的局部表示方法,它對圖像尺度、噪聲和光照都是不變的,被廣泛應(yīng)用于許多基于回歸的人臉對齊方法中以提取局部信息。

        (10)

        (11)

        3 實驗分析

        對于本文提出的算法,在訓(xùn)練過程中將DCNN的學(xué)習率設(shè)為恒定的0.0001,各神經(jīng)網(wǎng)絡(luò)模塊參數(shù)如圖4所示。

        圖4 算法神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置

        考慮到人臉重構(gòu)算法的重點是對2D人臉圖像的輪廓對齊的訓(xùn)練,因此算法訓(xùn)練中選擇了兩個公開可用的人臉圖像數(shù)據(jù)集。

        AFLW數(shù)據(jù)集[24]是一個25K 2D人臉圖像數(shù)據(jù)集,每個圖像都事前有多達21處標記,每個標記都有一個可見性標簽。例如文獻[24]選擇了一個偏航角均衡分布的AFLW子集,包括3,901張用于訓(xùn)練的圖像和1,299張用于測試的圖像。因此,本文也使用相同的子集對算法進行訓(xùn)練和測試。

        AFW數(shù)據(jù)集[25]包含205張圖像,每個人臉圖像都被事前標記6處標記,每個地標都有一個可見性標簽。對于每個人臉圖像,提供檢測到的包圍框。由于圖像數(shù)量相對較少,本文僅使用該數(shù)據(jù)集進行測試。

        根據(jù)表1所示,為檢驗本文算法的對比優(yōu)勢,選擇了最新的人臉對準算法(PIFA[26]、RCPR[27])與本文算法進行仿真對比,仿真效果如圖5所示。

        表1 算法設(shè)定

        圖5 算法比對仿真效果

        如圖6所示,展示了三種算法每次迭代的測試誤差。仿真結(jié)果表明,三種算法雖然都能經(jīng)過訓(xùn)練直到收斂,但相比較RCPR不能很好地模擬擬合誤差,且收斂于一個不令人滿意的結(jié)果。PIFA算法雖優(yōu)于RCPR算法,但病理曲率問題[27]使其只關(guān)注一小組參數(shù),限制了性能。本文算法能夠明確地對2D人臉圖像的每個參數(shù)的優(yōu)先級進行重構(gòu),得到了更好的結(jié)果。

        圖6 算法測試誤差對比

        為了進一步檢驗本文算法在不同人臉方位和數(shù)據(jù)集中的性能,分別計算了三種算法在第一階段訓(xùn)練后在AFLW和AFW數(shù)據(jù)集上不同人臉姿態(tài)的測試NME值,比較結(jié)果分別如表2和表3所示。NME值雖能夠?qū)Ρ炔煌惴ǖ木?但用于3D人臉重構(gòu)的評價卻可能因為圖像標記信息較多而第一階段神經(jīng)網(wǎng)絡(luò)訓(xùn)練不充分,存在邊緣模糊現(xiàn)象。由此,在AFLW數(shù)據(jù)測試中,本文算法相較而言對于[0°,30°)和[30°,60°)存在NME值較高的現(xiàn)象。而對于AFW數(shù)據(jù)集,由于其較少的圖像標記,本文算法僅僅通過第一階段的訓(xùn)練就能獲得較其他兩種算法更低的NME值。通過繼續(xù)仿真發(fā)現(xiàn),隨著神經(jīng)網(wǎng)絡(luò)訓(xùn)練的深入,本文算法能夠不斷修正邊緣模糊現(xiàn)象,并最終獲得比另外兩種算法更低的NME值。通過對比仿真可以看出,本文算法在AFLW和AFW數(shù)據(jù)集中總體取得了較低的NME值,從而驗證了本文算法在單張二維圖像向3D人臉重構(gòu)運用中的有效性。

        表2 不同算法在AFLW數(shù)據(jù)集上的測試結(jié)果

        表3 不同算法在AFW數(shù)據(jù)集上的測試結(jié)果

        圖7 單張圖片向3D人臉重構(gòu)

        對于3D人臉模型重構(gòu)可以分別在人臉區(qū)域和外部區(qū)域進行,但對精度的要求不同。對于如圖7(a)所示的單張2D人臉圖像,在3D人臉區(qū)域,通過第1節(jié)提出的DCNN架構(gòu)來進行擬合,如圖7(b)所示。在外部區(qū)域,僅采用三角剖分(Delaunay triangulation)[28],標記出人臉區(qū)域之外的一些錨點,用2D人臉原圖替換,然后疊加3D模型從而構(gòu)成完整的3D人臉模型,如圖7(c)所示。

        當深度信息被估計后,所重構(gòu)的3D人臉模型可以在三維空間中旋轉(zhuǎn),以生成更大姿態(tài)的外觀,如圖8所示??梢?外部人臉區(qū)域?qū)τ谡鎸嵉妮喞獔D像是必要的。在此仿真實驗中,將3D人臉模型空間旋轉(zhuǎn)范圍由30°的放大到90°,由此不僅可以獲得大姿態(tài)下的3D人臉模型,而且還可以對數(shù)據(jù)集進行擴充,這意味著即使給定一個視角有限的2D人臉圖像,DCNN網(wǎng)絡(luò)也可以得到很好的訓(xùn)練。

        圖8 3D人臉模型空間旋轉(zhuǎn)效果

        4 結(jié) 論

        針對目前算法復(fù)雜度較高、運算量較大且存在局部最優(yōu)解和初始化不良等問題,本文首先基于3D轉(zhuǎn)換模型來提取2D人臉圖像的密集信息,然后構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)、設(shè)計總體損失函數(shù),提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的單張圖片向3D人臉自動重構(gòu)算法。從算法比對和仿真實驗結(jié)果來看,本文算法具有更低誤差的比較優(yōu)勢,3D人臉模型還原度高,面部表情保留完好,支持多角度三維旋轉(zhuǎn),沒有盲區(qū),在各類場景中將具備較高的應(yīng)用優(yōu)勢。

        猜你喜歡
        模型
        一半模型
        一種去中心化的域名服務(wù)本地化模型
        適用于BDS-3 PPP的隨機模型
        提煉模型 突破難點
        函數(shù)模型及應(yīng)用
        p150Glued在帕金森病模型中的表達及分布
        函數(shù)模型及應(yīng)用
        重要模型『一線三等角』
        重尾非線性自回歸模型自加權(quán)M-估計的漸近分布
        3D打印中的模型分割與打包
        久久精品免费中文字幕| 亚洲国产成人资源在线桃色| 蜜臀av国内精品久久久人妻| 亚洲一区亚洲二区视频在线| 一本精品99久久精品77| 欧美最猛黑人xxxxx猛交| 和外国人做人爱视频| 亚洲中文字幕每日更新| av永远在线免费观看| 男女主共患难日久生情的古言| 亚洲av永久无码精品三区在线| 精品国产人成亚洲区| 亚洲电影一区二区三区| 女女同性av一区二区三区| 久久天天躁狠狠躁夜夜av浪潮| 亚洲色www成人永久网址| 久久国产品野战| 亚洲少妇一区二区三区老| 亚洲精品一区二区三区麻豆| 久久久久国产精品熟女影院 | 色伊人国产高清在线| 国产成人高清视频在线观看免费| 欧美性色欧美a在线播放| 久久久久久伊人高潮影院| 精品久久杨幂国产杨幂| 中文字幕中文一区中文字幕| 日韩精品视频久久一区二区| 夜先锋av资源网站| 亚洲精品中文字幕观看| 国产高清在线精品一区二区三区 | 成人无码视频| 日韩av一区在线播放| 中文字幕人妻饥渴浪妇| 国产丝袜无码一区二区三区视频 | 日韩一二三四区免费观看| 亚洲乱码一区二区三区在线观看| 人人狠狠综合久久亚洲| 国产av天堂亚洲国产av麻豆| 国产成人亚洲精品一区二区三区| 久久99亚洲精品久久久久| 久久久久国产一区二区|