亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        用一部手機實現(xiàn)高精度人臉建模:靠算法修復缺失數(shù)據(jù),效果堪比專業(yè)設備

        2020-08-02 10:56:33都保杰
        海外星云 2020年6期
        關鍵詞:視圖人臉攝像機

        都保杰

        如何得到一個人的高精度面部三維模型?通常情況下,對某個人的臉進行精確的三維重建需要昂貴的設備和專業(yè)知識技能,比如要用攝影棚、相機、3D掃描儀等等,各種各樣的工作都集中在使用光度學立體或多視圖立體技術來進行面部結構重建。

        現(xiàn)在,卡內(nèi)基梅隆大學(CMU)的研究人員使用普通智能手機錄制的視頻完成了這項壯舉。用智能手機拍攝臉部正面和側面的連續(xù)視頻,在深度學習算法的幫助下分析這些數(shù)據(jù),成功對多個面部進行了數(shù)字重建,實驗結果表明,他們的方法可以達到亞毫米精度,堪比專業(yè)化的處理。

        本研究項目的成員之一、CMU機器人研究所副研究員西蒙·露西(Simon Lucey)表示,面部的三維重建一直是計算機視覺和圖形領域的一個公開問題,因為人們對面部特征的外觀非常敏感,即使重建過程中出現(xiàn)輕微異常,也可能使最終結果看起來與現(xiàn)實差別較大,高水平的細節(jié)是個難點,也是栩栩如生的關鍵。

        如今,數(shù)字臉可以用來構建游戲角色或AR、VR的化身,也可以用于動畫、影視制作、社交、生物識別甚至醫(yī)療等領域,商業(yè)空間可謂十分廣泛,而整個制作過程或許會越來越便捷。

        CMU的方法(c)與傳統(tǒng)最先進的方法(d)效果對比

        研究人員在慢動作拍攝中使用了iPhonex,高幀速率的慢動作是原始數(shù)據(jù)采集的關鍵之一,視頻以120幀/秒的速度拍攝,每段時長15秒~20秒,背景條件是無約束的,但需要是靜態(tài)的場景,拍攝對象最好保持一種靜態(tài)的表情。錄像可以由拍攝對象自己錄制,也可以由助手錄制,之后視頻會分為3個關鍵步驟進行處理:攝像機姿態(tài)估計;使用多視圖立體生成點云;使用約束組合進行網(wǎng)格擬合。

        傳統(tǒng)而言,大多數(shù)多視點人臉重建方法依賴于預先校準的攝像機或使用地標跟蹤器來估計相對于幾何對象的攝像機姿態(tài)。CMU團隊利用視覺同步定位和映射(SLAM)的直接方法,一方面視覺SLAM可以對曲面上的點進行三角剖分以計算其形狀,另一方面可實現(xiàn)亞像素精度的相機姿態(tài)估計。這種檢測方法特別適用于特征點檢測和匹配中不存在大量拐角點的人臉。

        因此,研究人員利用這個事實,輸入一個單一的連續(xù)視頻序列,對于一個典型的序列,可以得到50個~80個具有精確已知攝像機姿態(tài)的關鍵幀,經(jīng)過這一步能創(chuàng)建出一個人臉的初始幾何圖形,略顯粗糙,丟失的數(shù)據(jù)也會在模型中留下一些“空隙”。

        ? 初步掃描得到的模型效果

        如上圖所示,點云生成階段結束時生成的具有和不具有紋理的點云數(shù)據(jù),這些點云精確地捕捉了整個面部的幾何特征、眼睛、嘴唇等區(qū)域的輪廓細節(jié),使每個部分都能被識別。然而,由于非理想照明、缺少紋理和智能手機的傳感器噪聲等因素,點云會有丟失的數(shù)據(jù)和噪聲,接下來就需要一個強力的網(wǎng)格擬合方法進行彌補,研究人員采用了非剛性網(wǎng)格擬合算法,利用點云約束、地標約束、網(wǎng)格剛度約束和邊緣約束的組合,對模板進行變形修復,最終需要30分鐘~40分鐘的處理時間完成一個人臉模型的精確修復。

        雖然這個過程耗時有點兒長,但結果卻是值得的,最終構建出的面部三維模型中位數(shù)精度約為0.95毫米,在精度和完成度方面優(yōu)于當前一些主流的單視圖和多視圖重建方法,在精細細節(jié)方面得到增強,這也是三維人臉重建研究的一個最新趨勢:將精細的高頻細節(jié)壓印到重建模型之中。

        不過,目前這項研究對場景中的動態(tài)運動不具有魯棒性,團隊會在接下來進一步深化研究。另外一點值得關注的是,該團隊還建立了一個包含100位受試者的數(shù)據(jù)集,每個受試者在不同的光線和背景條件下記錄了2個視頻序列。對于每個視頻,研究人員都提供一組50個~80個他們使用的關鍵幀和重建方式(網(wǎng)格、點云和表面法線貼圖)作為參考,希望這一數(shù)據(jù)集有助于進一步研究和評估無約束的、既準確又一致的多視圖和單視圖重建算法。

        各種主流單視圖和多視圖重建方法的結果比較,正面和剖面相應的誤差熱圖

        在這項工作中,我們看到了一個普適性的解決方案,這種方法當下不一定很快,但整個過程可以在智能手機上完成,而隨著智能手機的計算處理能力越來越強大,最終用戶有望在不使用任何專用傳感器掃描儀的情況下捕獲高精準度的面部三維模型。

        西蒙·露西表示,除了面部重建,CMU團隊的方法也可以用來捕捉幾乎任何物體的幾何結構,然后,這些對象的數(shù)字重建可以合并到動畫中,或者通過互聯(lián)網(wǎng)傳輸?shù)娇梢允褂?D打印機復制這些對象的站點。(摘自美《深科技》)(編輯/多洛米)

        猜你喜歡
        視圖人臉攝像機
        有特點的人臉
        三國漫——人臉解鎖
        動漫星空(2018年9期)2018-10-26 01:17:14
        5.3 視圖與投影
        視圖
        看監(jiān)控攝像機的4K之道
        Y—20重型運輸機多視圖
        SA2型76毫米車載高炮多視圖
        攝像機低照成像的前世今生
        新安訊士Q6155-E PTZ攝像機
        如何消除和緩解“攝像機恐懼癥”
        新聞前哨(2015年2期)2015-03-11 19:29:25
        日韩一区在线精品视频| 91精品啪在线观看国产色| 蜜桃av噜噜一区二区三区香| 一区二区三区乱码专区| 又色又爽又黄的视频软件app| 午夜一区欧美二区高清三区| 国产资源在线视频| 亚洲激情一区二区三区视频| 先锋影音人妻啪啪va资源网站| 亚洲爆乳精品无码一区二区| 国产无码swag专区| 日本一区二区三区在线视频观看 | 亚洲午夜精品一区二区麻豆av| 国产边摸边吃奶叫床视频| 精品久久久久久久久免费午夜福利| 亚洲夫妻性生活视频网站| 99久久婷婷国产一区| 大地资源中文第3页| 自拍偷自拍亚洲精品播放| 亚洲av影片一区二区三区 | 天天躁夜夜躁av天天爽| 牛鞭伸入女人下身的真视频| 亚洲加勒比无码一区二区在线播放| 亚洲中文字幕一区二区三区多人| 精品人妻大屁股白浆无码| 亚洲中文无码永久免| 好爽~又到高潮了毛片视频| 日本九州不卡久久精品一区| 久久无码专区国产精品| 亚洲人成综合网站在线| 亚洲国产欲色有一二欲色| 人妻少妇精品视频专区vr| 亚洲一区二区三区无码国产| 国产在线不卡视频| 久久久精品国产av麻豆樱花| 亚洲av无码成人精品区狼人影院| 国产目拍亚洲精品一区二区 | 国内少妇自拍区免费视频| 日本在线一区二区三区观看| 国产精品一区二区三区专区| 中国内射xxxx6981少妇|