亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        用一部手機實現(xiàn)高精度人臉建模:靠算法修復缺失數(shù)據(jù),效果堪比專業(yè)設備

        2020-08-02 10:56:33都保杰
        海外星云 2020年6期
        關鍵詞:視圖人臉攝像機

        都保杰

        如何得到一個人的高精度面部三維模型?通常情況下,對某個人的臉進行精確的三維重建需要昂貴的設備和專業(yè)知識技能,比如要用攝影棚、相機、3D掃描儀等等,各種各樣的工作都集中在使用光度學立體或多視圖立體技術來進行面部結構重建。

        現(xiàn)在,卡內(nèi)基梅隆大學(CMU)的研究人員使用普通智能手機錄制的視頻完成了這項壯舉。用智能手機拍攝臉部正面和側面的連續(xù)視頻,在深度學習算法的幫助下分析這些數(shù)據(jù),成功對多個面部進行了數(shù)字重建,實驗結果表明,他們的方法可以達到亞毫米精度,堪比專業(yè)化的處理。

        本研究項目的成員之一、CMU機器人研究所副研究員西蒙·露西(Simon Lucey)表示,面部的三維重建一直是計算機視覺和圖形領域的一個公開問題,因為人們對面部特征的外觀非常敏感,即使重建過程中出現(xiàn)輕微異常,也可能使最終結果看起來與現(xiàn)實差別較大,高水平的細節(jié)是個難點,也是栩栩如生的關鍵。

        如今,數(shù)字臉可以用來構建游戲角色或AR、VR的化身,也可以用于動畫、影視制作、社交、生物識別甚至醫(yī)療等領域,商業(yè)空間可謂十分廣泛,而整個制作過程或許會越來越便捷。

        CMU的方法(c)與傳統(tǒng)最先進的方法(d)效果對比

        研究人員在慢動作拍攝中使用了iPhonex,高幀速率的慢動作是原始數(shù)據(jù)采集的關鍵之一,視頻以120幀/秒的速度拍攝,每段時長15秒~20秒,背景條件是無約束的,但需要是靜態(tài)的場景,拍攝對象最好保持一種靜態(tài)的表情。錄像可以由拍攝對象自己錄制,也可以由助手錄制,之后視頻會分為3個關鍵步驟進行處理:攝像機姿態(tài)估計;使用多視圖立體生成點云;使用約束組合進行網(wǎng)格擬合。

        傳統(tǒng)而言,大多數(shù)多視點人臉重建方法依賴于預先校準的攝像機或使用地標跟蹤器來估計相對于幾何對象的攝像機姿態(tài)。CMU團隊利用視覺同步定位和映射(SLAM)的直接方法,一方面視覺SLAM可以對曲面上的點進行三角剖分以計算其形狀,另一方面可實現(xiàn)亞像素精度的相機姿態(tài)估計。這種檢測方法特別適用于特征點檢測和匹配中不存在大量拐角點的人臉。

        因此,研究人員利用這個事實,輸入一個單一的連續(xù)視頻序列,對于一個典型的序列,可以得到50個~80個具有精確已知攝像機姿態(tài)的關鍵幀,經(jīng)過這一步能創(chuàng)建出一個人臉的初始幾何圖形,略顯粗糙,丟失的數(shù)據(jù)也會在模型中留下一些“空隙”。

        ? 初步掃描得到的模型效果

        如上圖所示,點云生成階段結束時生成的具有和不具有紋理的點云數(shù)據(jù),這些點云精確地捕捉了整個面部的幾何特征、眼睛、嘴唇等區(qū)域的輪廓細節(jié),使每個部分都能被識別。然而,由于非理想照明、缺少紋理和智能手機的傳感器噪聲等因素,點云會有丟失的數(shù)據(jù)和噪聲,接下來就需要一個強力的網(wǎng)格擬合方法進行彌補,研究人員采用了非剛性網(wǎng)格擬合算法,利用點云約束、地標約束、網(wǎng)格剛度約束和邊緣約束的組合,對模板進行變形修復,最終需要30分鐘~40分鐘的處理時間完成一個人臉模型的精確修復。

        雖然這個過程耗時有點兒長,但結果卻是值得的,最終構建出的面部三維模型中位數(shù)精度約為0.95毫米,在精度和完成度方面優(yōu)于當前一些主流的單視圖和多視圖重建方法,在精細細節(jié)方面得到增強,這也是三維人臉重建研究的一個最新趨勢:將精細的高頻細節(jié)壓印到重建模型之中。

        不過,目前這項研究對場景中的動態(tài)運動不具有魯棒性,團隊會在接下來進一步深化研究。另外一點值得關注的是,該團隊還建立了一個包含100位受試者的數(shù)據(jù)集,每個受試者在不同的光線和背景條件下記錄了2個視頻序列。對于每個視頻,研究人員都提供一組50個~80個他們使用的關鍵幀和重建方式(網(wǎng)格、點云和表面法線貼圖)作為參考,希望這一數(shù)據(jù)集有助于進一步研究和評估無約束的、既準確又一致的多視圖和單視圖重建算法。

        各種主流單視圖和多視圖重建方法的結果比較,正面和剖面相應的誤差熱圖

        在這項工作中,我們看到了一個普適性的解決方案,這種方法當下不一定很快,但整個過程可以在智能手機上完成,而隨著智能手機的計算處理能力越來越強大,最終用戶有望在不使用任何專用傳感器掃描儀的情況下捕獲高精準度的面部三維模型。

        西蒙·露西表示,除了面部重建,CMU團隊的方法也可以用來捕捉幾乎任何物體的幾何結構,然后,這些對象的數(shù)字重建可以合并到動畫中,或者通過互聯(lián)網(wǎng)傳輸?shù)娇梢允褂?D打印機復制這些對象的站點。(摘自美《深科技》)(編輯/多洛米)

        猜你喜歡
        視圖人臉攝像機
        有特點的人臉
        三國漫——人臉解鎖
        動漫星空(2018年9期)2018-10-26 01:17:14
        5.3 視圖與投影
        視圖
        看監(jiān)控攝像機的4K之道
        Y—20重型運輸機多視圖
        SA2型76毫米車載高炮多視圖
        攝像機低照成像的前世今生
        新安訊士Q6155-E PTZ攝像機
        如何消除和緩解“攝像機恐懼癥”
        新聞前哨(2015年2期)2015-03-11 19:29:25
        少妇放荡的呻吟干柴烈火动漫 | av在线一区二区精品| 激情综合五月开心婷婷| 全部亚洲国产一区二区| 亚洲成a人v欧美综合天堂| 国产精品亚洲二区在线观看| 国产亚洲精品aaaa片app| 精品久久久久久国产潘金莲| 日本不卡一区二区三区久久精品 | 一区二区三区在线少妇| 久久久久av无码免费网| 人妻无码aⅴ不卡中文字幕| 久久青青草原亚洲AV无码麻豆| 女同同成片av免费观看| 白嫩丰满少妇av一区二区| 免费无码av一区二区| 久久国产精品无码一区二区三区| 91精品国产无码在线观看| 久久国产精品一区av瑜伽| 秋霞在线视频| 久久久精品人妻一区二区三区| 国产成人亚洲欧美三区综合| 日韩在线不卡一区三区av| 女人被狂躁c到高潮视频| 精品国产亚洲AⅤ麻豆| 少妇极品熟妇人妻高清| 国产成人久久精品一区二区三区| 国产无遮挡又黄又爽在线观看| 亚洲永久精品ww47永久入口| 日本午夜伦理享色视频| 国产精品理论片在线观看| 宝贝把腿张开我要添你下边动态图 | 国产黄三级三·级三级| 日本大片在线一区二区三区| 18禁在线永久免费观看| 亚洲精品无码国产| 综合网在线视频| 国产在线a免费观看不卡| 亚洲av综合色区| 国产AV无码专区久久精品网站| 人妻av不卡一区二区三区|