亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        蘋果聯(lián)合學界提出“生成多平面圖像”方法 用最少修改讓2D生成對抗網(wǎng)絡實現(xiàn)3D感知

        2022-03-09 01:25:06美《深科技》
        海外星云 2022年19期
        關鍵詞:鑒別器視圖偏差

        在生成高質量圖像方面,生成對抗網(wǎng)絡(GAN)在近幾年取得了令人印象深刻的進展。

        這些進步大多集中在生成器的輸出空間和給定的數(shù)據(jù)集設置相同方面,這些輸出通常是圖像,有時也是3D卷形式。

        而最新的研究主要體現(xiàn)在生成與現(xiàn)有的訓練數(shù)據(jù)不同的新輸出上。這包括為一類對象生成3D幾何圖形和相應的紋理的方法,給定的數(shù)據(jù)集只包含廣泛可用的單視圖圖像。沒有使用多視圖圖像或3D幾何圖形來監(jiān)督3D感知生成對抗網(wǎng)絡的訓練。

        為了從這種有限的監(jiān)督形式中學習3D幾何圖形,之前的研究通常會結合三維感知歸納偏差,如三維體素網(wǎng)格或使用渲染引擎的隱式表示。

        然而,提高這些方法的結果質量仍然具有挑戰(zhàn)性:3D感知的歸納偏差通常是內存密集型的顯式或隱式3D卷,并且渲染通常需要計算。此外,從2D生成對抗網(wǎng)絡中獲得的經(jīng)驗教訓往往不能直接轉移,因為生成器的輸出甚至其整個結構都必須進行調整。

        這就提出了一個問題:讓現(xiàn)有的2D生成對抗網(wǎng)絡3D感知,需要真正做些什么?

        為了回答這個問題,本次蘋果聯(lián)合學界希望以最少方式修改現(xiàn)有的2D生成對抗網(wǎng)絡,并建立一個有效的推理和訓練程序。

        3D感知生成多平面圖像的概述

        近日,相關論文以《生成多平面圖像:制作一個2DGAN3D感知》為題提交在arXiv上。

        首先對生成對抗網(wǎng)絡的概念做一簡單介紹。據(jù)維基百科了解,“生成對抗網(wǎng)絡 是一類機器學習框架,由生成器和鑒別器兩個神經(jīng)網(wǎng)絡在游戲中相互競爭,鑒別器對生成器產生的欺騙樣本進行檢測,使用零和博弈的形式,其中一個代理的收益是另一個代理的損失。這一對抗性概念最初被認為是無監(jiān)督學習生成模型的一種形式,但它也被證實對半監(jiān)督學習、完全監(jiān)督學習和強化學習有用?!?/p>

        本次研究人員選擇了一種被廣泛使用的高清圖像合成方法StyleGANv2。對此,研究者在論文中表示:“StyleGANv2有一個額外的好處,即許多訓練檢查點都是公開可用的?!?/p>

        StyleGANv2發(fā)布于2020年,是StyleGAN(2018年12月推出)的升級版。StyleGAN主要體現(xiàn)人臉屬性,像臉型的表情、朝向、膚色、光照等多方面容貌姿態(tài)信息。

        通過輸入不同參數(shù),可以使StyleGAN生成精細程度不同的各種人臉“Style”。另外,該模型也可以生成動物、汽車等圖像。值得一提的是,由于StyleGAN可以對生成的圖像進行細致調整,從而更容易生成足夠真實的假圖像。該技術的一些潛在有害用途一直存在爭議。

        在三個數(shù)據(jù)集(FFHQ、AFHQv2和MetFaces)上,使用最小的更改集進行2D Gan 3D感知

        回到一開始提出的問題,讓現(xiàn)有的2D生成對抗網(wǎng)絡3D感知需要什么?

        本次研究團隊在論文中表示:“只有兩個修改是絕對必要的:1.一個多平面圖像樣式生成器分支,它生成一組基于其深度的Alpha映射。2.一個姿勢調節(jié)的鑒別器。更具體地說,我們?yōu)镾tyleGANv2開發(fā)了一個新的生成器分支,它會產生一組類似于一個多平面圖像的正面平行的Alpha映射。這是第一個證明一個多平面圖像可以作為無條件的3D感知生成模型的場景表示的研究?!?/p>

        據(jù)了解,區(qū)別于生成器和鑒別器一同調整的情況,新分支是從零進行訓練,并且,結合Alpha映射與一個多平面圖像渲染中的單一圖像輸出,還可得到多種視圖的3D感知生成。

        雖然Alpha映射遮擋的解決還存在一定限制,但其地圖數(shù)量和渲染都比較有優(yōu)勢,甚至在訓練和推理方便也有差別,可緩解記憶問題。

        “我們將這種生成輸出的方法稱作‘生成多平面圖像’?!毖芯咳藛T在論文中表示。他們還提到,雖然這兩種調整在事后看起來很直觀,但令人驚訝的是,一個具有基于其深度的平面和使用相機姿態(tài)信息的Alpha地圖,對3D感知的歸納偏差是足夠的。

        最終的Alpha映射是通過累積所有由單個卷積層生成的中間結果來獲得的

        另外,即便修改Alpha映射的另一個歸納偏差有效,但對獲得3D感知并不是必要的。

        總的來說,本次研究團隊的貢獻主要體現(xiàn)在兩方面:1.使用標準單視圖2D圖像數(shù)據(jù)集,訓練類似一個多平面圖像的3D感知生成模型;2.在深度上的Alpha平面或一個可學習的令牌和相機姿態(tài)上的鑒別器,足以使2D生成對抗網(wǎng)絡轉向3D感知。

        此外,團隊還研究了在三個高分辨率數(shù)據(jù)集(FFHQ、AFHQv2和MetFaces)上編碼3D感知歸納偏差的方法。同時也對其他信息提供了改進,但這些對3D感知并不是嚴格必要的。

        最后,研究人員希望‘生成多平面圖像’的簡單性,能對解決遮擋推理等工作的限制提供幫助。

        猜你喜歡
        鑒別器視圖偏差
        基于多鑒別器生成對抗網(wǎng)絡的時間序列生成模型
        通信學報(2022年10期)2023-01-09 12:33:40
        如何走出文章立意偏差的誤區(qū)
        學生天地(2020年6期)2020-08-25 09:10:50
        兩矩形上的全偏差
        衛(wèi)星導航信號無模糊抗多徑碼相關參考波形設計技術*
        5.3 視圖與投影
        視圖
        Y—20重型運輸機多視圖
        SA2型76毫米車載高炮多視圖
        陣列天線DOA跟蹤環(huán)路鑒別器性能分析
        關于均數(shù)與偏差
        午夜免费观看国产视频| 欧美老熟妇又粗又大| 仙女白丝jk小脚夹得我好爽| 97超级碰碰人妻中文字幕| 亚洲va在线va天堂va四虎| 国产又湿又爽又猛的视频| 人妻无码第一区二区三区| 一个人看的视频www免费| 99久久久精品免费香蕉| 给我播放的视频在线观看| 国产精品无套一区二区久久| 久久综合九色综合97欧美| 亚洲av日韩av高潮潮喷无码| 四虎影视久久久免费| 日韩av一区二区无卡| 精品香蕉99久久久久网站| 老熟女高潮一区二区三区| 精品91精品91精品国产片| 国产自拍视频免费在线观看| 成人一区二区免费中文字幕视频| a级黑人大硬长爽猛出猛进| 亚洲老熟妇愉情magnet| 久久精品女同亚洲女同| 狠狠色综合7777久夜色撩人ⅰ| 欧美自拍区| 日本久久一级二级三级| 国产三级精品av在线| 国产肉体xxxx裸体784大胆| 无码手机线免费观看| 亚洲国产高清美女在线观看| 国产熟妇一区二区三区网站| 亚洲a无码综合a国产av中文| 国产午夜亚洲精品午夜鲁丝片| 精品无码成人片一区二区| 国产高清一区二区三区三州| 亚洲精品久久久久成人2007| 国产区福利| 少妇一区二区三区精选| 97人伦影院a级毛片| 996久久国产精品线观看| 亚洲中文字幕永久网站|