亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        AI 造圖新境界!OpenAI 提出的可逆生成模型,比GAN 更具潛力

        2018-07-31 06:22:52
        海外星云 2018年14期
        關(guān)鍵詞:掩碼體系結(jié)構(gòu)卷積

        Glow對兩名研究人員臉部圖像的屬性操作。訓(xùn)練過程中,模型沒有提供眼睛、年齡等屬性標(biāo)簽等情況下,自己學(xué)習(xí)潛在空間,部分特定方向?qū)?yīng)胡須密度,年齡,頭發(fā)顏色等屬性的變化

        最近,著名人工智能研究組織OpenAI發(fā)布了其最新工作:《Glow:更好的 可 逆 生 成 模 型》(《Glow :Better ReversibleGenerativeModels》)。

        據(jù)文章介紹,Glow是一個可逆的生成模型,它使用了可逆的1×1卷積。它基于以前關(guān)于可逆生成模型的研究,并簡化了體系結(jié)構(gòu)。該模型能夠生成逼真的高分辨率圖像,支持有效的采樣,并能發(fā)現(xiàn)可用于數(shù)據(jù)處理的特征。研究人員公開了模型代碼和一個在線可視化工具,以便人們能夠使用這個模型并繼續(xù)開展研究。

        生成模型是基于觀察數(shù)據(jù),然后學(xué)習(xí)出如何生成這些數(shù)據(jù)的模型。學(xué)習(xí)數(shù)據(jù)生成過程需要學(xué)習(xí)數(shù)據(jù)中存在的結(jié)構(gòu),成

        功的模型應(yīng)該能夠生成與數(shù)據(jù)相似的輸出。精確生成模型具有廣泛的應(yīng)用,包括語音合成、文本分析與合成、半監(jiān)督學(xué)習(xí)和基于模型的控制。研究人員提出的技術(shù)也可以應(yīng)用于這些問題。

        Glow是一種可逆的生成模型,也稱為基于流的生成模型,是 NICE和RealNVP技術(shù)的延伸。相比于GAN和VAES,基于流的生成模型在研究領(lǐng)域中關(guān)注較少。

        而基于流的生成模型的優(yōu)點包括:

        精確的潛變量推斷和最大似然估計。在VAE中,只能近似推斷對應(yīng)于數(shù)據(jù)點的潛變量的值。GAN根本沒有編碼器來推斷潛在的情況。在可逆的生成模型中,推斷潛在情況可以在沒有近似的情況下精確完成。這不僅可以導(dǎo)致精確的推斷,而且還可以優(yōu)化最大似然估計。

        有效推理和有效生成。自回歸模型,例如PixelCNN,也是可逆的,但是從這些模型很難并行化,而且通常在并行時效率很低。基于流的生成模型,如 Glow和RealNVP,對于推理和生成來說都是高效的并行化模型。

        下游任務(wù)可用的潛在空間。自回歸模型的隱藏層具有未知的邊緣分布,使得對數(shù)據(jù)的有效處理變得更加困難。在GANs中,數(shù)據(jù)點通常不能在潛在空間中直接表示。對于可逆的生成模型和VAE則不是這樣,它們允許各種操作,例如數(shù)據(jù)插值和數(shù)據(jù)修改。

        節(jié)省內(nèi)存。在可逆神經(jīng)網(wǎng)絡(luò)中計算梯度需要一定數(shù)量的內(nèi)存,在RevNet文章中有所解釋。

        結(jié)果

        RealNVP是以前基于流的生成模型最好的結(jié)果,研究人員的方法與 RealNVP相比取得了顯著的改進。對于RealNVP模型和Glow模型,在不同數(shù)據(jù)集的測試集上進行了量化性能評估。Glow模型可以高效生成逼真的高分辨率圖像。這個模型在 NVIDIA1080TiGPU上產(chǎn)生一個256×256的樣品需要130毫秒。

        潛空間內(nèi)插

        研究人員還可以在任意人臉之間進行插值,使用編碼器對兩幅圖像進行編碼,并從中間點進行采樣。請注意,輸入是任意的人臉,而不是來自模型的樣本,從而證明了模型支持整個目標(biāo)分布。

        潛空間操作

        研究人員可以在沒有標(biāo)簽的情況下訓(xùn)練一個基于流的模型,然后將學(xué)習(xí)到的模型用于后續(xù)任務(wù),比如處理輸入的屬性。這些語義屬性可以是面部或頭發(fā)的顏色、圖像的風(fēng)格、聲音的音高,或者文本句子的情感。由于基于流的模型有一個非常好的編碼器,因此可以對輸入進行編碼,并計算有和不帶屬性的輸入的平均潛在向量。然后,可以使用兩者之間的向量方向來操作對該屬性的任意輸入。

        此外,患者監(jiān)護室滯留時間縮短1.92天,平均住院費用節(jié)約3345.6元/人,年節(jié)約醫(yī)保支出213.58萬元。

        貢獻

        研究人員的主要貢獻同時也是與RealNVP模型的不同之處在于增加了一個可逆的1x1卷積,以及刪除了一些組件,從而簡化了整個體系結(jié)構(gòu)。

        RealNVP體系結(jié)構(gòu)由兩種類型的層組成:具有棋盤掩碼的層和具有通道掩碼的層。研究人員移除了棋盤掩碼的層,簡化了體系結(jié)構(gòu)。具有通道掩碼的層重復(fù)執(zhí)行以下步驟可以等效:

        通過在通道維度上逆轉(zhuǎn)輸入的順序來改變輸入。

        按照特征維數(shù)將輸入對分成A和B兩個部分。

        將A輸入淺層卷積神經(jīng)網(wǎng)絡(luò)。根據(jù)神經(jīng)網(wǎng)絡(luò)的輸出線性變換B。

        連接A和B。

        通過連接這些層,A更新B,B更新A,然后A更新B。這種信息的雙向流動顯然是相當(dāng)僵化的。研究人員發(fā)現(xiàn),通過將步驟(1)的反向排列改變?yōu)殡S機全排列,模型的性能得到了改善。

        更進一步,研究人員還可以學(xué)習(xí)最優(yōu)排列。學(xué)習(xí)置換矩陣是一種離散優(yōu)化,不能適用到梯度上升。但由于置換操作只是具有平方矩陣的線性變換的特例,所以可以用卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn),因為置換通道等價于輸入和輸出通道數(shù)相等的1x1卷積運算。因此,研究人員用學(xué)習(xí)的1x1卷積運算代替固定置換。將1x1卷積的權(quán)值初始化為隨機旋轉(zhuǎn)矩陣。此操作帶來了顯著的模型改進。研究人員還證明了通過對權(quán)值進行LU分解,可以有效地完成目標(biāo)函數(shù)優(yōu)化所涉及的計算。

        另外,研究者還刪除了批歸一化,并將其替換為激活歸一化層。這一層只是簡單地轉(zhuǎn)移和縮放激活函數(shù),給定數(shù)據(jù)的初始 minibatch,該層具備依靠數(shù)據(jù)的初始化技術(shù)可對激活函數(shù)進行歸一化操作。這允許將minibatch的大小縮小到1(對于大型圖像),并擴大模型的大小。

        規(guī)模

        研究人員的體系結(jié)構(gòu)結(jié)合了各種優(yōu)化,例如梯度檢查點,使其能夠更大的規(guī)模地訓(xùn)練基于流的生成模型。研究人員使用Horovod在集群上輕松地訓(xùn)練研究人員的模型;研究人員演示中使用的模型在五臺機器上進行了訓(xùn)練,每臺機器有八個GPU。使用這個配置,研究人員可以訓(xùn)練超過一億個參數(shù)的模型。

        研究方向

        研究人員的工作表明,可以訓(xùn)練基于流的模型來生成逼真的高分辨率圖像,并可以很容易地學(xué)習(xí)到隱藏表征。研究人員為今后的工作提出了幾個方向:

        在似然函數(shù)上與其他模型比較。在對數(shù)似然方面,自回歸模型和VAE模型的性能優(yōu)于基于流的模型,但它們分別存在采樣效率低和推理不精確的缺點。研究人員可以將基于流的模型、VAE模型和自回歸模型結(jié)合起來,以權(quán)衡它們的優(yōu)勢,這將是未來工作的一個有趣的方向。

        改進體系結(jié)構(gòu),提高計算效率和參數(shù)效率。為了生成逼真的高分辨率圖像,人臉生成模型使用了200億參數(shù)和600層卷積層,這使得訓(xùn)練的成本很高。深度較小的模型在學(xué)習(xí)長期依存關(guān)系方面表現(xiàn)較差。使用自注意架構(gòu),或者進行漸進式的訓(xùn)練來擴展到高分辨率,可以使訓(xùn)練Glow模型的成本降低?!觯ㄕ悦馈渡羁萍肌罚ň庉?華生)

        猜你喜歡
        掩碼體系結(jié)構(gòu)卷積
        基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
        從濾波器理解卷積
        電子制作(2019年11期)2019-07-04 00:34:38
        低面積復(fù)雜度AES低熵掩碼方案的研究
        基于傅里葉域卷積表示的目標(biāo)跟蹤算法
        基于布爾異或掩碼轉(zhuǎn)算術(shù)加法掩碼的安全設(shè)計*
        基于粒計算的武器裝備體系結(jié)構(gòu)超網(wǎng)絡(luò)模型
        作戰(zhàn)體系結(jié)構(gòu)穩(wěn)定性突變分析
        基于DODAF的裝備體系結(jié)構(gòu)設(shè)計
        基于云計算的航天器控制系統(tǒng)自組織體系結(jié)構(gòu)
        基于掩碼的區(qū)域增長相位解纏方法
        视频在线观看一区二区三区| 99精品国产丝袜在线拍国语| 国产精品18久久久久久麻辣| 一本一本久久a久久| 日本一区二区三区在线观看免费| 国产精品亚洲一区二区麻豆| 天天摸夜夜摸摸到高潮| 亚洲国产理论片在线播放| 色窝综合网| 三上悠亚亚洲精品一区| 摸进她的内裤里疯狂揉她动图视频| 亚洲av国产av综合av| 人妻中文字幕av有码在线| 国产丝袜美腿在线播放| 人妻中文字幕无码系列| 久热香蕉视频| 国产一区二区三区资源在线观看| 日本人妻伦理在线播放| 黄网站欧美内射| 国产AV无码专区亚洲AV桃花庵| 在线观看女同一区二区| 第一次处破女18分钟高清| 国产欧美日韩久久久久| 阿v视频在线| 国产爽快片一区二区三区| 疯狂做受xxxx高潮视频免费| 久久免费看少妇高潮v片特黄| 亚洲国产一区久久yourpan| 国产成人精品一区二三区孕妇| 岳好紧好湿夹太紧了好爽矜持| 久久无码精品精品古装毛片| 少妇高潮呻吟求饶视频网站| 少妇久久久久久被弄高潮| 亚洲精品无码人妻无码| 国产日韩亚洲中文字幕| 国产自拍精品视频免费| 色屁屁www影院免费观看入口| 亚洲av日韩片在线观看| 久久亚洲乱码中文字幕熟女| 国产精品久久久久乳精品爆| 国产精品三级一区二区按摩|