亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于粗糙集的去噪擴(kuò)散概率方法

        2024-05-15 19:23:13佘志用郭曉新馮月萍張東坡
        關(guān)鍵詞:概率模型粗糙集效率

        佘志用 郭曉新 馮月萍 張東坡

        摘要: 基于非Markov鏈去噪擴(kuò)散隱式模型(DDIM), 提出一種粗糙集的去噪擴(kuò)散概率方法, 用粗糙集理論對采樣的原序列等價劃分, 在原序列上構(gòu)建子序列的上下近似集和粗糙度, 當(dāng)粗糙度最小時獲取非Markov鏈去噪擴(kuò)散隱式模型的有效子序列. 利用去噪擴(kuò)散概率模型(DDPM)和DDIM進(jìn)行對比實驗, 實驗結(jié)果表明, 該方法獲取的序列是有效子序列, 且在該序列上的采樣效率優(yōu)于DDPM.

        關(guān)鍵詞: 粗糙集; 去噪擴(kuò)散概率模型; 非Markov鏈去噪擴(kuò)散概率模型; Markov鏈

        中圖分類號: TP391.4文獻(xiàn)標(biāo)志碼: A文章編號: 1671-5489(2024)02-0339-08

        Probability Method of Denoising DiffusionBased on? Rough Sets

        SHE Zhiyong1, GUO Xiaoxin2, FENG Yueping2, ZHANG Dongpo1

        (1. School of Information Network Security, Xinjiang University of Political Science and Law,

        Tumxuk 844000, Xinjiang Uygur Autonomous Region, China;

        2. College of Computer Science and Technology, Jilin University, Changchun 130012, China)

        Abstract: Based on non Markov chain denoising diffusion implicit model (DDIM), we proposed? probability method of denoising diffusion based on? rough sets. The rough set theory was used to equivalently partition the sampled original sequence, construct the upper and lower approximation sets and roughness of the subsequences on the original sequence, and obtain the effective subsequences of the non Markov chain DDIM when the roughness was the lowest. The comparative experiments were conducted by?? the denoising diffusion probability model (DDPM) and DDIM,? and the experimental results? show that the sequence obtained by proposed method is an effective subsequence, and the sampling efficiency on this sequence is better than that of the DDPM.

        Keywords: rough set; denoising diffusion probability model; non Markov chain denoising diffusion probability model; Markov chain

        擴(kuò)散模型[1]在計算機(jī)視覺、 自然語言處理、 時間數(shù)據(jù)建模等領(lǐng)域應(yīng)用廣泛. 從高水平的細(xì)節(jié)到生成例子的多樣性, 其展現(xiàn)了強(qiáng)大的生成能力. 目前, 擴(kuò)散模型已被廣泛應(yīng)用于各種生成建模任務(wù), 如圖像生成[2]、 圖像超分辨率[3-4]、 圖像插入繪畫[5]、 圖像編輯[6]和圖像到圖像轉(zhuǎn)換[7]等. 此外, 通過擴(kuò)散模型學(xué)習(xí)到的潛在表示也被應(yīng)用在鑒別任務(wù)中, 如圖像分割[8-9]、 分類[10]和異常檢測[11], 從而證實了擴(kuò)散模型的廣泛適用性.

        目前, 擴(kuò)散模型中的去噪擴(kuò)散概率模型[12](DDPM)在生成領(lǐng)域備受關(guān)注. DDPM具有不需要變分自編碼器(VAE)[13]對準(zhǔn)后驗分布、 能量模型(EBM)[14]難以解決的分區(qū)函數(shù)、 對抗神經(jīng)網(wǎng)絡(luò)(GAN)[15]訓(xùn)練額外的判別器以及歸一化流[16]施加網(wǎng)絡(luò)約束等優(yōu)點. 該模型提供了可操作的描述模型的概率參數(shù), 有足夠理論支持穩(wěn)定訓(xùn)練程序. 統(tǒng)一的損失函數(shù)設(shè)計具有高度的簡單性. 模型旨在將先驗數(shù)據(jù)分布轉(zhuǎn)化為隨機(jī)噪聲, 進(jìn)而逐步加噪擴(kuò)散. 先得到全高斯噪聲的分布, 然后再逐步去噪擴(kuò)散, 從而重建具有相同分布的全新樣本. 但DDPM與生成對抗網(wǎng)絡(luò)[17](GAN)和變異自動編碼器[18](VAE)等模型相比有一個缺點, 即采樣步驟多, 導(dǎo)致采樣時間長.

        針對上述問題, Nichol等[19]提出了非Markov鏈的去噪擴(kuò)散隱式模型(DDIM), 該模型主要證明了擴(kuò)散過程是非Markov鏈的過程. DDIM在原序列上隨機(jī)選取子序列進(jìn)行采樣, 雖提高了采樣效率, 但因該子序列是隨機(jī)選取導(dǎo)致無法有效保證每次采樣效果都比DDPM優(yōu). 針對該問題, 本文在DDIM的基礎(chǔ)上提出了基于粗糙集的去噪概率擴(kuò)散方法, 解決選取較佳采樣子列的問題.

        1 預(yù)備知識

        1.1 粗糙度

        在相同損失值下將DDPM,DDIM和本文方法利用U-net網(wǎng)絡(luò)訓(xùn)練模型. DDPM在{t100,t99,t98,…,t2,t1}序列上的采樣結(jié)果與DDIM和本文方法在{t75,t74,t73,…,t35,t34,t33}序列上的采樣結(jié)果對比如圖5所示. DDPM,DDIM和本文方法的FID(Fréchet inception distance)值列于表3.

        圖5為DDPM在原序列上采樣得到的3張人臉圖像, DDIM和本文算法在獲取的子序列上采樣得到3張人臉圖像. 由圖5可見, 通過直觀的對3種算法采樣得到圖像對比, DDIM和本文算法在獲取子序列上采樣效果與DDPM在原序列上的采樣效果相當(dāng). 說明本文算法獲取的子序列是有效子序列, 且采樣效果相似. 表3為通過FID量化評估3種算法采樣生成圖像的質(zhì)量, FID越小生成的圖像質(zhì)量越好. 由表3可見, 3種算法FID值都相對較小, 說明3種算法采樣生成的圖像質(zhì)量較好. 本文算法生成圖像的FID值與DDIM和DDPM的FID值接近, 進(jìn)一步說明本文算法獲取的子列是有效子列, 且采樣效果相似.

        驗證本文算法獲取子列是較佳的采樣子序列. DDIM分別在隨機(jī)選取3個子序列和本文獲取的子序列上采樣結(jié)果與本文算法采樣結(jié)果對比如圖6所示. 圖6采樣結(jié)果的FID值列于表4.

        為說明本文算法獲取子序列采樣的優(yōu)越性, 圖6中的3個隨機(jī)子序列都是等長的. 從DDIM在3個隨機(jī)子序列采樣效果與DDIM和本文算法在本文獲取的子序列采樣結(jié)果對比, 在本文獲取的子序列上采樣效果明顯優(yōu)于3個隨機(jī)子序列上的采樣效果. 說明本文獲取的采樣子序列不但采樣有效, 且采樣效果較佳. 對表4中不同子序列生成圖像的FID對比分析, DDIM和本文方法在獲取子序列上生成圖像的FID明顯低于DDIM在其他隨機(jī)子序列上的FID. 進(jìn)一步說明本文方法獲取的子序列是較佳采樣子序列.

        由圖5和表3可見, 雖然DDPM在原序列上采樣效果與本文方法在獲取子序列上的采樣結(jié)果相似, 但在理論上DDPM比本文方法的采樣效率低. 原因是DDPM在原序列上采樣, 而本文方法在子序列上采樣. DDPM的采樣時間分別為103,104,102 s, 本文方法的采樣時間分別為21,22,20 s. 實驗結(jié)果表明, 本文方法在獲取的子序列上采樣效率是DDPM在原序列上采樣效率的4倍多, 說明本文方法采樣效率明顯高于DDPM的采樣效率.

        綜上所述, 本文在DDIM的基礎(chǔ)上通過粗糙集和粒子群優(yōu)化算法相結(jié)合獲取較佳采樣子序列. 實驗驗證結(jié)果表明, 本文方法獲取的采樣子序列上生成圖像效果與DDPM采樣效果相似, 說明本文獲取的子列是有效子列; DDIM和本文方法在獲取子序列上的采樣效果明顯優(yōu)于DDIM在多個隨機(jī)子序列上的采樣結(jié)果, 說明本文獲取的有效子序列是較佳子序列, 進(jìn)一步說明DDIM在隨機(jī)子序列上的采樣結(jié)果不穩(wěn)定; 最后通過本文方法和DDPM分別在獲取的子序列和原序列上的采樣時間對比, 表明本文方法采樣效率明顯高于DDPM的采樣效率.

        參考文獻(xiàn)

        [1]SOHL-DICKSTEIN J, WEISS E, MAHESWARANATHAN N, et al. Deep Unsupervised Learning Using Nonequilibrium Thermodynamics [C]//International Conference on Machine Learning. [S.l.]: PMLR, 2015: 2256-2265.

        [2]LU C, ZHOU Y H, BAO F, et al. Dpm-Solver: A Fast Ode Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps [J]. Advances in Neural Information Processing Systems, 2022, 35: 5775-5787.

        [3]KAWAR B, ELAD M, ERMON S, et al. Denoising Diffusion Restoration Models [J]. Advances in Neural Information Processing Systems, 2022, 35: 23593-23606.

        [4]SAHARIA C, HO J, CHAN W, et al. Image Super-resolution via Iterative Refinement [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 45(4): 4713-4726.

        [5]LUGMAYR A, DANELLJAN M, ROMERO A, et al. Repaint: Inpainting Using Denoising Diffusion Probabilistic Models [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2022: 11461-11471.

        [6]AVRAHAMI O, LISCHINSKI D, FRIED O. Blended Diffusion for Text-Driven Editing of Natural Images [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2022: 18208-18218.

        [7]SAHARIA C, CHAN W, CHANG H W, et al. Palette: Image-to-Image Diffusion Models [C]//ACM SIGGRAPH 2022 Conference Proceedings. New York: ACM, 2022: 1-10.

        [8]ROMBACH R, BLATTMANN A, LORENZ D, et al. High-Resolution Image Synthesis with Latent Diffusion Models [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2022: 10684-10695.

        [9]LI M Y, LIN J, MENG C L, et al. Efficient Spatially Sparse Inference for Conditional Gans and Diffusion Models [J]. Advances in Neural Information Processing Systems, 2022, 35: 28858-28873.

        [10]MIKUNI V, NACHMAN B. Score-Based Generative Models for Calorimeter Shower Simulation [EB/OL]. (2022-06-17)[2023-02-10]. https://arxiv.org/abs/2206.11898.

        [11]PINAYA W H L, GRAHAM M S, GRAY R, et al. Fast Unsupervised Brain Anomaly Detection and Segmentation with Diffusion Models [C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer, 2022: 705-714.

        [12]HO J, JAIN A, ABBEEL P. Denoising Diffusion Probabilistic Models [J]. Advances in Neural Information Processing Systems, 2020, 33: 6840-6851.

        [13]GUU K, HASHIMOTO T B, OREN Y, et al. Generating Sentences by Editing Prototypes [J]. Transactions of the Association for Computational Linguistics, 2018, 6: 437-450.

        [14]YU L T, SONG Y, SONG J M, et al. Training Deep Energy-Based Models with f-Divergence Minimization [C]//International Conference on Machine Learning. [S.l.]: PMLR, 2020: 10957-10967.

        [15]CRESWELL A, WHITE T, DUMOULIN V, et al. Generative Adversarial Networks: An Overview [J]. IEEE Signal Processing Magazine, 2018, 35(1): 53-65.

        [16]GARCA G G, CASAS P, FERNNDEZ A, et al. On the Usage of Generative Models for Network Anomaly Detection in Multivariate Time-Series [J]. ACM SIGMETRICS Performance Evaluation Review, 2021, 48(4): 49-52.

        [17]PEI H Z, REN K, YANG Y Q, et al. Towards Generating Real-World Time Series Data [C]//2021 IEEE International Conference on Data Mining (ICDM). Piscataway, NJ: IEEE, 2021: 469-478.

        [18]LIANG D W, KRISHNAN R G, HOFFMAN M D, et al. Variational Autoencoders for Collaborative Filtering [C]//Proceedings of the 2018 World Wide Web Conference. New York: ACM, 2018: 689-698.

        [19]NICHOL A Q, DHARIWAL P. Improved Denoising Diffusion Probabilistic Models [C]//International Conference on Machine Learning. [S.l.]: PMLR, 2021: 8162-8171.

        [20]佘志用, 段超, 張雷. 變精度最小平方粗糙熵的圖像分割算法 [J]. 計算機(jī)工程與科學(xué), 2019, 41(4): 657-664. (SHE Z Y, DUAN C, ZHANG L. An Image Segmentation Algorithm Using Variable Precision Least Square Rough Entropy [J]. Computer Engineering & Science, 2019, 41(4): 657-664.)

        (責(zé)任編輯: 韓 嘯)

        收稿日期: 2023-04-18.

        第一作者簡介: 佘志用(1990—), 男, 漢族, 碩士, 講師, 從事圖像處理和智能決策的研究, E-mail: szy@xjzfu.edu.cn.

        通信作者簡介: 馮月萍(1958—), 女, 漢族, 博士, 教授, 從事計算機(jī)圖形學(xué)和圖像處理的研究, E-mail: fengyp@jlu.edu.cn.

        基金項目: 國家自然科學(xué)基金(批準(zhǔn)號: 82071995)、 吉林省科技發(fā)展計劃重點研發(fā)項目(批準(zhǔn)號: 20220201141GX)和新疆政法學(xué)院校長基金(批準(zhǔn)號: XZZK2021002; XZZK2022008).

        猜你喜歡
        概率模型粗糙集效率
        在精彩交匯中,理解兩個概率模型
        基于Pawlak粗糙集模型的集合運算關(guān)系
        提升朗讀教學(xué)效率的幾點思考
        甘肅教育(2020年14期)2020-09-11 07:57:42
        基于停車服務(wù)效率的選擇概率模型及停車量仿真研究
        電子測試(2018年10期)2018-06-26 05:53:50
        多?;植诩再|(zhì)的幾個充分條件
        雙論域粗糙集在故障診斷中的應(yīng)用
        一類概率模型的探究與應(yīng)用
        跟蹤導(dǎo)練(一)2
        兩個域上的覆蓋變精度粗糙集模型
        “錢”、“事”脫節(jié)效率低
        日韩亚洲中文有码视频| 精品91精品91精品国产片| 水蜜桃视频在线观看免费18| 精品少妇人妻av一区二区蜜桃| 欧美成人国产精品高潮| 在教室伦流澡到高潮hgl视频| 一区五码在线| 自拍偷拍亚洲视频一区二区三区| 亚洲av综合av一区二区三区| 国产精品老熟女露脸视频| 亚洲AV无码成人精品区网页| 美腿丝袜一区在线观看| 天堂一区二区三区在线观看视频| 天堂aⅴ无码一区二区三区| 中文字幕一区二区三区乱码不卡 | 蜜桃av精品一区二区三区| 性生交大片免费看淑女出招| 国产免费看网站v片不遮挡| 香蕉久久福利院| 亚洲精品理论电影在线观看| 日本午夜伦理享色视频| 久久99精品久久久久婷婷| 五十路熟妇高熟无码视频| 国产人成无码视频在线1000| 在线观看一区二区蜜桃| 日本阿v片在线播放免费| 男女超爽视频免费播放| 日本一区二区三区专区| 国产av久久在线观看| 色噜噜狠狠狠综合曰曰曰| 精品无码av不卡一区二区三区| 亚洲小少妇一区二区三区| 天天躁日日躁狠狠躁av麻豆| 在教室伦流澡到高潮h麻豆| www.尤物视频.com| 亚洲国产精品国自产拍性色| 国产真实乱对白精彩久久老熟妇女| 精品国产免费Av无码久久久| 伊人狼人大香线蕉手机视频| 玩弄放荡人妇系列av在线网站| 秋霞午夜无码鲁丝片午夜精品|