亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        求解可分離凸優(yōu)化問題的慣性近似松弛交替方向乘子法

        2022-05-05 02:27:28薛中會(huì)殷倩雯黨亞崢
        關(guān)鍵詞:乘子變分收斂性

        薛中會(huì), 殷倩雯, 黨亞崢

        (1. 上海出版印刷高等專科學(xué)校,上海 200093;2. 上海理工大學(xué) 管理學(xué)院,上海 200093)

        1 問題的提出

        一個(gè)優(yōu)化問題如果滿足:稱該問題為一個(gè)凸優(yōu)化問題。其中,目標(biāo)函數(shù)f為凸函數(shù),不等式約束gi也為凸函數(shù),而等式約束hj為一個(gè)仿射函數(shù)。

        一個(gè)可分離的凸優(yōu)化問題為

        交替方向乘子法(ADMM)是一種求解具有可分離的凸優(yōu)化問題的重要方法。由于其處理速度快、收斂性能好,ADMM 算法在統(tǒng)計(jì)學(xué)習(xí)、機(jī)器學(xué)習(xí)等領(lǐng)域有著廣泛應(yīng)用,在求解可分離凸優(yōu)化問題上具有簡單、靈活、實(shí)用性強(qiáng)的效果。其優(yōu)勢(shì)在于利用對(duì)偶上升算法的可分離性,可以將大規(guī)模問題拆分成2 個(gè)甚至多個(gè)小規(guī)模的子問題,隨后交替求解分解所得的各個(gè)小規(guī)模子問題,從而提高了求解問題的效率。ADMM 算法最早由Glowinski 等[1]和Gabay 等[2]提出,ADMM 算法的經(jīng)典迭代步驟為

        ADMM 在每一步迭代中都能解決較簡單的子問題,并且可以分別利用f(x)和g(x)的結(jié)構(gòu)。眾所周知,如式(1)具有KKT 點(diǎn),則由式(2)生成的對(duì)偶序列收斂到對(duì)偶問題的最優(yōu)解,但是,在沒有附加條件的情況下,原始迭代序列不一定收斂。為了改善原始收斂性,Eckstein[3]首先通過向式(2)的子問題添加一些二次項(xiàng),提出了鄰近ADMM算法。經(jīng)研究發(fā)現(xiàn),慣性技術(shù)也可以加入ADMM算法中,在適當(dāng)?shù)募僭O(shè)條件下能夠加速算法的收斂效果。Alvarez[4]最早提出慣性技術(shù)這一概念,其基本思想是利用當(dāng)前迭代和上一步迭代之間的相關(guān)聯(lián)系得到下一步迭代,這樣不僅能夠較快地得到所求問題的最優(yōu)解,而且在收斂性證明上也相對(duì)容易。近年來,慣性技術(shù)被運(yùn)用于鄰近點(diǎn)算法(PPM)求解極大單調(diào)算子包含問題。通常情況下,為了加速鄰近點(diǎn)算法的收斂速度,考慮二階微分包含問題

        基于慣性技術(shù)在加快收斂性方面具有很好的效果,本文對(duì)可分離凸優(yōu)化問題采用慣性技術(shù),同時(shí)引入隨機(jī)加速的隨機(jī)變量以更新步長,提出了慣性近似松弛交替方向乘子法。在適當(dāng)?shù)募僭O(shè)條件下,基于慣性鄰近點(diǎn)法的收斂性證明了慣性鄰近ADMM 算法的收斂性。另外,數(shù)值實(shí)驗(yàn)驗(yàn)證了新算法在實(shí)踐中具有更好的數(shù)值表現(xiàn)。

        2 預(yù)備知識(shí)

        則f在C上是單調(diào)的。

        RnF:C→Rn

        如果C是 上的一個(gè)緊凸集,且 是一個(gè)連續(xù)映射,那么,變分不等式問題(VIP)至少有1 個(gè)解。進(jìn)而可知,若函數(shù)是單調(diào)的,那么,變分不等式問題的解存在且唯一。

        3 慣性近似松弛ADMM

        現(xiàn)針對(duì)可分離凸優(yōu)化問題構(gòu)建慣性近似松弛交替方向乘子法(IPR-ADMM)。

        問題(1)的增廣拉格朗日函數(shù)為

        c. 停止準(zhǔn)則。計(jì)算

        4 收斂性證明

        現(xiàn)利用變分不等式證明算法1 的全局收斂性。根據(jù)式(8)的變分不等式形式生成如下形式的迭代方案:

        其中,第2 個(gè)不等式由假設(shè)1 的b 得到。

        5 數(shù)值實(shí)驗(yàn)

        數(shù)值實(shí)驗(yàn)所用軟件為Matlab 2017b,電腦配置為Intel 四核i7 2.4GHz CPU,并在Vista 操作系統(tǒng)上運(yùn)行8GB RAM。

        例1 首先考慮財(cái)務(wù)和統(tǒng)計(jì)問題[15],

        迭代式(43)的X-子問題通過奇異值分解(SVD)進(jìn)行求解,它承擔(dān)每次迭代過程中的主要計(jì)算負(fù)荷。迭代式(43)的Y-子問題是一個(gè)投影,有如下形式:

        表1 為參數(shù)R,S取不同值時(shí)的數(shù)值實(shí)驗(yàn)結(jié)果;表2 為參數(shù) τk取不同值時(shí)的數(shù)值實(shí)驗(yàn)結(jié)果;表3 為期望值 ρ取不同值時(shí)的數(shù)值實(shí)驗(yàn)結(jié)果。其中,n表示不同的維數(shù),取50,100,200。顯然,從表1~3 可以看出,R,S的取值越大,迭代次數(shù)越少,算法收斂所消耗的時(shí)間也越少;而參數(shù) τk的值越小,算法表現(xiàn)出的數(shù)值性能越好。此外,隨機(jī)變量的不同期望值 ρ產(chǎn)生的迭代次數(shù)相近,在ρ=1.9時(shí)表現(xiàn)相對(duì)較好。綜上,慣性技術(shù)和隨機(jī)變量更新步長都有利于加速算法的收斂。

        表1 參數(shù)R, S 不同取值的數(shù)值結(jié)果比較Tab.1 Comparison of numerical results on different values of parameters R and S

        表2 參數(shù) τk不同取值的數(shù)值結(jié)果比較Tab.2 Comparison of numerical results with different values of parametersτk

        表3 期望值ρ 不同取值的數(shù)值結(jié)果比較Tab.3 Comparison of numerical results with different values of expected value ρ

        表4 為不同維數(shù)下分別應(yīng)用IPR-ADMM 和ePADM[49]解決該問題所用的時(shí)間和迭代次數(shù)。其中,n=50,100,200。s為迭代所用的時(shí)間,k為迭代次數(shù)。慣性近似松弛ADMM 算法中參數(shù)τk=0.5, 隨機(jī)變量 ηk的期望值 ρ=1.9。

        表4 例1 的數(shù)值結(jié)果(ρ=1.9)Tab.4 Numerical results of example 1 (ρ=1.9)

        圖1 為n=50,100,200 的條件下,IPR-ADMM和ePADM 算法的對(duì)比結(jié)果。其中,橫軸表示迭代次數(shù),縱軸表示停止準(zhǔn)則,即收斂停止時(shí)間。顯然,由表4 和圖1 可以看出,算法1 的性能明顯比ePADM 算法好,因?yàn)樗牡螖?shù)和計(jì)算時(shí)間要少得多;并且從圖1 看出,n的取值越大,算法收斂越快,越趨于穩(wěn)定。

        圖1 ePADM 和IPR-ADMM 算法對(duì)比(ρ=1.9)Fig. 1 Comparison of ePADM and IPR-ADMM algorithms(ρ=1.9)

        結(jié)果表明,算法1 對(duì)于解決問題(1)是有效的,而且算法1 的性能更良好,實(shí)驗(yàn)結(jié)果展現(xiàn)了加速策略的有效性。

        6 結(jié) 論

        通過應(yīng)用PPM 算法求解ADMM 分解的子問題,并使用慣性外推項(xiàng),構(gòu)建了一種用于求解線性約束可分離凸問題的乘數(shù)的慣性近似交替方向方法,而且使用隨機(jī)變量來加快收斂速度。在適當(dāng)?shù)募僭O(shè)下,證明了該方法的全局收斂性。數(shù)值結(jié)果表明,該算法是有效的,收斂效果優(yōu)于現(xiàn)有算法。

        猜你喜歡
        乘子變分收斂性
        再談單位球上正規(guī)權(quán)Zygmund空間上的點(diǎn)乘子
        Lp-混合陣列的Lr收斂性
        逆擬變分不等式問題的相關(guān)研究
        求解變分不等式的一種雙投影算法
        雙線性傅里葉乘子算子的量化加權(quán)估計(jì)
        單位球上正規(guī)權(quán)Zygmund空間上的點(diǎn)乘子
        END隨機(jī)變量序列Sung型加權(quán)和的矩完全收斂性
        單位球上正規(guī)權(quán)Zygmund空間上的點(diǎn)乘子
        關(guān)于一個(gè)約束變分問題的注記
        一個(gè)擾動(dòng)變分不等式的可解性
        国产美女冒白浆视频免费| 国产免费午夜a无码v视频| 四虎国产精品视频免费看| 精品日本韩国一区二区三区| 一区二区三区免费观看日本| 亚洲国产精品av麻豆一区| 白白色发布在线观看视频| 欧美性猛交99久久久久99按摩| 夜夜欢性恔免费视频| 91精品一区国产高清在线gif| 少妇人妻偷人精品无码视频| 综合久久久久6亚洲综合| 亚洲综合在不卡在线国产另类| 亚洲国产高清精品在线| 亚洲成av人在线观看天堂无码| 国产精品三级一区二区按摩| 超清无码AV丝袜片在线观看| 狼人精品剧情av在线观看| 曰韩无码无遮挡a级毛片| 蜜臀av一区二区| 久久精品日本美女视频| 99久久免费看精品国产一| 国产日产亚洲系列最新| 亚洲有码转帖| 久久精品无码一区二区2020| 国产三级国产精品三级在专区| 国产女优一区在线观看| 天天爽夜夜爱| 人妻少妇不满足中文字幕| 青青草一级视频在线观看| 国产精品国产av一区二区三区| 日韩精品久久久肉伦网站| 国产偷国产偷高清精品| 一区二区三区国产精品| 亚洲综合一区二区三区天美传媒| 国产无遮挡又黄又爽在线观看| 动漫在线无码一区| 高清不卡av在线播放| 亚洲av永久无码一区二区三区| 无码精品国产va在线观看| 亚洲中字幕永久在线观看|