亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于ADMM的L1/2稀疏迭代分布式算法研究與應(yīng)用

        2022-02-22 12:02:16黃祖源
        今日自動(dòng)化 2022年12期
        關(guān)鍵詞:正則分布式機(jī)器

        李 輝,黃祖源,田 園

        (云南電網(wǎng)有限責(zé)任公司信息中心,云南昆明 650011)

        大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨。機(jī)器學(xué)習(xí)和數(shù)據(jù)分析是將大數(shù)據(jù)轉(zhuǎn)換成有用知識(shí)的關(guān)鍵技術(shù),并且有研究表明,在很多情況下,處理的數(shù)據(jù)規(guī)模越大,機(jī)器學(xué)習(xí)模型的效果會(huì)越好。因此,機(jī)器學(xué)習(xí)是大數(shù)據(jù)智能化分析處理應(yīng)用中的重要手段。在大數(shù)據(jù)背景下,計(jì)算數(shù)據(jù)量級(jí)已升至TB 級(jí)或PB 級(jí),給傳統(tǒng)機(jī)器學(xué)習(xí)帶來(lái)了挑戰(zhàn)和機(jī)遇。機(jī)器學(xué)習(xí)算法本身含有大量的選代計(jì)算,非常適用干并行化。目前,對(duì)大數(shù)據(jù)機(jī)器學(xué)習(xí)并行化研究已成為應(yīng)對(duì)大數(shù)據(jù)應(yīng)用需求的熱點(diǎn)研究方向。

        傳統(tǒng)機(jī)器學(xué)習(xí)算法,由于理論設(shè)計(jì)局限,大部分都是串行算法,只能運(yùn)行于單機(jī)環(huán)境,在面對(duì)大數(shù)據(jù)量時(shí)表現(xiàn)不佳,隨著并行化技術(shù)的發(fā)展,在面對(duì)海量數(shù)據(jù)時(shí),如何提升算法的執(zhí)行效率,就成為學(xué)術(shù)界和行業(yè)研究的熱點(diǎn)。文章提出的基于集成學(xué)習(xí)及ADMM 的分布式并行挖掘算法,有效地解決了單機(jī)算法無(wú)法并行化的問(wèn)題,在不改變?cè)兴惴ɡ碚摰幕A(chǔ)上,使得原有的單機(jī)算法更好地適配分布式的計(jì)算模式。

        稀疏信息處理近來(lái)受到研究與應(yīng)用界的廣泛關(guān)注,針對(duì)稀疏求解,文章提出一種基于L1/2正則化稀疏問(wèn)題求解的方法,包括L1/2稀疏迭代分類算法、L1/2稀疏迭代回歸算法和L1/2稀疏迭代時(shí)間序列算法?;贚1/2正則化的稀疏迭代算法是求解基于損失函數(shù)與L1/2范數(shù)(正則項(xiàng))的極小化非凸優(yōu)化問(wèn)題,以期望得到問(wèn)題的稀疏解,相比于L1正則化算法,L1/2正則化的解更稀疏。

        文章介紹了ADMM 算法的實(shí)現(xiàn)原理,在ADMM并行化算法的研究基礎(chǔ)上,對(duì)L1/2稀疏迭代算法進(jìn)行了并行化改造。

        1 ADMM

        交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)是一種解決可分解凸優(yōu)化問(wèn)題的簡(jiǎn)單方法。它可以將原問(wèn)題的目標(biāo)函數(shù)等價(jià)地分解成若干個(gè)可求解的子問(wèn)題,然后并行求解每一個(gè)子問(wèn)題,最后協(xié)調(diào)子問(wèn)題的解得到原問(wèn)題的全局解。ADMM 被廣泛地應(yīng)用在信號(hào)處理、圖像處理、機(jī)器學(xué)習(xí)、工程計(jì)算等領(lǐng)域,具有收斂速度快,收斂性能好的優(yōu)勢(shì)。

        ADMM 通常用于解決存在兩個(gè)優(yōu)化變量的只含等式約束的優(yōu)化類問(wèn)題,其一般形式為:

        式中,x∈Rn,z∈Rm為優(yōu)化變量;A∈Rp×n,B∈Rp×m,C∈Rp;f和g為凸函數(shù)。

        為解決此類凸優(yōu)化問(wèn)題,定義增廣拉格朗日函數(shù):

        算法流程如下:

        每一步只更新一個(gè)變量而固定另外兩個(gè)變量,如此交替重復(fù)更新。即,對(duì)于k=1,2,3,…,重復(fù)如下步驟:

        ADMM 算法提供了一個(gè)將多優(yōu)化變量問(wèn)題轉(zhuǎn)化為單優(yōu)化變量問(wèn)題的轉(zhuǎn)化方式(交替方向),并未涉及具體的下降方法,其中關(guān)于x和z的更新過(guò)程需要結(jié)合具體的下降類算法,如梯度下降算法等。

        上面這個(gè)式子被稱為是ADMM 的縮放形式。

        相應(yīng)地,更新步驟變?yōu)椋?/p>

        2 基于ADMM的L1/2稀疏迭代分布式算法

        稀疏信息處理近來(lái)受到研究與應(yīng)用界的廣泛關(guān)注。L1/2正則化是一種處理稀疏問(wèn)題的方法。基于L1/2正則化的稀疏迭代算法是求解基于損失函數(shù)與L1/2范數(shù)的罰函數(shù)(正則項(xiàng))的和的極小化非凸優(yōu)化問(wèn)題,以期望得到問(wèn)題的稀疏解。相比于L1正則化算法,L1/2正則化的解更稀疏。求解L1/2正則化的算法有:重賦權(quán)迭代算法、soft 閾值迭代算法(軟門限閾值迭代算法)。

        算法可采用分類和回歸兩類損失函數(shù),實(shí)現(xiàn)對(duì)分類和回歸問(wèn)題的處理。算法將這一極小化目標(biāo)的過(guò)程通過(guò)解決L1/2的軟門限閾值迭代算法實(shí)現(xiàn)。

        具體實(shí)現(xiàn)思路如下:

        求解采用重賦權(quán)迭代算法:

        對(duì)于凸的可拆解的算法,可采用ADMM,將全局問(wèn)題分解為多個(gè)較小、較容易求解的局部子問(wèn)題,并通過(guò)協(xié)調(diào)子問(wèn)題的解得到全局問(wèn)題的解。文章中自主創(chuàng)新的L1/2稀疏迭代分類算法、L1/2稀疏迭代回歸算法、L1/2稀疏迭代時(shí)間序列算法均采用基于ADMM 的分布式并行思路實(shí)現(xiàn)。其基本思路如下。

        若優(yōu)化問(wèn)題為:

        式中,x∈Rd,A∈Rp×d,y∈Rp,λ>0,可將其轉(zhuǎn)換為ADMM 的Consensus 型優(yōu)化問(wèn)題:

        其可以直接采用分布式方式進(jìn)行計(jì)算,流程如圖1所示。

        圖1 基于ADMM的分布式并行挖掘算法

        3 應(yīng)用實(shí)例

        基于ADMM 的L1/2 稀疏迭代分布式算法是基于極小化損失函數(shù)與關(guān)于稀疏解L1/2范數(shù)正則項(xiàng)的高效稀疏算法,L1/2 正則化與L2 正則化相比更容易求解,而與L1正則化相比能產(chǎn)生更稀疏的解,說(shuō)明L1/2 正則化具有廣泛且重要的應(yīng)用價(jià)值?;贏DMM 的L1/2稀疏迭代分布式算法具有高效,精確的優(yōu)點(diǎn)。

        電力數(shù)據(jù)具有實(shí)時(shí)性、真實(shí)性、覆蓋性等特征,能夠客觀且真實(shí)的反映社會(huì)經(jīng)濟(jì)變革過(guò)程中行業(yè)的發(fā)展現(xiàn)狀及其趨勢(shì),可助力政府部門實(shí)時(shí)監(jiān)測(cè)行業(yè)動(dòng)態(tài),準(zhǔn)確把握政策實(shí)施效果。電力行業(yè)中存在著大量的分類場(chǎng)景和回歸場(chǎng)景中,并且數(shù)據(jù)多且雜。

        分類場(chǎng)景:在傳統(tǒng)用戶用電行為分析和異常用戶識(shí)別定位過(guò)程中,主要是通過(guò)相關(guān)人員的經(jīng)驗(yàn)、業(yè)務(wù)規(guī)則以及各個(gè)專項(xiàng)模型等方法實(shí)現(xiàn)異常用戶識(shí)別。通常業(yè)務(wù)人員會(huì)結(jié)合相關(guān)業(yè)務(wù)經(jīng)驗(yàn)知識(shí),搭建多維行業(yè)用戶行為特性特征指標(biāo)體系,建立智能化、自動(dòng)化嫌疑用戶智能識(shí)別模型,用于異常用電用戶快速定位,包括反竊電、臺(tái)區(qū)線損識(shí)別以及企業(yè)信用評(píng)價(jià)等應(yīng)用場(chǎng)景。

        回歸場(chǎng)景:業(yè)務(wù)人員基于電力客戶基本信息、長(zhǎng)期的用電記錄、繳費(fèi)情況、繳費(fèi)能力等數(shù)據(jù),對(duì)各類數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,構(gòu)建售電量預(yù)測(cè)模型。

        在上述電力相關(guān)的分類場(chǎng)景和回歸場(chǎng)景中,在建模過(guò)程中運(yùn)用基于ADMM 的L1/2稀疏迭代分布式算法建立相關(guān)模型,能取得好的結(jié)果以及效果。

        4 結(jié)束語(yǔ)

        在機(jī)器學(xué)習(xí)特定的應(yīng)用中,算法的空間復(fù)雜度和時(shí)間復(fù)雜度,或者說(shuō)算法的效率是和算法的準(zhǔn)確率同樣重要的問(wèn)題。傳統(tǒng)的機(jī)器學(xué)習(xí)算法大多是串行的,在數(shù)據(jù)量、數(shù)據(jù)維度不斷增長(zhǎng)的情況下,單機(jī)的存儲(chǔ)容量和運(yùn)行時(shí)長(zhǎng)都是無(wú)法忍受的。在這種情況下,考慮將算法并行化是一個(gè)非常自然的想法。通過(guò)基于ADMM 并行化方法的研究,對(duì)L1/2稀疏迭代算法進(jìn)行并行化改造。通過(guò)實(shí)驗(yàn)可以發(fā)現(xiàn)基于ADMM 的L1/2稀疏迭代分布式算法的執(zhí)行效率極大提升,特別是在大數(shù)據(jù)量的情況下。基于ADMM 的L1/2稀疏迭代分布式算法可以應(yīng)用于不同的場(chǎng)景中,包括分類以及回歸等業(yè)務(wù)場(chǎng)景中。

        猜你喜歡
        正則分布式機(jī)器
        機(jī)器狗
        機(jī)器狗
        剩余有限Minimax可解群的4階正則自同構(gòu)
        未來(lái)機(jī)器城
        電影(2018年8期)2018-09-21 08:00:06
        類似于VNL環(huán)的環(huán)
        分布式光伏熱錢洶涌
        能源(2017年10期)2017-12-20 05:54:07
        分布式光伏:爆發(fā)還是徘徊
        能源(2017年5期)2017-07-06 09:25:54
        基于DDS的分布式三維協(xié)同仿真研究
        無(wú)敵機(jī)器蛛
        有限秩的可解群的正則自同構(gòu)
        国产人成视频免费在线观看| 久久精品国产亚洲av蜜臀| 国产高潮刺激叫喊视频| 国产成人精品cao在线| 国产精品髙潮呻吟久久av| 极品尤物一区二区三区| 久久人人妻人人做人人爽| 国产在线不卡免费播放| 国产成人高清视频在线观看免费 | 人妻无码中文人妻有码| 亚洲日产AV中文字幕无码偷拍| 日韩av天堂一区二区三区在线| 久久不见久久见免费影院| 窝窝影院午夜看片| 少妇装睡让我滑了进去| 久久无码一一区| 求网址日韩精品在线你懂的| 制服丝袜一区二区三区| 久久精品女人天堂av| 在线观看日本一区二区| 加勒比av在线一区二区| 精品国产偷窥一区二区| 在线播放亚洲第一字幕| 激,情四虎欧美视频图片| 91亚洲国产成人精品一区.| 性高朝大尺度少妇大屁股| 97视频在线播放| 美腿丝袜一区在线观看| 国产欧美日韩中文久久| 成人无码一区二区三区网站| 麻豆AV无码久久精品蜜桃久久| 日本第一影院一区二区| 亚洲av无码久久精品狠狠爱浪潮| 热久久这里只有| 国产黄色三级三级三级看三级| 国产一区二区精品久久岳| 后入内射欧美99二区视频| 亚洲精品天堂在线观看| av影院手机在线观看| 亚洲av成人无码网站大全| 日韩精品久久久中文字幕人妻|