李 輝，黃祖源，田 園

（云南電網(wǎng)有限責(zé)任公司信息中心，云南昆明 650011）

大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨。機(jī)器學(xué)習(xí)和數(shù)據(jù)分析是將大數(shù)據(jù)轉(zhuǎn)換成有用知識(shí)的關(guān)鍵技術(shù)，并且有研究表明，在很多情況下，處理的數(shù)據(jù)規(guī)模越大，機(jī)器學(xué)習(xí)模型的效果會(huì)越好。因此，機(jī)器學(xué)習(xí)是大數(shù)據(jù)智能化分析處理應(yīng)用中的重要手段。在大數(shù)據(jù)背景下，計(jì)算數(shù)據(jù)量級(jí)已升至TB 級(jí)或PB 級(jí)，給傳統(tǒng)機(jī)器學(xué)習(xí)帶來(lái)了挑戰(zhàn)和機(jī)遇。機(jī)器學(xué)習(xí)算法本身含有大量的選代計(jì)算，非常適用干并行化。目前，對(duì)大數(shù)據(jù)機(jī)器學(xué)習(xí)并行化研究已成為應(yīng)對(duì)大數(shù)據(jù)應(yīng)用需求的熱點(diǎn)研究方向。

傳統(tǒng)機(jī)器學(xué)習(xí)算法，由于理論設(shè)計(jì)局限，大部分都是串行算法，只能運(yùn)行于單機(jī)環(huán)境，在面對(duì)大數(shù)據(jù)量時(shí)表現(xiàn)不佳，隨著并行化技術(shù)的發(fā)展，在面對(duì)海量數(shù)據(jù)時(shí)，如何提升算法的執(zhí)行效率，就成為學(xué)術(shù)界和行業(yè)研究的熱點(diǎn)。文章提出的基于集成學(xué)習(xí)及ADMM 的分布式并行挖掘算法，有效地解決了單機(jī)算法無(wú)法并行化的問(wèn)題，在不改變?cè)兴惴ɡ碚摰幕A(chǔ)上，使得原有的單機(jī)算法更好地適配分布式的計(jì)算模式。

稀疏信息處理近來(lái)受到研究與應(yīng)用界的廣泛關(guān)注，針對(duì)稀疏求解，文章提出一種基于L1/2正則化稀疏問(wèn)題求解的方法，包括L1/2稀疏迭代分類算法、L1/2稀疏迭代回歸算法和L1/2稀疏迭代時(shí)間序列算法?；贚1/2正則化的稀疏迭代算法是求解基于損失函數(shù)與L1/2范數(shù)（正則項(xiàng)）的極小化非凸優(yōu)化問(wèn)題，以期望得到問(wèn)題的稀疏解，相比于L1正則化算法，L1/2正則化的解更稀疏。

文章介紹了ADMM 算法的實(shí)現(xiàn)原理，在ADMM并行化算法的研究基礎(chǔ)上，對(duì)L1/2稀疏迭代算法進(jìn)行了并行化改造。

1 ADMM

交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一種解決可分解凸優(yōu)化問(wèn)題的簡(jiǎn)單方法。它可以將原問(wèn)題的目標(biāo)函數(shù)等價(jià)地分解成若干個(gè)可求解的子問(wèn)題，然后并行求解每一個(gè)子問(wèn)題，最后協(xié)調(diào)子問(wèn)題的解得到原問(wèn)題的全局解。ADMM 被廣泛地應(yīng)用在信號(hào)處理、圖像處理、機(jī)器學(xué)習(xí)、工程計(jì)算等領(lǐng)域，具有收斂速度快，收斂性能好的優(yōu)勢(shì)。

ADMM 通常用于解決存在兩個(gè)優(yōu)化變量的只含等式約束的優(yōu)化類問(wèn)題，其一般形式為：

式中，x∈Rn，z∈Rm為優(yōu)化變量；A∈Rp×n，B∈Rp×m，C∈Rp；f和g為凸函數(shù)。

為解決此類凸優(yōu)化問(wèn)題，定義增廣拉格朗日函數(shù)：

算法流程如下：

每一步只更新一個(gè)變量而固定另外兩個(gè)變量，如此交替重復(fù)更新。即，對(duì)于k=1，2，3，…，重復(fù)如下步驟：

ADMM 算法提供了一個(gè)將多優(yōu)化變量問(wèn)題轉(zhuǎn)化為單優(yōu)化變量問(wèn)題的轉(zhuǎn)化方式（交替方向），并未涉及具體的下降方法，其中關(guān)于x和z的更新過(guò)程需要結(jié)合具體的下降類算法，如梯度下降算法等。

上面這個(gè)式子被稱為是ADMM 的縮放形式。

相應(yīng)地，更新步驟變?yōu)椋?/p>

2 基于ADMM的L1/2稀疏迭代分布式算法

稀疏信息處理近來(lái)受到研究與應(yīng)用界的廣泛關(guān)注。L1/2正則化是一種處理稀疏問(wèn)題的方法。基于L1/2正則化的稀疏迭代算法是求解基于損失函數(shù)與L1/2范數(shù)的罰函數(shù)（正則項(xiàng)）的和的極小化非凸優(yōu)化問(wèn)題，以期望得到問(wèn)題的稀疏解。相比于L1正則化算法，L1/2正則化的解更稀疏。求解L1/2正則化的算法有：重賦權(quán)迭代算法、soft 閾值迭代算法（軟門限閾值迭代算法）。

算法可采用分類和回歸兩類損失函數(shù)，實(shí)現(xiàn)對(duì)分類和回歸問(wèn)題的處理。算法將這一極小化目標(biāo)的過(guò)程通過(guò)解決L1/2的軟門限閾值迭代算法實(shí)現(xiàn)。

具體實(shí)現(xiàn)思路如下：

求解采用重賦權(quán)迭代算法：

對(duì)于凸的可拆解的算法，可采用ADMM，將全局問(wèn)題分解為多個(gè)較小、較容易求解的局部子問(wèn)題，并通過(guò)協(xié)調(diào)子問(wèn)題的解得到全局問(wèn)題的解。文章中自主創(chuàng)新的L1/2稀疏迭代分類算法、L1/2稀疏迭代回歸算法、L1/2稀疏迭代時(shí)間序列算法均采用基于ADMM 的分布式并行思路實(shí)現(xiàn)。其基本思路如下。

若優(yōu)化問(wèn)題為：

式中，x∈Rd，A∈Rp×d，y∈Rp，λ>0，可將其轉(zhuǎn)換為ADMM 的Consensus 型優(yōu)化問(wèn)題：

其可以直接采用分布式方式進(jìn)行計(jì)算，流程如圖1所示。

圖1 基于ADMM的分布式并行挖掘算法

3 應(yīng)用實(shí)例

基于ADMM 的L1/2 稀疏迭代分布式算法是基于極小化損失函數(shù)與關(guān)于稀疏解L1/2范數(shù)正則項(xiàng)的高效稀疏算法，L1/2 正則化與L2 正則化相比更容易求解，而與L1正則化相比能產(chǎn)生更稀疏的解，說(shuō)明L1/2 正則化具有廣泛且重要的應(yīng)用價(jià)值?；贏DMM 的L1/2稀疏迭代分布式算法具有高效，精確的優(yōu)點(diǎn)。

電力數(shù)據(jù)具有實(shí)時(shí)性、真實(shí)性、覆蓋性等特征，能夠客觀且真實(shí)的反映社會(huì)經(jīng)濟(jì)變革過(guò)程中行業(yè)的發(fā)展現(xiàn)狀及其趨勢(shì)，可助力政府部門實(shí)時(shí)監(jiān)測(cè)行業(yè)動(dòng)態(tài)，準(zhǔn)確把握政策實(shí)施效果。電力行業(yè)中存在著大量的分類場(chǎng)景和回歸場(chǎng)景中，并且數(shù)據(jù)多且雜。

分類場(chǎng)景：在傳統(tǒng)用戶用電行為分析和異常用戶識(shí)別定位過(guò)程中，主要是通過(guò)相關(guān)人員的經(jīng)驗(yàn)、業(yè)務(wù)規(guī)則以及各個(gè)專項(xiàng)模型等方法實(shí)現(xiàn)異常用戶識(shí)別。通常業(yè)務(wù)人員會(huì)結(jié)合相關(guān)業(yè)務(wù)經(jīng)驗(yàn)知識(shí)，搭建多維行業(yè)用戶行為特性特征指標(biāo)體系，建立智能化、自動(dòng)化嫌疑用戶智能識(shí)別模型，用于異常用電用戶快速定位，包括反竊電、臺(tái)區(qū)線損識(shí)別以及企業(yè)信用評(píng)價(jià)等應(yīng)用場(chǎng)景。

回歸場(chǎng)景：業(yè)務(wù)人員基于電力客戶基本信息、長(zhǎng)期的用電記錄、繳費(fèi)情況、繳費(fèi)能力等數(shù)據(jù)，對(duì)各類數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，構(gòu)建售電量預(yù)測(cè)模型。

在上述電力相關(guān)的分類場(chǎng)景和回歸場(chǎng)景中，在建模過(guò)程中運(yùn)用基于ADMM 的L1/2稀疏迭代分布式算法建立相關(guān)模型，能取得好的結(jié)果以及效果。

4 結(jié)束語(yǔ)

在機(jī)器學(xué)習(xí)特定的應(yīng)用中，算法的空間復(fù)雜度和時(shí)間復(fù)雜度，或者說(shuō)算法的效率是和算法的準(zhǔn)確率同樣重要的問(wèn)題。傳統(tǒng)的機(jī)器學(xué)習(xí)算法大多是串行的，在數(shù)據(jù)量、數(shù)據(jù)維度不斷增長(zhǎng)的情況下，單機(jī)的存儲(chǔ)容量和運(yùn)行時(shí)長(zhǎng)都是無(wú)法忍受的。在這種情況下，考慮將算法并行化是一個(gè)非常自然的想法。通過(guò)基于ADMM 并行化方法的研究，對(duì)L1/2稀疏迭代算法進(jìn)行并行化改造。通過(guò)實(shí)驗(yàn)可以發(fā)現(xiàn)基于ADMM 的L1/2稀疏迭代分布式算法的執(zhí)行效率極大提升，特別是在大數(shù)據(jù)量的情況下。基于ADMM 的L1/2稀疏迭代分布式算法可以應(yīng)用于不同的場(chǎng)景中，包括分類以及回歸等業(yè)務(wù)場(chǎng)景中。