劉青松 戴大東 章挺飛 張大龍

摘要：針對(duì)基于生成對(duì)抗網(wǎng)絡(luò)的Q學(xué)習(xí)能耗預(yù)測(cè)算法中，將傳統(tǒng)Q學(xué)習(xí)算法，應(yīng)用于大狀態(tài)空間存在收斂速度慢以及非線(xiàn)性條件下能耗預(yù)測(cè)性能較差的問(wèn)題，提出一種基于生成對(duì)抗網(wǎng)絡(luò)的深度Q學(xué)習(xí)能耗預(yù)測(cè)算法（DeepQ-LearningEnergy Con-sumption Prediction algorithm Based on Generative Adversarial Networks，DGQL）。該算法引入深度神經(jīng)網(wǎng)絡(luò)，通過(guò)構(gòu)建深度Q網(wǎng)絡(luò)作為非線(xiàn)性函數(shù)逼近器去近似表示動(dòng)作值函數(shù)，并利用深度Q網(wǎng)絡(luò)值函數(shù)近似的方法解決傳統(tǒng)Q學(xué)習(xí)算法在大狀態(tài)空間中算法收斂速度慢的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，在引入深度Q網(wǎng)絡(luò)值函數(shù)近似方法后，能耗預(yù)測(cè)的精度顯著提高。

關(guān)鍵詞：深度Q學(xué)習(xí);生成對(duì)抗網(wǎng)絡(luò);建筑能耗;函數(shù)逼近器

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）32-0069-03

1概述

近年來(lái)，由于我國(guó)經(jīng)濟(jì)的飛速發(fā)展，隨之建筑業(yè)也快速發(fā)展，由此建筑高能耗帶來(lái)的問(wèn)題日益凸顯，因此，進(jìn)行以節(jié)能減耗為目標(biāo)的能耗預(yù)測(cè)研究顯得尤為重要。通過(guò)分析能耗預(yù)測(cè)的結(jié)果，能夠有效地提高能耗管理效率，解決建筑高能耗帶來(lái)的問(wèn)題。中國(guó)是能源消耗最大的發(fā)展中國(guó)家，大型公共建筑單位能耗相對(duì)于居住建筑能耗要高出十多倍，所以在不斷發(fā)展經(jīng)濟(jì)的同時(shí)，應(yīng)該通過(guò)低碳轉(zhuǎn)型以及節(jié)能減排等方式，尋求可持續(xù)發(fā)展道路。目前，我國(guó)建筑領(lǐng)域所造成的能源消耗已經(jīng)占到了社會(huì)總能好的三分之一，是節(jié)能減排三大領(lǐng)域能耗占比做高的領(lǐng)域。因此，建筑領(lǐng)域的節(jié)能是實(shí)現(xiàn)節(jié)能減排的關(guān)鍵，而建筑能耗預(yù)測(cè)是實(shí)現(xiàn)建筑節(jié)能的重要前提。

大型公共建筑不斷增加，由此帶來(lái)的建筑能耗也快速增加，相比較工業(yè)領(lǐng)域和交通，建筑領(lǐng)域由于具有占地面積大、內(nèi)部結(jié)構(gòu)復(fù)雜等特點(diǎn)，所以其能源消耗總量更大。2017年方濤濤等人針對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度存在低的問(wèn)題，提出了一種基于BP-Adaboost的能耗預(yù)測(cè)算法，該算法由多個(gè)訓(xùn)練神經(jīng)網(wǎng)絡(luò)所得的弱預(yù)測(cè)器組成，然后集合為強(qiáng)預(yù)測(cè)器，實(shí)驗(yàn)結(jié)果表明該算法預(yù)測(cè)速度快、預(yù)測(cè)精度高。YU z等人將傳統(tǒng)Q學(xué)習(xí)應(yīng)用與預(yù)測(cè)建筑物內(nèi)部極為重要的能源系統(tǒng)，通過(guò)預(yù)測(cè)能源系統(tǒng)的能耗分布，然后在線(xiàn)控制各個(gè)子系統(tǒng)的能耗，從而使得整個(gè)能源系統(tǒng)處于高效、低能耗狀態(tài)。但是，生成對(duì)抗網(wǎng)絡(luò)的Q學(xué)習(xí)在解決能耗預(yù)測(cè)方面還有很多不足之處。

本文針對(duì)基于生成對(duì)抗網(wǎng)絡(luò)的Q學(xué)習(xí)能耗預(yù)測(cè)中，傳統(tǒng)Q學(xué)習(xí)應(yīng)用與大狀態(tài)空間收斂速度慢，且在非線(xiàn)性條件下能耗預(yù)測(cè)性能較差的問(wèn)題，提出一種基于生成對(duì)抗網(wǎng)絡(luò)的深度O學(xué)習(xí)能耗預(yù)測(cè)算法。該算法引入深度神經(jīng)網(wǎng)絡(luò)，構(gòu)建深度Q網(wǎng)絡(luò)作為非線(xiàn)性函數(shù)逼近器去近似表示動(dòng)作值函數(shù)，用值函數(shù)近似的方法解決Q學(xué)習(xí)算法在大狀態(tài)空間中算法性能較差的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，引入深度Q網(wǎng)絡(luò)以及值函數(shù)近似方法后，能耗預(yù)測(cè)的精度顯著提高。

2理論部分

2.1值函數(shù)近似

值函數(shù)近似是最常用、最重要的近似形式之一。由于其函數(shù)構(gòu)造方式簡(jiǎn)單，計(jì)算量小，近年來(lái)，值函數(shù)近似在深度Q學(xué)習(xí)中得到廣泛的應(yīng)用。本文采用值函數(shù)近似來(lái)構(gòu)造動(dòng)作值函數(shù)（Q值函數(shù)）。如式（1）所示：

通過(guò)值函數(shù)近似的方法，可以表示出每個(gè)時(shí)刻的動(dòng)作值函數(shù)，且不需要記錄。通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)動(dòng)作值函數(shù)即可，并通過(guò)反向梯度下降的方法來(lái)更新參數(shù)，從而實(shí)現(xiàn)逼近真實(shí)動(dòng)作值函數(shù)，并且值函數(shù)近似方法針對(duì)未知的狀態(tài)也有比較強(qiáng)的泛化能力。

2.2深度Q網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)最早在20世紀(jì)四十年代被提出，可以實(shí)現(xiàn)一些簡(jiǎn)單邏輯運(yùn)算，直到2015年，Mnih等人將卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)強(qiáng)化學(xué)習(xí)中的Q學(xué)習(xí)結(jié)合，提出了深度Q網(wǎng)絡(luò)（DeepQ-Network，DQN）模型。

DQN模型為全連接層的神經(jīng)網(wǎng)絡(luò)，輸人為若干時(shí)刻的能耗大小，然后經(jīng)過(guò)全連接層的非線(xiàn)性變換，在輸出層輸出的值作為動(dòng)作的動(dòng)作值。通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的參數(shù)，將動(dòng)作值函數(shù)用值函數(shù)近似方法表示，避免傳統(tǒng)Q學(xué)習(xí)算法在大狀態(tài)空間存在收斂速度慢，性能差的問(wèn)題。

2.3生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）是一種生成式模型，目前已經(jīng)成為人工智能學(xué)界一個(gè)熱門(mén)的研究方向。GAN靈感自于博弈論中的二人零和博弈，在GAN模型中，博弈雙方為生成器模型G和判別器模型D。其中生成器G用于學(xué)習(xí)真實(shí)樣本數(shù)據(jù)的分布，生成器G為接收隨機(jī)噪聲z，然后以此生成樣本，目的是生成與真實(shí)樣本分布相同的樣本。

GAN的模型圖如圖1示：生成器模型G與判別器模型D利用可微分函數(shù)表示，各自的輸入分別為隨機(jī)噪聲z和真實(shí)數(shù)據(jù)xo。G（x）表示由生成器模型G生成的盡量服從真實(shí)數(shù)據(jù)分布的樣本。判別器模型D分別對(duì)數(shù)據(jù)來(lái)源進(jìn)行判別，如果判別出輸人的數(shù)據(jù)來(lái)源于真實(shí)數(shù)據(jù)，則給予標(biāo)簽1，如果輸入數(shù)據(jù)來(lái)源于生成器G，給予標(biāo)簽0。通過(guò)學(xué)習(xí)，使得生成器與判別器相互對(duì)抗且迭代優(yōu)化，最終可以認(rèn)為生成器模型G已經(jīng)學(xué)習(xí)到真實(shí)數(shù)據(jù)分布。

該算法具體流程如算法1所示，真實(shí)能耗數(shù)據(jù)儲(chǔ)存于真實(shí)能耗樣本池D1，真實(shí)能耗樣本用于訓(xùn)練GAN，然后GAN生成的能耗樣本儲(chǔ)存于虛擬樣本池D2，兩個(gè)樣本池共同提供樣本給agent用于訓(xùn)練，每次從兩個(gè)樣本池中共抽取mini-match個(gè)樣本，然后采用小批量梯度下降的方法訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，以此逼近真實(shí)動(dòng)作值函數(shù)，尋找最優(yōu)策略，最優(yōu)策略是agent在每個(gè)狀態(tài)采取的最優(yōu)動(dòng)作集合，即能耗預(yù)測(cè)值集合。

算法1基于生成對(duì)抗網(wǎng)絡(luò)的深度Q學(xué)習(xí)能耗預(yù)測(cè)算法

4實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證基于生成對(duì)抗網(wǎng)絡(luò)深度Q學(xué)習(xí)能耗預(yù)測(cè)算法，建筑能耗的實(shí)驗(yàn)數(shù)據(jù)來(lái)自美國(guó)巴爾的摩天燃?xì)馀c電力公司，源數(shù)據(jù)的值域空間為[15，60]，因此，在此能耗預(yù)測(cè)模型中，輸人值與輸出值的值域設(shè)為xiangto哪個(gè)的【15，60】，學(xué)習(xí)率為0.95，mini-batch=32。

圖2為GQL算法與DGQL算法累積獎(jiǎng)賞對(duì)比圖。橫坐標(biāo)表示時(shí)間，縱坐標(biāo)表示不同情節(jié)下的累積獎(jiǎng)賞值。在實(shí)驗(yàn)過(guò)程中，每個(gè)算法都被獨(dú)立執(zhí)行20次，圖中的數(shù)據(jù)即20次實(shí)驗(yàn)的平均值。從圖2中可以看出，兩個(gè)算法最終都能處于收斂狀態(tài)，因此，兩種算法穩(wěn)定性都較好。同時(shí)，GQL算法在65個(gè)情節(jié)處于收斂，而DGQL算法在90個(gè)情節(jié)處于收斂，收斂獎(jiǎng)賞分別為一75與47，這主要是由于DGQL算法需要訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，構(gòu)造非線(xiàn)性函數(shù)逼近器去近似表示動(dòng)作值函數(shù)，訓(xùn)練過(guò)程需要更多的訓(xùn)練時(shí)間，所以收斂更慢，但是DGOL算法通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)逼近動(dòng)作值函數(shù)，可以避免迭代式求解帶來(lái)的計(jì)算代價(jià)。同時(shí)，由于GAN生成經(jīng)驗(yàn)樣本，保證DGQL算法有充足的樣本用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。所以，DGQL算法最終的收斂值比GQL算法更小，真實(shí)能耗值與預(yù)測(cè)能耗值兩者之間的差距更小。綜上所述，DGQL算法的整體性能更好，預(yù)測(cè)準(zhǔn)確率更高。5總結(jié)

本文提出的一種基于生成對(duì)抗網(wǎng)絡(luò)的深度Q學(xué)習(xí)能耗預(yù)測(cè)方法，該算法在傳統(tǒng)Q學(xué)習(xí)的基礎(chǔ)上引人深度Q學(xué)習(xí)，用值函數(shù)近似的方法構(gòu)建非線(xiàn)性函數(shù)逼近器來(lái)近似表示動(dòng)作值函數(shù)，解決Q學(xué)習(xí)在大狀態(tài)空間中算法性能較差、甚至無(wú)法收斂的問(wèn)題，實(shí)驗(yàn)結(jié)果表明，將DGQL算法應(yīng)用于能耗預(yù)測(cè)是有效的，相比較于GQL算法，DGQL算法的能耗預(yù)測(cè)準(zhǔn)確率更高。