韋云凱, 王志宏, 冷甦鵬

(1.電子科技大學(xué) 長(zhǎng)三角研究院(衢州)，浙江 衢州 324000; 2.電子科技大學(xué) 信息與通信工程學(xué)院, 四川 成都 611731)

機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的重要方法，其基本思想是理解和抽象人類智能行為，并在機(jī)器上實(shí)現(xiàn)同樣的智能行為.從學(xué)習(xí)方式的角度劃分，機(jī)器學(xué)習(xí)可以分為兩大類.第一類是從數(shù)據(jù)中學(xué)習(xí)，包括監(jiān)督學(xué)習(xí)(數(shù)據(jù)分類)和無(wú)監(jiān)督學(xué)習(xí)(數(shù)據(jù)聚類)，這兩種學(xué)習(xí)方式在大數(shù)據(jù)分析和數(shù)據(jù)挖掘中獲得了廣泛的應(yīng)用；第二類是從交互中學(xué)習(xí)，即強(qiáng)化學(xué)習(xí).強(qiáng)化學(xué)習(xí)是一種可以在陌生的環(huán)境中進(jìn)行交互式學(xué)習(xí)的方法，其智能體能在完全未知的環(huán)境中學(xué)習(xí)和成長(zhǎng)，從而可以適應(yīng)各種未知的、復(fù)雜的，甚至是不斷變化的應(yīng)用場(chǎng)景，具有巨大的發(fā)展?jié)摿εc廣泛的應(yīng)用前景.

近年來(lái)，學(xué)術(shù)界和工業(yè)界對(duì)強(qiáng)化學(xué)習(xí)研究的興趣與關(guān)注度持續(xù)上升.特別是AlphaGo[1]及其升級(jí)版本Alpha Zero[2-3]在圍棋對(duì)弈中展現(xiàn)了針對(duì)人類圍棋選手的明顯優(yōu)勢(shì)之后，強(qiáng)化學(xué)習(xí)的研究與應(yīng)用開(kāi)始了爆發(fā)式的增長(zhǎng).然而，強(qiáng)化學(xué)習(xí)仍然存在眾多典型的問(wèn)題，例如探索和利用之間的平衡問(wèn)題、面對(duì)復(fù)雜任務(wù)環(huán)境時(shí)的維度災(zāi)難問(wèn)題等等，嚴(yán)重制約了強(qiáng)化學(xué)習(xí)的應(yīng)用范圍與效果.

日益發(fā)展的量子計(jì)算技術(shù)為解決強(qiáng)化學(xué)習(xí)所面臨的問(wèn)題帶來(lái)了曙光.傳統(tǒng)電子計(jì)算機(jī)只能一次處理一個(gè)比特的數(shù)據(jù)，并不能在真正意義上實(shí)現(xiàn)數(shù)據(jù)的并行處理.而量子計(jì)算機(jī)的量子比特存在疊加態(tài)，即量子態(tài)|0和|1的疊加態(tài)，一個(gè)量子比特一次運(yùn)算能同時(shí)處理兩個(gè)比特?cái)?shù)據(jù)，對(duì)于n個(gè)量子比特即可并行處理2n個(gè)比特的數(shù)據(jù).因此，量子計(jì)算機(jī)在儲(chǔ)存能力和數(shù)據(jù)處理能力方面都遠(yuǎn)超經(jīng)典計(jì)算機(jī)，從而可望解決強(qiáng)化學(xué)習(xí)中的平衡和維度災(zāi)難等問(wèn)題.

量子計(jì)算始于Manin[4]和Feynman[5]分別于1980年及1982年的研究，這些研究指出，在某些量子系統(tǒng)演化的計(jì)算問(wèn)題上，傳統(tǒng)計(jì)算機(jī)是無(wú)法比擬的.1999年Shor[6]提出因子分解算法，實(shí)現(xiàn)了因子分解的指數(shù)級(jí)加速.1996年，Grover[7]提出量子搜索算法，實(shí)現(xiàn)了對(duì)無(wú)結(jié)構(gòu)搜索問(wèn)題的二次式加速.2016年，Crosson等[8]提出了量子模擬退火算法，對(duì)量子計(jì)算機(jī)的設(shè)計(jì)產(chǎn)生了顯著影響.當(dāng)前，越來(lái)越多的大型信息技術(shù)公司和研究機(jī)構(gòu)都對(duì)量子計(jì)算展開(kāi)了深入的研究.谷歌公司于2018年展示了其72量子比特計(jì)算機(jī)Bristlecone，并于2019年10月發(fā)表論文，展示了一個(gè)53位量子比特的計(jì)算機(jī)超算能力[9].IBM公司也于2019年9月公布了其對(duì)53位量子計(jì)算機(jī)的研究成果.

量子計(jì)算的發(fā)展使其與強(qiáng)化學(xué)習(xí)的融合成為了可能，研究人員將量子計(jì)算與強(qiáng)化學(xué)習(xí)相結(jié)合，提出了量子強(qiáng)化學(xué)習(xí)技術(shù).在該技術(shù)研究中，一方面研究人員基于量子力學(xué)特性，改進(jìn)強(qiáng)化學(xué)習(xí)算法本身，可開(kāi)發(fā)更加智能高效的量子強(qiáng)化學(xué)習(xí)算法；另一方面，將經(jīng)典環(huán)境量子化，進(jìn)而將智能體同環(huán)境間的交互量子化，設(shè)計(jì)更加高效的量子強(qiáng)化學(xué)習(xí)框架.雖然總體而言，量子強(qiáng)化學(xué)習(xí)當(dāng)前主要停留在理論研究和實(shí)驗(yàn)探索的起步階段，但是，隨著量子計(jì)算機(jī)研究的不斷進(jìn)步，量子計(jì)算以及量子強(qiáng)化學(xué)習(xí)理論的不斷深入，會(huì)有許多結(jié)合量子計(jì)算和強(qiáng)化學(xué)習(xí)理論的新算法被提出，這將極大地促進(jìn)量子強(qiáng)化學(xué)習(xí)的迅速發(fā)展，推動(dòng)人工智能技術(shù)的根本性進(jìn)步.

1 量子計(jì)算與強(qiáng)化學(xué)習(xí)

1.1 量子計(jì)算

量子計(jì)算是一種遵循量子力學(xué)規(guī)律，調(diào)控量子信息單元，進(jìn)行計(jì)算的新型計(jì)算模式.傳統(tǒng)計(jì)算機(jī)的模型是通用圖靈機(jī)，與之相對(duì)應(yīng)，通用量子計(jì)算機(jī)其理論模型是用量子力學(xué)規(guī)律重新詮釋的通用圖靈機(jī).量子力學(xué)態(tài)疊加原理使得量子信息單元的狀態(tài)可以處于多種可能的疊加態(tài)，從而導(dǎo)致量子信息處理在效率上相比于經(jīng)典信息處理具有更大潛力.普通計(jì)算機(jī)中的2位寄存器在某一時(shí)間僅能存儲(chǔ)4個(gè)二進(jìn)制數(shù)(00、01、10、11)中的一個(gè)，而量子計(jì)算機(jī)中的2位量子位(Qubit)寄存器可同時(shí)存儲(chǔ)這四種狀態(tài)的疊加狀態(tài).隨著量子比特?cái)?shù)目的增加，對(duì)于n個(gè)量子比特而言，量子信息可以處于2n種可能狀態(tài)的疊加，配合量子力學(xué)演化的并行性，可以展現(xiàn)比傳統(tǒng)計(jì)算機(jī)更快的處理速度.

本小節(jié)后續(xù)內(nèi)容將首先介紹量子計(jì)算中的一個(gè)基本概念，即量子疊加態(tài)；接著，介紹在量子計(jì)算中執(zhí)行計(jì)算任務(wù)的基本單元——量子門(mén)；對(duì)于獲取量子計(jì)算結(jié)果的方法，介紹基于量子坍縮假設(shè)的測(cè)量；最后，介紹在量子計(jì)算中量子并行性計(jì)算的基本概念.

1.1.1 量子疊加態(tài)

和經(jīng)典比特類似，量子計(jì)算的基礎(chǔ)是量子比特.量子比特的兩種狀態(tài)可用狄拉克符號(hào)|·分別表示為|0和|1，對(duì)應(yīng)于經(jīng)典計(jì)算的比特0和比特1.但是，不同于經(jīng)典計(jì)算的是，一個(gè)qubit可以處于疊加態(tài)

|ψ=α|0+β|1

(1)

其中，α和β是復(fù)數(shù)，且滿足|α|2+|β|2=1.對(duì)于一個(gè)n位qubit而言，由一個(gè)n維希爾伯特空間的復(fù)向量表示：

(2)

1.1.2 量子門(mén)

在經(jīng)典計(jì)算中，邏輯操作是通過(guò)邏輯門(mén)來(lái)完成的，如非門(mén)、與門(mén)和異或門(mén)等.在量子計(jì)算中，計(jì)算任務(wù)通過(guò)量子門(mén)實(shí)現(xiàn)，當(dāng)前量子非門(mén)和量子控制非門(mén)已經(jīng)在量子計(jì)算中實(shí)現(xiàn).所有的n量子門(mén)都對(duì)應(yīng)一個(gè)可逆的n×n酉變換U，且滿足

UU?=U?U=I

(3)

其中，符號(hào)“?”在量子計(jì)算中表示共軛轉(zhuǎn)置.

(4)

1.1.3 測(cè)量

對(duì)量子系統(tǒng)而言，其狀態(tài)處于疊加態(tài)，為了觀測(cè)該系統(tǒng)，需要對(duì)系統(tǒng)進(jìn)行一次測(cè)量.測(cè)量過(guò)程基于量子坍縮假設(shè)，即處于疊加態(tài)的量子系統(tǒng)，在測(cè)量時(shí)以對(duì)應(yīng)的概率不可逆地坍縮到一個(gè)基態(tài).定義一組測(cè)量算子{Mm}，滿足完備性

(5)

其中，m對(duì)應(yīng)于可能得到的測(cè)量結(jié)果，如果用算子Mm對(duì)疊加態(tài)|ψ進(jìn)行測(cè)量，最終得到m的概率為

(6)

測(cè)量后得到的狀態(tài)為

(7)

1.1.4 量子并行性

在量子計(jì)算過(guò)程中，最基礎(chǔ)的操作是作用于量子比特的酉變換，將U作用于處于疊加態(tài)的量子比特上，該變換將作用于該疊加態(tài)的所有基態(tài)上，并輸出一個(gè)新的疊加態(tài).這個(gè)過(guò)程很像輸入一個(gè)x(即疊加態(tài)的一個(gè)基態(tài))，給出結(jié)果f(x)，因此被稱為量子并行性.該特性是量子計(jì)算中最重要的，但是由于量子坍縮假設(shè)，每次測(cè)量只能觀測(cè)到一個(gè)運(yùn)算結(jié)果，這種并行性不能直接運(yùn)用.該過(guò)程可用以下公式描述：

(8)

1.2 強(qiáng)化學(xué)習(xí)

本小節(jié)首先介紹了強(qiáng)化學(xué)習(xí)的基本原理.由于標(biāo)準(zhǔn)的強(qiáng)化學(xué)習(xí)框架是基于馬爾可夫決策過(guò)程的，進(jìn)而介紹了馬爾可夫決策問(wèn)題，并闡述了基于值函數(shù)迭代的馬爾可夫決策問(wèn)題求解方法，以及該方法中存在的問(wèn)題.最后，介紹了利用Q函數(shù)解決馬爾可夫決策問(wèn)題的初步方法.

1.2.1 強(qiáng)化學(xué)習(xí)基本原理

強(qiáng)化學(xué)習(xí)主要用于解決智能體(Agent)同任務(wù)環(huán)境交互來(lái)學(xué)習(xí)最優(yōu)動(dòng)作策略，以最大化累積獎(jiǎng)勵(lì)值的問(wèn)題.其基本原理如圖1所示，在智能體同環(huán)境交互過(guò)程中，如果智能體的某個(gè)動(dòng)作導(dǎo)致環(huán)境反饋正的獎(jiǎng)勵(lì)值，則智能體接下來(lái)產(chǎn)生該動(dòng)作的策略會(huì)加強(qiáng)；反之，產(chǎn)生該動(dòng)作的策略將減弱，以此來(lái)不斷獲得更高的累積獎(jiǎng)勵(lì)值，從而經(jīng)過(guò)迭代獲得最佳策略.

圖1 強(qiáng)化學(xué)習(xí)基本原理

強(qiáng)化學(xué)習(xí)的基本要素有策略(Policy)、獎(jiǎng)勵(lì)(Reward)、值函數(shù)(Value function)和任務(wù)環(huán)境(Environment).由圖1可知，首先智能體感知當(dāng)前狀態(tài)Si，在動(dòng)作空間A中選擇動(dòng)作ai執(zhí)行；接著智能體轉(zhuǎn)移到新的狀態(tài)Si+1，并獲得相應(yīng)的獎(jiǎng)勵(lì)值ri+1，智能體依據(jù)獎(jiǎng)勵(lì)值來(lái)調(diào)整自身策略并針對(duì)新的狀態(tài)做出新的決策.強(qiáng)化學(xué)習(xí)的目標(biāo)是找到一個(gè)最優(yōu)策略π*，使得智能體能在任意狀態(tài)和任意時(shí)間步驟下，都能獲得最大的累積獎(jiǎng)勵(lì)值：

(9)

其中，π表示智能體的某個(gè)策略，γ∈[0,1]為折扣因子，k為未來(lái)時(shí)間步驟，S為某個(gè)狀態(tài)空間.

1.2.2 馬爾可夫鏈決策過(guò)程

標(biāo)準(zhǔn)的強(qiáng)化學(xué)習(xí)方法是基于離散時(shí)間、有限狀態(tài)的馬爾可夫決策過(guò)程.該馬爾可夫過(guò)程包括如下4部分.

(1)有限的狀態(tài)集合S和動(dòng)作集合A，其中，狀態(tài)表示環(huán)境可能處于的狀態(tài)，動(dòng)作表示智能體可執(zhí)行的動(dòng)作；

(2)由狀態(tài)轉(zhuǎn)移矩陣P(s′∈S|s∈S,a∈A)定義的受控馬爾可夫鏈；

(3)實(shí)函數(shù)r:S×A→R，即獎(jiǎng)勵(lì)函數(shù)；

(4)常數(shù)γ∈[0,1)，即折扣因子(Discount factor).

靜態(tài)策略函數(shù)π:S→A，該函數(shù)表示在受控馬爾可夫鏈處于狀態(tài)s時(shí)，可根據(jù)π(s)選擇下一步動(dòng)作，進(jìn)而狀態(tài)轉(zhuǎn)移矩陣可表示為P(s′|s,π(s)).馬爾可夫決策問(wèn)題的目標(biāo)為獲得最優(yōu)策略：

π*=argmaxπV(π,s)

(10)

其中，

(11)

1.2.3 值函數(shù)迭代

值函數(shù)可以以迭代的方式表示為

(12)

進(jìn)而獲得貝爾曼方程：

(13)

該方程即為強(qiáng)化學(xué)習(xí)過(guò)程中的目標(biāo).使用貝爾曼方程(13)進(jìn)行值函數(shù)計(jì)算的方法，稱為值函數(shù)迭代.但是，隨著狀態(tài)空間S和動(dòng)作空間A的維度增大，強(qiáng)化學(xué)習(xí)就會(huì)出現(xiàn)維度災(zāi)難問(wèn)題.同時(shí)，值函數(shù)迭代方法需要狀態(tài)轉(zhuǎn)移矩陣和獎(jiǎng)勵(lì)函數(shù)的全部信息，否則是無(wú)法獲得最優(yōu)值V*的.

1.2.4 Q函數(shù)

Q函數(shù)即“動(dòng)作-值”(Action-value)函數(shù)，定義：在馬爾可夫鏈中(對(duì)于靜態(tài)的策略π)，從(s,a)到期望的獎(jiǎng)勵(lì)值的映射，且s和a分別為初始的狀態(tài)和動(dòng)作.

(14)

從而，易得

V(π*,s)=maxaQ(ππ,s,a)

(15)

同時(shí)，因?yàn)镼*(s,a)=maxπQ(π,s,a)=Q(π*,s,a)，可將馬爾可夫鏈的最優(yōu)策略表示為

π*(s)=argmaxaQ*(s,a)

(16)

即通過(guò)計(jì)算Q*(s,a)就可以解決馬爾可夫鏈決策問(wèn)題.對(duì)于Q*(s,a)的貝爾曼方程可表示為

Q*(s,a)=E[r(s,a)]+

(17)

即依靠式(17)對(duì)Q*(s,a)進(jìn)行數(shù)值估計(jì)，即可得到最優(yōu)策略.

2 量子強(qiáng)化學(xué)習(xí)

量子計(jì)算與強(qiáng)化學(xué)習(xí)的融合催生了量子強(qiáng)化學(xué)習(xí)技術(shù).當(dāng)前，量子強(qiáng)化學(xué)習(xí)技術(shù)的研究主要分為兩大類：第一類是利用量子特性對(duì)傳統(tǒng)強(qiáng)化學(xué)習(xí)算法機(jī)制和學(xué)習(xí)效率進(jìn)行改進(jìn)，第二類是設(shè)計(jì)量子式的智能體同量子化環(huán)境的交互方式，進(jìn)而給出新的量子強(qiáng)化學(xué)習(xí)框架.本節(jié)將重點(diǎn)介紹量子強(qiáng)化學(xué)習(xí)的研究進(jìn)展與基本機(jī)制.

2.1 量子強(qiáng)化學(xué)習(xí)研究現(xiàn)狀

如前所述，量子強(qiáng)化學(xué)習(xí)技術(shù)的研究分為兩大類.針對(duì)第一類利用量子算法提高強(qiáng)化學(xué)習(xí)效率的研究，2008年Dong等[10]發(fā)現(xiàn)，結(jié)合量子算法特性可對(duì)傳統(tǒng)強(qiáng)化學(xué)習(xí)算法表現(xiàn)進(jìn)行改進(jìn)，并由此提出了結(jié)合量子坍縮和Grover算法的新強(qiáng)化學(xué)習(xí)算法.2012年，Briegel等[11]提出投影模擬(Projective simulation)強(qiáng)化學(xué)習(xí)模型，并給出了其量子版本；2014年，Paparo等[12]給出了基于rPS投影模擬模型，利用其量子漫步實(shí)現(xiàn)二次加速的方案；2015年，Dunjko等[13]給出了rPS投影模擬模型的靈活模塊化設(shè)計(jì)架構(gòu)及其量子化方法.Crawford等[14]于2019年提出了基于量子玻爾茲曼機(jī)的強(qiáng)化學(xué)習(xí)方法，來(lái)實(shí)現(xiàn)對(duì)強(qiáng)化學(xué)習(xí)算法的加速.

第二類研究主要是給出了量子化的交互方式以及經(jīng)典環(huán)境量子化理論，設(shè)計(jì)新的量子強(qiáng)化學(xué)習(xí)框架，以對(duì)強(qiáng)化學(xué)習(xí)效率進(jìn)行改進(jìn).該方向主要研究智能體在量子環(huán)境中進(jìn)行交互式學(xué)習(xí)的模式、經(jīng)典環(huán)境量子化方法，以及基于量子式交互框架對(duì)學(xué)習(xí)效率的二次式和指數(shù)級(jí)加速.Dunjko等[15]給出了智能體在量子化環(huán)境進(jìn)行交互的理論框架，及其對(duì)學(xué)習(xí)效率二次式加速[16]和元學(xué)習(xí)方法進(jìn)行二次式加速[17]的強(qiáng)化學(xué)習(xí)方法，同時(shí)，在后續(xù)研究中給出了對(duì)量子強(qiáng)化學(xué)習(xí)方法的學(xué)習(xí)效率進(jìn)行指數(shù)級(jí)加速的理論研究結(jié)果[18]，并進(jìn)一步給出變長(zhǎng)周期性環(huán)境的量子化方法[19].受限于量子計(jì)算機(jī)的發(fā)展，這類研究?jī)H僅提出理論上的量子強(qiáng)化學(xué)習(xí)框架，還沒(méi)有在真正的量子計(jì)算環(huán)境下進(jìn)行實(shí)驗(yàn)驗(yàn)證.

2.2 量子強(qiáng)化學(xué)習(xí)基本機(jī)制

量子強(qiáng)化學(xué)習(xí)基本機(jī)制如圖2所示，量子強(qiáng)化學(xué)習(xí)同樣是基于交互的學(xué)習(xí)過(guò)程，其交互過(guò)程可以分為經(jīng)典交互方式和量子化交互方式.經(jīng)典交互方式主要包括經(jīng)典任務(wù)環(huán)境同量子化智能體的交互，以及經(jīng)典智能體和量子化任務(wù)環(huán)境的交互過(guò)程，目前的研究只涉及前者.量子化交互方式即量子化智能體同量子化任務(wù)環(huán)境的交互過(guò)程.

圖2 量子強(qiáng)化學(xué)習(xí)基本機(jī)制

量子強(qiáng)化學(xué)習(xí)中對(duì)于交互過(guò)程，采用了動(dòng)作空間和感知空間進(jìn)行描述.同傳統(tǒng)強(qiáng)化學(xué)習(xí)相比，量子強(qiáng)化學(xué)習(xí)采用特征狀態(tài)(Eigen states)和特征動(dòng)作(Eigen actions)分別進(jìn)行描述，但是量子強(qiáng)化學(xué)習(xí)的任意狀態(tài)和動(dòng)作可處于多種特征動(dòng)作和特征狀態(tài)構(gòu)成的相應(yīng)疊加態(tài)下.下面分別對(duì)量子強(qiáng)化學(xué)習(xí)中感知空間和動(dòng)作空間，以及特征狀態(tài)和特征動(dòng)作進(jìn)行介紹.

2.2.1 感知空間和動(dòng)作空間

在量子強(qiáng)化學(xué)習(xí)中，智能體和環(huán)境的交互主要為環(huán)境反饋感知(Percepts)和智能體可執(zhí)行的動(dòng)作，其中，感知包括環(huán)境獎(jiǎng)勵(lì)和環(huán)境的其他信息.感知s被表示為希爾伯特空間的正交狀態(tài)基|s，感知空間即希爾伯特空間：

S=span{|s|s∈S}

(18)

其中，S表示感知集合.同樣，動(dòng)作空間可以表示為

A=span{|a|a∈A}

(19)

其中，A表示動(dòng)作集合.同時(shí)，有a|a′=δa,a′，δ表示克羅內(nèi)克函數(shù).從而歷史狀態(tài)(Histories)的希爾伯特空間可以表示為A?S?A….

2.2.2 特征狀態(tài)和特征動(dòng)作

在量子強(qiáng)化學(xué)習(xí)方法中，傳統(tǒng)的狀態(tài)和動(dòng)作定義分別為特征狀態(tài)|s和特征動(dòng)作|a.而根據(jù)量子疊加原理，任意的狀態(tài)可以表示為

(20)

同時(shí)，任意狀態(tài)可表示為

(21)

其中，

(22)

而這種任意的狀態(tài)和動(dòng)作在經(jīng)典算法中沒(méi)有明確的意義，但是對(duì)于量子系統(tǒng)是確實(shí)存在的.|αn|2(或|βn|2)表示對(duì)應(yīng)特征狀態(tài)|sn(特征動(dòng)作|an)的概率.Ns和Na分別表示特征狀態(tài)和特征動(dòng)作的數(shù)量，所需表示該量子強(qiáng)化學(xué)習(xí)系統(tǒng)的量子比特?cái)?shù)目滿足：Ns≤2m≤2Ns,Na≤2n≤2Na，即使用m和n位量子比特分別來(lái)表示特征狀態(tài)集合S={|si}和特征動(dòng)作集合A={|aj}.因此，存在以下關(guān)系：

(23)

(24)

即在量子強(qiáng)化學(xué)習(xí)系統(tǒng)中，動(dòng)作(狀態(tài))可以處于特征動(dòng)作(特征狀態(tài))的疊加態(tài)，概率幅Cs和Ca是復(fù)數(shù)，且滿足

(25)

3 經(jīng)典環(huán)境基于量子特性的強(qiáng)化學(xué)習(xí)

量子化智能體同經(jīng)典任務(wù)環(huán)境的交互過(guò)程中，主要依靠量子計(jì)算特性對(duì)量子化智能體的計(jì)算復(fù)雜度進(jìn)行改進(jìn)，以加快其學(xué)習(xí)過(guò)程.這方面的研究主要包括基于量子算法對(duì)強(qiáng)化學(xué)習(xí)動(dòng)作策略更新方式的改進(jìn)[10]，采用量子隨機(jī)漫步算法對(duì)投影仿真模型的量子化[11-13]和基于量子玻爾茲曼機(jī)方法對(duì)Q-Learning方法的改進(jìn)[14].下面將分別進(jìn)行介紹，并對(duì)量子強(qiáng)化學(xué)習(xí)的仿真結(jié)果進(jìn)行對(duì)比分析.

3.1 基于量子算法對(duì)強(qiáng)化學(xué)習(xí)動(dòng)作策略的改進(jìn)

在強(qiáng)化學(xué)習(xí)算法中，探索與利用之間的平衡問(wèn)題一直是動(dòng)作選擇策略中的核心問(wèn)題.當(dāng)前廣泛應(yīng)用的動(dòng)作選擇策略ε-greedy[20]和Softmax[21]，在一定程度上解決了探索和利用之間的平衡問(wèn)題，但其面對(duì)變化的復(fù)雜任務(wù)環(huán)境仍有很大局限性.

Dong等[10]于2008年提出的量子強(qiáng)化學(xué)習(xí)算法，主要是對(duì)動(dòng)作選擇更新策略做出了改進(jìn)，使用該方法可以加速動(dòng)作選擇策略更新過(guò)程，且更好地平衡探索和利用.該算法對(duì)動(dòng)作選擇策略更新的加速以及優(yōu)化，得益于量子坍縮的特性和量子并行性，這是由量子力學(xué)的性質(zhì)所決定的.量子計(jì)算中，使用希爾伯特空間中的向量來(lái)描述物理系統(tǒng)，希爾伯特空間本身具有完備性，且其向量滿足疊加性原理，則對(duì)希爾伯特空間中的向量進(jìn)行操作，即對(duì)于多個(gè)態(tài)實(shí)行并行性操作.對(duì)于一個(gè)處于疊加態(tài)的量子系統(tǒng)，對(duì)其進(jìn)行一次測(cè)量，該系統(tǒng)就會(huì)不可逆地以相應(yīng)的概率坍縮到一個(gè)確定的狀態(tài)上.該量子強(qiáng)化學(xué)習(xí)算法中，動(dòng)作選擇使用量子坍縮原理，動(dòng)作選擇策略可表示為π:S→A，即有

(26)

根據(jù)量子坍縮原理，對(duì)動(dòng)作空間進(jìn)行一次觀測(cè)，即可以概率|Ca|2得到相應(yīng)的特征動(dòng)作|an.

動(dòng)作選擇策略更新的核心是Grover iteration,即和Grover Search算法[7]使用相同的核心算法.首先，用nHadamard門(mén)準(zhǔn)備等權(quán)重特征動(dòng)作的疊加態(tài)：

(27)

其次，酉變換可表示為

(28)

其中，

Ua=I-2|aa|

以該酉變換對(duì)相應(yīng)的動(dòng)作執(zhí)行操作，可增大該動(dòng)作在策略選擇中的概率幅.對(duì)于每次交互選定的動(dòng)作|a，執(zhí)行L次策略更新，其中

(29)

更新后可得到

cos[(2L+1)θ]|a⊥

(30)

即通過(guò)Grover iteration，動(dòng)作|a對(duì)應(yīng)的概率從1/2n升高為sin2[(2L+1)θ]，該算法流程如算法1所示.

算法1 量子強(qiáng)化學(xué)習(xí)算法

REPEAT (for each episode)

FOR all |sin |s(m)DO

1. 觀測(cè)|a(n)，得到動(dòng)作|a

2. 執(zhí)行|a，得到狀態(tài)|s′和獎(jiǎng)勵(lì)r

a) 更新?tīng)顟B(tài)值V(s)

b) 更新概率幅

執(zhí)行L次幅值放大

END FOR

UNTIL |ΔV(s)|≤ε

該量子強(qiáng)化學(xué)習(xí)算法主要依靠Grover算法的核心思想——量子幅值放大，并結(jié)合量子坍縮原理來(lái)構(gòu)造量子強(qiáng)化學(xué)習(xí)的動(dòng)作策略.相比于傳統(tǒng)強(qiáng)化學(xué)習(xí)算法，在該量子強(qiáng)化學(xué)習(xí)算法中不是智能體主動(dòng)地進(jìn)行動(dòng)作選擇，而是利用量子坍縮假設(shè)，進(jìn)而本質(zhì)上以一種概率的形式實(shí)現(xiàn)了探索與利用之間的平衡，并利用Grover iteration對(duì)策略更新進(jìn)行了加速優(yōu)化.但是，該算法在Q函數(shù)值更新方面并未結(jié)合量子計(jì)算特性，依然采用傳統(tǒng)更新方法，對(duì)于大規(guī)模的狀態(tài)空間收斂效果會(huì)變差.但是這種基于量子疊加態(tài)和量子坍縮原理的動(dòng)作策略，對(duì)于解決強(qiáng)化學(xué)習(xí)探索和平衡問(wèn)題給出了很好的借鑒意義.

3.2 投影仿真模型量子化

最早的量子強(qiáng)化學(xué)習(xí)方法之一是Briegel等[11]于2012年基于物理學(xué)角度提出的投影模擬(Projective Simulation，PS)方法.PS模型給出了靈活的主動(dòng)學(xué)習(xí)智能體框架，并且提供了自然的量子化方法.以下主要對(duì)投影仿真模型及其量子化方法進(jìn)行概述.

3.2.1 投影仿真模型

PS基礎(chǔ)模型假設(shè)時(shí)間和感知空間都是離散的，其核心概念為智能體的記憶——經(jīng)驗(yàn)組合記憶(Episodic and Compositional Memory, ECM).ECM為經(jīng)驗(yàn)組成的網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)稱為clips或者episodes.每個(gè)clip標(biāo)記為ci，且ci∈S∪，S表示感知空間，表示動(dòng)作空間.ECM的一種可能結(jié)構(gòu)如圖3所示，該結(jié)構(gòu)以環(huán)境反饋的感知s為開(kāi)始，執(zhí)行多次隨機(jī)漫步(Random walks)，每次隨機(jī)漫步都會(huì)給出一個(gè)可能的動(dòng)作ai，該動(dòng)作不在真實(shí)的環(huán)境中執(zhí)行.只有在給定的思考時(shí)間(Reflecting time)之內(nèi)，評(píng)估局部最優(yōu)的動(dòng)作a才會(huì)在真實(shí)環(huán)境中執(zhí)行，進(jìn)而以執(zhí)行結(jié)果(環(huán)境反饋)更新網(wǎng)絡(luò)結(jié)構(gòu).

圖3 經(jīng)驗(yàn)組合記憶網(wǎng)絡(luò)結(jié)構(gòu)

Briegel等[11]同時(shí)提出了基于在PS網(wǎng)絡(luò)上進(jìn)行量子漫步(Quantum walks)的量子化改進(jìn)方法.該方法主要利用Liouvillean dynamics(量子密度算子的主要方程)來(lái)代表PS模型的思考(即在ECM網(wǎng)絡(luò)上進(jìn)行隨機(jī)漫步)過(guò)程.該量子化方法在思考時(shí)間和智能體內(nèi)部可實(shí)現(xiàn)的策略空間上提出了可能的提升.

3.2.2 投影仿真模型量子化

另一種對(duì)PS模型進(jìn)行量子化改進(jìn)的方式由Paparo等于2014年提出[12].作者主要在離散時(shí)間進(jìn)行量子漫步的框架下，基于rPS智能體模型給出了對(duì)思考時(shí)間的二次式加速.該方法的核心思想為：對(duì)于一個(gè)給定的狀態(tài)轉(zhuǎn)移矩陣P，給出一個(gè)量子漫步對(duì)應(yīng)的酉變換算子UP，且該算子的光譜特性和狀態(tài)轉(zhuǎn)移矩陣P本身相關(guān).

UP|π=|π

(31)

3.3 基于玻爾茲曼機(jī)的強(qiáng)化學(xué)習(xí)方法

Crawford等[14]于2019年基于深度玻爾茲曼機(jī)(Deep Boltzmann machine)，并結(jié)合量子模擬退火算法訓(xùn)練量子強(qiáng)化學(xué)習(xí)，來(lái)實(shí)現(xiàn)可能的強(qiáng)化學(xué)習(xí)加速.該方法的核心是利用玻爾茲曼機(jī)的負(fù)自由能(Negative free energy)來(lái)近似Q-learning的Q-function：

Q(s,a)≈-F(s,a)=-F(s,a;θ),?(s,a)∈S×A

(32)

同時(shí)，利用量子玻爾茲曼機(jī)的平衡自由能對(duì)F(si,ai)近似.該量子強(qiáng)化學(xué)習(xí)算法，主要對(duì)計(jì)算復(fù)雜度較高的Q函數(shù)計(jì)算更新以及策略更新進(jìn)行改進(jìn)，相對(duì)于傳統(tǒng)的Q-learning算法而言，其加速效果主要源于該部分.由于技術(shù)限制，該方法并未提出切實(shí)可行的物理實(shí)驗(yàn)方案，但是仍然給后續(xù)研究提供了非常好的借鑒意義.

3.4 對(duì)量子強(qiáng)化學(xué)習(xí)算法的仿真分析

迷宮問(wèn)題是強(qiáng)化學(xué)習(xí)方法開(kāi)發(fā)和測(cè)試的典型問(wèn)題，在基于量子算法對(duì)強(qiáng)化學(xué)習(xí)動(dòng)作策略改進(jìn)[10]和基于量子玻爾茲曼機(jī)的強(qiáng)化學(xué)習(xí)方法[14]中都分別給出了采用量子強(qiáng)化學(xué)習(xí)算法解決迷宮問(wèn)題的仿真結(jié)果，如表1所示.從結(jié)果分析可知：①采用經(jīng)典計(jì)算機(jī)模擬的量子強(qiáng)化學(xué)習(xí)算法性能，已經(jīng)在一定程度上優(yōu)于傳統(tǒng)強(qiáng)化學(xué)習(xí)算法，即可從量子算法中獲得啟發(fā)對(duì)傳統(tǒng)強(qiáng)化學(xué)習(xí)算法進(jìn)行改進(jìn)；②量子算法對(duì)強(qiáng)化學(xué)習(xí)動(dòng)作策略改進(jìn)中，量子特性為強(qiáng)化學(xué)習(xí)中探索和利用的平衡問(wèn)題給出了良好的解決方案，但是對(duì)迷宮狀態(tài)規(guī)模對(duì)算法性能的影響并沒(méi)有給出詳細(xì)研究對(duì)比；③量子玻爾茲曼機(jī)為強(qiáng)化學(xué)習(xí)算法提供了可能的加速，且在規(guī)模增大時(shí)算法收斂性良好，但是對(duì)于迷宮規(guī)模增大時(shí)的對(duì)比實(shí)驗(yàn)，只給出了基于受限玻爾茲曼機(jī)的強(qiáng)化學(xué)習(xí)和基于深度玻爾茲曼機(jī)強(qiáng)化學(xué)習(xí)的對(duì)比結(jié)果，對(duì)基于量子玻爾茲曼機(jī)的強(qiáng)化學(xué)習(xí)并未給出詳細(xì)的實(shí)驗(yàn)對(duì)比結(jié)果.

表1 量子強(qiáng)化學(xué)習(xí)仿真實(shí)驗(yàn)對(duì)比分析

4 量子環(huán)境下的強(qiáng)化學(xué)習(xí)

量子環(huán)境下的強(qiáng)化學(xué)習(xí)，即將任務(wù)環(huán)境量子化，讓智能體在量子化的環(huán)境中學(xué)習(xí)，利用量子式交互提高其學(xué)習(xí)效率.Dunjko等[15]最早在2015年，提出了智能體在量子化的環(huán)境中學(xué)習(xí)的框架，并且詳細(xì)討論了該框架在經(jīng)典環(huán)境中如何應(yīng)用.其后的研究主要是三個(gè)方面：①討論了經(jīng)典環(huán)境量子化的可行性，并且給出了對(duì)學(xué)習(xí)效率進(jìn)行二次式加速的可行性[16]；②進(jìn)一步討論了經(jīng)典強(qiáng)化學(xué)習(xí)環(huán)境較為一般的量子化方法，以及基于此進(jìn)行學(xué)習(xí)效率提升的可行性；③主要討論了在量子環(huán)境中，通過(guò)將智能體和環(huán)境的交互量子化，來(lái)進(jìn)行量子版本的元強(qiáng)化學(xué)習(xí)[17]；最后，將馬爾可夫決策過(guò)程和Simon’s Problem相結(jié)合，給出了對(duì)量子環(huán)境中智能體學(xué)習(xí)效率進(jìn)行指數(shù)級(jí)加速的可行性[18].

4.1 智能體同量子環(huán)境交互框架

Dunjko等[15]在2015年提出智能體在量子環(huán)境下的交互框架，并討論了任務(wù)環(huán)境量子化方法，進(jìn)而研究了對(duì)強(qiáng)化學(xué)習(xí)效率進(jìn)行二次式加速的可能性.該框架的核心是構(gòu)建和經(jīng)典環(huán)境交互等價(jià)的量子式交互.量子化的智能體和量子化的任務(wù)環(huán)境系統(tǒng)各自對(duì)應(yīng)一個(gè)希爾伯特空間，即動(dòng)作空間A和感知空間S.智能體和環(huán)境作用于一個(gè)公共的通信寄存器RC上，該通信寄存器可表示任意的動(dòng)作和感知序列.進(jìn)而，智能體(或環(huán)境)可以描述一個(gè)輪流作用在通信寄存器RC上的映射序列({A}{E})，且擁有私有的寄存器RA(RE)構(gòu)成其內(nèi)部存儲(chǔ)，如圖4所示.

圖4 量子化交互框架

(33)

基于此量子化的交互框架，Dunjko等[16]進(jìn)一步給出了結(jié)合Grover Search算法的任務(wù)環(huán)境量子化方法，并結(jié)合該方法提出了對(duì)學(xué)習(xí)效率進(jìn)行二次式加速的可能性.對(duì)于一個(gè)嚴(yán)格周期性、單一獎(jiǎng)勵(lì)的環(huán)境(即該環(huán)境只在任務(wù)完成時(shí)給出一個(gè)獎(jiǎng)勵(lì))，該環(huán)境可以量子化為一個(gè)相翻轉(zhuǎn)數(shù)據(jù)庫(kù)(Phase-flip oracle)：

(34)

圖5 量子化智能體和傳統(tǒng)智能體訓(xùn)練對(duì)比

該框架給出了量子化智能體同量子化環(huán)境交互的可行方案，同時(shí)從理論上討論了對(duì)基于模型的強(qiáng)化學(xué)習(xí)過(guò)程進(jìn)行二次式加速.但是討論的任務(wù)環(huán)境很簡(jiǎn)單，僅僅在一些簡(jiǎn)單的棋類游戲上適用，對(duì)于更復(fù)雜的不確定性環(huán)境沒(méi)有給出可行的量子化方案.并且該框架僅限于理論，沒(méi)有提出可行的物理實(shí)驗(yàn)方案.

4.2 經(jīng)典環(huán)境量子化方法

(35)

進(jìn)而結(jié)合量子搜索算法Grover Search分析了結(jié)合該環(huán)境實(shí)現(xiàn)量子強(qiáng)化學(xué)習(xí)效率二次式提高的可行性.

將經(jīng)典環(huán)境進(jìn)行量子化，對(duì)于進(jìn)行量子化的交互是很重要的環(huán)節(jié).一般性的任務(wù)環(huán)境量子化方案研究將成為量子強(qiáng)化學(xué)習(xí)技術(shù)中很重要的一個(gè)研究方向.

4.3 量子元學(xué)習(xí)

對(duì)于交互式學(xué)習(xí)而言，其學(xué)習(xí)效率不僅僅取決于與環(huán)境的交互效率，智能體本身的參數(shù)也會(huì)對(duì)學(xué)習(xí)效率產(chǎn)生很大影響，如ε-greedy中平衡探索和利用的參數(shù)ε，對(duì)于不同的環(huán)境，其值也應(yīng)該有相應(yīng)的調(diào)整.在實(shí)際應(yīng)用中，這些參數(shù)是用戶手動(dòng)調(diào)整的.而該過(guò)程是可以自動(dòng)化的，即智能體可以根據(jù)環(huán)境的變化動(dòng)態(tài)調(diào)整自己的參數(shù)，稱為元強(qiáng)化學(xué)習(xí).Dunjko等[17]于2017年給出了元強(qiáng)化學(xué)習(xí)的量子版本，即量子元學(xué)習(xí).量子元學(xué)習(xí)的核心在于將智能體同任務(wù)環(huán)境的交互過(guò)程視為一個(gè)系統(tǒng)，進(jìn)而利用量子離散優(yōu)化技術(shù)[23]找到該系統(tǒng)的最優(yōu)狀態(tài)，實(shí)現(xiàn)量子元學(xué)習(xí)的過(guò)程.結(jié)合元學(xué)習(xí)，對(duì)于確定性任務(wù)環(huán)境而言，其量子化交互系統(tǒng)的狀態(tài)可以表示為

|p.M.A.=

|km.m.p|eval(k)|memAm.m.p|aC|stateE

(36)

其中，|km.m.p表示學(xué)習(xí)模型的原參數(shù)，|memAm.m.p表示智能體的儲(chǔ)存，|aC表示當(dāng)前的智能體動(dòng)作，|stateE表示環(huán)境的純態(tài)，eval(k)用來(lái)衡量當(dāng)前環(huán)境下參數(shù)k的表現(xiàn).利用量子離散優(yōu)化問(wèn)題，讓元參數(shù)|km.m.p初始化為等幅值的疊加態(tài)，有

(37)

下面進(jìn)行類似于Grover算法的過(guò)程，對(duì)該學(xué)習(xí)過(guò)程進(jìn)行二次式加速.該過(guò)程將給出最優(yōu)的eval(k)值，即可以找到在當(dāng)前環(huán)境下最優(yōu)的模型參數(shù)k的具體值，進(jìn)而利用該參數(shù)下智能體同環(huán)境的交互歷史對(duì)智能體進(jìn)行預(yù)訓(xùn)練過(guò)程，從而提高智能體的學(xué)習(xí)效率.

該方法在理論上給出了量子版本的元強(qiáng)化學(xué)習(xí)可行性，同經(jīng)典環(huán)境下利用梯度下降進(jìn)行元學(xué)習(xí)對(duì)比而言，獲得了很好的加速效果.但僅僅是對(duì)于確定性環(huán)境給出了詳細(xì)的論證，不確定性環(huán)境的量子化還需進(jìn)一步討論，且該方法并無(wú)可行的物理方案提出.

4.4 基于量子環(huán)境的學(xué)習(xí)效率指數(shù)級(jí)加速

在智能體同量子交互的強(qiáng)化學(xué)習(xí)框架內(nèi)，Dunjko等[18]于2018年提出了量子化智能體可對(duì)學(xué)習(xí)效率實(shí)現(xiàn)指數(shù)級(jí)提高的量子強(qiáng)化學(xué)習(xí)方法，遠(yuǎn)遠(yuǎn)超過(guò)了之前的二次式加速結(jié)果.該量子強(qiáng)化學(xué)習(xí)方法，主要借助于將任務(wù)環(huán)境量子化為更特殊的無(wú)結(jié)構(gòu)數(shù)據(jù)庫(kù)搜索問(wèn)題——Simon’s Problem[24]，以實(shí)現(xiàn)對(duì)量子化智能體學(xué)習(xí)效率的指數(shù)級(jí)提高.

在該量子強(qiáng)化學(xué)習(xí)方法中，通過(guò)將馬爾可夫過(guò)程和Simon’s Problem結(jié)合，對(duì)馬爾可夫過(guò)程量子化.該馬爾可夫量子化過(guò)程可表示為

fs:X→Y

(38)

圖6 結(jié)合Simon’s Problem的馬爾可夫決策過(guò)程

方框外的部分表示隨機(jī)跳躍動(dòng)作rg的馬爾可夫決策過(guò)程，即確定性環(huán)境，智能體在每一步有兩個(gè)動(dòng)作，即{0,1}.動(dòng)作序列形成了一個(gè)深度為n-1的樹(shù)，最后一次動(dòng)作會(huì)引起零層狀態(tài)的轉(zhuǎn)移，即進(jìn)行一次查詢動(dòng)作，進(jìn)而得到相應(yīng)的結(jié)果.每一條這樣的路徑構(gòu)成一個(gè)猜測(cè)guessx，如果為s，則該路徑會(huì)得到一個(gè)獎(jiǎng)勵(lì)(路徑在圖中以紅色虛線和粉色的線標(biāo)出).如圖6所示，方框內(nèi)畫(huà)出了加入隨機(jī)跳躍rg的情況，即在受獎(jiǎng)勵(lì)的路徑中，從零層狀態(tài)隨機(jī)跳躍到該路徑的任意狀態(tài)繼續(xù)進(jìn)行訓(xùn)練的過(guò)程.

對(duì)結(jié)合Simon’s Problem進(jìn)行量子化馬爾可夫決策過(guò)程的利用，智能體可實(shí)現(xiàn)進(jìn)行一次查詢的交互步驟為O(m)，按照西蒙算法，可在O(m2)的復(fù)雜度下以較高概率找到s，即找到一個(gè)受獎(jiǎng)勵(lì)路徑，結(jié)合前文中量子化智能體同量子化環(huán)境進(jìn)行交互的框架實(shí)現(xiàn)對(duì)智能體的預(yù)訓(xùn)練.而在經(jīng)典計(jì)算方法下，解決一個(gè)交互周期為m的任務(wù)環(huán)境，Simon’s Problem需要的復(fù)雜度為O(2m)，對(duì)于復(fù)雜的環(huán)境而言，現(xiàn)有的經(jīng)典計(jì)算資源是無(wú)法實(shí)現(xiàn)的，結(jié)合量子化可以指數(shù)級(jí)地提高量子強(qiáng)化學(xué)習(xí)的學(xué)習(xí)效率.

5 應(yīng)用展望

以上部分對(duì)近年來(lái)量子強(qiáng)化學(xué)習(xí)方法研究進(jìn)行了概述，這些研究顯示了量子計(jì)算對(duì)強(qiáng)化學(xué)習(xí)多方面的優(yōu)化，包括策略更新方法、值函數(shù)估計(jì)、學(xué)習(xí)效率優(yōu)化等等.隨著該領(lǐng)域研究的不斷深入，將對(duì)包括物聯(lián)網(wǎng)、智能控制、智慧城市、產(chǎn)業(yè)升級(jí)等眾多領(lǐng)域產(chǎn)生重大影響，促進(jìn)智能時(shí)代的到來(lái).

5.1 物聯(lián)網(wǎng)

一方面，物聯(lián)網(wǎng)發(fā)展速度很快，但是在安全和隱私、計(jì)算資源分配、能源分配等方面的問(wèn)題還需要更優(yōu)的解決方案；另一方面，在智能交互的物聯(lián)網(wǎng)設(shè)計(jì)中，傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法對(duì)大規(guī)模的數(shù)據(jù)處理和復(fù)雜環(huán)境的快速適應(yīng)方面，還面臨著環(huán)境不完全感知、學(xué)習(xí)效率極低、計(jì)算資源不足等問(wèn)題.量子計(jì)算和量子強(qiáng)化學(xué)習(xí)的結(jié)合發(fā)展，將在這些方面產(chǎn)生重大影響，帶來(lái)強(qiáng)大的傳感器網(wǎng)絡(luò)、高效的大規(guī)模數(shù)據(jù)處理能力以及極低延遲的實(shí)時(shí)智能交互.

5.1.1 強(qiáng)大的傳感器網(wǎng)絡(luò)和高效的數(shù)據(jù)處理能力

在未來(lái)物聯(lián)網(wǎng)中，傳感網(wǎng)絡(luò)的感知能力能否全面、準(zhǔn)確、無(wú)感地收集環(huán)境信息是十分重要的，這對(duì)傳感器的微型化、低功耗、高性能等方面提出了新的挑戰(zhàn).在量子技術(shù)中，量子點(diǎn)技術(shù)的進(jìn)展針對(duì)該問(wèn)題給出了新的解決方案.量子點(diǎn)一個(gè)很重要的特性是，可以在很寬的波長(zhǎng)范圍內(nèi)被激發(fā)，并且發(fā)射較短的光譜.2003年，Walker等[25]基于量子點(diǎn)的特性實(shí)現(xiàn)了量子點(diǎn)光學(xué)溫度探頭.2011年，Zora等[26]在研究中說(shuō)明量子點(diǎn)非常適用于基于能量傳遞的新型化學(xué)傳感器.該方法給出了可能的基于量子點(diǎn)傳感器系統(tǒng)的通用設(shè)計(jì)方法.隨著量子點(diǎn)的不斷發(fā)展進(jìn)步，傳感網(wǎng)絡(luò)將愈加強(qiáng)大.

物聯(lián)網(wǎng)的異構(gòu)性和高度的復(fù)雜性產(chǎn)生了大量不同種類的數(shù)據(jù)，包括位置信息和環(huán)境產(chǎn)生的數(shù)據(jù)、歷史記錄數(shù)據(jù)、傳感器數(shù)據(jù)和命令數(shù)據(jù)等等.隨著物聯(lián)網(wǎng)設(shè)備數(shù)量的持續(xù)性增加，要存儲(chǔ)和處理的數(shù)據(jù)也越來(lái)越多，成為物聯(lián)網(wǎng)發(fā)展最重要的問(wèn)題之一.在大規(guī)模物聯(lián)網(wǎng)中，大量的物聯(lián)網(wǎng)設(shè)備和傳感器的搜索及感知以及多目標(biāo)優(yōu)化也成為很大的問(wèn)題.一方面，量子計(jì)算將提供十分強(qiáng)大的計(jì)算能力，給有效地處理大規(guī)模數(shù)據(jù)提供了新的機(jī)遇；另一方面，量子搜索算法，比如Grover算法對(duì)搜索問(wèn)題實(shí)現(xiàn)了二次式的加速，由此可對(duì)大規(guī)模物聯(lián)網(wǎng)中傳感器的搜索問(wèn)題實(shí)現(xiàn)優(yōu)化.結(jié)合量子強(qiáng)化學(xué)習(xí)，將對(duì)未來(lái)物聯(lián)網(wǎng)的大規(guī)模數(shù)據(jù)分析能力產(chǎn)生如下影響.

(1)量子計(jì)算給量子化智能體提供了極高的運(yùn)算能力，智能體可以在短時(shí)間內(nèi)對(duì)環(huán)境數(shù)據(jù)完成分析.對(duì)于物聯(lián)網(wǎng)不斷變換的復(fù)雜環(huán)境，智能體可基于大量數(shù)據(jù)分別對(duì)感知層、網(wǎng)絡(luò)層和應(yīng)用層完成分析優(yōu)化，一方面可建立一個(gè)或者多個(gè)基于模型的量子化智能體，以進(jìn)行對(duì)環(huán)境的量子化模擬；另一方面，對(duì)于無(wú)模型的智能體，可快速完成策略更新，同時(shí)基于當(dāng)前環(huán)境信息和歷史經(jīng)驗(yàn)，快速形成最優(yōu)動(dòng)作策略.

(2)基于模型的量子化智能體能夠以極高的學(xué)習(xí)效率，在較少的交互步驟內(nèi)對(duì)復(fù)雜的環(huán)境進(jìn)行分析學(xué)習(xí)，包括對(duì)感知層、網(wǎng)絡(luò)層和應(yīng)用層環(huán)境快速感知學(xué)習(xí)，以便在很短的時(shí)間內(nèi)適應(yīng)不斷實(shí)時(shí)變化的網(wǎng)絡(luò)環(huán)境.

結(jié)合量子強(qiáng)化學(xué)習(xí)的大規(guī)模物聯(lián)網(wǎng)，可對(duì)現(xiàn)實(shí)復(fù)雜環(huán)境實(shí)現(xiàn)全面觀測(cè)，同時(shí)量子化智能體可對(duì)實(shí)時(shí)的大規(guī)模數(shù)據(jù)進(jìn)行分析，快速執(zhí)行動(dòng)作策略的更新等操作，從而面對(duì)不斷變化的物聯(lián)網(wǎng)系統(tǒng)，實(shí)現(xiàn)快速的適應(yīng)與預(yù)測(cè).

5.1.2 極低延遲的實(shí)時(shí)智能交互

在智能交互的物聯(lián)網(wǎng)中，獲取系統(tǒng)狀態(tài)和實(shí)時(shí)控制系統(tǒng)面臨的隨機(jī)時(shí)延問(wèn)題，會(huì)對(duì)整個(gè)系統(tǒng)性能產(chǎn)生很大影響[27]，且目前還未提出有效的解決方式.該時(shí)延受多方面的影響，包括邊緣服務(wù)器/霧服務(wù)器/云服務(wù)器及通信網(wǎng)絡(luò)中的通信和計(jì)算資源狀態(tài)等等.目前，已經(jīng)有一些基于強(qiáng)化學(xué)習(xí)的研究來(lái)改進(jìn)這些問(wèn)題[28-29]，但是對(duì)于不斷變化的復(fù)雜環(huán)境所要求的算力和學(xué)習(xí)效率依然不適用.同時(shí)已經(jīng)有一些基于強(qiáng)化學(xué)習(xí)的研究給出了智能交互式物聯(lián)網(wǎng)和智能城市的設(shè)計(jì)工作[30]，提出了該領(lǐng)域需要解決的問(wèn)題，包括：對(duì)環(huán)境的不完全觀測(cè)問(wèn)題、延遲控制問(wèn)題、多智能體的協(xié)作控制問(wèn)題等等.對(duì)于環(huán)境的不完全觀測(cè)問(wèn)題，結(jié)合持續(xù)發(fā)展的量子點(diǎn)傳感器網(wǎng)絡(luò)，有望實(shí)現(xiàn)對(duì)環(huán)境的全面感知.同時(shí)，隨著量子強(qiáng)化學(xué)習(xí)的深入研究，將在兩個(gè)方面產(chǎn)生影響.

(1)量子化智能體能夠以很高的學(xué)習(xí)效率，快速適應(yīng)不斷變化的網(wǎng)絡(luò)環(huán)境，實(shí)現(xiàn)快速實(shí)時(shí)的網(wǎng)絡(luò)資源優(yōu)化，進(jìn)行快速的智能主動(dòng)緩存和智能化的移動(dòng)邊緣計(jì)算等等，從而降低交互過(guò)程中的通信時(shí)延.在Dunjko等的研究中，給出了對(duì)量子化交互的二次式甚至于指數(shù)式的加速.量子強(qiáng)化學(xué)習(xí)在該研究方向的持續(xù)性推進(jìn)，并且結(jié)合量子通信技術(shù)的進(jìn)步，將會(huì)對(duì)通信效率產(chǎn)生極大提升，進(jìn)而對(duì)物聯(lián)網(wǎng)的通信資源分配、控制延遲等方面給出徹底的解決方案.

(2)結(jié)合量子強(qiáng)化學(xué)習(xí)方法，量子化智能體有望實(shí)現(xiàn)極短時(shí)間內(nèi)對(duì)交互信息作出優(yōu)化的智能響應(yīng).量子化智能體在學(xué)習(xí)效率和大規(guī)模數(shù)據(jù)的分析能力方面，都遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)智能體，在復(fù)雜的環(huán)境中可實(shí)現(xiàn)快速適應(yīng)，從而為高度異構(gòu)性網(wǎng)絡(luò)結(jié)構(gòu)的互操作性提供可能的解決方案.

5.2 智能控制

在智能控制領(lǐng)域，量子強(qiáng)化學(xué)習(xí)可能的應(yīng)用主要包括兩個(gè)方面：①量子強(qiáng)化學(xué)習(xí)在大規(guī)模工業(yè)控制系統(tǒng)自動(dòng)化方面有望給出解決方案，為工業(yè)控制帶來(lái)升級(jí)；②在量子實(shí)驗(yàn)自動(dòng)化控制方面，采用完全量子化的強(qiáng)化學(xué)習(xí)方法進(jìn)行量子實(shí)驗(yàn)控制，對(duì)量子計(jì)算機(jī)計(jì)算速度和精確性方面可能帶來(lái)全面的提升.

5.2.1 大規(guī)模工業(yè)控制系統(tǒng)

對(duì)于復(fù)雜的控制體系而言，它是由多種模塊構(gòu)成的多重結(jié)構(gòu)，在時(shí)間和空間尺度上都會(huì)呈現(xiàn)出大量不同特征.大規(guī)模的控制體系必然會(huì)引入大型傳感網(wǎng)絡(luò)和通信系統(tǒng)，大型傳感網(wǎng)絡(luò)能夠提供豐富的系統(tǒng)信息，實(shí)時(shí)快速地充分利用豐富的數(shù)據(jù)生成最有價(jià)值的信息，而通過(guò)分析產(chǎn)生控制、管理與決策的命令成為了巨大挑戰(zhàn)；同時(shí)，原有的控制系統(tǒng)中信息傳遞被假定為不受融合通道限制，而通信系統(tǒng)的引入會(huì)造成信道容量、傳輸時(shí)延等方面的限制，這給原有的假定提出了挑戰(zhàn).

量子強(qiáng)化學(xué)習(xí)在實(shí)時(shí)快速大規(guī)模數(shù)據(jù)分析以及通信服務(wù)優(yōu)化上有良好的前景，因而其在大規(guī)模工業(yè)控制系統(tǒng)中的應(yīng)用，可為大規(guī)模工業(yè)控制系統(tǒng)智能化面臨的兩個(gè)主要挑戰(zhàn)提供解決方案.

5.2.2 復(fù)雜科學(xué)實(shí)驗(yàn)自動(dòng)化控制

復(fù)雜科學(xué)實(shí)驗(yàn)需要嚴(yán)格、精密的自動(dòng)化控制.以量子實(shí)驗(yàn)為例，量子計(jì)算機(jī)需要嚴(yán)格控制容錯(cuò)、信息丟失等誤差，這些誤差極其復(fù)雜，很難手動(dòng)模擬排除.實(shí)現(xiàn)強(qiáng)大的量子計(jì)算必不可少的就是對(duì)量子進(jìn)行門(mén)控制，以此來(lái)保證去除干擾的量子狀態(tài)，保證正確的量子信息能夠精確快速地通過(guò)控制門(mén).控制量子門(mén)的算法往往不能達(dá)到量子計(jì)算機(jī)需要的精確度和速度要求.強(qiáng)化學(xué)習(xí)在控制優(yōu)化問(wèn)題上顯現(xiàn)出很好的效果，可以從噪聲控制軌跡中提煉非局部規(guī)律(Non-local regularities)，并在多種任務(wù)中進(jìn)行遷移.為了將這些優(yōu)勢(shì)應(yīng)用于量子控制優(yōu)化問(wèn)題上，谷歌的研究者提出了一種結(jié)合深度強(qiáng)化學(xué)習(xí)的控制框架[31]，可以同時(shí)優(yōu)化量子計(jì)算的速度和精準(zhǔn)性，以彌補(bǔ)泄露和隨機(jī)控制錯(cuò)誤帶來(lái)的問(wèn)題.

量子實(shí)驗(yàn)是在完全的量子環(huán)境中進(jìn)行的，量子強(qiáng)化學(xué)習(xí)中量子交互式的學(xué)習(xí)方法(如量子元學(xué)習(xí))給高效的量子容錯(cuò)計(jì)算、減少錯(cuò)誤來(lái)源和可擴(kuò)展的量子計(jì)算機(jī)實(shí)現(xiàn)提供了可能.量子強(qiáng)化學(xué)習(xí)方法的發(fā)展和在量子實(shí)驗(yàn)中的應(yīng)用，將為通用量子控制機(jī)制提供額外的計(jì)算能力，促進(jìn)量子計(jì)算能力全面的提升，也可以進(jìn)一步促進(jìn)量子強(qiáng)化學(xué)習(xí)在復(fù)雜科學(xué)實(shí)驗(yàn)自動(dòng)化控制中的應(yīng)用.

5.3 智慧城市

智慧城市旨在提供多種新型的、以人為中心的服務(wù)，以提高居民生活質(zhì)量.智慧城市的實(shí)現(xiàn)，必須依賴量子技術(shù)、人工智能、物聯(lián)網(wǎng)等新技術(shù)的發(fā)展進(jìn)步.隨著人工智能和物聯(lián)網(wǎng)的發(fā)展，已經(jīng)有許多以人為中心的智能服務(wù)出現(xiàn)，包括醫(yī)療保健、智能家居、城市交通網(wǎng)管理、城市聯(lián)網(wǎng)報(bào)警及救援服務(wù)管理(火災(zāi)和洪水等情況)等.這些服務(wù)通過(guò)不同平臺(tái)的實(shí)現(xiàn)已經(jīng)成為可能，比如通過(guò)在城市大規(guī)模部署攝像頭，可以加強(qiáng)城市安全；智能手機(jī)和多種可穿戴設(shè)備的傳感能力，為醫(yī)療保健提供了基礎(chǔ).然而，綜合一體化的智能服務(wù)體系還處于初步探索階段.

在大型的智能城市服務(wù)系統(tǒng)中，利用量子強(qiáng)化學(xué)習(xí)技術(shù)可以同時(shí)提供超高的實(shí)時(shí)計(jì)算能力和對(duì)大規(guī)模數(shù)據(jù)的快速提取及分析能力，從而提供實(shí)時(shí)的智能決策.量子強(qiáng)化學(xué)習(xí)方法的發(fā)展，將極大促進(jìn)智能化服務(wù)的發(fā)展進(jìn)步.量子技術(shù)對(duì)強(qiáng)化學(xué)習(xí)不同任務(wù)的加速，將有助于實(shí)現(xiàn)多種多樣的大數(shù)據(jù)分析應(yīng)用和實(shí)時(shí)大數(shù)據(jù)流分析方法.量子強(qiáng)化學(xué)習(xí)在智能分析、實(shí)時(shí)決策和優(yōu)化調(diào)度等方面的應(yīng)用，將給智慧城市中的遠(yuǎn)程醫(yī)療、自動(dòng)駕駛、智能家居、智能辦公和醫(yī)療保健等領(lǐng)域提供很好的前景.量子強(qiáng)化學(xué)習(xí)研究的進(jìn)一步深入，將極大推動(dòng)綠色智慧城市的到來(lái).

5.4 產(chǎn)業(yè)升級(jí)

量子強(qiáng)化學(xué)習(xí)的發(fā)展，給大量的行業(yè)帶來(lái)效率提升、模式變革和產(chǎn)業(yè)升級(jí)的機(jī)遇.這些行業(yè)可能涉及經(jīng)濟(jì)和社會(huì)生活的方方面面，本節(jié)僅從三方面進(jìn)行說(shuō)明：①量子強(qiáng)化學(xué)習(xí)應(yīng)用于量子實(shí)驗(yàn)控制，有望形成精確的分子行為模擬，會(huì)給化工產(chǎn)品生產(chǎn)、能源醫(yī)療保健等領(lǐng)域帶來(lái)重大影響；②量子強(qiáng)化學(xué)習(xí)的快速適應(yīng)能力，會(huì)給復(fù)雜的金融分析和快速?zèng)Q策帶來(lái)希望；③量子強(qiáng)化學(xué)習(xí)同云計(jì)算結(jié)合，可以為智能量子云計(jì)算提供新的愿景.

5.4.1 利用精確的分子行為模擬以改善生產(chǎn)效率

量子強(qiáng)化學(xué)習(xí)方法同量子計(jì)算機(jī)的結(jié)合，將給分子行為模擬方面帶來(lái)極大的升級(jí).例如，該領(lǐng)域的發(fā)展將為肥料制造提供更有效的方法.幾乎所有廣泛應(yīng)用的肥料都和氨的生產(chǎn)有關(guān)，更高效地生產(chǎn)氨(或替代物)意味著更低成本的肥料.然而，因?yàn)榇呋瘎┑目赡芙M合數(shù)量是無(wú)限的，氨的制造工藝改進(jìn)和替代氨的方法進(jìn)展緩慢.而用今天的超級(jí)計(jì)算機(jī)，對(duì)氨的合成過(guò)程進(jìn)行數(shù)字模擬測(cè)試，找出最優(yōu)的催化劑組合來(lái)優(yōu)化氨的生產(chǎn)過(guò)程，依然是無(wú)法完成的.量子強(qiáng)化學(xué)習(xí)方法，可對(duì)化學(xué)催化過(guò)程進(jìn)行快速分析模擬，并采用基于模型的方法對(duì)可能的催化劑組合空間進(jìn)行快速自動(dòng)化探索，從而產(chǎn)生最優(yōu)的催化劑組合.此外，量子強(qiáng)化學(xué)習(xí)結(jié)合量子控制機(jī)制，可有效地對(duì)自然界一種微小細(xì)菌存在的固氮酶分子進(jìn)行模擬，進(jìn)而給以非常低的能量成本生產(chǎn)氨提供了可能.同時(shí)，在氣候變化預(yù)測(cè)、醫(yī)療保健、材料科學(xué)和能源等領(lǐng)域，通過(guò)精確模擬分子行為，將為這些領(lǐng)域帶來(lái)重大提升.

5.4.2 金融服務(wù)

金融服務(wù)通常采用由市場(chǎng)和投資組合表現(xiàn)的概率和假設(shè)組成的算法，對(duì)投資方式進(jìn)行決策.但是由于傳統(tǒng)算法對(duì)于大規(guī)模數(shù)據(jù)快速實(shí)時(shí)分析的能力有限，在組合風(fēng)險(xiǎn)和欺詐檢測(cè)上依然有很多問(wèn)題.量子計(jì)算和機(jī)器學(xué)習(xí)方法的結(jié)合可以有效消除數(shù)據(jù)盲點(diǎn)，識(shí)別毫無(wú)根據(jù)的金融假設(shè)，以規(guī)避損失.量子強(qiáng)化學(xué)習(xí)將對(duì)復(fù)雜優(yōu)化問(wèn)題的解決提供良好的前景，對(duì)金融系統(tǒng)中投資組合風(fēng)險(xiǎn)優(yōu)化和欺詐檢測(cè)給出快速有效的結(jié)果.同時(shí)，基于模型的量子強(qiáng)化學(xué)習(xí)方法，可用于模擬金融交易系統(tǒng)，了解風(fēng)險(xiǎn)和不確定性對(duì)金融預(yù)測(cè)模型的影響，對(duì)投資組合進(jìn)行并行模擬，快速有效地優(yōu)化交易策略，為快速穩(wěn)定的金融交易預(yù)測(cè)系統(tǒng)的實(shí)現(xiàn)提供了可能.

5.4.3 云計(jì)算

近年來(lái)，量子云計(jì)算成為云計(jì)算領(lǐng)域一個(gè)很好的前景.量子云平臺(tái)可以簡(jiǎn)化編程，并提供對(duì)量子計(jì)算機(jī)的低成本訪問(wèn).包括IBM、谷歌、阿里巴巴和華為等科技公司都對(duì)外開(kāi)放了自己的量子計(jì)算平臺(tái).量子云計(jì)算是通過(guò)云調(diào)用量子仿真器、模擬器或處理器來(lái)進(jìn)行計(jì)算任務(wù).隨著量子云計(jì)算的發(fā)展，云服務(wù)越來(lái)越被視為提供對(duì)量子計(jì)算機(jī)訪問(wèn)的可行方法，在量子計(jì)算教學(xué)、量子計(jì)算研究和量子游戲中的應(yīng)用越來(lái)越多.基于量子強(qiáng)化學(xué)習(xí)，通過(guò)將量子化的智能體部署到量子云服務(wù)器上，可有效平衡云服務(wù)器的性能和開(kāi)銷，同時(shí)對(duì)服務(wù)器耗能等方面實(shí)現(xiàn)實(shí)時(shí)優(yōu)化.

6 結(jié) 論

量子強(qiáng)化學(xué)習(xí)作為強(qiáng)化學(xué)習(xí)和量子計(jì)算的交叉研究領(lǐng)域，目前已經(jīng)在多個(gè)方面取得了一定的研究進(jìn)展.①利用量子計(jì)算并行性提供的強(qiáng)大算力，來(lái)實(shí)現(xiàn)對(duì)強(qiáng)化學(xué)習(xí)過(guò)程的加速；②基于量子機(jī)制特性和不斷豐富的量子算法，很多研究提出了新的強(qiáng)化學(xué)習(xí)方法；③借鑒傳統(tǒng)強(qiáng)化學(xué)習(xí)算法，提出新的量子力學(xué)研究方法.量子強(qiáng)化學(xué)習(xí)的研究進(jìn)展雖然處于起步階段，但現(xiàn)有成果已經(jīng)給很多研究者帶來(lái)了無(wú)限的憧憬.

量子計(jì)算同強(qiáng)化學(xué)習(xí)的融合發(fā)展，將極大地促進(jìn)智能時(shí)代的發(fā)展進(jìn)步.①量子強(qiáng)化學(xué)習(xí)對(duì)于物聯(lián)網(wǎng)的安全隱私、實(shí)時(shí)智能交互、資源分配等方面有巨大潛力；②量子強(qiáng)化學(xué)習(xí)的發(fā)展，對(duì)于大規(guī)模工業(yè)控制系統(tǒng)的自動(dòng)化和量子實(shí)驗(yàn)自動(dòng)化控制的發(fā)展有重要意義；③量子計(jì)算同人工智能技術(shù)的融合，將促進(jìn)以人為中心的綠色智慧城市的到來(lái)；④量子強(qiáng)化學(xué)習(xí)技術(shù)的深入研究，對(duì)于許多行業(yè)將產(chǎn)生重要影響，包括基于分子模擬的天氣預(yù)測(cè)、化工生產(chǎn)、金融服務(wù)和云計(jì)算等行業(yè).這些都將成為推動(dòng)量子強(qiáng)化學(xué)習(xí)發(fā)展的內(nèi)在動(dòng)力.未來(lái)量子強(qiáng)化學(xué)習(xí)的研究將更加令人振奮，但同時(shí)有以下問(wèn)題等待突破：首先，量子強(qiáng)化學(xué)習(xí)的研究和應(yīng)用還處于初始階段，還沒(méi)有一個(gè)完備的理論框架出現(xiàn)；其次，對(duì)復(fù)雜任務(wù)環(huán)境進(jìn)行量子化依然很困難；最后，在量子強(qiáng)化學(xué)習(xí)算法的設(shè)計(jì)方面，僅停留在理論方面，由于技術(shù)等方面的限制，還沒(méi)有物理實(shí)驗(yàn)方案的實(shí)現(xiàn).綜上所述，量子強(qiáng)化學(xué)習(xí)的研究充滿了挑戰(zhàn)，同時(shí)也充滿了無(wú)限的希望和可能性.