強(qiáng)化學(xué)習(xí)作為機(jī)器學(xué)習(xí)的三大基本范式之一，被用在諸多學(xué)科，如信息理論、基于仿真的優(yōu)化、多智能體系統(tǒng)、群體智能、統(tǒng)計(jì)學(xué)等。

強(qiáng)化學(xué)習(xí)通過從經(jīng)驗(yàn)中學(xué)習(xí)來解決決策任務(wù)，其重點(diǎn)是在探索未知領(lǐng)域和開發(fā)現(xiàn)有知識(shí)之間找到平衡，涉及智能代理應(yīng)如何在環(huán)境中采取行動(dòng)，以最大限度地提高累積獎(jiǎng)勵(lì)。

強(qiáng)化學(xué)習(xí)已在電子游戲、平流層飛行氣球和設(shè)計(jì)硬件芯片等復(fù)雜的任務(wù)上取得了可觀的實(shí)驗(yàn)結(jié)果。然而，谷歌認(rèn)為現(xiàn)行的強(qiáng)化學(xué)習(xí)經(jīng)驗(yàn)評(píng)估標(biāo)準(zhǔn)越來越表現(xiàn)出一些問題，可能會(huì)給人一種機(jī)器學(xué)習(xí)在快速進(jìn)步的錯(cuò)覺，同時(shí)會(huì)減慢強(qiáng)化學(xué)習(xí)領(lǐng)域的發(fā)展速度。

針對(duì)這個(gè)問題，谷歌在NeurIPS 2021上的一份口頭報(bào)告《基于統(tǒng)計(jì)邊緣的深度化學(xué)習(xí)》中，深入探討了如何在只使用少量訓(xùn)練的情況下，考慮結(jié)果的統(tǒng)計(jì)不確定性，并使深度強(qiáng)化學(xué)習(xí)的評(píng)估更可靠。

谷歌提出了一個(gè)更嚴(yán)格的強(qiáng)化學(xué)習(xí)評(píng)估方法，并發(fā)布了多種統(tǒng)計(jì)工具，包括分層引導(dǎo)置信區(qū)間、性能概況、四分位數(shù)均值和最優(yōu)性差距， 同時(shí)還發(fā)布了一個(gè)開放源碼庫(kù)RLiable。

強(qiáng)化學(xué)習(xí)中的經(jīng)驗(yàn)研究依賴于評(píng)估一系列不同任務(wù)的表現(xiàn)，例如，使用Atari 100k游戲來評(píng)估進(jìn)展。大多數(shù)深度強(qiáng)化學(xué)習(xí)算法是以比較海量任務(wù)上的相對(duì)性能進(jìn)行評(píng)估的，它們得出的結(jié)果比較了總體表現(xiàn)的點(diǎn)估計(jì)值，如任務(wù)的平均值和中位數(shù)。

但不同訓(xùn)練運(yùn)行的得分具有隨機(jī)性，因此只報(bào)告點(diǎn)估計(jì)值并不能表明新的獨(dú)立運(yùn)行也會(huì)得到相似的結(jié)果。少量的訓(xùn)練運(yùn)行，再加上深度強(qiáng)化學(xué)習(xí)算法性能的高可變性，往往導(dǎo)致此類點(diǎn)估計(jì)的統(tǒng)計(jì)不確定性很大。

隨著基準(zhǔn)測(cè)試逐漸復(fù)雜，任務(wù)的解決需要更多的計(jì)算和數(shù)據(jù)，對(duì)多次運(yùn)行的評(píng)估將變得越來越困難。

因此，要想減小在計(jì)算要求高的基準(zhǔn)上的統(tǒng)計(jì)不確定性，評(píng)估更多的運(yùn)行不是一個(gè)可行的解決方案。

雖然以前將統(tǒng)計(jì)顯著性測(cè)試作為一種解決辦法， 但這種測(cè)試本質(zhì)上是“ 二分法”的， 也就是要么“ 顯著” ， 要么“ 不顯著”，而簡(jiǎn)單地認(rèn)為不顯著的結(jié)果表明“沒有關(guān)聯(lián)”是毫無(wú)根據(jù)的，它們通常缺乏產(chǎn)生有意義的見解所需的“粒度”。

下面簡(jiǎn)單介紹下谷歌對(duì)強(qiáng)化學(xué)習(xí)進(jìn)行更可靠評(píng)估所使用的工具。

任何基于有限次數(shù)運(yùn)行的綜合指標(biāo)都是一個(gè)隨機(jī)變量?？紤]到這一點(diǎn)，谷歌建議使用報(bào)告分層的引導(dǎo)置信區(qū)間。這能夠預(yù)測(cè)在不同運(yùn)行中重復(fù)同一個(gè)實(shí)驗(yàn)時(shí)可能出現(xiàn)的聚合度量值。

在統(tǒng)計(jì)中，CIs是未知參數(shù)的一系列估計(jì)值，它可使我們理解結(jié)果的統(tǒng)計(jì)不確定性和再現(xiàn)性。

例如，在Atari 100k上對(duì)3個(gè)運(yùn)行進(jìn)行評(píng)估，每個(gè)運(yùn)行包含26個(gè)任務(wù)，產(chǎn)生了78個(gè)用于不確定性評(píng)估的樣本分?jǐn)?shù)。在每個(gè)任務(wù)中，彩色球表示不同運(yùn)行時(shí)的得分。

大多數(shù)深度強(qiáng)化學(xué)習(xí)算法在某些任務(wù)和訓(xùn)練運(yùn)行中表現(xiàn)得更好，但是總體性能度量標(biāo)準(zhǔn)可能會(huì)掩蓋這種變化，可參見下圖。

谷歌對(duì)此推薦使用性能配置文件，其通常用于比較優(yōu)化軟件的解決時(shí)間。使用這些配置文件可以一目了然地對(duì)分?jǐn)?shù)進(jìn)行定性比較，當(dāng)一個(gè)算法的曲線高于另一個(gè)算法時(shí)，就意味著這個(gè)算法要更好。

盡管性能配置文件對(duì)定性比較有用，但在算法方面卻稍遜一籌，以致它們的圖像經(jīng)常相交。因此，為了更好地進(jìn)行定量比較，需要總體性能指標(biāo)。

然而， 現(xiàn)有的度量標(biāo)準(zhǔn)存在一些局限性，比如，單個(gè)高績(jī)效任務(wù)可能支配任務(wù)平均得分;近一半任務(wù)的中位數(shù)不受零得分的影響，并且在較小的統(tǒng)計(jì)不確定性下需要大量的訓(xùn)練運(yùn)行。

為了解決上述問題，谷歌想了兩個(gè)基于穩(wěn)健統(tǒng)計(jì)學(xué)的替代方案，四分位數(shù)均值和最優(yōu)性差距，兩者表示的區(qū)域如下圖所示。

作為中位數(shù)和平均數(shù)的替代，四分位數(shù)均值對(duì)應(yīng)于所有任務(wù)中50%的運(yùn)行總和的平均得分。它對(duì)異常值比平均值更有效，是比中位數(shù)更好的總體性能指標(biāo)，并且導(dǎo)致較小的CIs，也需要較少的運(yùn)行來改進(jìn)。平均數(shù)的另一種替代方法最優(yōu)性差距，測(cè)量的是算法達(dá)到最優(yōu)性能的距離。

為了直接比較兩種算法，還需要考慮一個(gè)改進(jìn)的平均概率指標(biāo)，這個(gè)指標(biāo)描述了改進(jìn)超過基線的可能性，其計(jì)算使用的是曼—惠特尼U統(tǒng)計(jì)。

運(yùn)用上述評(píng)估工具，谷歌在對(duì)現(xiàn)有廣泛用于強(qiáng)化學(xué)習(xí)的算法進(jìn)行重新審查，還發(fā)現(xiàn)這些評(píng)估算法中有一些自相矛盾的地方。例如， 在廣泛認(rèn)可的強(qiáng)化學(xué)習(xí)基準(zhǔn)Arcad eLearning Environment（ALE）中，算法的性能排名隨聚合度量的選擇而變化。而在連續(xù)控制基準(zhǔn)DM Control中，大多數(shù)算法的平均標(biāo)準(zhǔn)化分?jǐn)?shù)在95%的CIs中存在大量重疊。

最后，谷歌希望研究人員能夠通過開源庫(kù)RLiable整合這些評(píng)估工具，以避免不可靠結(jié)果對(duì)強(qiáng)化學(xué)習(xí)的影響。