James Kobielus 楊勇

強化學習非常適合于監(jiān)督學習或者無監(jiān)督學習技術不能勝任的自主決策環(huán)境。

在人工智能領域，強化學習一直處于小眾地位。但是，強化學習過去幾年中已經(jīng)開始在很多人工智能項目中發(fā)揮出了很大的作用。其最佳應用點是在環(huán)境情境化決策場景中計算出代理應采取的最優(yōu)措施。

強化學習使用試錯方法來最大限度地實現(xiàn)算法獎勵函數(shù)，因此，非常適合IT運營管理、能源、醫(yī)療、商業(yè)、金融、交通運輸和金融等領域的很多自適應控制和多代理自動化應用。它被用來在機器人、游戲和仿真等傳統(tǒng)關注的領域中訓練人工智能，也用于邊緣分析、自然語言處理、機器翻譯、計算機視覺和數(shù)字助理等新一代人工智能解決方案。

強化學習也是物聯(lián)網(wǎng)自主邊緣應用開發(fā)的基礎。對于工業(yè)、交通運輸、醫(yī)療和消費類應用，大部分邊緣應用開發(fā)都涉及到在動態(tài)環(huán)境下，開發(fā)出能夠在不同程度自治情形下運行的人工智能機器人。

強化學習是怎樣工作的

在這樣的應用領域，由于缺少預先存在的“完全真實”的訓練數(shù)據(jù)集，邊緣設備的人工智能大腦必須依靠強化學習，目的是最大限度地實現(xiàn)累積獎勵函數(shù)，例如，根據(jù)規(guī)范中包含的一組標準來裝配制造組件。這與其他類型的人工智能學習方式形成了對比，其他類型的人工智能通過（例如有監(jiān)督學習）最小化基于完全真實數(shù)據(jù)的算法損失函數(shù)，或者（例如無監(jiān)督學習）最小化數(shù)據(jù)點之間的距離函數(shù)來進行學習。

然而，這些人工智能學習方法并不一定是相互孤立的。最有趣的人工智能發(fā)展趨勢之一是強化學習與有監(jiān)督和無監(jiān)督學習在更高級應用中的融合。人工智能開發(fā)人員在應用中混合了這些方法，因為沒有一種單一的學習方法能滿足需求。

例如，如果沒有帶標簽的訓練數(shù)據(jù)，監(jiān)督學習本身是無用的，自動駕駛等應用中經(jīng)常沒有帶標簽的數(shù)據(jù)，每一次環(huán)境的瞬間變化基本上都是沒有標簽的，也是唯一的。同樣的，無監(jiān)督學習——使用了聚類分析來檢測傳感器饋入數(shù)據(jù)和其他復雜的無標簽數(shù)據(jù)中的模式，并不適合用于確定智能端點在實際決策場景中應采取的最佳措施。

什么是深度強化學習

還有深度強化學習，在這種前沿的技術中，自治代理使用強化學習的試錯算法和累積獎勵函數(shù)來加速神經(jīng)網(wǎng)絡設計。這些設計對依賴于有監(jiān)督和/或無監(jiān)督學習的人工智能應用有著強大的推動作用。

深度強化學習是人工智能開發(fā)和訓練流水線自動化的核心研究領域。深度學習、機器學習和其他人工智能模型的設計人員在確定各種架構、節(jié)點類型、連接、超參數(shù)設置，以及其他選項時，使用深度強化學習驅(qū)動的代理能夠幫助他們迅速弄清楚這些設置的優(yōu)缺點。

例如，研究人員使用深度強化學習，快速確定哪一種深度學習卷積神經(jīng)網(wǎng)絡（CNN）架構最適合解決特征工程、計算機視覺和圖像分類等應用中的各種難題。人工智能工具使用通過深度強化學習得出的結果，自動生成最優(yōu)CNN，針對具體任務，可以使用TensorFlow、MXNet和PyTorch等深度學習開發(fā)工具。

在這方面，令人鼓舞的是出現(xiàn)了強化學習開發(fā)和培訓的開放框架。當你研究深度強化學習時，表中列出的強化學習框架可以供你參考，這些框架與TensorFlow以及其他深度學習和機器學習建模工具有接口，利用并擴展了這些得到廣泛應用的工具。

人工智能開發(fā)人員需要的強化學習技能

展望未來，人工智能開發(fā)人員自己也應該沉浸在這些以及其他框架中實現(xiàn)的各種強化學習算法中。還需要加深對多代理強化學習架構的理解，其中很多架構充分利用了已經(jīng)建立起來的博弈論研究成果。還應該熟悉深度強化學習，將其作為一種工具來識別計算機視覺應用中與“模糊”這種攻擊方法相關的安全漏洞。