王然

【摘要】2017年10月19日，人工智能阿法元（AlphaGo Zero）第一次為人所知曉。它在圍棋學(xué)習(xí)之路上從零開始，自?shī)首詷罚约簠⑽?，用極短的時(shí)間以100比0的成績(jī)打敗了“哥哥”阿法狗（曾戰(zhàn)勝圍棋世界冠軍李世石轟動(dòng)全世界）。以深度強(qiáng)化學(xué)習(xí)為核心技術(shù)的阿法元，是人工智能領(lǐng)域的最前沿成果，也是發(fā)展趨勢(shì)。合理發(fā)展、應(yīng)用本技術(shù)，將對(duì)各領(lǐng)域均有極大的推動(dòng)作用，甚至改變整個(gè)工業(yè)界的面貌?；诖耍鋵?duì)于公安系統(tǒng)中的信息化偵查領(lǐng)域同樣具有跨時(shí)代的里程碑意義。

【關(guān)鍵詞】人工智能 阿法元 深度強(qiáng)化學(xué)習(xí)

一、阿法元的概念及發(fā)展背景

（一）概念

阿法元（AlphaGo Zero），是谷歌2017年目前為止最新一代的人工智能。這一代算法被項(xiàng)目負(fù)責(zé)人Deepmind命名為阿法元，“元，含有起點(diǎn)，創(chuàng)世之意。，意思是從零開始。一方面說，這個(gè)算法是不需要人類數(shù)據(jù)指導(dǎo)，也不需要它哥哥（Alpha60）指導(dǎo)，就自己演化出來。另一方面也可以理解為它可以開啟新紀(jì)元。

阿法元僅擁有4個(gè)TPU，大大節(jié)省了材料成本，效益卻成倍增長(zhǎng)。以深度強(qiáng)化學(xué)習(xí)為核心技術(shù)，其發(fā)展趨勢(shì)充滿無限可能性。

（二）發(fā)展背景

人工神經(jīng)網(wǎng)絡(luò)在上世紀(jì)四十年代就出來了，卻無法解決“異或問題”，而且訓(xùn)練起來太麻煩。到了上世紀(jì)七十年代，神經(jīng)網(wǎng)絡(luò)的算法得到更新，提高了效率，用多層神經(jīng)網(wǎng)絡(luò)把異或問題解決了，也把神經(jīng)網(wǎng)絡(luò)帶入一個(gè)新紀(jì)元。上世紀(jì)八九十年代，人工神經(jīng)網(wǎng)絡(luò)的研究迎來了一場(chǎng)大火，學(xué)術(shù)圈發(fā)了成千上萬篇關(guān)于神經(jīng)網(wǎng)絡(luò)的論文，從設(shè)計(jì)到訓(xùn)練到優(yōu)化再到各行各業(yè)的應(yīng)用。直至2016年3月更新算法的阿法狗戰(zhàn)勝了被聶衛(wèi)平估算為的20段的世界棋手冠軍，基于此神經(jīng)網(wǎng)絡(luò)的算法優(yōu)化，谷歌新一代的人工智能阿法元以100比0的勝率又碾壓了阿法狗，其只需要在4個(gè)TPU上花3天時(shí)間，自己左右互搏490萬棋局。而它的上一代阿法狗，需要在48個(gè)TPU上，花幾個(gè)月的時(shí)間，學(xué)習(xí)三千萬個(gè)棋局，才打敗人類。阿法狗項(xiàng)目負(fù)責(zé)人介紹說阿法元遠(yuǎn)比阿法狗強(qiáng)大，因?yàn)樗辉俦蝗祟愓J(rèn)知所局限，而能夠發(fā)現(xiàn)新知識(shí)和新策略。

（三）核心技術(shù)：強(qiáng)化學(xué)習(xí)

阿法元卻能夠在不用那3000萬數(shù)據(jù)的時(shí)候來個(gè)完勝阿法狗。從人工智能的技術(shù)角度看，這是強(qiáng)化學(xué)習(xí)的勝利，在不進(jìn)行監(jiān)督學(xué)習(xí)的情況下，就可以達(dá)到一個(gè)高于人類的境地。

強(qiáng)化學(xué)習(xí)的先進(jìn)性需通過與監(jiān)督學(xué)習(xí)的基本思想對(duì)比中體現(xiàn)出來。監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)和無監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)的三大框架。某一個(gè)意義說，監(jiān)督學(xué)習(xí)是給定輸入和輸出，機(jī)器來學(xué)習(xí)輸入和輸出的關(guān)系，一個(gè)好的監(jiān)督學(xué)習(xí)算法猶如一個(gè)預(yù)言家，它能夠根據(jù)自己之前見過的輸入輸出關(guān)系來預(yù)測(cè)未知的輸入。

強(qiáng)化學(xué)習(xí)的三元素是狀態(tài)，行為和環(huán)境獎(jiǎng)勵(lì)。強(qiáng)化學(xué)習(xí)條件下，學(xué)習(xí)者每一步看到的是它決策的行為結(jié)果，然后導(dǎo)致下一步行動(dòng)，為了最終游戲的勝利。

強(qiáng)化學(xué)習(xí)強(qiáng)在決策。監(jiān)督學(xué)習(xí)是預(yù)言家，強(qiáng)化學(xué)習(xí)是決策家。

二、阿法元的特點(diǎn)

（一）運(yùn)行模式的輕捷高效性

阿法狗升級(jí)至阿法元縮減了44個(gè)TPU，僅擁有4個(gè)TPU，計(jì)算速度也提升了幾個(gè)月的跨度，這一突破，相當(dāng)于一個(gè)科研團(tuán)隊(duì)縮減了44個(gè)智商超群的人，但是其工作效率還大大提升了很多。

（二）學(xué)習(xí)手段的自主性

阿法元運(yùn)用強(qiáng)化學(xué)習(xí)這一核心技術(shù)，完全在沒有人類幫助、沒有任何先驗(yàn)知識(shí)的基礎(chǔ)上無師自通，自主學(xué)習(xí)，是人工智能在這一年代最大的突破。

（三）學(xué)習(xí)方法的非人類思維性

美國(guó)的兩位棋手在《Nature》上點(diǎn)評(píng)：“阿法元的開局和收官和專業(yè)棋手的下法并無區(qū)別，人類幾千年的智慧結(jié)晶，看起來并非全錯(cuò)，但是中盤看起來則非常詭異。”學(xué)習(xí)人類選手的下法雖然能在訓(xùn)練之初獲得較好的棋力，但在訓(xùn)練后期所能達(dá)到的棋力卻只能與原版的阿法狗相近，而不學(xué)習(xí)人類下法的阿法元最終卻能表現(xiàn)得更好。美國(guó)杜克大學(xué)人工智能專家陳怡然教授對(duì)此的解釋是：阿法元降低了訓(xùn)練復(fù)雜度，擺脫了對(duì)人類標(biāo)注樣本（人類歷史棋局）的依賴，讓深度學(xué)習(xí)用于復(fù)雜決策更加方便可行。

（四）應(yīng)用領(lǐng)域的廣域性

只要設(shè)計(jì)好一個(gè)項(xiàng)目的規(guī)則，阿法元就能自主進(jìn)行學(xué)習(xí)和運(yùn)作。基于這一核心特點(diǎn)，可以估計(jì)當(dāng)技術(shù)完備成熟的時(shí)候，各領(lǐng)域都可以很方便得到應(yīng)用，可以大大節(jié)省人力物力財(cái)力。

三、阿法元在信息化偵查領(lǐng)域的應(yīng)用

阿法元的運(yùn)作模式，形象的可以比喻為，看了《信息化偵查教程》的第一個(gè)字，就能猜出并學(xué)會(huì)其所有的內(nèi)容。人工智能領(lǐng)域中，對(duì)話、知識(shí)、成長(zhǎng)這三大能力決定著未來。將阿法元分別運(yùn)用至這三個(gè)方面，在信息化偵查領(lǐng)域可以構(gòu)想：

可以以對(duì)話的形式解決人工錄入人員、住所、車輛等等繁瑣信息所花費(fèi)人力物力財(cái)力的基礎(chǔ)消耗，可以大大提升信息化模式的效率。

可以智能分析串并案件。傳統(tǒng)辦案都是以人到案、以案到人，總歸需要一個(gè)觸發(fā)條件，在人為意識(shí)的認(rèn)知下，才能主動(dòng)的去尋找串并案件的聯(lián)系。使用阿爾法技術(shù)的系統(tǒng)，可以實(shí)現(xiàn)在無人操作的狀態(tài)下，自主尋找的關(guān)聯(lián)案件，并根據(jù)一定規(guī)則實(shí)現(xiàn)自主串并案件，可以實(shí)現(xiàn)的話則大大加快了辦案效率。

可以實(shí)現(xiàn)智能信息化追蹤。信息化偵查涉及的模塊有：GPS資源，住宿資源，物流資源，資金資源，監(jiān)控資源，通信資源，網(wǎng)絡(luò)資源等，傳統(tǒng)信息化偵查方法需人工在各類資源中進(jìn)行檢索，而阿法元可以自行在各個(gè)領(lǐng)域提取相關(guān)信息，不需人為主觀選擇某一領(lǐng)域去嘗試，提高了容錯(cuò)率，大大縮短人為的分析時(shí)間。