趙煜霖，沈強(qiáng)望，李淑琴，孟 坤

(1.北京信息科技大學(xué) 計算機(jī)學(xué)院， 北京 100101；2.感知與計算智能聯(lián)合實(shí)驗(yàn)室， 北京 100101)

0 引言

博弈游戲是檢驗(yàn)人工智能發(fā)展水準(zhǔn)的重要平臺之一[1]。其中，競技二打一游戲作為一種大眾喜聞樂見的博弈游戲[2]，具有非完全信息、動作空間巨大、決策過程復(fù)雜、多階段對局等特點(diǎn)[3]，眾多學(xué)者便對其展開了動作空間降維[1]、手牌推測[4-7]、出牌決策[8-11]等多方面的研究，并且取得眾多研究成果；同時，為了在有限輪對局內(nèi)區(qū)分二打一游戲玩家的競技水平，陳子鵬等[12]給出了一種計算初始手牌區(qū)分度的方法，并在實(shí)際測試中驗(yàn)證方法的有效性；然而，區(qū)分博弈競技水平的競技二打一比賽采用復(fù)式賽制，存在比賽作弊的問題，李淑琴等[13]對如何判定和選取具有同等牌力的初始手牌進(jìn)行研究，提出用等級難度評估指標(biāo)來計算初始手牌的難度，通過多個不同水平的二打一AI驗(yàn)證了該方法的可靠性。

叫牌階段作為在二打一中首先進(jìn)行的對局階段，其叫牌結(jié)果會決定對局結(jié)束時的基礎(chǔ)收益情況。為了能夠盡可能提高最終的基礎(chǔ)收益，需要針對不同的叫牌風(fēng)格采取相應(yīng)的叫牌動作。

現(xiàn)在對叫牌階段的研究普遍集中在推薦叫牌模型上，也就是根據(jù)玩家手牌給出一個推薦的叫牌動作。Yuan等[14]針對競技二打一博弈過程中的叫分策略進(jìn)行研究，利用所構(gòu)建的牌力和牌序特征自動學(xué)習(xí)內(nèi)在隱含關(guān)聯(lián)，并與支持向量機(jī)(support vector machine,SVM)，長短期記憶網(wǎng)絡(luò)(long short term memory,LSTM)，文本卷積神經(jīng)網(wǎng)絡(luò)(text convolution neural network，TextCNN)分別進(jìn)行對比實(shí)驗(yàn)，筆者提出的模型在召回率、精確率和準(zhǔn)確率上均超過上述方法，均達(dá)到了80%以上。文獻(xiàn)[6]通過使用多層CNN對手牌進(jìn)行特征提取，并將叫分大小作為標(biāo)簽，訓(xùn)練出的叫分模型在真實(shí)人類玩家的數(shù)據(jù)集上能夠與人類叫分結(jié)果達(dá)到76.5%的相似度。同時，筆者也考慮了玩家的叫分會受到其他玩家的影響，通過一種規(guī)則修正的方式來使得模型的叫分結(jié)果更貼近真人的行為。文獻(xiàn)[15]分析了競技二打一中叫分時會考慮的牌型和數(shù)量，選取了12種牌型組合方式作為弱分類器，使用AdaBoost算法進(jìn)行訓(xùn)練，從而得到一個強(qiáng)分類器，最終在真實(shí)玩家的數(shù)據(jù)集上能夠達(dá)到75%的準(zhǔn)確率。

以上這些工作的研究成果都十分出色，但都只是根據(jù)手牌的特征進(jìn)行叫分動作的分類任務(wù)。筆者認(rèn)為，如果可以對其他玩家叫牌風(fēng)格進(jìn)行劃分來推測會采取的叫牌動作，則可以通過自己的叫牌動作進(jìn)行誘導(dǎo)，使自己能夠獲得更高收益，故將對玩家叫牌風(fēng)格的劃分方法進(jìn)行研究。

1 叫牌風(fēng)格劃分方法的設(shè)計與實(shí)現(xiàn)

本文主要通過2個部分設(shè)計并實(shí)現(xiàn)對玩家叫牌風(fēng)格的劃分：首先是對于基準(zhǔn)叫牌模型的設(shè)計與實(shí)現(xiàn)，該模型主要通過使用卷積神經(jīng)網(wǎng)絡(luò)對玩家手牌進(jìn)行特征提取并結(jié)合當(dāng)前叫牌情況實(shí)現(xiàn)對于玩家手牌動作的分類；然后，使用統(tǒng)計學(xué)方法計算玩家叫牌動作與基準(zhǔn)模型之間的差異，通過查表的方式實(shí)現(xiàn)對于玩家叫牌風(fēng)格的劃分。

1.1 手牌特征的表示方式

考慮到競技二打一所使用的紙牌是由紅色Joker、黑色Joker(后面分別叫用X，D表示)以及13種不同點(diǎn)數(shù)(3、4、5、6、7、8、9、10、J、Q、K、A、2)且每個點(diǎn)數(shù)各有4張紙牌(在競技二打一中同點(diǎn)數(shù)之間不區(qū)分花色)共計54張紙牌構(gòu)成，由于大部分點(diǎn)數(shù)的紙牌都是4張，故玩家點(diǎn)數(shù)3到2的手牌采用如圖1所示的0-1矩陣進(jìn)行表示，矩陣中每列1的個數(shù)代表各個點(diǎn)數(shù)手牌的數(shù)量；對于玩家手牌中的大小王則分別用一個0-1特征進(jìn)行表示。

圖1 手牌為67788999AAAA2XD的特征矩陣表示

1.2 基準(zhǔn)叫牌模型的設(shè)計

基準(zhǔn)叫牌動作是由玩家手牌和其他玩家的叫牌情況共同決定的。本文受文獻(xiàn)[14]啟發(fā)，對TextCNN[16]進(jìn)行修改，設(shè)計了如圖2所示的基準(zhǔn)叫牌模型。該模型主要分為2個部分——提取連續(xù)牌特征的卷積網(wǎng)絡(luò)部分和融合叫牌情況、強(qiáng)力牌特征的叫牌網(wǎng)絡(luò)部分。

圖2 基準(zhǔn)叫牌模型結(jié)構(gòu)

卷積網(wǎng)絡(luò)部分的輸入是12×4大小的連續(xù)牌特征矩陣，其中的連續(xù)牌指的是可以組成例如單順、對順和三順等連續(xù)點(diǎn)數(shù)牌型[17]的點(diǎn)數(shù)牌，12表示從3到2共12個數(shù)的手牌，4代表持有的張數(shù)。將特征矩陣輸入到3組卷積核大小分別為2、3、5，輸出通道數(shù)均為4的一維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行卷積運(yùn)算?？紤]到池化運(yùn)算會改變特征之間的相鄰關(guān)系，故本模型所使用的卷積神經(jīng)網(wǎng)絡(luò)去除了池化過程，最后再通過Relu激活函數(shù)得到12個卷積后的特征向量。

手牌中強(qiáng)力牌情況(例如手牌中是否有大小王、2的個數(shù)和炸彈個數(shù))和當(dāng)前叫牌情況特征也是決定叫牌動作的重要因素，故將上述影響因素按照用0-1編碼進(jìn)行特征表示，如圖3所示。然后將這些特征與12個連續(xù)牌卷積后的特征向量連接在一起作為融合網(wǎng)絡(luò)部分的輸入，經(jīng)過多層全連接層進(jìn)行前向傳播，最后輸出模型的叫牌動作。

圖3 搶地主階段、叫牌次數(shù)為1的當(dāng)前叫牌情況和手牌中持有2XD和一個炸彈的特征表示

為了保證模型具有較強(qiáng)的學(xué)習(xí)能力，對提取到的特征進(jìn)行升維；同時，為了保證模型具有較強(qiáng)的泛化能力，在各全連接層之間使用dropout函數(shù)會讓某些神經(jīng)元隨機(jī)“失活”，使模型不會依賴于局部特征，從而避免過擬合。

1.3 叫牌風(fēng)格劃分方法的設(shè)計

玩家會根據(jù)自己的叫牌風(fēng)格采取不同的叫牌動作。為了量化叫牌風(fēng)格之間的差異，本部分將設(shè)計玩家叫牌風(fēng)格的劃分方法。

本文提出的玩家叫牌風(fēng)格類別的劃分方法是根據(jù)玩家的叫牌動作進(jìn)行設(shè)計，故首先對玩家的叫牌動作進(jìn)行分析。在叫分階段會存在著0,1,2,3這樣4個可選擇的叫牌動作，在搶地主階段會存在著加倍和不加倍2種動作。根據(jù)對實(shí)驗(yàn)數(shù)據(jù)的統(tǒng)計發(fā)現(xiàn)，多數(shù)玩家的叫分動作多數(shù)趨向于0和3，使叫分階段的叫牌動作退化成2個，與搶地主階段的叫牌動作數(shù)量一致，故本文把2個階段的叫牌動作都統(tǒng)一成0和12個動作。考慮到玩家的叫牌動作與基準(zhǔn)模型之間的差異會隨著玩家叫牌數(shù)據(jù)的不斷擴(kuò)充逐漸收斂一個平面點(diǎn)，故按照對手牌的高估程度μ和叫牌動作偏離程度σ2個指標(biāo)把玩家叫牌風(fēng)格劃分為以下6種——保守理性型、保守非理性型、風(fēng)險理性型、風(fēng)險非理性型、激進(jìn)理性型、激進(jìn)非理性型。

為了能夠?qū)φ鎸?shí)玩家的叫牌風(fēng)格進(jìn)行劃分，本文采用以下步驟對手牌的高估程度μ和叫牌動作偏離程度σ2個指標(biāo)進(jìn)行數(shù)值量化：使用基準(zhǔn)叫牌模型M計算N副玩家手牌hi應(yīng)該采取的叫牌動作SMi,計算出玩家p叫牌動作Spi與模型叫牌動作之間的差值Si，把差值大于0的手牌hj看作玩家對hj的高估，統(tǒng)計玩家p高估手牌的局?jǐn)?shù)m和采取叫牌動作1的局?jǐn)?shù)n，利用式(1)計算出玩家對手牌的高估程度μ；利用式(2)計算出玩家叫牌動作的偏離程度σ。

(1)

(2)

式中：SMi與Spi取值范圍均在[0,1]；差值Si的取值范圍在[-1,1]；μ取值范圍在[0,1]。在計算μ和σ過程中N的取值大小影響風(fēng)格劃分精度，本文認(rèn)為在N不小于10時玩家的叫牌風(fēng)格才能進(jìn)行較為準(zhǔn)確的劃分，然后給出表1中各玩家叫牌風(fēng)格中2個指標(biāo)的取值范圍，實(shí)現(xiàn)對玩家叫牌風(fēng)格的劃分。

表1 玩家叫牌風(fēng)格劃分

2 基準(zhǔn)叫牌數(shù)據(jù)的預(yù)處理

2.1 原始數(shù)據(jù)格式說明

實(shí)驗(yàn)所使用數(shù)據(jù)的來源是國內(nèi)某知名在線游戲平臺提供的競技二打一游戲真實(shí)數(shù)據(jù)。原始數(shù)據(jù)中記錄了游戲過程中3位玩家的脫敏處理后的 ID、手牌記錄、底牌信息、叫分情況、出牌記錄，以及牌局最終的勝負(fù)結(jié)果。原始數(shù)據(jù)以文本文件的形式進(jìn)行存儲，各記錄之間的分隔符使用的是 ASCII 碼中的SOH(0x01)與STX(0x02)。原始數(shù)據(jù)樣例形式如圖4所示。

圖4 部分原始數(shù)據(jù)樣例

以數(shù)據(jù)樣例中標(biāo)記號為10的記錄為例，對各記錄進(jìn)行如表2所示的詳細(xì)說明。

表2 原始數(shù)據(jù)格式和記錄說明

2.2 高水平玩家id的篩選

在原始數(shù)據(jù)中存在部分異常對局記錄，如玩家掉線，牌局未完成等情況。同時，部分水平較低和游戲總局?jǐn)?shù)過少玩家的對局信息對模型訓(xùn)練會帶來較大的偏差。一副手牌是否可以叫牌不僅依賴于手牌的好壞程度，還與拿到該副牌的玩家水平有關(guān)。因此，需要對玩家id進(jìn)行篩選。

為了能夠獲得高水平玩家的id字段，就需要統(tǒng)計原始數(shù)據(jù)中每名玩家的獲勝局?jǐn)?shù)和總局?jǐn)?shù)，并計算各玩家的勝率。本文認(rèn)為，若玩家的勝率越高，則說明玩家的博弈水平越高，故高于平均勝率的玩家的叫牌動作更具有參考價值。篩選出這部分玩家的id信息，并進(jìn)行存儲。部分有效玩家經(jīng)過脫敏處理的id信息如圖5所示。

圖5 部分有效玩家id

2.3 原始數(shù)據(jù)的清洗

原始數(shù)據(jù)記錄的是完整對局信息，包括玩家信息、手牌信息、叫分信息、出牌信息，而本文針對競技二打一博弈玩家風(fēng)格問題只需要摘取其中的部分有效信息，避免數(shù)據(jù)集中的無效數(shù)據(jù)過多，導(dǎo)致模型訓(xùn)練效果與預(yù)期產(chǎn)生偏差。本實(shí)驗(yàn)將所有有效玩家的對局?jǐn)?shù)據(jù)信息經(jīng)過以下方式進(jìn)行處理，成為可供后續(xù)網(wǎng)絡(luò)模型輸入的數(shù)據(jù)集形式：

1) 讀取高水平玩家文件，得到高水平玩家字段；

2) 讀入原始數(shù)據(jù)中每一局的對局信息；

3) 通過SOH字符分割開一場對局中每個階段的信息；

4) 通過STX字符分割開每個階段中每位玩家的具體操作信息；

5) 依次讀入叫分階段每位玩家叫分信息，最后一位叫分玩家的位置記為地主；

6) 判斷第一個出牌的玩家位置是否是5)操作的記錄值，若是，則為有效對局，進(jìn)行下一步操作；

7) 讀取每位玩家的叫牌信息，并判斷獲勝玩家是否為高水平玩家，若不是則直接舍棄；反之，若獲勝玩家為地主，則把地主的叫牌數(shù)據(jù)標(biāo)記為1，若獲勝玩家為農(nóng)民，則農(nóng)民叫牌數(shù)據(jù)的標(biāo)記根據(jù)叫牌動作進(jìn)行標(biāo)記——叫牌標(biāo)記為1，不叫牌標(biāo)記為0。

8) 由7)中處理后的數(shù)據(jù)存在相同叫牌情況下的不同叫牌動作，為了避免模型訓(xùn)練震蕩，本文考慮統(tǒng)計相同叫牌局面和相同手牌下的標(biāo)記之和與總標(biāo)記數(shù)量的比值大小決定當(dāng)前手牌的叫牌動作，避免訓(xùn)練震蕩。具體決定方式為：若比值大于0.5，則在當(dāng)前叫牌局面和手牌下，標(biāo)記為1；否則，標(biāo)記為0。

按照上述方法，從500余萬條原始數(shù)據(jù)中篩選出約10萬條用于訓(xùn)練模型的基準(zhǔn)叫牌數(shù)據(jù)。具體數(shù)據(jù)保留格式如圖6所示，以逗號進(jìn)行分段：第一段數(shù)據(jù)代表叫牌階段——0表示叫分階段，1代表搶地主階段；第二段數(shù)據(jù)代表當(dāng)前叫牌值大小——共有0，1，2共3個值；第三段數(shù)據(jù)代表玩家手牌；第四段數(shù)據(jù)代表該條數(shù)據(jù)的標(biāo)簽值，也就是應(yīng)該采取的叫牌動作。

圖6 部分基準(zhǔn)叫牌數(shù)據(jù)保存格式

2.4 基準(zhǔn)叫牌模型的訓(xùn)練算法

將篩選出的數(shù)據(jù)劃分為約8萬條數(shù)據(jù)的訓(xùn)練集和約2萬條數(shù)據(jù)的測試集，使用第1章設(shè)計的模型進(jìn)行訓(xùn)練，訓(xùn)練過程如算法1所示。

算法1

輸入：叫牌數(shù)據(jù)集D，待訓(xùn)練的叫牌模型M，學(xué)習(xí)率r

輸出：訓(xùn)練好的叫牌模型M′

將D拆分成訓(xùn)練集X和測試集C

測試集準(zhǔn)確率acc ← 0.0

for 訓(xùn)練輪數(shù) = 0,1,2,…,100:

將X隨機(jī)拆分成NX個大小為B的小批量數(shù)據(jù)集DX

采取正確叫牌動作的樣本計數(shù)tx← 0

for 小批量數(shù)據(jù)集編號xi= 0,1,2,…,NX:

用CrossEntroyLoss計算DX[xi]的損失值，更新M的網(wǎng)絡(luò)參數(shù)

tx←tx+neqneq:對于DX[xi]中數(shù)據(jù)M給出的輸出與其標(biāo)簽值一致的數(shù)量

將C隨機(jī)拆分成NC個大小為B的小批量數(shù)據(jù)集DC

采取正確叫牌動作的樣本計數(shù)ct← 0

for 小批量數(shù)據(jù)集編號ci= 0,1,2,…,NC:

tc←tc+neqneq:對于DC[ci]中數(shù)據(jù)M給出的輸出與其標(biāo)簽值一致的數(shù)量

當(dāng)前準(zhǔn)確率acc_tmp←tc/C中樣本個數(shù)

ifacc_tmp>acc:

M′ ←M

acc←acc_tmp

3 叫牌風(fēng)格劃分的實(shí)驗(yàn)與分析

3.1 系統(tǒng)環(huán)境及模型參數(shù)設(shè)置

本文所使用的系統(tǒng)環(huán)境配置如表3所示。

表3 硬件和軟件配置

訓(xùn)練過程中所使用的優(yōu)化器為Adam優(yōu)化器，損失函數(shù)使用CrossEntroyLoss函數(shù)，學(xué)習(xí)率設(shè)置為1×10-4，dropout層的p值設(shè)置為0.5。

3.2 實(shí)驗(yàn)結(jié)果與分析

3.2.1基準(zhǔn)叫牌模型訓(xùn)練效果與分析

使用第2章得到的基準(zhǔn)叫牌數(shù)據(jù)進(jìn)行100輪訓(xùn)練后，模型在訓(xùn)練集和測試集上損失函數(shù)值和準(zhǔn)確率變化如圖7和圖8所示。

圖7 模型在訓(xùn)練集和測試集上損失函數(shù)值的變化

圖8 模型在訓(xùn)練集和測試集上準(zhǔn)確率的變化

在前7輪訓(xùn)練中，損失函數(shù)值下降，但準(zhǔn)確率卻幾乎不變，本文認(rèn)為是標(biāo)簽為叫牌的樣本數(shù)據(jù)在一開始的loss中占據(jù)了主導(dǎo)優(yōu)勢，使得模型在此時錯誤學(xué)習(xí)到兩類數(shù)據(jù)的比例結(jié)構(gòu)，導(dǎo)致了上述異常狀況的出現(xiàn)。

在后續(xù)的訓(xùn)練中，模型對叫牌類型的樣本擬合達(dá)到一定程度后，該類樣本對loss的貢獻(xiàn)度相較于不叫牌的樣本的影響降低，模型開始對不叫牌的樣本進(jìn)行擬合，最終達(dá)到收斂狀態(tài)。

同時，本文也對引入模型的強(qiáng)力牌特征和叫牌情況特征分別進(jìn)行消融實(shí)驗(yàn)，得到如圖9和圖10的結(jié)果。實(shí)驗(yàn)結(jié)果表明2種特征對于模型性能的提升均有較大提升，驗(yàn)證了本文引入的這2種特征的有效性。

圖9 模型在去除部分特征后損失函數(shù)值的變化

圖10 模型在去除部分特征后準(zhǔn)確率的變化

3.2.2玩家叫牌風(fēng)格劃分結(jié)果與分析

叫牌風(fēng)格劃分所用的數(shù)據(jù)來自另一份真實(shí)玩家數(shù)據(jù)，將這部分?jǐn)?shù)據(jù)中的叫牌信息按照玩家id分別進(jìn)行存儲。為保證叫牌風(fēng)格劃分的準(zhǔn)確性，本實(shí)驗(yàn)剔除了少于10次叫牌動作玩家的樣本數(shù)據(jù)。

圖11的最后2列分別展示了在相同情況下某玩家的叫牌記錄和模型給出的基準(zhǔn)叫牌動作。根據(jù)1.3節(jié)提出的叫牌風(fēng)格劃分方法，計算得到該玩家對手牌的高估程度為0.500 004，對叫牌動作的偏離程度為0.738 548，查表1可知該玩家的叫牌風(fēng)格屬于激進(jìn)非理性型。

圖11 相同叫牌情況下某玩家的叫牌記錄和基準(zhǔn)叫牌動作

觀察圖11可以發(fā)現(xiàn)，數(shù)據(jù)項1中無任何強(qiáng)力牌特征，數(shù)據(jù)項3、7、12中存在大量不能構(gòu)成連續(xù)牌特征的點(diǎn)數(shù)牌，但玩家仍采取叫牌的動作，以此判斷該玩家在叫牌過程中比較激進(jìn)隨意，可以認(rèn)為其叫牌風(fēng)格屬于激進(jìn)非理性型。由此認(rèn)為本文設(shè)計的玩家叫牌風(fēng)格劃分方法對于高估手牌的部分能夠正確判別，具有一定的可行性。

4 結(jié)論

為了提高自身在對局中的收益，本文以競技二打一的玩家叫牌風(fēng)格作為切入點(diǎn)，研究了一種融合深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)和統(tǒng)計學(xué)方法的玩家叫牌風(fēng)格劃分方法，該方法能夠?qū)ν婕业慕信骑L(fēng)格進(jìn)行正確劃分。

在基準(zhǔn)叫牌模型訓(xùn)練開始時出現(xiàn)準(zhǔn)確率不能提升的問題，筆者認(rèn)為可能是樣本比例不均衡造成的，如果能夠找到一種合適的平衡樣本比例的算法，會使模型的性能得到進(jìn)一步提升。

本文訓(xùn)練出具有較高準(zhǔn)確率的叫分基準(zhǔn)模型，并能依據(jù)叫分基準(zhǔn)模型對玩家的叫牌風(fēng)格進(jìn)行分類劃分，未來將會設(shè)計帶有多階段叫牌博弈算法接口的平臺對本文的方法增加對局收益的效果進(jìn)行驗(yàn)證。