孔凡國(guó)， 李智宗， 劉慶， 黃偉

（1.五邑大學(xué) 智能制造學(xué)部，廣東 江門(mén)529020；2.深圳市圓夢(mèng)精密技術(shù)研究院，廣東 深圳518110）

0 引 言

近幾年在大數(shù)據(jù)和強(qiáng)大計(jì)算能力的驅(qū)動(dòng)下，人工智能技術(shù)得到了快速發(fā)展，深度學(xué)習(xí)被廣泛應(yīng)用到了各個(gè)領(lǐng)域，其中智能游戲設(shè)備也得到了廣泛關(guān)注。中國(guó)象棋是中國(guó)傳統(tǒng)的游戲，棋子的定位與識(shí)別是中國(guó)象棋機(jī)器人中的兩項(xiàng)關(guān)鍵技術(shù)。

針對(duì)棋子字符識(shí)別，杜俊俐[1]使用文字連通數(shù)、字符年輪統(tǒng)計(jì)等特征進(jìn)行棋子識(shí)別，該方法具有方向無(wú)關(guān)性，很好地解決了棋子字符旋轉(zhuǎn)問(wèn)題，但需要提前統(tǒng)計(jì)特征，步驟繁瑣、準(zhǔn)確率不高且通用性不高；馮元華[2]提出一種基于模板匹配字符識(shí)別方法，該方法的優(yōu)點(diǎn)是對(duì)模板方向無(wú)要求，但識(shí)別過(guò)程繁瑣，通用性不強(qiáng)；曾國(guó)強(qiáng)[3]通過(guò)對(duì)棋子進(jìn)行閾值預(yù)處理得到文字骨架，然后使用凸包方法進(jìn)行棋子識(shí)別，該方法處理速度快，但準(zhǔn)確率依賴(lài)閾值的設(shè)定，容易受光照變化導(dǎo)致預(yù)處理結(jié)果不理想；針對(duì)棋子的旋轉(zhuǎn)特性，郭曉峰[4]提出一種基于旋轉(zhuǎn)差分的中國(guó)象棋字符識(shí)別方法，準(zhǔn)確率提高到了98%，但該方法依賴(lài)旋轉(zhuǎn)角的設(shè)計(jì)以及定位精度，識(shí)別過(guò)程需要對(duì)每個(gè)棋子進(jìn)行旋轉(zhuǎn)匹配，過(guò)程繁瑣而導(dǎo)致計(jì)算量大，且泛化能力差；段云濤[5]提出一種BP神經(jīng)網(wǎng)絡(luò)的棋子識(shí)別方法，通過(guò)Moravec算子計(jì)算字符的特征點(diǎn)，明顯的優(yōu)點(diǎn)是速度快，但對(duì)圖像邊緣和噪聲點(diǎn)敏感；韓燮[6]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的棋子識(shí)別方法，該方法在大量圖像數(shù)據(jù)的驅(qū)動(dòng)下，獲得較好的識(shí)別準(zhǔn)確率，但只是使用了經(jīng)典的網(wǎng)絡(luò)模型AlexNet[7]，并未針對(duì)棋子旋轉(zhuǎn)特性作模型設(shè)計(jì)，最終準(zhǔn)確率也只達(dá)到了98%。

中國(guó)象棋字符識(shí)別中的難點(diǎn)在于字符的角度隨意性、字體類(lèi)型多樣性和字符筆畫(huà)密集性，在這樣的難點(diǎn)下，使用手工設(shè)計(jì)特征的識(shí)別方法準(zhǔn)確率不高。相比傳統(tǒng)機(jī)器學(xué)習(xí)方法，性能更好的深度卷積神經(jīng)網(wǎng)絡(luò)模型相繼出現(xiàn)，以AlexNet為開(kāi)端，VGG、GoogleNet等模型相繼被提出，在圖像識(shí)別上取得了非常大的成果。針對(duì)中國(guó)象棋識(shí)別，提出一種基于可變形卷積棋子識(shí)別模型。

1 視覺(jué)系統(tǒng)算法流程設(shè)計(jì)

象棋機(jī)器人視覺(jué)系統(tǒng)包括棋子定位和棋子識(shí)別兩個(gè)主要部分。首先，利用相機(jī)采集圖像，對(duì)圖像進(jìn)行預(yù)處理；然后對(duì)棋子區(qū)域進(jìn)行定位，將定位到的棋子區(qū)域輸入到分類(lèi)器進(jìn)行棋子識(shí)別；最后將坐標(biāo)位置信息和棋子識(shí)別信息傳輸給象棋解法計(jì)算子系統(tǒng)。視覺(jué)系統(tǒng)算法處理流程如圖1所示，棋子定位和識(shí)別處理流程在PC端完成。

2 棋子定位與識(shí)別

2.1 棋子定位

在棋子定位前，必須要先定位棋盤(pán)，只有棋盤(pán)確定了才能確定棋子相對(duì)棋盤(pán)的位置。為了減少系統(tǒng)在時(shí)間上的處理時(shí)間，將棋盤(pán)、機(jī)器人和相機(jī)的相對(duì)位置固定，那么棋盤(pán)的位置便可以直接給定，無(wú)需在圖像處理過(guò)程中再進(jìn)行定位。

圖1 視覺(jué)系統(tǒng)算法流程

中國(guó)象棋主要有兩個(gè)顯著特點(diǎn)，即棋子形狀和字符顏色，字符顏色往往是紅色和綠色，因此可通過(guò)顏色對(duì)棋子進(jìn)行分割。先將RGB顏色空間轉(zhuǎn)換到HSV空間，因?yàn)镠SV顏色空間可以避免光照變化對(duì)顏色的影響，H、S、V三個(gè)分量分別表示色調(diào)、飽和度和明度。紅色的HS分量為(150～180,40～255)，綠色的HS分量為(35～80,40～255)，從這些分量值的范圍可以看到，要區(qū)分紅色和綠色，直接單獨(dú)使用H分量便可以，將滿(mǎn)足這種顏色的像素設(shè)為255，否則設(shè)置為0。

從得到的分割圖像可以看到，H分量可以將棋子較好地分割出來(lái)，然后通過(guò)形態(tài)學(xué)處理得到更好的棋子輪廓，在此輪廓的基礎(chǔ)上使用霍夫變換進(jìn)行圓檢測(cè)，由于是二值圖像，在此使用霍夫變換較在灰度圖像下的計(jì)算量更少，檢測(cè)結(jié)果如圖2所示。

圖2 棋子定位效果

2.2 棋子識(shí)別

棋子識(shí)別是最關(guān)鍵的一步，正確地識(shí)別棋子對(duì)于棋局解法計(jì)算是至關(guān)重要的。針對(duì)中國(guó)象棋字符識(shí)別難點(diǎn)，構(gòu)建帶有Inception[8]模塊的卷積神經(jīng)網(wǎng)絡(luò)。該模型有兩大特點(diǎn)：首先，通過(guò)Inception模塊中不同大小的卷積核，以不同的感受野學(xué)習(xí)字符特征；其次，融入可變形卷積，使模型能夠?qū)W習(xí)擺放任意角度的字符。棋子識(shí)別過(guò)程首先將定位到的棋子使用外接矩形方式提取棋子區(qū)域，然后輸入到分類(lèi)器中進(jìn)行識(shí)別。

中國(guó)象棋棋子任意擺放的角度是棋子字符識(shí)別的一大挑戰(zhàn)，通常會(huì)通過(guò)數(shù)據(jù)增強(qiáng)來(lái)構(gòu)建多樣性的數(shù)據(jù)集，但這樣的前提是假設(shè)模型變換是固定的，不利于具有位置變換模型的生成。深度學(xué)習(xí)模型應(yīng)該具備學(xué)習(xí)幾何變換的能力，因此通過(guò)增加中間層來(lái)學(xué)習(xí)數(shù)據(jù)的空間變換特征，構(gòu)建可變形卷積層(Deformed Convolution)。

2D卷積主要是通過(guò)矩形格子在特征圖上進(jìn)行采樣，然后帶權(quán)重求和。對(duì)于特征圖上每一個(gè)位置，進(jìn)行卷積操作后得到為y(p0)，其表達(dá)式為

式中：R是矩形格子中每一位置的坐標(biāo)；w表示卷積權(quán)重。

對(duì)于標(biāo)準(zhǔn)的矩形格子，對(duì)于每個(gè)位置增加兩個(gè)方向的偏移量，得到非矩形卷積。通過(guò)增加偏移量來(lái)達(dá)到可變形卷積的目的，在矩形格子上增加偏移進(jìn)行采樣，然后作用在特征圖上，使得特征點(diǎn)發(fā)生了重新組合。對(duì)于矩形格子R，增加偏移Δpn后得到

采樣過(guò)程如圖3所示。其中，通道為N的特征圖經(jīng)過(guò)一個(gè)普通的二維卷積，得到通道為2N的卷積結(jié)果，結(jié)果中包含了x、y兩個(gè)方向的偏移，故為2N。其中x、y兩個(gè)方向的偏移屬于浮點(diǎn)型數(shù)據(jù)類(lèi)型，而圖像像素坐標(biāo)是整型數(shù)據(jù)，因此最終的偏移通過(guò)雙線性插值獲得。

在Inception-V3中，通過(guò)將較大的二維卷積核拆分成兩個(gè)較小一維的卷積，比如將5×5拆分成5×1和1×5，如此大大減少了參數(shù)量，同時(shí)增加了一層非線性變換，從而獲得一定的性能提升。Inception模塊中對(duì)輸入特征進(jìn)行分路卷積，容易出現(xiàn)不同核卷積下的信息提取重復(fù)，基于分組思想，將模塊改進(jìn)為分組卷積方式，改進(jìn)后的Inception模塊在參數(shù)量上有所降低，意味著降低了模型對(duì)硬件的要求，更適合實(shí)時(shí)識(shí)別過(guò)程。

圖3 可變形卷積采樣過(guò)程

棋子字符筆畫(huà)密集，而且筆畫(huà)間存在一定的關(guān)系，通過(guò)Inception模塊中不同大小的卷積核對(duì)字符進(jìn)行采樣，從多個(gè)不同大小的感受野中學(xué)習(xí)字符筆畫(huà)特征，通過(guò)大的感受野學(xué)習(xí)遠(yuǎn)距離的筆畫(huà)關(guān)系。搭建模型如圖4所示，主要使用兩個(gè)Inception模塊進(jìn)行高語(yǔ)義特征提取，低層使用標(biāo)準(zhǔn)卷積提取簡(jiǎn)單特征，隨后加入可變形卷積層提取字符形變特征等。Inception模塊中的ReLU函數(shù)替換為L(zhǎng)eakyReLU函數(shù)。

圖4 棋子識(shí)別模型框架

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

中國(guó)象棋識(shí)別數(shù)據(jù)集是自建的數(shù)據(jù)集，包括了拍攝制作的棋子圖像以及網(wǎng)絡(luò)獲取的棋子圖像，包含了多種材質(zhì)和多種字符，數(shù)據(jù)集總大小為33 274張圖。一副中國(guó)象棋有10種字符，但由于附帶顏色而將某些字符分開(kāi)，比如“紅馬”與“藍(lán)馬”，雖字符一樣，但需要將其分為2類(lèi)，因此得到中國(guó)象棋共14個(gè)類(lèi)別。訓(xùn)練集中除了紅色和綠色外，還增加了黑色，使得分類(lèi)器能夠適應(yīng)不同顏色的棋子。為了增加棋子的復(fù)雜性和多樣性，經(jīng)過(guò)旋轉(zhuǎn)、裁剪、縮放等數(shù)據(jù)增強(qiáng)操作，效果如圖5所示。

圖5 數(shù)據(jù)增強(qiáng)結(jié)果圖

3.2 棋子識(shí)別實(shí)驗(yàn)

3.2.1 測(cè)試結(jié)果

本文實(shí)驗(yàn)的計(jì)算機(jī)配置為Windows、CUDA9.0、cuDNN7.0、NVIDIA GTX1060。模型訓(xùn)練采用ADAM優(yōu)化器最小化交叉熵?fù)p失，對(duì)8250個(gè)棋子圖像樣本進(jìn)行離線測(cè)試，評(píng)估標(biāo)準(zhǔn)采用查全率(Recall）、查準(zhǔn)率(Precision)和綜合性能F1-score。對(duì)于每一種棋子，TP(True Positive)表示將正類(lèi)識(shí)別為正類(lèi)的個(gè)數(shù)，F(xiàn)P（False Positive）表示將負(fù)類(lèi)識(shí)別為正類(lèi)的個(gè)數(shù)，F(xiàn)N(False Negative)表示正類(lèi)識(shí)別為負(fù)類(lèi)的個(gè)數(shù)，TN(True Negative)表示負(fù)類(lèi)識(shí)別為負(fù)類(lèi)的個(gè)數(shù)。

測(cè)試結(jié)果如圖6所示，無(wú)論是簡(jiǎn)單字符還是復(fù)雜字符，棋子識(shí)別準(zhǔn)確率都非常高，從準(zhǔn)率來(lái)看，只有“藍(lán)車(chē)”和“紅車(chē)”出現(xiàn)識(shí)別錯(cuò)誤，其他都能準(zhǔn)確識(shí)別；從查全率來(lái)看，“藍(lán)將”、“藍(lán)卒”、“紅兵”和“紅相”出現(xiàn)了漏檢情況，即未被識(shí)別出來(lái)；但模型的f1-score得分全部為1，說(shuō)明模型的綜合性能優(yōu)秀。

圖6 模型測(cè)試結(jié)果

在實(shí)時(shí)定位與識(shí)別的實(shí)驗(yàn)中（如圖7），可以看到識(shí)別準(zhǔn)確率非常高，而且每種棋子的輸出置信度都在90%以上，具有非常好的魯棒性。

圖7 棋子識(shí)別效果局部圖

3.2.2 不同模型對(duì)比

實(shí)驗(yàn)利用了LeNet-5、AlexNet、VGG16模型與本文方法進(jìn)行對(duì)比，因?yàn)槠遄幼R(shí)別類(lèi)別少，故減少了這些模型的全連接層，避免過(guò)擬合。由表1看出，本文方法在棋子識(shí)別準(zhǔn)確率上明顯高于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，比AlexNet提高了近3%。模型使用全局池化代替了全連接層，大大減低了模型參數(shù)，模型占內(nèi)存大小不足3 MB，比帶全連接層的卷積模型更加輕量化。在加入注意力模塊和可變性卷積后，模型準(zhǔn)確率大大提升，和其他文獻(xiàn)中的棋子識(shí)別方法對(duì)比，本文方法可以實(shí)現(xiàn)了更高的準(zhǔn)確率。

表1 不同模型在本文數(shù)據(jù)集上的識(shí)別效果對(duì)比

4 結(jié) 語(yǔ)

中國(guó)象棋識(shí)別是象棋機(jī)器人的關(guān)鍵技術(shù)之一，棋子擺放角度的任意性是棋子識(shí)別的最大難點(diǎn)，人工特征提取方法存在局限性，且模型魯棒性不強(qiáng)。提出一種卷積神經(jīng)網(wǎng)絡(luò)方法，以改進(jìn)Inception模塊為基礎(chǔ)卷積方式，通過(guò)可變形卷積層提高普通卷積神經(jīng)網(wǎng)絡(luò)模型的形變能力，使模型具有更強(qiáng)的魯棒性，準(zhǔn)確率可達(dá)99.9%，可滿(mǎn)足象棋機(jī)器人棋局解算的輸入要求。