姜 宇，金 晶，李丹丹

（哈爾濱工業(yè)大學，黑龍江哈爾濱 150001）

我國通過實施《高等學校人工智能創(chuàng)新行動計劃》，積極推進“新工科”建設，重視人工智能與計算機、控制、數(shù)學、物理學等學科專業(yè)教育的交叉融合，形成“人工智能+X”復合專業(yè)人才培養(yǎng)模式[1]。對標國際一流大學自動化類專業(yè)的人才培養(yǎng)質(zhì)量，建立人工智能與自動化復合專業(yè)實踐教學體系，搭建理論與實踐應用的橋梁，培養(yǎng)學生的創(chuàng)新意識、創(chuàng)新素質(zhì)和創(chuàng)新實踐能力，以適應國家新工科戰(zhàn)略背景下形成符合工程教育規(guī)律和時代特征的新培養(yǎng)模式[2]。

面向新工科創(chuàng)新人才培養(yǎng)，人工智能與自動化復合專業(yè)的教學實驗平臺不僅需要涵蓋自動化專業(yè)“自動控制理論”“魯棒控制”“自適應控制”等課程的實驗教學內(nèi)容，還需要兼顧人工智能專業(yè)的機器學習、深度學習、強化學習等新內(nèi)容。

冰壺比賽被稱作“冰上的國際象棋”[3]，是對智力要求很高且需要團隊合作的冬奧會熱點賽事。冰壺比賽過程包含典型的人工智能與自動化專業(yè)相關技術內(nèi)容，具體包括：基于賽前試投冰壺球的冰面摩擦參數(shù)辨識技術；基于對手歷史戰(zhàn)績的博弈策略規(guī)劃技術；基于高穩(wěn)定性投擲的冰壺球初始速度控制技術；基于視覺信息的冰壺球滑行速度實時估計技術；基于擦冰動作的冰壺球落點位置控制技術；基于場上冰壺球布局變化的比賽策略動態(tài)博弈技術[4]?？梢姡貏e適合以冰壺比賽作為背景自制人工智能與自動化專業(yè)的綜合性實驗平臺。

通過研究具有開放性、擴展性、兼容性和前瞻性的冰壺機器人教學實驗平臺，可以形成貫穿自動控制理論、運動控制、數(shù)字圖像處理、神經(jīng)網(wǎng)絡、博弈論等人工智能與自動化專業(yè)的一體化實驗教學內(nèi)容，滿足教學實驗平臺的高階性、創(chuàng)新性和挑戰(zhàn)度要求。學生依托該實驗平臺能夠更加直觀地理解復雜環(huán)境下多運動體動力學建模方法，研究相關深度學習視覺檢測算法，通過強化學習算法訓練投擲與擦冰控制策略來贏得比賽任務，為學生設計的仿真算法提供實物驗證平臺，助推新工科人才培養(yǎng)實踐創(chuàng)新平臺建設。

一、冰壺球運動的動力學建模

冰壺場地具有凹凸不平的冰粒，冰壺球在自由滑行時無法保持高精度的直線平移運動，通常采用旋轉(zhuǎn)冰壺球的方式來產(chǎn)生弧線型的平移運動，保證投擲后冰壺球運動軌跡和落點位置的準確度和穩(wěn)定性，稱為“旋進”[5]。冰壺球在冰面上旋轉(zhuǎn)——平移運動很難建立高精度動力學模型，這是由于冰壺球旋轉(zhuǎn)所帶來的摩擦生熱融化冰面，在冰壺球和冰的接觸面之間存在液態(tài)水薄膜，引起冰壺球不同位置受到的摩擦力不同，產(chǎn)生側(cè)向偏移，因此冰壺球的平移運動不是直線，而是具有一定“曲度比”的弧線。冰壺球運動的曲度與初始速度、角速度和摩擦系數(shù)等參數(shù)相關，建立冰壺球在冰面上運動的高精度動力學模型，并對冰壺球所受到的摩擦力進行相關測量和分析，對于理解冰壺運動、比賽和訓練策略以及制冰都具有重要價值。

為了建立更加準確的動力學模型，將冰壺球運動過程分為三個階段。第一階段，當冰壺球以最大速度滑行時，前導外側(cè)半圓處于干摩擦狀態(tài)，引起冰面融化。前導半圓的內(nèi)側(cè)主要處于濕摩擦狀態(tài)，如果冰壺球運動足夠快，薄層水膜在尾隨半圓的內(nèi)側(cè)主要處于濕摩擦狀態(tài)。第二階段，尾隨半圓還未追上前導半圓融化的水膜便被凍結(jié)。前導半圓的外側(cè)仍然是干摩擦情況，引起冰面融化，前導半圓的內(nèi)側(cè)處于濕摩擦狀態(tài)。尾隨半圓的內(nèi)側(cè)處于干摩擦狀態(tài)，引起冰面融化，尾隨半圓的外側(cè)處于濕摩擦狀態(tài)。第三階段，當冰壺球的移動速度足夠慢，冰壺球和液體之間的黏附力能夠?qū)⒁恍┮后w加速到冰壺球的速度，然后在冰壺球旋轉(zhuǎn)時將液膜拖曳到冰壺球周圍時出現(xiàn)本階段。預計這種情況水膜黏附力會在冰壺球周圍發(fā)生，最明顯的影響將出現(xiàn)在冰壺球的右側(cè)，即旋轉(zhuǎn)和平移速度平行的位置。

冰壺場地的表面由許多被稱為“冰卵石坑”的圓形突起和伴隨空洞組成，這種不光滑冰面使得冰壺球在給定的初始旋轉(zhuǎn)下，運動軌跡會產(chǎn)生大小不一的曲度，曲度的大小并不與旋轉(zhuǎn)速度直接相關，且旋轉(zhuǎn)運動可能在平移運動之后結(jié)束，因此，冰壺球運動的動力學模型與通常光環(huán)平面上簡單直線/旋轉(zhuǎn)運動的動力學模型完全不同。冰壺球在滑行過程中，通過底部中空、半徑12.5cm、寬度3~6mm 的薄環(huán)與冰面接觸，與冰卵石坑有著更加復雜的摩擦關系，形成非常復雜的物理過程。

下面基于干濕摩擦混合的方式建立帶有旋轉(zhuǎn)的冰壺球運動模型。將干摩擦力描述為：

其中，M是冰壺質(zhì)量，g 是重力加速度，μ 是動摩擦系數(shù)，θ 是冰壺球薄環(huán)旋轉(zhuǎn)的角度。

將濕摩擦力描述為：

其中，u（θ）是相對于冰的凈速度，k 和φ 是根據(jù)擦冰過程設置的系數(shù)。濕摩擦力隨著速度的增加而增加，類似于流體中運動物體的阻力增加。

當冰壺球經(jīng)過冰層時，由快速擦冰運動產(chǎn)生的動摩擦和由冰壺壓力導致冰層融化的濕摩擦在不同運動狀態(tài)下互相切換，共同作用產(chǎn)生冰壺球的各種運動。該干濕摩擦力混合模型的可行性表現(xiàn)為：（1）當遇到固體冰時，動力摩擦導致冰融化，其結(jié)果是冰壺球既經(jīng)歷了干摩擦，也經(jīng)歷了濕摩擦，其接觸區(qū)域穿過冰上的液態(tài)水薄膜；（2）可以建立濕摩擦與運動速度之間的依賴關系，以及建立互相切換的狀態(tài)關系；（3）冰壺球在其運動的最后階段能夠?qū)⒁恍┮后w薄膜部分地拖曳到冰壺球底部周圍，從而可以準確描述冰壺球增強的旋度。

二、冰壺球運動信息估計

冰壺場地長44.5 米，寬4.32 米，冰場的空曠性和冰面反光性等復雜環(huán)境給冰壺機器人的精確運動檢測和跟蹤等帶來了挑戰(zhàn)性問題。基于冰壺場地的圖像識別技術進行冰壺球定位，可以為投擲與擦冰控制提供反饋信息[6]。針對冰壺球的形狀、色調(diào)特征和定位測量要求，采用工業(yè)級CCD 攝像機獲取圖像，經(jīng)過基于色調(diào)的圖像分割進行目標識別和粗定位，并通過傳統(tǒng)的提取邊緣和橢圓模板擬合等方法獲得目標精確位置，正確識別物體相對于標線到達毫米級的位置變化[7-8]。

考慮冰壺機器人目標跟蹤過程中可能存在人或機器人對冰壺球產(chǎn)生遮擋的情況，被遮擋下的冰壺球外形會頻繁地發(fā)生變化，冰壺球的識別和定位難度都會大大增加；冰壺球與機器人攝像頭距離不同時在圖像中的大小也會發(fā)生變化，距離攝像頭越近在圖像中就越大，反之就越小，該問題可以被歸結(jié)為目標的多尺度問題；如果在拍攝過程中攝像頭的角度發(fā)生了變化，先前測量的結(jié)果相對當前角度下的正確結(jié)果會產(chǎn)生偏移，這也是冰壺球跟蹤過程中需要克服的關鍵問題[9]。

采用SiamRPN++網(wǎng)絡作為冰壺球目標跟蹤方法。首先該網(wǎng)絡在訓練時使用隨機偏移的數(shù)據(jù)增強策略，緩解網(wǎng)絡因為破壞了嚴格平移不變性帶來的影響，消除了位置偏見；其次使用多層融合的策略，選擇網(wǎng)絡最后三個卷積層的輸出進行融合；最后提出按深度的互相關計算方法，在減少網(wǎng)絡參數(shù)及計算量的基礎上實現(xiàn)更好的跟蹤效果。

SiamRPN++是一個統(tǒng)一框架的、可實現(xiàn)端到端訓練的視覺追蹤網(wǎng)絡，可以應對冰壺球被遮擋導致的外觀特征頻繁發(fā)生變化的問題，能夠根據(jù)被遮擋的情況動態(tài)調(diào)整目標邊界框的大小，還可以對深層網(wǎng)絡的特征圖進行多層融合，有效解決目標的多尺度問題，因此能很好地應對所采集的冰壺球大小的變化。

為了易于在嵌入式設備上部署，以MobileNet 作為SiamRPN++的骨干網(wǎng)絡，在GPU 上的運行速度能達到70FPS。經(jīng)實測，在1080Ti 上的速度在45FPS 左右，該速度完全能夠?qū)崟r處理攝像機拍攝到的視頻，并在跟蹤精度和穩(wěn)定性方面滿足基本需求。

三、冰壺機器人投擲與擦冰控制策略

冰壺機器人投擲和擦冰控制系統(tǒng)模型具有參數(shù)不確定性、控制輸入約束的特點，很難通過古典或現(xiàn)代控制理論方法計算控制律，采用深度強化學習方法進行控制算法訓練，實現(xiàn)高精度的落點位置和速度控制是冰壺機器人投擲和擦冰控制系統(tǒng)設計的必然趨勢[10]。

冰壺球投擲與擦冰控制的強化學習需要多個智能體從連續(xù)空間中選擇出最優(yōu)控制策略[11]。近年來，深度強化學習已成功地應用于具有離散動作空間的博弈[12]，但離散動作的強化學習模型不適合為冰壺機器人設計投擲與擦冰策略，在冰壺機器人比賽過程中，動作的微小變化會顯著影響結(jié)果。采用神經(jīng)網(wǎng)絡與蒙特卡洛樹搜索相結(jié)合的強化學習框架，將場景感知與策略決策進行融合。神經(jīng)網(wǎng)絡的訓練為離線過程，基于專家數(shù)據(jù)以及自我對弈生成數(shù)據(jù)訓練策略函數(shù)與價值函數(shù)；蒙特卡洛樹搜索為在線過程，基于當前比賽狀態(tài)選擇下一步動作，考慮到不確定性影響，在蒙特卡洛搜索中引入核回歸。

通過監(jiān)督學習訓練動作策略輸出所有可能動作的概率分布。該策略使用隨機梯度上升法對隨機采樣的狀態(tài)動作對進行訓練，實現(xiàn)在狀態(tài)中選擇專家動作的可能性最大化。

使用自我對弈數(shù)據(jù)進一步訓練動作策略。在每個時間步驟，按照使預期得分最大化的方向，通過隨機梯度上升來更新動作策略。

其中，r（st）是獎勵值，從當前時間步驟t 直到本局比賽結(jié)束的得分總和。

得分函數(shù)輸出當前狀態(tài)s 的得分值。狀態(tài)s 的預期得分是由狀態(tài)s 使用策略p 到本局比賽結(jié)束累計獎勵的平均值。

該得分函數(shù)可以通過得分估計量來近似。該得分估計量由狀態(tài)報酬對使用隨機梯度下降法訓練，以最小化預測值與真實得分之間的均方誤差。

在算法實現(xiàn)過程中，將冰壺機器人所處的連續(xù)動作空間進行離散化。確定性離散化過程會在策略評價和策略改進中產(chǎn)生巨大的偏差，通過隨機連續(xù)行為搜索，取消確定性離散化的限制，在具有連續(xù)動作樣本的物理模擬器中進行局部搜索。采用KR-UCT 的Monte Carlo 樹搜索方法，通過核回歸和核密度來估計連續(xù)行為空間中的得分，并利用鄰域信息有效地選擇和擴展節(jié)點。給定一個動作，根據(jù)附近的值估計得分的置信上限：

代表期望值va與每個動作a 的訪問次數(shù)na的單邊置信區(qū)間，常數(shù)C 是折中系數(shù)。

通過上述設計的策略—得分網(wǎng)絡來得到給定輸入狀態(tài)下的動作概率分布和期望得分。在監(jiān)督訓練中，神經(jīng)網(wǎng)絡的訓練數(shù)據(jù)直接從冰壺機器人自我對弈的模擬比賽中獲得。利用策略網(wǎng)絡與價值網(wǎng)絡，以基于核回歸的蒙特卡洛樹搜索算法選擇動作，該過程考慮冰壺擊打具有不確定性情況下，探索和調(diào)整連續(xù)空間中的控制策略。

四、結(jié)論

將人工智能技術、機器人控制技術與冰壺運動技術相結(jié)合，通過研制智能冰壺機器人實踐教學平臺，以人機對弈、機機對弈的方式設計人工智能與自動化專業(yè)的相關實驗教學內(nèi)容，適應新工科對人才培養(yǎng)的實踐創(chuàng)新能力的要求，為組織全國大學生冰壺人工智能挑戰(zhàn)賽奠定基礎。