劉怡靜,袁建華,汪李峰

摘 要：學習能力是認知無線電區(qū)別于現(xiàn)有電臺的最主要特征，研究基于SOAR架構(gòu)的案例學習功能在已有認知引擎平臺中的設(shè)計與實現(xiàn)。首先介紹了人工智能開發(fā)工具SOAR的基本原理與概念，進而在認知無線電原型系統(tǒng)平臺上，設(shè)計并實現(xiàn)了基于SOAR架構(gòu)的，具備案例學習能力的認知學習模塊。具備案例學習能力的認知引擎使認知無線電系統(tǒng)具備從以往經(jīng)驗中獲取知識的能力，提高了其在未來任務(wù)中的決策性能。

關(guān)鍵詞：認知無線電； 認知引擎； 人工智能； 案例學習； SOAR

中圖分類號：TN92-34

文獻標識碼：A

文章編號：1004-373X(2011)09-0030-05

Design and Realization of Episodic Learning Module in Cognitive Engine

LIU Yi-jing1,2, YUAN Jian-hua1,3, WANG Li-feng2

(1. Postgraduate Team 4 of ICE, PLAUST, Nanjing 210007, China;

2. China Electronics Equipment System Engineering Corporation, Beijing 100141, China;

3. Unit 78158 of PLA, Chengdu 610081, China)

Abstract： Learning capability is the key characteristic of a cognitive radio distinguished from a traditional radio. In this paper, the design and realization of SOAR-based episodic learning function in the available cognitive engine platform are studied emphatically. The basic principle and concepts of SOAR are introduced, which is a widely used in development architecture for artificial intelligence system. The design and realization of SOAR-based episodic learning module are elaborated. By applying episodic learning to cognitive engine, the cognitive radio system could acquire knowledge from experiences and thus improve decision-making capability in its future tasks.

Keywords： cognitive radio; cognitive engine; artificial intelligence; episodic learning; SOAR

0 引 言

相比傳統(tǒng)無線電技術(shù)，認知無線電(CR)［1］不僅能夠大幅提高頻譜利用效率，更重要的是能夠優(yōu)化服務(wù)性能、提高服務(wù)質(zhì)量 ［2］。作為一門新興技術(shù)，雖然認知無線電沒有統(tǒng)一的定義，但一個被廣泛接受的共識是：認知無線電構(gòu)建于靈活的軟件無線電平臺之上，能夠感知環(huán)境和用戶需求，通過認知引擎實現(xiàn)智能決策并控制終端動態(tài)重配，從而滿足用戶的業(yè)務(wù)質(zhì)量需求。

認知引擎實現(xiàn)并驅(qū)動整個認知環(huán)路，是實現(xiàn)CR的核心部件?？梢哉f，認知引擎是認知無線電的“大腦”［3-4］，而學習能力則將使這“大腦”越來越聰明。具備學習能力的認知引擎能在不斷的認知決策過程中，積累經(jīng)驗并改善知識庫，從而逐漸提高決策推理能力［5］。鑒于學習在認知系統(tǒng)中的重要性，應(yīng)用于CR系統(tǒng)的學習算法研究獲得了國內(nèi)外學者的廣泛關(guān)注［6-8］,然而這些研究仍停留于理論或仿真層面。針對認知無線電原型系統(tǒng)的學習算法的實際應(yīng)用研究尚處于起步階段，現(xiàn)有的認知無線電平臺尚未涉及到學習模塊［9］，

在已構(gòu)建認知無線電原型系統(tǒng)平臺上，對基于SOAR中案例學習模塊的設(shè)計與實現(xiàn)。

1 SOAR基本原理與概念

SOAR是一種用于構(gòu)建人工智能系統(tǒng)的體系架構(gòu)，由人工智能領(lǐng)域的奠基人之一Allen Newell于1983年在密歇根大學帶領(lǐng)團隊啟動研發(fā)。目前，SOAR已被廣泛應(yīng)用于人工智能領(lǐng)域與認知科學領(lǐng)域。人工智能領(lǐng)域的學者使用SOAR作為開發(fā)綜合智能主體的工具，而認知科學家則使用SOAR幫助其對認知過程進行建模。下面簡單介紹SOAR的一些基本原理與概念。

1.1 基本原理與問題空間

SOAR遵循認知統(tǒng)一理論［10］，即將人類的各種認知行為建模成“行為=架構(gòu)+內(nèi)容”的框架。SOAR架構(gòu)借用人工智能領(lǐng)域中“問題空間”的概念，將認知行為看作相應(yīng)問題空間中狀態(tài)隨時間的連續(xù)轉(zhuǎn)換過程。

圖1為問題空間的概念示意圖［10］，矩形代表一個狀態(tài)，矩形中f1,f2代表當前狀態(tài)的屬性名，v1~v6代表對應(yīng)屬性的可能取值。為了對某個行為建模，指定一個初始狀態(tài)S0，目標狀態(tài)用灰色表示，當屬性f2的取值為v6時達到目標狀態(tài)。導致問題空間中的狀態(tài)轉(zhuǎn)換的動作稱作操作，用箭頭表示。為了解決某個問題，必須不斷地向當前狀態(tài)施加操作以使狀態(tài)隨時間不斷進化，直到達到目標狀態(tài)。操作的選擇遵循“合理性原則”，即“如果認知主體具備某個操作的應(yīng)用會達到預置目標的知識，那么該認知主體就選擇這個操作”。

圖1 SOAR架構(gòu)中狀態(tài)空間的概念

1.2 SOAR架構(gòu)中的基本概念

Working Memory(簡稱WM)：儲存短期知識，涵蓋了一個SOAR系統(tǒng)中所有的動態(tài)信息，包括感知到的數(shù)據(jù)、中間的計算、當前的操作和目標。在WM中包括Working Memory Elements(簡稱WMEs)，每一個WMEs包括三個符號：標識符、屬性和值。

Rule Memory：存儲長期知識，包含告之系統(tǒng)怎樣在外部環(huán)境中行動的知識，這些知識被表示成if-then的規(guī)則，稱為產(chǎn)生式。SOAR通過將規(guī)則的條件與WM中的數(shù)據(jù)結(jié)構(gòu)進行比較以決定觸發(fā)哪條規(guī)則，當規(guī)則被觸發(fā)后它們又會改變WM中的內(nèi)容，以觸發(fā)新的規(guī)則，進入下一輪循環(huán)，使得問題空間中的狀態(tài)不斷向目標逼近。

操作：在一個SOAR循環(huán)中所有匹配的規(guī)則可多條并行觸發(fā)，為了避免多條規(guī)則產(chǎn)生的行動發(fā)生沖突，SOAR支持一個特定的實體，稱為操作。操作使SOAR的匹配-觸發(fā)循環(huán)擴展為一個輸入、操作建議、操作選擇、操作應(yīng)用、輸出的五階段決策循環(huán)。

僵局：有些情況下系統(tǒng)可能會達到一個狀態(tài)，在這個狀態(tài)下，沒有能夠觸發(fā)的規(guī)則，或者系統(tǒng)可能會選擇一個操作，但沒有能夠應(yīng)用這個操作的規(guī)則，這種情況被稱為僵局。

子狀態(tài)：當系統(tǒng)運行到一個僵局時，會生成一個子狀態(tài)，進行在這個狀態(tài)下操作的建議、選擇與應(yīng)用，以解決僵局。

Chunking：產(chǎn)生僵局也意味著SOAR系統(tǒng)需要進行學習。Chunking將學到的知識轉(zhuǎn)變?yōu)樾碌囊?guī)則，在以后到達會產(chǎn)生僵局的狀態(tài)時，SOAR會觸發(fā)新生成的規(guī)則，避免僵局再次產(chǎn)生。

2 認知引擎系統(tǒng)架構(gòu)

本文研究的學習推理模塊構(gòu)建在認知無線電原型系統(tǒng)的基礎(chǔ)之上，該系統(tǒng)的認知引擎結(jié)構(gòu)如圖2所示。

圖2 認知無線電原型系統(tǒng)認知引擎結(jié)構(gòu)

其中，主控主要負責實現(xiàn)系統(tǒng)的控制界面、與用戶的交互以及各子模塊之間的信息交互與控制，用Python腳本程序來實現(xiàn)；感知模塊接收外界環(huán)境信息，在本系統(tǒng)中，基于GNU Radio感知外界電磁頻譜信息，采用Python腳本程序接收波形送來的接收質(zhì)量指示；波形執(zhí)行物理層傳輸功能，接收主控的參數(shù)信息，完成相應(yīng)調(diào)制解調(diào)功能。接收波形向感知模塊發(fā)送丟包指示信息。

本文所研究的案例學習集中于知識庫和推理機部分，初始知識庫是用戶離線編寫的SOAR規(guī)則庫，用文本文件存儲，其中的規(guī)則隱含了系統(tǒng)將要發(fā)生的行為模式。推理機用SOAR核心實現(xiàn)，它根據(jù)知識庫中的規(guī)則以及當前狀態(tài)做出決策，并將決策送給主控，進行通信配置；隨后主控將接收來自感知模塊的反饋信息，并據(jù)此更新知識庫，從而為后續(xù)推理提供更豐富的案例知識。該部分是認知系統(tǒng)智能性的核心體現(xiàn)，其具體設(shè)計與實現(xiàn)將在下節(jié)中詳細介紹。

3 案例學習模塊的設(shè)計與實現(xiàn)

3.1 SOAR的案例學習執(zhí)行原理

案例記憶的執(zhí)行架構(gòu)如圖3所示，圓點表示W(wǎng)MEs。WM中包括保留的區(qū)域，即系統(tǒng)的輸入(感知到的內(nèi)容)和輸出(執(zhí)行的動作)。執(zhí)行時在WM中生成了兩個特定的區(qū)域，分別是案例記憶的線索構(gòu)建區(qū)域和重獲區(qū)域。案例學習模塊監(jiān)控系統(tǒng)的行為，在指定的時間記錄一個新案例(通常是在一個循環(huán)結(jié)束時)。案例記憶中存儲的是在記錄時刻WM的整個內(nèi)容，不包括線索和重獲區(qū)域的內(nèi)容。

圖3 SOAR的案例庫執(zhí)行圖

在任何時候系統(tǒng)想要重獲一個案例時，就在線索構(gòu)建區(qū)域生成想要重獲的案例的相關(guān)線索，線索構(gòu)建完成后，案例選擇程序就會將線索與記下的案例進行比較，選擇與生成的線索最匹配的案例，被選的案例將在WM的重獲區(qū)域中重現(xiàn)。

基于線索的重獲采用最近鄰搜索算法。最佳匹配案例的衡量標準為案例的匹配分數(shù)，案例重獲時選擇匹配分數(shù)最大的案例進行重現(xiàn)。具體實現(xiàn)如下：

首先系統(tǒng)識別候選案例，候選案例是那些至少與線索有一個相同的WMEs葉節(jié)點的案例，每個WMEs在i時刻都有一個激活值：

Ai = β + ln∑nj = 1t-dj

(1)

式中:β為基本級別常量;tj為WMEs被給予第j次激活增進后循環(huán)執(zhí)行的次數(shù);d為學習速率參數(shù)，在本系統(tǒng)中令d=0.8。

對每個候選案例中的有兩個需要計算的量：C定義為與線索匹配的WMEs葉節(jié)點數(shù)；A定義為所有匹配的WMEs葉節(jié)點的激活值之和。匹配分數(shù)S由下式獲得：

S=αC+(1－α)A

(2)

式中:α為平衡因子,0<α<1，其取值與線索一級所記的案例大小有關(guān)。

3.2 原型系統(tǒng)案例學習的設(shè)計

3.2.1 設(shè)計思路

每個案例包括場景參數(shù)、動作、結(jié)果、分值四部分。場景參數(shù)包括用戶是否受到干擾、頻譜信息的空閑頻譜id號、通信系統(tǒng)當前工作的頻率id號，動作是改變通信系統(tǒng)的工作頻率，結(jié)果是執(zhí)行完相應(yīng)的動作后用戶是否受到干擾，分值是根據(jù)用戶是/否受干擾進行的評分(0/5分)。

系統(tǒng)在每個場景建議三個改變頻率的動作，每個動作有相應(yīng)的執(zhí)行結(jié)果，根據(jù)結(jié)果評判出相應(yīng)的分數(shù)。系統(tǒng)在遍歷完所有場景的同時，記下在各個場景下執(zhí)行相應(yīng)動作的反饋分數(shù)，當系統(tǒng)再次遇到相同場景時，就可以根據(jù)以往經(jīng)驗選擇得分高的動作，達到自動躲避干擾，選擇空閑頻譜傳輸信號的目的，提高系統(tǒng)在未來任務(wù)中的性能，體現(xiàn)案例學習的作用。系統(tǒng)的工作流程如圖4所示。

圖4 系統(tǒng)工作流程

3.2.2 系統(tǒng)輸入、輸出接口設(shè)計

系統(tǒng)輸入、輸出接口設(shè)計如下：

^io

^input-link//輸入接口

^system-info//儲存系統(tǒng)信息，在整個工作過程中不改變

^frequency//可配置的工作頻率，共三個

^id1/2/3 //序號越大對應(yīng)的頻點值越大

^current-parameters//存儲當前系統(tǒng)參數(shù)信息

^frequency

^id1/2/3//通信系統(tǒng)當前工作的頻率id號

^user-experience//存儲用戶當前體驗信息

^is-jammedyes/no//用戶是/否受到干擾

^spectrum-info//存儲外界頻譜感知信息

^frequency

^id1/2/3//每個支路在某個工作頻點上的id號

^is-freeyes/no//工作頻點是/否空閑

^epmem

^score0/5//根據(jù)用戶是/否受到干擾，系統(tǒng)的評分0/5

^output-link//輸出接口

^change-frequency//改變系統(tǒng)工作頻率

^id1/2/3

^statuscomplete//當外部環(huán)境完成改變波形操作時加入該屬性

3.2.3 具體實現(xiàn)

圖5為系統(tǒng)執(zhí)行過程生成的狀態(tài)簡圖，在頂層狀態(tài)epmem下：

首先，系統(tǒng)根據(jù)感知到的場景參數(shù)在top-state上生成一個situation屬性的值stx，不同場景參數(shù)的組合共可生成24種不同的狀態(tài)，將這些狀態(tài)分別命名為st1,st2,st3,…,st24(以后稱其中某個為stx)，這些生成的狀態(tài)為i-supported WMEs。接著建議改變頻率(change-frequency)的操作，此時由于沒有應(yīng)用這條操作的規(guī)則，系統(tǒng)會進入一個operator no-change的僵局，為了解決這個僵局，SOAR會自動生成一個子狀態(tài)，此時系統(tǒng)進入這個子狀態(tài)，進行在這個狀態(tài)下操作的建議、選擇與應(yīng)用，以解決上面的僵局。

在第一個子狀態(tài)change-frequency下：系統(tǒng)根據(jù)top-state上輸入鏈路的system-info中可配置的三個工作頻率，建議了三個go操作，由于這三個go操作有相同的選擇權(quán)，系統(tǒng)又會進入一個tie僵局，此時SOAR又自動生成一個子狀態(tài)。

在第二個子狀態(tài)go-tie下：若此時top-state上生成的狀態(tài)和系統(tǒng)的頻率id之前未遇到過，建議remember操作來記下這兩個屬性，由于沒有應(yīng)用這條操作的規(guī)則，系統(tǒng)再次生成一個子狀態(tài)。

在第三個子狀態(tài)remember下：產(chǎn)生查詢以往案例的線索，這個線索為remember狀態(tài)下的兩個屬性，即當時的狀態(tài)stx和系統(tǒng)的頻率id。

系統(tǒng)開始運行時，案例庫中還沒有記錄案例或所記錄的案例很少，找不到與產(chǎn)生的線索相匹配的案例，查詢失敗，未查到的stx和id添加到top-state上，并將此屬性命名為unknown。給具有未知stx和id組合的go操作賦值為1 000分。三個go操作都是1 000分時，系統(tǒng)隨機選擇一個go操作執(zhí)行，并將這個go操作的stx和id添加到top-state上，為這兩個屬性分別命名為last-situation,last-id。

案例庫記錄下來的就是此時top-state的整個內(nèi)容。隨著系統(tǒng)遍歷了越來越多的案例，案例庫不斷地充實，系統(tǒng)便可以找到與產(chǎn)生的線索相匹配的案例和分數(shù)，將它們記在top-state上生成一個新的屬性situation-all。

遍歷完所有的場景和動作后，top-state上就會生成72個situation-all屬性的值，當進入第一個子狀態(tài)時，便可根據(jù)situation-all屬性值中的分數(shù)給go操作賦值，即可得出go操作的優(yōu)先級，以后不再產(chǎn)生子狀態(tài)。

圖5 系統(tǒng)的狀態(tài)圖

4 結(jié) 語

認知無線電的能力突出體現(xiàn)在學習能力上，具備學習功能的無線電系統(tǒng)能夠自動判斷出遇到的新情況，對新環(huán)境進行建模，并在此基礎(chǔ)上進行優(yōu)化。本文介紹了一套具備案例學習功能的認知引擎系統(tǒng)。文中使用SOAR 中案例記憶的功能，基于認知無線電原型系統(tǒng)進行建模，設(shè)計并實現(xiàn)了案例學習的功能模塊。該模塊使得系統(tǒng)能夠根據(jù)以往的經(jīng)驗，自動選擇空閑頻譜進行傳輸，智能的提高頻譜利用率，達到了學習進化的目的。

向無線電系統(tǒng)中注入智慧是實現(xiàn)認知無線電的目標，先進的人工智能技術(shù)為此提供了堅實的理論基礎(chǔ)。如何將人工智能技術(shù)更好地應(yīng)用到認知無線電系統(tǒng)中，需要工程技術(shù)人員付出艱辛的努力。

參考文獻

［1］MITOLA J. Cognitive radio-making software radios more personal [J]. IEEE Personal Communications, 1999, 6 (4): 13-18.

［2］AKYILDIZ I F, LEE W Y, VURAN M C, et al. Next generation/dynamic spectrum access/cognitive radio wireless networks: a survey [J]. Computer Networks Journal (Elsevier), 2006, 50: 2127-2159.

［3］FETTE Bruce A.認知無線電技術(shù)［M］.趙知勁，鄭仕鏈，尚俊娜，譯.北京：科學出版社，2008.

［4］汪李峰，魏勝群.認知引擎技術(shù)［J］.中興通迅技術(shù)，2009(2)：5-9.

［5］CLANCY C, HECKER J. Application of machine learning to cognitive radio networks [J]. IEEE Wireless Communications, 2007, 14（4）: 47-52.

［6］MAHMOUD Qusay H. Cocgtive networks: towards self-aware networks [M]. USA: John Wiley & Sons, Ltd, 2007.

［7］SU Y, SCHAAR M van der. Learning for cognitive wireless users [C]// Proc. of IEEE DySPAN. [S.l.]: IEEE, 2008.

［8］SCHAAR M van der. Spectrum access games and strategic learning in cognitive radio networks for delay-critical applications [J]. Proceedings of the IEEE, 2009, 97 (4): 720-740.

［9］MCHENRY M, STEADMAN K, LEU A E, et al. XG DSA radio system [C]// Proc. of IEEE DySPAN. [S.l.]: IEEE, 2008.

［10］http://sitemaker.umich.edu/SOAR/home.建議刪除

［11］http://ai.eecs.umich.edu/SOAR/sitemaker/docs/misc/GentleIntroduction-2006.pdf.

［12］黃晨，魏勝群，張華偉，等.基于遺傳算法的快速認知無線電系統(tǒng)[J].現(xiàn)代電子技術(shù)，2010，33（7）：10-13.

［13］徐世宇,尚俊娜,趙知勁,等.一種基于分組的合作感知方法[J].現(xiàn)代電子技術(shù)，2009，32（1）：51-53.

［14］高路,康桂華,李慶玲.基于認知無線電網(wǎng)絡(luò)的用戶合作頻譜檢測[J].現(xiàn)代電子技術(shù)，2009，32（6）：143-146.

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文