劉再生，倪霏，李榮鵬，張宏綱，劉暢，張解放，謝松云

（1. 浙江大學信息與電子工程學院，浙江 杭州 310027； 2. 浙江傳媒學院，浙江 杭州 310018；3. 西北工業(yè)大學，陜西 西安 710129）

1 引言

6G通信技術(shù)的發(fā)展帶來大帶寬、超高速、超低時延的通信性能革新是可以預見的。信息通信技術(shù)和神經(jīng)科學的融合發(fā)展預示了腦對腦無線通信（brain-to-brain wireless communication，B2BC）的可能性與巨大潛力。B2BC要實現(xiàn)的技術(shù)過程是從發(fā)送者大腦把神經(jīng)信號中提取、數(shù)字化，然后傳遞給接收方大腦[1]。B2BC技術(shù)的實現(xiàn)需要高數(shù)據(jù)速率、低時延和可靠通信的支持，而這正是6G技術(shù)可以提供的。B2BC實現(xiàn)神經(jīng)信號的提取是通過腦電圖（electroencephalogram，EEG）的采集，EEG信號最常見的典型分析方法是對原始的時域EEG信號進行濾波、去除偽跡、事件相關(guān)電位（event-related potential，ERP）分析以及觀察2D或3D腦域活動熱圖等方式觀察其表現(xiàn)出來的特征。對于B2BC而言，復雜的、動態(tài)的多路時域EEG信號并不是信息傳輸?shù)睦硐胼d體，在傳輸與認知過程相關(guān)的EEG信號時，每個電極的信號都是至關(guān)重要的，但每個電極信號的輕微失真都會導致傳輸信息的整體偏差。因此B2BC的神經(jīng)信號數(shù)字化過程需要一種可靠的、可以整合多路信號整體特征并且保留局部特征的“編碼”方式來數(shù)字化神經(jīng)信號，從而提高B2BC中信息傳輸中的魯棒性。

近年來，隨著神經(jīng)網(wǎng)絡研究的發(fā)展，研究人員致力于解釋人類意識產(chǎn)生過程和人工智能（AI）實現(xiàn)過程的內(nèi)在本質(zhì)，其中一個研究方向是通過探索人類大腦認知和意識產(chǎn)生過程的規(guī)律來促進機器學習技術(shù)的發(fā)展?，F(xiàn)在基于EEG信號本身的數(shù)字分析方法[2-3]也不斷被提出和完善，如單試次分析等方法，其考慮到了EEG信號在不同受試者之間存在顯著差異[4]。這些方法為提取EEG信號可能存在的關(guān)聯(lián)性更強，但形式更為簡單的數(shù)字特征提供了嘗試途徑。這與B2BC提取神經(jīng)信號之后的數(shù)字化過程不謀而合。結(jié)合兩個領(lǐng)域的關(guān)聯(lián)性，對人腦認知過程的分析是具有前瞻性價值的。

格式塔心理學（Gestalt psychology）理論是現(xiàn)代認知學習理論的先驅(qū)基礎(chǔ)。它是20世紀初由德國心理學家Westheimer W.Kohler 和 K. Koffka 在相似性研究的基礎(chǔ)上建立起來的。他們認為，思維是一種整體的、有意義的感知，而不是相互關(guān)聯(lián)的表象的簡單集合；主張學習在于構(gòu)成完形（Gestalt），改變一個完形為另一完形[5]。這種認知過程與目前通過深度神經(jīng)網(wǎng)絡（deep neural network，DNN）進行機器學習的圖像識別模式有著本質(zhì)的不同。

神經(jīng)網(wǎng)絡研究的發(fā)展十分迅速，更新更強的算法模型層出不窮，其計算能力和對指定任務的學習能力十分強大。在此基礎(chǔ)上，研究人員提出了新的目標，他們的研究重點是使人工智能更加智能，即實現(xiàn)類腦智能。他們希望機器學習不僅能夠?qū)崿F(xiàn)人腦所能做的事情，還要能夠像人腦一樣解決問題或者像人類一樣去認知事物。源自一個神經(jīng)細胞如何傳輸信號的原理啟發(fā)，發(fā)展構(gòu)建出了如今的神經(jīng)網(wǎng)絡；那么整個生物神經(jīng)網(wǎng)絡的連接性質(zhì)和聯(lián)動的規(guī)律能帶給人們的必然是類腦智能化，這不僅是神經(jīng)網(wǎng)絡發(fā)展從機械的機器學習過程向意識層面躍遷的契機，也是腦機接口（brain computer interface，BCI）技術(shù)進一步發(fā)展的必然。通過探索大腦認知行為，有可能探索意識的產(chǎn)生[6]，而不局限于大腦產(chǎn)生了何種意識。

現(xiàn)階段已有相關(guān)工作開展，探索神經(jīng)網(wǎng)絡和人類大腦的生物模式之間的關(guān)聯(lián)[7-17]。因為大腦功能是由不同神經(jīng)元和大腦不同區(qū)域[11]之間的內(nèi)部相互作用決定的，為了了解大腦對外界刺激的反應，學者們開發(fā)了功能網(wǎng)絡分析方法分析整個大腦所表現(xiàn)出來的神經(jīng)信號。大腦結(jié)構(gòu)中神經(jīng)元之間的空間連接關(guān)系是一個復雜的連接模型，該模型長期以來一直作為分析人類大腦活動的拓撲工具。此類研究最初的重點是區(qū)分腦電圖中容易識別的體感知覺（如冷熱感覺、疼痛感覺等）[12]。隨后對異常腦電圖（癲癇發(fā)作）[13]、穩(wěn)態(tài)視覺誘發(fā)電位（SSVEP）、運動意圖檢測[17]和情緒分類[16]進行分析。在以上探究嘗試中，拓撲分析方法能實現(xiàn)對不同EEG信號的區(qū)分性已經(jīng)得到了充分證明。近來，Baker等[14]和Been Kim團隊[15]對格式塔識別結(jié)合機器學習的研究，討論了機器神經(jīng)網(wǎng)絡的實現(xiàn)和人類大腦的認知過程之間的差異，二者提出了完全相反的結(jié)論，矛盾的提出更激勵了關(guān)于意識水平認知過程的研究。

借鑒前述實驗經(jīng)驗，可以充分認識到人類大腦對幾何圖案整體輪廓的認知面臨著局部和全局的問題。因此，本文研究采用能夠提供關(guān)于任意圖[8]的局部和全局性質(zhì)的定量信息的數(shù)學工具——代數(shù)拓撲。拓撲數(shù)據(jù)分析（topological data analysis，TDA）能夠提供一系列新的拓撲和幾何方法來分析通過EEG信號表現(xiàn)出來的大腦神經(jīng)網(wǎng)絡，其中持續(xù)同調(diào)是本實驗分析的關(guān)鍵方法[18-23]。持續(xù)同調(diào)分析提供計算網(wǎng)絡族中每個復雜圖的貝蒂數(shù)（Betti number）的有效算法，并對嵌套的復雜同構(gòu)群在不同網(wǎng)絡規(guī)模下的演化進行編碼。因此，它有助于更好地理解腦電數(shù)據(jù)，并在EEG信號中存在擾動或噪聲時保持分析的穩(wěn)定性。

2 格式塔完形識別的實驗與方法

顯示針對格式塔輪廓認知基于持續(xù)同調(diào)性的拓撲數(shù)據(jù)分析的神經(jīng)生理評估過程和方法如圖1所示。

圖1 用拓撲數(shù)據(jù)分析格式塔輪廓認知的神經(jīng)生理過程和方法

? 在大腦認知過程中，被試者先以固定的間隔重復觀看RSD圖片，然后以相同的方式觀看GST圖片。同時利用帶有傳感電極的腦電帽對EEG數(shù)據(jù)進行同步采集。

? 使用兩種方法計算相關(guān)系數(shù)（0～1）：一是計算傳感器之間的信號的相關(guān)系數(shù)，通過基于希爾伯特變換的算法構(gòu)造關(guān)聯(lián)矩陣（C-matrix），另一種是計算標準化之間的歐幾里得距離，構(gòu)建一個距離矩陣（D-matrix）。

? 通過計算所得的鄰接矩陣構(gòu)建Vietoris-Rips復形，采用持續(xù)同源法分析不同圖片刺激下大腦的神經(jīng)生理特征，并實現(xiàn)神經(jīng)信號的數(shù)字化過程。

2.1 刺激設(shè)定

腦認知實驗中使用的兩種格式塔圖片如圖2所示，選擇標準三角形輪廓存在與不存在的兩種具有代表性的格式塔圖片作為刺激：一種是人們很容易識別出三角形輪廓的圖片（GST），另一種是隨機序列圖（RSD）。兩種圖片的大小和質(zhì)量保持一致，分辨率都是1 440 dpi×1 080 dpi。為了探究被試者認知過程中意識變化的特點，重復RSD 30次，接著重復GST 10次，以增加樣本量，消除潛在的實驗誤差。

圖2 腦認知實驗中使用的兩種格式塔圖片

2.2 實驗步驟

對被試者大致介紹實驗流程和設(shè)備情況后，開始EEG信號的采集，實驗流程如圖3所示。記錄的EEG信號對應整個認知過程中連續(xù)的兩個階段。第一階段是在被試者對RSD沒有明確識別出三角形輪廓的情況下收集EEG信號，第二階段是在被試者從GST中識別出三角形輪廓的情況下收集EEG信號。每一次試次開始時，都從1 s的準備時間開始，然后RSD或GST圖像出現(xiàn)10 s，之后出現(xiàn)1 s休息時段，提醒受試者可以休息一下。

圖3 格式塔認知實驗流程

2.3 實驗對象和設(shè)備

本實驗收集了20名健康志愿者的EEG數(shù)據(jù)（男性9名，女性11名；年齡19～27歲），被試者視力正常（或矯正為正常）。實驗設(shè)備為標準的Neuracle 64系統(tǒng)，包括帶傳感器陣列的64通道腦電帽、帶腦電圖采集軟件的腦電圖記錄儀和放大器（NSW364）。EEG信號采樣率為1 000 Hz，濾波窗口為0.3 ～ 100 Hz的頻率范圍。

3 EEG數(shù)據(jù)的處理和分析

神經(jīng)信號數(shù)字化的過程的數(shù)據(jù)轉(zhuǎn)變：原生EEG信號先經(jīng)過濾波、試次分割、基線校準截取各個頻段的處理后EEG信號（θ波段、α波段、β波段和全波段）；處理后EEG信號經(jīng)過兩種對電極之間關(guān)聯(lián)度基于不同標準的評估計算方式得到兩類電極關(guān)系鄰接矩陣：關(guān)聯(lián)矩陣（C-matrix）、距離矩陣（D-matrix）；對兩類矩陣都進行Vietoris-Rips濾值過程構(gòu)建復形并得出其過程的持久性條碼圖（barcode）；最后根據(jù)條碼圖計算各自對應事件反應的持續(xù)同調(diào)熵（PE），對最后的熵值做比較分析。

3.1 EEG信號的采集與預處理

腦電數(shù)據(jù)采集采用腦電帽采樣和腦電下采樣，采樣頻率為250 Hz。通過一組濾波器得到不同波段的腦電信號，分別是波段θ波段（4～7 Hz）、α波段（8～13 Hz）、β波段（14～30 Hz）和全波段（1～45 Hz）。

過濾后的信號中，腦電帽的每個電極信號對應于一組測量點，在FEEG中的表示為每一行。如上所述，兩種數(shù)據(jù)分析方法用于描述大腦認知過程：一個是通過實時計算各電極之間的相位關(guān)系構(gòu)建關(guān)聯(lián)矩陣（基于希爾伯特變換）；另一個是通過為每個測量點定義電極信號相關(guān)水平的距離矩陣。

3.2 關(guān)聯(lián)矩陣（C-matrix）計算

（1）經(jīng)過關(guān)鍵特征提取并且通過預處理得到每個試次時段的信號為：

其中，N為數(shù)據(jù)長度，對應等于采樣率乘以時間，M為EEG信號采集的電極數(shù)目。

（2）對FEEG中的每一路信號即每一行進行希爾伯特變換[24]，得到H(FEEG)。

（3）采用式（2）得到的H(FEEG)計算每一電極的瞬時相位：

（4）通過式（3）計算關(guān)聯(lián)矩陣對應元素的值，取絕對值，合并得到關(guān)聯(lián)矩陣如式（4）：

3.3 距離矩陣（D-matrix）計算

腦電帽中每個電極濾波后的信號構(gòu)成一組采樣點G，不同通道電極之間的距離如式（5）計算[13]：

3.4 單純復形結(jié)構(gòu)

根據(jù)計算得到的距離矩陣，相當于預置了各個電極點之間的關(guān)聯(lián)距離或者空間距離，通過Vietoris-Rips濾值構(gòu)造單純復形，從零連接到復雜連接點集的濾值過程如圖4所示，該過程中連接關(guān)系是隨著濾值增長而變化的。

圖4 Vietoris-Rips濾值過程

3.5 持續(xù)同調(diào)分析

持續(xù)同調(diào)計算拓撲空間中n維孔洞數(shù)的代數(shù)對象—貝蒂數(shù)。本文中，泛型拓撲空間S的貝蒂數(shù)由β0、β1和β23個維度組成。β0是S中連接組件的數(shù)量，β1是S中環(huán)（hole）的數(shù)量，β2是孔洞（void）的數(shù)量。在濾值過程中，一個k維孔在單純復形出現(xiàn)的時刻記錄為Tstar，而Tend表示k維孔消失。據(jù)此，用[Tstar,Tend]定義k維Betti區(qū)間長度，持久性條形碼（barcode）是其圖形表示[8，25，26]。給出0維貝蒂數(shù)持續(xù)的條形碼如圖5所示。

圖5 持續(xù)的條形碼

同調(diào)熵利用持久條形碼提取拓撲空間特征，從而提供了一種新的熵度量方法。本文設(shè)B={(xi,yi)|i?I}為與拓撲空間S過濾相關(guān)的持久條形碼，其中，i為索引集。因此，濾值后的單純復形的持續(xù)熵H的計算式為：

之后對H進行歸一化得作為EEG數(shù)據(jù)的持續(xù)同調(diào)特征。

其中，lmax是持久條形碼圖中的最大間隔。

4 結(jié)果分析與討論

通過Vietoris-Rips濾值構(gòu)建了RSD/GST圖片誘發(fā)的EEG數(shù)據(jù)的拓撲模型。大腦不同區(qū)域活動與圖像形狀和輪廓感知之間的關(guān)系在圖6中顯示了整體的情況?；旧?，當被試者觀察RSD圖像時，大腦活動涉及的區(qū)域更多，但特征不顯著，總體電平值較為均衡，但當被試者感知到GST圖像時，腦部會有清晰的反應區(qū)域，特征更顯著。因此，本文假定模糊的認知目標使任務更困難，導致更多的心理活動。圖6顯示了人類對形狀輪廓的感知與包括格式塔認知在內(nèi)的高級認知過程之間的相關(guān)性。這些結(jié)果驗證了本文的分析方法在描述EEG信號和形狀認知之間的內(nèi)在相關(guān)性方面的有效性，并且本文的方法更接近于實際的生物反應過程。

圖6 腦電圖映射和Vietoris-Rips單純復形

實驗表明RSD和GST實驗之間存在顯著差異。在不知道實驗目的的情況下，被試者首先觀察了RSD圖片，這些圖片是無序、隨機混亂的。因此，在每個試次中顯示總體EEG信號水平處于較為均衡的狀態(tài)，而被試者對GST圖片所包含的形狀信息在2 s內(nèi)就產(chǎn)生了直觀反應，之后EEG信號水平趨于穩(wěn)定。

采用持續(xù)熵（PE）作為整體實驗的判別標準，兩類認知行為判別度的范圍、平均值和最大值見表1。關(guān)聯(lián)矩陣和距離矩陣在各頻帶對事件分類的平均判別率均大于70%，最佳判別率分別達到90%和85%。

表1 判別標準

關(guān)聯(lián)矩陣和距離矩陣計算的持續(xù)同調(diào)熵比較如圖7所示，分別給出了兩種不同矩陣計算方法得到的持續(xù)同調(diào)熵（PE）的性能和比較。通過對20名受試者的統(tǒng)計分類比較，可以看出，兩種方法都清晰地描述了兩種腦認知情境下兩種拓撲模式在持續(xù)同調(diào)熵上的特征分離。

本文進一步繪制了GST和RSD值的對比圖，如圖8所示。

由圖7和圖8可以得出直觀的實驗數(shù)據(jù)結(jié)果：

圖7 關(guān)聯(lián)矩陣和距離矩陣計算的持續(xù)同調(diào)熵比較

圖8 關(guān)聯(lián)矩陣和距離矩陣計算的GST值和RSD值對比

? 通過關(guān)聯(lián)矩陣計算得出：在θ波段（4～7 Hz）、α波段（8～ 13 Hz）、全波段（1～ 45 Hz）的實驗中，絕大多數(shù)樣本的GST誘發(fā)的EEG信號拓撲計算所得的持續(xù)同調(diào)熵都高于RSD誘發(fā)的EEG信號。

? 通過距離矩陣計算持續(xù)同調(diào)熵的情況則相反。在上述各波段的表現(xiàn)為RSD誘發(fā)的EEG信號的持續(xù)同調(diào)熵高于GST誘發(fā)的EEG信號。

從測量和分析結(jié)果可以明顯看出，具有顯著差異的波段是α波段和θ波段，這與整體原始信號對應的趨勢是一致的。但是在β波段，兩種方法表現(xiàn)出的分類結(jié)果是相似的，RSD和GST比較的趨向是一致的，關(guān)聯(lián)矩陣和距離矩陣計算的持續(xù)同調(diào)熵在β波段的結(jié)果對比如圖9所示。

圖9 關(guān)聯(lián)矩陣和距離矩陣計算的持續(xù)同調(diào)熵在 β波段的結(jié)果對比

作為總結(jié)，本文提出了一種神經(jīng)生理學方法，通過EEG信號評估認知格式塔圖像的形狀和輪廓。當被試感知到RSD圖像時，與GST圖像相比，更多的大腦區(qū)域參與到認知過程中。在這種情況下，可以理解人腦處于一種隨機且混沌得狀態(tài)。采用TDA方法提取由形狀輪廓誘發(fā)的EEG信號的生理特征。結(jié)果表明，GST圖像誘導的腦電數(shù)據(jù)在β波段下，兩種計算方法得到的持續(xù)同調(diào)熵值均低于RSD圖像。在α波段和θ波段以及1～45 Hz全波段的持續(xù)熵值一致表明：

（1）關(guān)聯(lián)矩陣計算：PEGST＞PERSD；

（2）距離矩陣計算：PEGST＜PERSD。

與基于誘發(fā)電位的傳統(tǒng)神經(jīng)生理學方法（需要特定的實驗范式）相比，本文的方法提供了一種可概括的方法，可以從整個大腦的EEG信號中提取整體信息，在保存整體和局部特征的情況下完成數(shù)字化特征提取。本文的方法不僅關(guān)注大腦對外部刺激的反應，還關(guān)注設(shè)計用來標準化和提取數(shù)字特征的算法，這些特征可以可靠地分類，并代表不同的認知感知。代數(shù)拓撲用于解釋人腦中不同神經(jīng)區(qū)域之間的協(xié)調(diào)關(guān)系的工作，可以為復雜神經(jīng)網(wǎng)絡協(xié)同工作的分析方法提供啟發(fā)。將復雜的神經(jīng)網(wǎng)絡模型的維數(shù)降為一維持續(xù)熵來衡量其特性。與此同時在B2BC的技術(shù)流程中可以有效提供神經(jīng)信號數(shù)字化的操作方法。

上述結(jié)果可以直觀地表明，某些特定B2BC交互場景中，具體的人腦神經(jīng)信號轉(zhuǎn)化為一個特征信號（PE）的可靠傳輸是可以實現(xiàn)的。

5 結(jié)束語

本文提出利用腦網(wǎng)絡的持續(xù)同源性對人類高級認知過程神經(jīng)信號進行生理學評估并且提取具有可分性的數(shù)字特征（PE）的方法，可以作為B2BC實現(xiàn)神經(jīng)信號數(shù)字化的一種工具手段。該方法將腦電采集與傳統(tǒng)的格式塔心理學測試過程相結(jié)合，獲取認知相關(guān)的神經(jīng)信息，并通過代數(shù)拓撲分析獲得對有無清晰輪廓的大腦反應的生理學意義特征。驗證實驗結(jié)果表明對于形狀輪廓認知這一實驗場景，采用兩種腦電關(guān)聯(lián)性特征提取的矩陣所計算的PE都具有可觀的可分性。在未來6G無線通信中，要實現(xiàn)結(jié)合BCI的高級設(shè)備的無線使能，于B2BC而言，準確且穩(wěn)定的數(shù)字化特征的提取是關(guān)鍵，也是實現(xiàn)該技術(shù)的基礎(chǔ)。用持續(xù)同調(diào)分析方法來進行神經(jīng)信號的數(shù)字化，可以實時動態(tài)地計算提取EEG信號的數(shù)字特征，既極大地壓縮了數(shù)據(jù)傳輸量，又保證了信息傳輸?shù)姆€(wěn)定性。在6G支持的更高速更穩(wěn)定的無線通信技術(shù)的支持下，B2BC乃至腦對腦網(wǎng)絡的形成都將在此基礎(chǔ)之上得以實現(xiàn)。

由于本文關(guān)注的是格式塔輪廓認知的一個具體案例，未來的研究會擴展到分析不同的認知目標，如顏色或內(nèi)容等其他類目的意識認知行為，從更多角度驗證TDA解釋認知過程的可行性。區(qū)別于以往的EEG信號分析實驗，本工作是首次以數(shù)字化神經(jīng)信號特征的方式解釋人類大腦意識模式，是從“感覺”到“意識”的探索。此外，深入掌握大腦反應過程中大腦神經(jīng)網(wǎng)絡的聯(lián)動行為，可能會啟發(fā)人們構(gòu)建新的人工神經(jīng)網(wǎng)絡結(jié)構(gòu)，這需要進一步的研究和實驗。

綜上所述，本文提出了數(shù)字化人腦對圖形輪廓形認知過程神經(jīng)信號的方法，并通過實驗驗證了該方法的實用性和有效性，這對B2BC技術(shù)實現(xiàn)和DNN結(jié)構(gòu)的發(fā)展具有啟發(fā)意義。