潘柏儒 丁衛(wèi)平 鞠恒榮 黃嘉爽 程 純 沈鑫杰 耿 宇
近年來(lái),圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Neural Network, GCN)在各領(lǐng)域都得到廣泛應(yīng)用.在交通流預(yù)測(cè)領(lǐng)域,Zhao等[1]提出時(shí)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò),使用GCN學(xué)習(xí)復(fù)雜的拓?fù)浣Y(jié)構(gòu),獲取空間相關(guān)性,并將網(wǎng)絡(luò)應(yīng)用于城市道路網(wǎng)的交通預(yù)測(cè).Yu等[2]提出時(shí)空卷積網(wǎng)絡(luò),使用的拓?fù)鋱D可區(qū)分相鄰道路連接的權(quán)重,采用GCN進(jìn)行交通預(yù)測(cè).在社交分析領(lǐng)域,Ying等[3]結(jié)合隨機(jī)游走和GCN,將只適用于小規(guī)模用戶群體的推薦系統(tǒng)擴(kuò)充到適用于數(shù)億用戶的推薦系統(tǒng).在疾病分類任務(wù)中,Parisot等[4]將受試者表示為一個(gè)稀疏圖,圖的節(jié)點(diǎn)與基于圖像的特征向量相關(guān)聯(lián).之后,Parisot等[5]構(gòu)建稀疏圖,將受試者的特點(diǎn)和特征均整合到稀疏圖中,對(duì)它們之間的相互作用進(jìn)行建模.
上述對(duì)于傳統(tǒng)GCN的研究,通常先構(gòu)造一個(gè)拓?fù)鋱D用于描述節(jié)點(diǎn)之間的聯(lián)系,再根據(jù)該拓?fù)鋱D使用各種方法進(jìn)行節(jié)點(diǎn)特征的更新.然而,傳統(tǒng)拓?fù)鋱D只能表示確定性關(guān)系,無(wú)法描述真實(shí)世界的不確定性關(guān)系.在社交網(wǎng)絡(luò)中,Kipf等[6]將GCN應(yīng)用于空手道俱樂(lè)部網(wǎng)絡(luò)[7],將該數(shù)據(jù)集建模為表示確定關(guān)系的拓?fù)鋱D,然后分類.Liu等[8]根據(jù)給定社會(huì)文本構(gòu)建拓?fù)鋱D,利用GCN提取社會(huì)文本的情感特征.
目前,研究人員嘗試結(jié)合不確定性關(guān)系和傳統(tǒng)拓?fù)鋱D.Zadeh等[9]引入模糊集理論,試圖使用模糊集理論處理圖中的不確定因素.Rosenfeld等[10]嘗試使用模糊圖刻畫節(jié)點(diǎn)之間的不確定信息.特別是在節(jié)點(diǎn)分類任務(wù)中,Huang等[11]構(gòu)造具有不確定性的圖,以此進(jìn)行疾病預(yù)測(cè),提高對(duì)疾病預(yù)測(cè)的準(zhǔn)確率和受試者人群的分類精度.Yao等[12]構(gòu)建多個(gè)鄰接矩陣表示拓?fù)鋱D的不確定性,并將基于注意力的特征聚合策略引入圖卷積的計(jì)算中,得到較高的分類精度.由此可看出,引入不確定關(guān)系對(duì)提升GCN的分類準(zhǔn)確率是有幫助的.
上述研究通常只適用于特定的圖數(shù)據(jù)集,如Cora、Citeseer、Pubmed數(shù)據(jù)集[13],或適用于可簡(jiǎn)單轉(zhuǎn)變成拓?fù)鋱D結(jié)構(gòu)的數(shù)據(jù).在交通流預(yù)測(cè)中,Cui等[14]將地點(diǎn)建模成圖節(jié)點(diǎn),將地點(diǎn)之間的距離建模成邊權(quán)值.除了這種內(nèi)容較單一、較好轉(zhuǎn)換格式的數(shù)據(jù)集以外,還存在一種醫(yī)學(xué)圖像數(shù)據(jù)集,它同時(shí)包含成像數(shù)據(jù)和非成像數(shù)據(jù).在這種醫(yī)學(xué)圖像數(shù)據(jù)集上:成像數(shù)據(jù)是指受試者的神經(jīng)影像數(shù)據(jù),如功能性磁共振圖像(Functional Magnetic Resonance Imaging, fMRI);非成像數(shù)據(jù)是指受試者對(duì)應(yīng)的表型屬性,包括每位受試者對(duì)應(yīng)的年齡、性別、采集地點(diǎn)等,這些數(shù)據(jù)是以表格形式呈現(xiàn)的固定信息,而非fMRI醫(yī)學(xué)影像的形式.
目前這種同時(shí)包含成像數(shù)據(jù)和非成像數(shù)據(jù)的醫(yī)學(xué)圖像數(shù)據(jù)集也廣泛應(yīng)用于構(gòu)造圖結(jié)構(gòu)中,一般情況下,節(jié)點(diǎn)表示受試者(患者或健康對(duì)照組),并伴有一組特征,而圖的邊以直觀方式結(jié)合主體之間的關(guān)聯(lián),這種表示允許在疾病分類任務(wù)中同時(shí)結(jié)合豐富的成像信息和非成像信息及主體特征.以往用于疾病預(yù)測(cè)的基于圖的方法只關(guān)注受試者之間的兩兩相似性,依賴受試者特定的成像特征向量,忽略個(gè)體特征,未能對(duì)它們之間的相互作用建模.例如,Tong等[15]使用監(jiān)督學(xué)習(xí)進(jìn)行分類,Wolz等[16]、Brosch等[17]使用無(wú)監(jiān)督任務(wù)進(jìn)行分類,Parisot等[18]采用聚類進(jìn)行人群分析,均是因?yàn)樗鼈冇心芰θ菁{復(fù)雜的成對(duì)互動(dòng),并能整合非成像信息.Wang等[19]提出一種漸進(jìn)的方法,旨在從觀察到的成像特征中學(xué)習(xí)親和矩陣,同時(shí)使用已知的表型標(biāo)簽對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行驗(yàn)證,旨在使用表型信息增強(qiáng)成像.也就是說(shuō),利用成像數(shù)據(jù)和非成像數(shù)據(jù),將受試者作為圖節(jié)點(diǎn),并從成像數(shù)據(jù)中提取特征向量與其關(guān)聯(lián),邊權(quán)值從非成像數(shù)據(jù)(表型屬性)中編碼受試者和他們特征之間的成對(duì)相似性,就可在一個(gè)單一框架中結(jié)合成像數(shù)據(jù)和非成像數(shù)據(jù).
然而,上述方法仍存在兩點(diǎn)缺陷:1)采用模糊集理論刻畫不確定關(guān)系時(shí),需要附加信息或先驗(yàn)知識(shí),但這些信息可能不容易得到;2)刻畫不確定性關(guān)系時(shí)需要使用固定的圖數(shù)據(jù)集或可簡(jiǎn)單轉(zhuǎn)變成拓?fù)鋱D結(jié)構(gòu)的數(shù)據(jù),而未涉及到同時(shí)包含成像數(shù)據(jù)和非成像數(shù)據(jù)的醫(yī)學(xué)圖像數(shù)據(jù)集.
為了解決上述問(wèn)題,本文提出基于粗糙圖的圖卷積神經(jīng)網(wǎng)絡(luò)算法(Graph Convolutional Neural Network Algorithm Based on Rough Graphs, RG-GCN).首先,針對(duì)不確定性關(guān)系,構(gòu)造可表示這種不確定關(guān)系的拓?fù)鋱D——粗糙圖.由于Pawlak[20]提出的粗糙集可用于定量分析并處理不精確、不一致、不完整的信息與知識(shí),也不需要先驗(yàn)知識(shí),所以本文首先使用非成像數(shù)據(jù)刻畫節(jié)點(diǎn)間的邊,并將這種傳統(tǒng)拓?fù)鋱D的邊理論與粗糙集中的上下近似關(guān)系結(jié)合,較好地表示不確定性關(guān)系,把這種能表示節(jié)點(diǎn)間不確定關(guān)系的邊定義為粗糙邊,從而得到粗糙圖.然后,基于該粗糙圖更新節(jié)點(diǎn)特征,利用粗糙權(quán)重系數(shù)訓(xùn)練粗糙圖.最后,把訓(xùn)練后的粗糙圖作為GCN的輸入,采用半監(jiān)督分類方式進(jìn)行節(jié)點(diǎn)分類.
圖是描述一組對(duì)象的結(jié)構(gòu),其中某些對(duì)象對(duì)在某種意義上是“相關(guān)的”[21].給定一個(gè)無(wú)向圖G={V,E},其中,V表示節(jié)點(diǎn)集,E表示邊集,節(jié)點(diǎn)集中的節(jié)點(diǎn)表示實(shí)際個(gè)體,邊集中的邊表示個(gè)體和個(gè)體之間的關(guān)系.圖G含有n個(gè)節(jié)點(diǎn),vi表示圖G中的第i個(gè)節(jié)點(diǎn).圖G的鄰接矩陣W的大小為n×n,鄰接矩陣W的第i行第j列的數(shù)字Wij表示節(jié)點(diǎn)vi、vj之間的權(quán)重.當(dāng)節(jié)點(diǎn)vi、vj之間無(wú)連接時(shí),設(shè)它們之間的權(quán)重為0.該拓?fù)鋱D的構(gòu)圖方式為:若節(jié)點(diǎn)對(duì)(vi,vj)之間存在相同的屬性M,則該節(jié)點(diǎn)對(duì)(vi,vj)之間的權(quán)值增加1.
粗糙集理論基于不可分辨關(guān)系對(duì)數(shù)據(jù)進(jìn)行劃分,利用上下近似集對(duì)目標(biāo)進(jìn)行描述[22].
假設(shè)連續(xù)值信息系統(tǒng)表示為
S=(U,AT=C∪D,f,V),
f(x,a)∈Va.
圖卷積神經(jīng)網(wǎng)絡(luò)是用于圖數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型.圖卷積神經(jīng)網(wǎng)絡(luò)的傳播規(guī)則如下[23]:
在兩層GCN中,A表示鄰接矩陣,在預(yù)處理步驟中,首先計(jì)算
使模型更簡(jiǎn)潔,而
(1)
其中:W(0)∈RC×H表示輸入層到隱藏層的權(quán)重矩陣,隱藏層有H個(gè)特征;W(1)=RH×F表示隱藏層到輸出層的權(quán)重矩陣;X表示輸入圖信號(hào),對(duì)應(yīng)圖上就是點(diǎn)的輸入特征;ReLU(·)和softmax(·)表示激活函數(shù).
圖提供一種直觀的方式建模受試者(作為節(jié)點(diǎn))及它們之間的關(guān)聯(lián)或相似性(作為邊).文獻(xiàn)[15]~文獻(xiàn)[18]均利用非成像數(shù)據(jù)構(gòu)造節(jié)點(diǎn)間的邊,利用現(xiàn)有的互補(bǔ)性非成像數(shù)據(jù)描述圖結(jié)構(gòu)中主體之間的相似性.但是在此基礎(chǔ)上構(gòu)造的邊是表示確定性關(guān)系的邊,邊權(quán)值為固定值.為了更好地處理真實(shí)世界中的不確定關(guān)系,本文提出基于粗糙圖的GCN(RG-GCN),結(jié)合粗糙集中表示不確定性關(guān)系的上下近似理論和傳統(tǒng)拓?fù)鋱D的邊理論,也就是說(shuō),將使用非成像數(shù)據(jù)構(gòu)造、表示確定性關(guān)系的邊轉(zhuǎn)換成可以表示不確定性關(guān)系的粗糙邊,即利用這種方式處理不確定性關(guān)系.
基于上述討論,為了能更好地表示具有不確定性的圖數(shù)據(jù),并對(duì)這種具有不確定性的圖數(shù)據(jù)進(jìn)行分類,本文提出基于粗糙圖的圖卷積神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)對(duì)節(jié)點(diǎn)間不確定性關(guān)系的刻畫,以及對(duì)不確定性圖結(jié)構(gòu)的處理,提高算法的運(yùn)行效率和分類準(zhǔn)確率.
RG-GCN具體框圖如圖1所示.在圖中,S表示圖節(jié)點(diǎn),GRough表示本文構(gòu)造的粗糙圖,GRough中的實(shí)線表示粗糙圖的上近似邊(Ei-),虛線表示粗糙圖的下近似邊(Ei-).需要注意的是,正文中使用的符號(hào)V表示拓?fù)鋱D中的節(jié)點(diǎn).圖1中的S本質(zhì)上也是表示拓?fù)鋱D中的節(jié)點(diǎn),但由于本文實(shí)驗(yàn)是基于醫(yī)學(xué)圖像數(shù)據(jù)集進(jìn)行的,是將每位受試者(Subject)作為圖中的節(jié)點(diǎn),所以在畫圖時(shí)直接使用受試者的表達(dá)S.S是基于醫(yī)學(xué)圖像數(shù)據(jù)集對(duì)節(jié)點(diǎn)的更精細(xì)表示,可更好地在圖中體現(xiàn)本文實(shí)驗(yàn)采用的是醫(yī)學(xué)圖像數(shù)據(jù)集,后文中的圖也是如此.
圖1 RG-GCN框圖Fig.1 Framework of RG-GCN
RG-GCN分類過(guò)程如下.首先,從節(jié)點(diǎn)的成像數(shù)據(jù)中提取節(jié)點(diǎn)特征.再?gòu)墓?jié)點(diǎn)的表型屬性中選擇較關(guān)鍵的表型屬性,根據(jù)其不確定程度把對(duì)應(yīng)的屬性劃分成兩組不同的非成像表型屬性:上近似非成像表型屬性集合Mmax={Mhmax}和下近似非成像表型屬性集合Mmin={Mhmin},其中,Mhmax表示上近似非成像表型屬性集合中的上近似非成像表型屬性,Mhmin表示下近似非成像表型屬性集合中的下近似非成像表型屬性.并利用對(duì)應(yīng)非成像表型屬性的關(guān)系構(gòu)造節(jié)點(diǎn)之間的粗糙邊,得到粗糙圖GRough.然后,利用節(jié)點(diǎn)間的粗糙權(quán)重系數(shù)αij分別訓(xùn)練粗糙圖對(duì)應(yīng)的上近似圖GMAX和下近似圖GMIN,得到訓(xùn)練后的粗糙圖GRough′.最后,將訓(xùn)練后的粗糙圖GRough′作為GCN的輸入,通過(guò)式(1)對(duì)其進(jìn)行訓(xùn)練,輸出經(jīng)過(guò)GCN訓(xùn)練和優(yōu)化的結(jié)果,得到圖節(jié)點(diǎn)的分類結(jié)果.
需要注意的是,非成像互補(bǔ)數(shù)據(jù)可提供關(guān)鍵信息以解釋受試者特征向量之間的關(guān)聯(lián),因此選擇最能解釋成像數(shù)據(jù)之間相似性或受試者標(biāo)簽之間相似性的表型測(cè)量方法是必要的.本文通過(guò)粗糙集中能表示不確定性關(guān)系的上下近似理論分別劃分上近似非成像數(shù)據(jù)和下近似非成像數(shù)據(jù),分別構(gòu)造上近似邊和下近似邊.從粗糙集可知,集合X關(guān)于R的上近似是那些可能屬于X的對(duì)象組成的最小集合,集合X關(guān)于R的下近似是肯定屬于X的對(duì)象組成的最大集合,即上近似類似取大的可能范圍,下近似類似取更精確、小的范圍.所以,本文使用上下近似理論將具有準(zhǔn)確數(shù)值的非成像數(shù)據(jù)劃分成如下兩類.1)若非成像數(shù)據(jù)對(duì)應(yīng)的數(shù)值的任何差別都可直接判別為完全不相同,這類非成像數(shù)據(jù)劃分為下近似非成像數(shù)據(jù);2)若非成像數(shù)據(jù)對(duì)應(yīng)的數(shù)值雖然不相同,但在相差很小的范圍以內(nèi),并不會(huì)有很大差別,這類非成像數(shù)據(jù)劃分為上近似非成像數(shù)據(jù).
表型屬性可提供關(guān)鍵信息,解釋節(jié)點(diǎn)和節(jié)點(diǎn)之間的關(guān)系.本文利用表型屬性定義精確的鄰域系統(tǒng),優(yōu)化圖卷積的性能.
為了克服傳統(tǒng)拓?fù)鋱D中邊只能表示確定性關(guān)系的缺點(diǎn),結(jié)合傳統(tǒng)拓?fù)鋱D與粗糙集理論,提出一種工具圖——粗糙圖.
根據(jù)定義可知,上近似類似取大的可能范圍,下近似類似取更精確、小的范圍,所以利用粗糙集的上下近似理論,將具有準(zhǔn)確數(shù)值的非成像數(shù)據(jù)劃分成下近似非成像數(shù)據(jù)和上近似非成像數(shù)據(jù).根據(jù)這種劃分對(duì)傳統(tǒng)拓?fù)鋱D的邊理論進(jìn)行一般化推廣:使用上近似非成像數(shù)據(jù)劃分上近似邊,使用下近似非成像數(shù)據(jù)劃分下近似邊.
定義1給定節(jié)點(diǎn)集V={v1,v2,…,vv},根據(jù)上述非成像表型屬性的劃分標(biāo)準(zhǔn),該節(jié)點(diǎn)集對(duì)應(yīng)非成像表型屬性劃分為一組上近似非成像表型屬性Mmax={Mhmax}和一組下近似非成像表型屬性Mmin={Mhmin}.對(duì)于Mmin,如果兩個(gè)節(jié)點(diǎn)在其對(duì)應(yīng)的下近似表型屬性中的對(duì)應(yīng)數(shù)值相同,且具有該特征的表型屬性的個(gè)數(shù)為i1個(gè),則稱兩個(gè)節(jié)點(diǎn)之間存在i1條下近似邊Ei-;對(duì)于Mmax,如果兩個(gè)節(jié)點(diǎn)在對(duì)應(yīng)的上近似表型屬性中的對(duì)應(yīng)數(shù)值在一定規(guī)則下可判為等價(jià),且具有該特征的表型屬性的個(gè)數(shù)為i2個(gè),則稱兩個(gè)節(jié)點(diǎn)之間存在i2條上近似邊Ei-.
定義2給定節(jié)點(diǎn)集V={v1,v2,…,vv},根據(jù)上述非成像表型屬性的劃分標(biāo)準(zhǔn),該節(jié)點(diǎn)集對(duì)應(yīng)非成像表型屬性劃分為一組上近似非成像表型屬性Mmax={Mhmax}和一組下近似非成像表型屬性Mmin={Mhmin},則該拓?fù)鋱D根據(jù)不同的非成像表型屬性對(duì)應(yīng)的上近似鄰接矩陣和下近似鄰接矩陣分別為
(2)
(3)
其中,v、w表示節(jié)點(diǎn)集中不同的節(jié)點(diǎn),Sim(Av,Aw)表示節(jié)點(diǎn)之間相似性的度量,增加最相似圖節(jié)點(diǎn)之間的邊權(quán)值,γmax、γmin表示表型度量之間距離的度量.
相似性度量
(4)
其中,ρ表示相關(guān)距離,σ表示核的寬度,x(v)表示從節(jié)點(diǎn)v成像數(shù)據(jù)中提取的特征向量.
根據(jù)Mmax和Mmin的不同,分別定義γmax和γmin如下.γmax為一個(gè)單位階躍函數(shù):
(5)
其中θ表示設(shè)置的閾值.
γmin為標(biāo)準(zhǔn)的克羅內(nèi)克函數(shù)δ:
(6)
定義3若給定粗糙圖GRough,其節(jié)點(diǎn)集V={v1,v2,…,vv},根據(jù)上述非成像表型屬性的劃分標(biāo)準(zhǔn),該節(jié)點(diǎn)集對(duì)應(yīng)非成像表型屬性劃分為一組上近似非成像表型屬性Mmax={Mhmax}和一組下近似非成像表型屬性Mmin={Mhmin}.節(jié)點(diǎn)的上近似邊集Ei-={e1-,e2-,…,ei-},i-表示上近似邊的個(gè)數(shù),節(jié)點(diǎn)的下近似邊集Ei-={e1-,e2-,…,ei-},i-表示下近似邊的個(gè)數(shù).初始化節(jié)點(diǎn)的上近似邊集和下近似邊集
e1-=e2-=…=ei-=e1-=e2-=…=ei-=0.
如果節(jié)點(diǎn)之間存在相同屬性Mhmin或等價(jià)屬性Mhmax,則對(duì)應(yīng)的邊權(quán)值加1.將得到的鄰接矩陣A與相似性度量結(jié)合,可得到該粗糙圖的鄰接矩陣ARough.最終根據(jù)節(jié)點(diǎn)集V、上近似邊集Ei-和下近似邊集Ei-定義該粗糙圖.
如果圖中所有的邊都為下近似邊,稱該圖為下近似圖GMIN,其下近似鄰接矩陣為Wmin(v,w).如果圖中所有的邊都為上近似邊,稱該圖為上近似圖GMAX,其上近似鄰接矩陣為Wmax(v,w).如果圖中存在上近似邊,也存在下近似邊,該圖稱為粗糙圖GRough,即
GRough=GMAX+GMIN.
(7)
粗糙圖的鄰接矩陣為:
ARough=Wmax(v,w)+Wmin(v,w).
(8)
如圖2所示,根據(jù)定義2和定義3可知,假如給定節(jié)點(diǎn)集S={S1,S2,…,S6},該節(jié)點(diǎn)集對(duì)應(yīng)一組上近似非成像表型屬性
Mmax={M1max,M2max,M3max}
和一組下近似非成像表型屬性
Mmin={M1min,M2min,M3min}.
S1和S2之間具有等價(jià)的M1max和M3max,具有相同的M1min和M2min,可得S1和S2之間存在兩條上近似邊、兩條下近似邊,且S1和S2之間上近似邊權(quán)值為2,下近似邊權(quán)值也為2.S1和S3之間具有等價(jià)的M3max,具有相同的M2min,可得S1和S3之間存在一條上近似邊、一條下近似邊,且S1和S3之間上近似邊權(quán)值為1,下近似邊權(quán)值也為1.同理可得到其它任意兩節(jié)點(diǎn)間上近似邊、下近似邊、上近似邊權(quán)值和下近似邊權(quán)值.若只關(guān)注兩點(diǎn)間的上近似邊(圖中節(jié)點(diǎn)間為實(shí)線的邊),得到上近似圖GMAX,將得到的上近似邊權(quán)值和節(jié)點(diǎn)間的γmax結(jié)合,得到上近似鄰接矩陣Wmax(v,w).若只關(guān)注兩點(diǎn)間的下近似邊(圖中節(jié)點(diǎn)間為虛線的邊),得到下近似圖GMIN,將得到的下近似邊權(quán)值和節(jié)點(diǎn)間的γmin結(jié)合,得到下近似鄰接矩陣Wmin(v,w).根據(jù)式(7)和已得到的上近似圖GMAX、下近似圖GMIN,得到粗糙圖GRough,根據(jù)式(8)和已得到的上近似鄰接矩陣Wmax(v,w)、下近似鄰接矩陣Wmin(v,w),得到粗糙圖的鄰接矩陣ARough.
圖2 粗糙圖的構(gòu)造Fig.2 Construction of rough graphs
若圖G中包含n個(gè)節(jié)點(diǎn),使用一個(gè)n×n的方陣A,并使每個(gè)節(jié)點(diǎn)都分別對(duì)應(yīng)某行(列).既然圖描述這些節(jié)點(diǎn)各自對(duì)應(yīng)的屬性之間的關(guān)系,故可將任意一對(duì)節(jié)點(diǎn)v、w之間可能存在關(guān)系與矩陣A中對(duì)應(yīng)的單元A[v,w]和A[w,v]對(duì)應(yīng).從鄰接矩陣的定義上看,若有S個(gè)圖節(jié)點(diǎn),構(gòu)造的下近似鄰接矩陣Wmin(v,w)為一個(gè)S×S的方陣,每個(gè)節(jié)點(diǎn)都分別對(duì)應(yīng)于某行(列),且下近似圖描述這些節(jié)點(diǎn)各自對(duì)應(yīng)屬性之間的關(guān)系,故可將任意一對(duì)節(jié)點(diǎn)v、w之間可能存在關(guān)系與矩陣Wmin(v,w)中對(duì)應(yīng)的單元Wmin[v,w] 和Wmin[w,v]對(duì)應(yīng).結(jié)合定義3可知:每對(duì)節(jié)點(diǎn)間對(duì)應(yīng)的下近似邊的權(quán)值表示存在關(guān)系,0表示不存在關(guān)系,滿足對(duì)稱鄰接矩陣的定義,所以下近似矩陣Wmin(v,w)為對(duì)稱的.同理,構(gòu)造的上近似鄰接矩陣Wmax(v,w)為一個(gè)S×S的方陣,每個(gè)節(jié)點(diǎn)都分別對(duì)應(yīng)于某行(列),且下近似圖描述這些節(jié)點(diǎn)各自對(duì)應(yīng)屬性之間的關(guān)系,故可自然地將任意一對(duì)節(jié)點(diǎn)v、w之間可能存在關(guān)系與矩陣Wmax(v,w)中對(duì)應(yīng)的單元Wmax[v,w] 和Wmax[w,v]對(duì)應(yīng).結(jié)合定義3可知:每對(duì)節(jié)點(diǎn)間對(duì)應(yīng)的上近似邊的權(quán)值表示存在關(guān)系,0表示不存在關(guān)系,滿足對(duì)稱鄰接矩陣的定義,所以上近似矩陣Wmax(v,w)為對(duì)稱的.根據(jù)式(8)可知粗糙圖GRough對(duì)應(yīng)的鄰接矩陣為ARough.
基于上述討論,本文給出算法1.
算法1粗糙圖的生成
輸入拓?fù)鋱D中的節(jié)點(diǎn)V={v1,v2,…,vv},
一組非成像上近似表型屬性Mmax={Mhmax},
一組非成像下近似表型屬性Mmin={Mhmin}
輸出粗糙圖GRough
step 1 任取一對(duì)節(jié)點(diǎn)v、w,判斷該節(jié)點(diǎn)對(duì)之間在Mmin中是否具有相同屬性,如果有,則說(shuō)明該節(jié)點(diǎn)對(duì)之間存在下近似邊Ei-.
step 2 重復(fù)step 1,直到該節(jié)點(diǎn)對(duì)中所有的Mmin都完成對(duì)比,若該節(jié)點(diǎn)對(duì)在下近似屬性集中具有完全相同的i1個(gè)屬性個(gè)數(shù),則使用對(duì)應(yīng)的i1個(gè)下近似邊Ei-連接兩個(gè)節(jié)點(diǎn).
step 3 重復(fù)step 2,直到該圖中任意兩個(gè)節(jié)點(diǎn)對(duì)(v,w)的Mmin被對(duì)比完成為止.
step 4 得到原始下近似鄰接矩陣Wmin0(v,w).
step 5 由式(4)得到相似性度量Sim(Av,Aw).
step 6 利用Sim(Av,Aw)對(duì)Wmin0(v,w)進(jìn)行訓(xùn)練,得到下近似矩陣Wmin(v,w).
step 7 任取一對(duì)節(jié)點(diǎn)vi、vj,判斷在一定規(guī)則下該節(jié)點(diǎn)對(duì)是否存在等價(jià)的上近似屬性Mmax,如果有,則說(shuō)明該節(jié)點(diǎn)對(duì)之間存在上近似邊Ei-.
step 8 重復(fù)step 7,直到該節(jié)點(diǎn)對(duì)中所有的Mmax都完成對(duì)比,若在一定規(guī)則下該節(jié)點(diǎn)對(duì)在Mmax中具有能被判斷為等價(jià)的i2個(gè)屬性個(gè)數(shù),則用對(duì)應(yīng)的i2個(gè)上近似邊Ei-連接兩個(gè)節(jié)點(diǎn).
step 9 重復(fù)step 8,直到該圖中任意兩個(gè)節(jié)點(diǎn)對(duì)(v,w)的上近似表型屬性被對(duì)比完成為止.
step 10 得到原始上近似鄰接矩陣Wmax0(v,w).
step 11 利用Sim(Av,Aw)對(duì)Wmax0(v,w)進(jìn)行訓(xùn)練,得到上近似矩陣Wmax(v,w).
step 12 通過(guò)式(8)構(gòu)造粗糙圖的鄰接矩陣ARough,得到對(duì)應(yīng)的粗糙圖GRough.
因?yàn)榇植趫DGRough是由上近似圖GMAX和下近似圖GMIN共同構(gòu)成的,其中上近似圖GMAX和下近似圖GMIN具有不同的權(quán)重系數(shù),并且在構(gòu)圖時(shí)對(duì)粗糙圖GRough的影響是不同的,所以引入節(jié)點(diǎn)間的粗糙權(quán)重系數(shù)αij,對(duì)上近似圖GMAX和下近似圖GMIN進(jìn)行訓(xùn)練.
節(jié)點(diǎn)間的粗糙權(quán)重系數(shù)為:
(9)
其中,hi、hj、hk表示不同的節(jié)點(diǎn)特征,函數(shù)a表示一個(gè)單層的前饋網(wǎng)絡(luò),W∈RF′×F表示權(quán)重矩陣,F(xiàn)表示每個(gè)節(jié)點(diǎn)特征的數(shù)量,F(xiàn)′表示輸出節(jié)點(diǎn)的特征維數(shù),維數(shù)由具體的參數(shù)設(shè)定,與輸入節(jié)點(diǎn)特征維數(shù)F相比,可能存在維數(shù)不一致.
通過(guò)節(jié)點(diǎn)間的粗糙權(quán)重系數(shù)αij,對(duì)粗糙圖GRough進(jìn)行訓(xùn)練:
GRough′=αijGMAX+(1-αij)GMIN.
(10)
粗糙權(quán)重系數(shù)αij的構(gòu)造如圖3所示.使用αij訓(xùn)練粗糙圖GRough的過(guò)程如圖4所示.由于上近似圖GMAX和下近似圖GMIN在構(gòu)造GRough時(shí)對(duì)其影響不同,所以利用αij訓(xùn)練上近似圖GMAX,利用1-αij訓(xùn)練下近似圖GMIN,再結(jié)合兩者訓(xùn)練后的結(jié)果,得到訓(xùn)練后的粗糙圖GRough′.
圖3 粗糙權(quán)重系數(shù)αij的構(gòu)造Fig.3 Construction of rough weight coefficient αij
圖4 GRough訓(xùn)練過(guò)程Fig.4 Training process of GRough
RG-GCN步驟如下所示.
算法2RG-GCN
輸入拓?fù)鋱D中的節(jié)點(diǎn)V={v1,v2,…,vv},
一組上近似非成像表型屬性Mmax={Mhmax},
一組下近似非成像表型屬性Mmin={Mhmin},
圖節(jié)點(diǎn)特征h=(h1,h2,…,hv),
權(quán)重矩陣W
輸出節(jié)點(diǎn)的分類結(jié)果
step 1 由式(4)得到相似性度量Sim(Sv,Sw).
step 2 構(gòu)造表型度量之間最大距離的度量,由式(5)得到γmax.
step 3 構(gòu)造表型度量之間最小距離的度量,由式(6)得到γmin.
step 4 通過(guò)圖節(jié)點(diǎn)集V和Mmax,按照式(2)構(gòu)造上近似圖鄰接矩陣Wmax(v,w),得到上近似圖GMAX.
step 5 通過(guò)圖節(jié)點(diǎn)集V和Mmin,按照式(3)構(gòu)造下近似圖鄰接矩陣Wmin(v,w),得到下近似圖GMIN.
step 6 通過(guò)式(8)構(gòu)造粗糙圖鄰接矩陣ARough,得到粗糙圖GRough.
step 7 由式(9)求得粗糙權(quán)重系數(shù)αij.
step 8 由式(10)對(duì)粗糙圖GRough進(jìn)行訓(xùn)練.
step 9 得到訓(xùn)練后的粗糙圖GRough′.
step 10 將訓(xùn)練后的粗糙圖GRough′作為圖卷積神經(jīng)網(wǎng)絡(luò)的輸入,通過(guò)式(1)對(duì)其進(jìn)行訓(xùn)練.
step 11 得到GCN的輸出結(jié)果.
本文選取ABIDE數(shù)據(jù)集[24-25]進(jìn)行實(shí)驗(yàn),該數(shù)據(jù)集包含受試者的信息,可構(gòu)成特定的粗糙圖.ABIDE數(shù)據(jù)集收集來(lái)自不同國(guó)際采集站點(diǎn)的數(shù)據(jù),并公開(kāi)分享1 112名受試者的神經(jīng)成像(fMRI)和表型數(shù)據(jù).本文選擇Abraham等[26]使用的符合成像質(zhì)量和表型信息標(biāo)準(zhǔn)的871名受試者的數(shù)據(jù),包括403名自閉癥(Autistic Spectrum Disorder, ASD)患者和468名健康對(duì)照者,具體信息如表1所示,本文將健康對(duì)照者與ASD患者分開(kāi).
表1 ABIDE數(shù)據(jù)集信息Table 1 Information of ABIDE dataset
ABIDE數(shù)據(jù)庫(kù)提供表型屬性列表.本文選擇數(shù)據(jù)較完整的6個(gè)不同的表型屬性:性別(SEX)、年齡(AGE)、采集地點(diǎn)(SITE)、言語(yǔ)智商(VIQ)、操作智商(PIQ)、全量表智商(FIQ).對(duì)于Mmin,選擇SEX、AGE、SITE_ID作為3個(gè)下近似表型屬性.對(duì)于Mmax,選擇VIQ、PIQ、FIQ作為3個(gè)上近似表型屬性.
將ABIDE數(shù)據(jù)集上每個(gè)受試者作為一個(gè)節(jié)點(diǎn),選取受試者不同的表型屬性,進(jìn)行表型屬性之間關(guān)系的對(duì)比,刻畫節(jié)點(diǎn)之間的上近似邊和下近似邊,得到一個(gè)粗糙圖.
本文采用的實(shí)驗(yàn)平臺(tái)為PC(Intel(R) Core(TM) i9-10900K CPU@3.70 GHz,64GB RAM),NVIDIA RTX3090 GPU,Windows10操作系統(tǒng),開(kāi)發(fā)工具為JetBrains PyCharm,使用Python語(yǔ)言實(shí)現(xiàn)算法.
在訓(xùn)練過(guò)程中,采用NLL(Negative Log-Likeli-hood)損失作為訓(xùn)練的損失函數(shù),迭代次數(shù)設(shè)置為10 000,初始化學(xué)習(xí)率設(shè)置為0.005,選擇Adam(Adaptive Moment Estimation)優(yōu)化器更新參數(shù).
對(duì)比預(yù)測(cè)的標(biāo)簽值和真實(shí)的標(biāo)簽值,可得到混淆矩陣中的真陽(yáng)性TP、真陰性TN、假陽(yáng)性FP、假陰性FN.其中,TP表示標(biāo)簽為“健康”的受試者分為“健康”,TN表示標(biāo)簽為“患病”的受試者分為“患病”,F(xiàn)P表示標(biāo)簽為“患病”的受試者分為“健康”,F(xiàn)N表示標(biāo)簽為“健康”的受試者分為“患病”.
為了評(píng)估分類性能,本文使用如下6個(gè)評(píng)估指標(biāo):分類準(zhǔn)確度(Accuracy, ACC)、敏感性(Sensi-tivity, SEN)、特異性(Specificity, SPE)、陽(yáng)性預(yù)測(cè)值(Positive Predictive Value, PPV)、陰性預(yù)測(cè)值(Nega-tive Predictive Value, NPV)、平衡準(zhǔn)確度(Balance Accuracy, BAC).ACC表示將受試者分類正確的概率,SEN表示將健康的人分類正確的概率,SPE表示將患者分類正確的概率,PPV表示預(yù)測(cè)為健康的人的樣本中真正為健康的人所占的比例,NPV表示預(yù)測(cè)為患者的樣本中真正為患者所占的比例.評(píng)估指標(biāo)定義如下:
為了驗(yàn)證本文方法的有效性,實(shí)驗(yàn)中選取如下對(duì)比算法.
1)采用Linear中的嶺回歸器進(jìn)行分類[27].該分類器使用最小二乘損失適應(yīng)分類模型,首先將二進(jìn)制目標(biāo)轉(zhuǎn)換為{-1,1},然后將問(wèn)題視為回歸任務(wù),優(yōu)化二進(jìn)制目標(biāo).
2)GNN(Graph Neural Network)[28].直接作用于圖結(jié)構(gòu)上的神經(jīng)網(wǎng)絡(luò).利用GNN提取每個(gè)節(jié)點(diǎn)的特征向量,用于預(yù)測(cè)每個(gè)節(jié)點(diǎn)的標(biāo)簽.
3)GAT(Graph Attention Network)[29].采用注意力機(jī)制對(duì)鄰近節(jié)點(diǎn)特征加權(quán)求和,鄰近節(jié)點(diǎn)特征的權(quán)重完全取決于節(jié)點(diǎn)特征.
4)GCN.利用一小部分帶有標(biāo)簽的節(jié)點(diǎn)進(jìn)行半監(jiān)督學(xué)習(xí),結(jié)合這部分節(jié)點(diǎn)的圖結(jié)構(gòu)和節(jié)點(diǎn)特征,進(jìn)行節(jié)點(diǎn)分類.GCN中這種結(jié)合鄰近節(jié)點(diǎn)特征的方式和圖的結(jié)構(gòu)相關(guān).
5)文獻(xiàn)[4]算法(Graph Convolutional Networks for Brain Analysis in Populations).將受試者表示為一個(gè)稀疏圖,關(guān)聯(lián)圖的節(jié)點(diǎn)與基于圖像的特征向量.
6)文獻(xiàn)[5]算法.構(gòu)建稀疏圖,將受試者的特點(diǎn)和特征均整合到稀疏圖中,對(duì)它們之間的相互作用進(jìn)行建模.
本文采用ABIDE數(shù)據(jù)集上不相同的6個(gè)表型屬性(SEX、SITE、AGE、FIQ、VIQ、PIQ)進(jìn)行構(gòu)圖,采用粗糙圖的構(gòu)圖方式,判斷節(jié)點(diǎn)對(duì)中是否具有相同屬性,若具有相同屬性,節(jié)點(diǎn)對(duì)中對(duì)應(yīng)的邊權(quán)值加1,由此得到拓?fù)鋱DA.再使用Linear、GNN、GAT、GCN、文獻(xiàn)[4]算法、文獻(xiàn)[5]算法對(duì)其進(jìn)行分類.選擇SEX、SITE_ID、AGE作為下近似表型屬性,選擇FIQ、VIQ、PIQ作為上近似表型屬性,構(gòu)造粗糙圖Arough.
各方法對(duì)傳統(tǒng)拓?fù)鋱D進(jìn)行分類的指標(biāo)值對(duì)比如表2所示,表中黑體數(shù)字表示最優(yōu)值.由表可看出:在ACC、SEN、SPE、BAC指標(biāo)上,深度學(xué)習(xí)方法明顯好于Linear,Linear在PPV指標(biāo)上略高于GAT,但仍低于GNN、GCN、文獻(xiàn)[4]算法、文獻(xiàn)[5]算法;Linear在NPV指標(biāo)上略高于GNN、文獻(xiàn)[5]算法,但仍低于GAT、GCN、文獻(xiàn)[4]算法.這說(shuō)明采用深度學(xué)習(xí)算法會(huì)得到較高的指標(biāo)值,因此本文選擇深度學(xué)習(xí)算法是有效的.
表2 各算法在ABIDE數(shù)據(jù)集上的指標(biāo)值結(jié)果對(duì)比
為了驗(yàn)證粗糙圖的分類效果,本文把粗糙圖Arough作為GCN的輸入,構(gòu)成RG-GCN.由表2可看出,RG-GCN的ACC、SEN、SPE、PPV、BAC均明顯高于其它算法,只有NPV處于中等,還有待提升.
RG-GCN可有效增加ACC,這表明本文構(gòu)造的粗糙圖可準(zhǔn)確刻畫不確定性關(guān)系.這些結(jié)果表明,基于粗糙圖的GCN的分類算法有助于提高對(duì)潛在自閉癥患者進(jìn)行人群診斷的準(zhǔn)確率.
構(gòu)圖方式的不同會(huì)影響算法的分類準(zhǔn)確率.為了表現(xiàn)不同的構(gòu)圖方式對(duì)分類準(zhǔn)確率的影響,采用RG-GCN驗(yàn)證粗糙圖的分類準(zhǔn)確率.對(duì)于RG-GCN,采取15種不同的構(gòu)圖方式,對(duì)比不同的粗糙圖結(jié)構(gòu)在RG-GCN上的分類準(zhǔn)確率.
本文采用SEX、SITE、AGE構(gòu)造下近似圖A1;采用FIQ、VIQ、PIQ構(gòu)造上近似圖A2;采用SEX、SITE、AGE、FIQ構(gòu)造粗糙圖A3;采用SEX、SITE、AGE、FIQ、VIQ、PIQ構(gòu)造粗糙圖A4;采用SEX、SITE、AGE、PIQ構(gòu)造粗糙圖A5;采用SEX、SITE、AGE、VIQ構(gòu)造粗糙圖A6;采用SEX、SITE、AGE、PIQ、VIQ構(gòu)造粗糙圖A7;采用SEX、SITE、AGE、PIQ、FIQ構(gòu)造粗糙圖A8;采用SEX、SITE、AGE、VIQ、PIQ構(gòu)造粗糙圖A9;采用SEX、FIQ、VIQ、PIQ構(gòu)造粗糙圖A10;采用SITE、FIQ、VIQ、PIQ構(gòu)造粗糙圖A11;采用AGE、FIQ、VIQ、PIQ構(gòu)造粗糙圖A12;采用SEX、SITE、FIQ、VIQ、PIQ構(gòu)造粗糙圖A13;采用SEX、AGE、FIQ、VIQ、PIQ構(gòu)造粗糙圖A14;采用SITE、AGE、FIQ、VIQ、PIQ構(gòu)造粗糙圖A15.A3、A5~A9具有完全相同的下近似表型屬性,A10~A15具有相同的上近似表型屬性.
這15種不同結(jié)構(gòu)的粗糙圖在RG-GCN上的分類準(zhǔn)確率如圖5所示.由圖可看出,粗糙圖A4的準(zhǔn)確率最高,可達(dá)到75%.
圖5 不同的粗糙圖在RG-GCN上的ACC值對(duì)比Fig.5 ACC comparison of different rough graphs under RG-GCN
除ACC之外,本文還給出其它相關(guān)指標(biāo)的對(duì)比結(jié)果,具體如表3所示,表中黑體數(shù)字表示最優(yōu)值.本文還把A3、A5~A9統(tǒng)稱為下近似表型圖Alower,取A3、A5~A9各項(xiàng)指標(biāo)的平均值作為下近似表型圖的指標(biāo)值;把A10~A15統(tǒng)稱為上近似表型圖Aupper,取A10~A15各項(xiàng)指標(biāo)的平均值作為上近似表型圖的指標(biāo)值.由表3可見(jiàn),粗糙圖A4在ACC、SEN、PPV上均取得最高值,在BAC上僅略低于A14,在SPE、NPV上的效果中等,還有提升的空間,所以粗糙圖A4整體指標(biāo)值較優(yōu),因此本文選擇粗糙圖A4的構(gòu)圖方式是有效的.
表3 不同的粗糙圖在RG-GCN上的指標(biāo)值對(duì)比
為了進(jìn)一步驗(yàn)證RG-GCN的有效性,選擇A1~A4這4種粗糙圖,均采用5種不同初始化種子數(shù),計(jì)算分類準(zhǔn)確率,結(jié)果如圖6所示.由圖可看出,不同的初始化種子數(shù)對(duì)粗糙圖分類準(zhǔn)確率存在一定影響,但粗糙圖A4的分類準(zhǔn)確率始終最高,這表明本文構(gòu)造粗糙圖選取的6個(gè)評(píng)價(jià)指標(biāo)是合理的.
圖6 不同的初始化種子數(shù)和粗糙圖結(jié)構(gòu)對(duì)節(jié)點(diǎn)分類準(zhǔn)確率 的影響Fig.6 Effect of different initialized seed number and rough graph structure on accuracy of node classification
本節(jié)選擇西南大學(xué)縱向成像多模態(tài)(SLIM)腦部數(shù)據(jù)集[30],包括494名健康受試者(年齡范圍為19歲~80歲,187名男性,308名女性)的腦部rs-fMRI圖像.腦部rs-fMRI圖像為受試者的成像數(shù)據(jù),非成像數(shù)據(jù)包括年齡、慣用手等基本人口統(tǒng)計(jì)信息和對(duì)不同掃描圖像的質(zhì)量評(píng)估措施.
本次實(shí)驗(yàn)采用的平臺(tái)、參數(shù)設(shè)計(jì)、評(píng)估屬性與3.2節(jié)相同.不同的是,3.3節(jié)是對(duì)受試者是否患病進(jìn)行分類,這里是對(duì)受試者的性別進(jìn)行分類.
各對(duì)比算法在SLIM數(shù)據(jù)集上的指標(biāo)值對(duì)比結(jié)果如表4所示,表中黑體數(shù)字表示最優(yōu)值.由表可看出,RG-GCN在ACC、SEN、NPV、BAC上優(yōu)于其它算法,由此驗(yàn)證RG-GCN的有效性.
表4 各算法在SLIM數(shù)據(jù)集上的指標(biāo)值對(duì)比結(jié)果
因?yàn)楝F(xiàn)實(shí)生活中具有很多不確定性關(guān)系,本文考慮這種不確定性關(guān)系,結(jié)合粗糙集理論和圖卷積神經(jīng)網(wǎng)絡(luò),提出基于粗糙圖的圖卷積神經(jīng)網(wǎng)絡(luò)算法(RG-GCN).首先,結(jié)合傳統(tǒng)拓?fù)鋱D的邊理論與粗糙集的上下近似理論,將表示確定關(guān)系的邊轉(zhuǎn)換成表示不確定關(guān)系的粗糙邊,利用表型屬性的不同含義分別刻畫上近似邊和下近似邊,從而得到粗糙圖.然后,引入粗糙權(quán)重系數(shù),利用粗糙權(quán)重系數(shù)訓(xùn)練本文構(gòu)造的粗糙圖,解決GCN只能訓(xùn)練確定性圖這一問(wèn)題,以此提高分類準(zhǔn)確度.在ABIDE數(shù)據(jù)集上的實(shí)驗(yàn)表明,RG-GCN可有效將節(jié)點(diǎn)標(biāo)簽信息傳播到未標(biāo)記的節(jié)點(diǎn),合理處理不確定性關(guān)系,較準(zhǔn)確地分類節(jié)點(diǎn),得到較高的分類準(zhǔn)確率.今后會(huì)進(jìn)一步考慮將粗糙集理論融入GCN的卷積層中,處理節(jié)點(diǎn)特征中不確定、不精確信息.