溫景熙，于胡飛，辛江，唐艷

中南大學計算機學院，湖南 長沙 410083

1 引言

研究表明，不同性別的人在認知、行為和智力[1-2]等方面存在差異。人腦功能在性別之間的差異也非常明顯，主要表現在情感處理[3]、身體感知[4]、數學運算[5]和運動控制[6-7]等方面。然而，盡管有許多針對性別功能差異的研究，但大多未得到一致的認可。本文致力于大腦性別差異研究，進一步發(fā)現和證明男女之間的大腦差異。

磁共振成像（magnetic resonance imaging，MRI）是一種非侵入性成像技術，它利用磁共振原理從人體獲得電磁信號，從而重建出人體信息。目前，基于MRI的人腦研究已得到廣泛應用。彌散張量成像（diffusion tensor imaging，DTI）是一種特殊的MRI技術，它通過追蹤大腦纖維束中水分子的移動方向來表征神經纖維的結構。彌散張量成像可以通過計算各向異性分數（fraction anisotropy，FA）來定量評估神經纖維的各向異性。研究發(fā)現，通過計算FA可以觀察大腦發(fā)育、衰老過程中的細微變化[8-9]。目前，有非常多的研究者致力于DTI的性別差異研究。參考文獻[10]通過DTI來觀察不同性別中的白質微觀結構；參考文獻[11]則發(fā)現了不同性別與行為發(fā)展之間的聯系。然而也有研究認為，研究的現狀尚不能確定男女大腦是否存在差異，仍需要更多的研究來證明[12]。

深度學習是一種非常強大的機器學習方法，它通過深層網絡提取數據中的非線性特性，并通過堆疊多個非線性層來構建復雜的函數模型，這使得深度學習擁有非常強的表征和學習能力[13]。同時，深度學習還展現了強大的小樣本學習能力[14-16]，尤其是遷移學習方法，它通過凍結預訓練模型的淺層網絡，僅重新訓練最后幾層網絡即可達到小樣本下模型的快速學習目的。因此對于難以采集的MRI數據的研究，深度學習方法顯得尤為重要。目前，深度學習已經被廣泛應用到MRI的研究中，并且取得了不錯的效果。在參考文獻[17]中，研究人員利用深度學習對腫瘤進行分類，得到了97%的準確率，而他們的實驗數據只有66個MRI樣本；在參考文獻[18]中，作者利用深度學習確定了大腦中用于區(qū)分不同年齡的關鍵腦區(qū)。在大腦性別分類方面，同樣有非常多基于深度學習的研究[19-21]。

研究大腦性別差異，特征可視化是必不可少的。在傳統(tǒng)的機器學習方法中，特征由人手工構造。而在深度學習中，隨著隱藏層的加深，特征被不斷地抽象，人們越來越難以理解，而提取關鍵特征也變得非常不易。在一項基于深度學習性別分類的研究中，研究人員嘗試采用逐次保留一個腦區(qū)的方式來證明不同大腦腦區(qū)的性別差異，并且根據神經網絡第一個隱藏層的特征圖的均值和信息熵，提出男性大腦比女性大腦更為復雜的可能性[21]。在深度學習的研究中，已有許多可靠的特征可視化方法相繼被提出，其中導向梯度類激活圖（gradient-weighted class activation mapping，Grad-CAM）方法[22]被廣泛推崇。在深度學習MRI領域，Grad-CAM方法也逐漸被應用于大腦的差異分析。在參考文獻[23]關于大腦MRI的年齡預測中，通過Grad-CAM方法發(fā)現了大腦額葉區(qū)與年齡變化相關。

本文收集了大量DTI數據，通過預處理得到標準大小的FA；然后根據FA構建3D卷積神經網絡（3D-CNN），實現大腦性別的可靠分類；最后通過構建3D導向梯度類激活圖結構實現性別特征的可視化，并根據可視化結果進行性別差異分析。

2 DTI性別分類及特征可視化方法

為了研究不同性別之間的大腦差異以及在性別分類中不同腦區(qū)的重要性，首先需要保證深度學習模型分類的可靠性；然后提取數據在不同類別中的顯著特征，通過顯著特征得到一般性（平均）大腦性別差異；最后將差異對應到各個腦區(qū)上，得到腦區(qū)的重要性情況。本節(jié)將詳細介紹如何通過3D卷積神經網絡進行性別分類，并通過神經網絡模型的可視化方法得到與類別相關的重要特征。在此，輸入神經網絡的數據是DTI的全腦FA，即大小為182×218×182的三維腦圖。

2.1 基于3D卷積神經網絡的性別分類模型

本文采用3D卷積神經網絡進行性別分類。3D卷積神經網絡模型結構如圖1所示，模型分為輸入、卷積、全連接和輸出4個部分。其中輸入是一個三維腦圖，輸出是性別分類的結果。在卷積過程中，本文采用全卷積的形式，即在下采樣的過程中使用移動步長為2×2×2的卷積代替步長為2的池化。模型中包含7個卷積層，卷積核大小都為3×3×3，卷積核數量分別為16、32、32、64、64、128、128。在每個卷積層的后面，都有一個批歸一化層[24]和一個LeakyReLU激活層[25]。在最后一層卷積完成后，將特征圖伸展成一維，然后進入全連接層。模型中包含2層全連接，第一個全連接層有64個神經元，緊接著一個ReLU激活層[26]。由于樣本標簽編碼采用獨熱編碼的形式，第二個全連接層共有2個神經元，全連接層后面緊接著Softmax激活層。

圖1 3D卷積神經網絡模型結構

2.2 基于3D導向梯度類激活圖的特征可視化方法

神經網絡能夠很好地預測性別，但是不能直接得到深層網絡提取到的性別特征。導向梯度類激活圖是神經網絡模型可視化的一種方法[22]，它同樣適用于本研究中3D圖像的特征可視化。該方法的可視化結果由導向反向傳播圖和特征熱圖兩個矩陣點乘得到。導向反向傳播圖由深層特征圖導向反向傳播得到，該圖表示網絡模型提取到的所有性別特征。特征熱圖先通過類別對深層特征圖求梯度，該梯度表示特征圖對預測類別正負影響的大小，然后對i、j、k3個方向進行全局平均池化（global average pooling，GAP），得到單個通道上的特征圖權重：

其中，p表示最后一層特征圖序列中單個通道上的特征圖，c表示單個輸入對應的類別，yc表示預測值，表示第p個通道的特征圖在i、j、k上的體素，Z1表示最后一層特征圖中單個通道特征圖的體素數量。接著，根據這個特征圖權重對特征圖進行加權和計算，并執(zhí)行一次ReLU操作（去除與當前類別無關的值）得到特征熱圖：

最后，對特征熱圖進行上采樣（線性插值），得到與原圖大小相同的特征熱圖。

在全連接之前的特征圖大小為8×10×8，縮放后大小為182×218×182。線性插值的過程會使得特征熱圖變得非常模糊且不準確。于是本文對Grad-CAM做了一些改進，如圖2所示。首先通過反向求導得到最后一層特征圖的梯度值φ，然后對該梯度進行一次ReLU操作來去除與類別無關的數值；接著對倒數第二層下采樣（即倒數第三層卷積）后的特征圖進行一次反向求導，得到對最后一層中與類別相關的信息的貢獻值，并進行一次全局平均池化操作，得到單個通道上的特征圖權重：

圖2 DTI性別分類特征可視化結構

最后，將兩個特征熱圖根據一定的權值（λ、μ）相加，得到最終的特征熱圖：

3 實驗與結果分析

3.1 數據集及預處理

本文數據來自美國南加州大學的人類連接組項目（human connectome project，HCP）的公開數據集[27]。該數據集包括1 055個健康成年人腦的彌散張量成像數據，其中男性487個，女性568個，年齡范圍為22～35歲。

在預處理過程中，本文將數據放入功能磁共振成像軟件庫FSL（FMRIB software library）[28]進行格式轉換、B0提取、波腦、渦流矯正和計算張量等，得到各向異性分數。由于FA是一個不標準的三維腦圖，與標準的DTI 1 mm各向同性模板（FMRIB58_FA）存在差異，需要進行一次非線性配準，將FA配準到該標準空間中[29]。最后得到一個大小為182×218×182的三維腦圖。

3.2 全卷積神經網絡分類結果比較

由于DTI數據量較少，本文模型采用十折交叉驗證的方式進行模型評估。首先將數據隨機分成10份，并保證每份數據的男女比例盡可能相等，然后分別將其中的一份作為驗證集進行模型驗證。在模型優(yōu)化中，采用交叉熵損失函數來計算損失，優(yōu)化器采用Adam（學習率為0.000 1，衰減率為0.5）。通過反向傳播對模型參數進行優(yōu)化。

通過本文實驗設計的全卷積神經網絡，10次驗證的平均分類結果達到了96.2%的準確率。在數據相同且同樣十折交叉驗證的條件下，普通3D-CNN的模型分類準確率為93.3%[21]，相比之下，本實驗模型準確率有了2.9%的提升。而對比機器學習方法支持向量機（support vector machine，SVM）78.2%的準確率，本文模型的準確率提升更大。

3.3 可視化方法對比

基于Grad-CAM的可視化方法可以得到導向反向傳播和類激活圖2個三維矩陣，如圖3所示。其中導向反向傳播矩陣包含了從最深層特征圖中提取到的所有特征，這些特征同時包含了男性和女性的全部特征，對類別并不敏感，如圖3（a）所示。特征熱圖則與類別相關，其中由最后一層特征圖得到的特征熱圖在較大范圍內顯示了關鍵特征所在的位置，但圖片面積較大、腦區(qū)分布較多，導致顯著區(qū)域過大，難以判斷關鍵特征所屬腦區(qū)，如圖3（b）所示。相比之下，本文提出的特征可視化方法得到的特征熱圖不僅能觀察到更準確的特征位置，同時還保證了不損失最深層特征圖提取到的重要信息，如圖3（d）所示。

在特征熱圖的權重選擇中，當λ=1、、μ=0時，特征位置非常不明確，無法判斷關鍵特征所在腦區(qū)，如圖3（b）所示；當λ= 0 .5、μ= 0 .5時，特征位置相對改善，但仍然存在一些不明確的區(qū)域，如圖3（c）所示；而當λ= 0 .3、μ= 0 .7時達到最佳，特征位置非常明確，同時還盡可能地保留了最深層特征圖的信息，如圖3（d）所示。

圖3 可視化方法結果對比

3.4 性別分類中的重要腦區(qū)分析

白質和灰質是人腦的重要組成部分，研究者根據大腦區(qū)域功能的不同進行腦區(qū)劃分。根據國際腦圖譜協(xié)會的劃分標準，將大腦白質分成48個感興趣腦區(qū)（白質標簽JHU-ICBM-labels）。同時，根據人類腦網絡組圖譜（human brainnetome atlas）的劃分方法，將大腦灰質分成246個感興趣腦區(qū)（灰質標簽BN_Atlas_246）。由于預處理時將FA配準到了標準空間，可確定每個輸入數據的腦區(qū)位置是固定的，可以根據不同腦區(qū)對應特征熱圖的體素值之和，得到不同腦區(qū)在性別分類中的重要性排名。如圖4和圖5所示，在性別分類中不同腦區(qū)對類別的貢獻是不一樣的，有些腦區(qū)對性別分類起到了非常重要的作用。

在圖4中，男性和女性排名最高的兩個白質腦區(qū)都為胼胝體壓部和小腦中腳。胼胝體橫跨縱向裂縫的一部分，連接左右大腦，從而使它們之間能夠進行通信[30]。有研究認為，男性胼胝體與半球內的聯系更大，而女性胼胝體與半球之間的聯系更為緊密[31]。小腦中腳是連接小腦與腦橋的結構，是將小腦與腦橋相聯系的高級神經中樞，它保證了隨意運動的精確和有效[32]。研究表明，運動和運動強度與小腦功能連通性變化相關[33]。因此，本研究結果顯示，小腦中腳存在性別差異，可能與成年男女運動強度和運動量有關。

圖4 白質感興趣區(qū)域體素和排名（各腦區(qū)根據體素和大小升序進行標簽）

在圖5中，男性排名最高的兩個灰質腦區(qū)分別為左腦頂葉下葉腹側區(qū)（IPL,A39rv_L）和額上回中間區(qū)（SFG, A9m_R），女性排名最高的兩個灰質腦區(qū)分別為右腦頂葉下葉腹側區(qū)（IPL, A39rv_R）和梭狀回腹腔區(qū)（FuG, A20rv_R）。頂葉下葉腹側區(qū)是頂葉的一部分，該區(qū)域跟語言功能、數學運算和身體形象感知等功能有關[34]。本研究中男性左腦頂葉下葉和女性右腦頂葉下葉分別排名較高，體現了不同性別在該腦區(qū)存在差異，同時揭示了在左右腦的頂葉下葉之間存在功能差異的可能性。此外，額上回是與自我意識相關的腦區(qū)，與感覺系統(tǒng)的動作相關[35]。梭狀回的功能目前尚不清楚，有研究認為該腦區(qū)可能與顏色信息處理相關[36]。

圖5 灰質感興趣區(qū)域體素和排名（各腦區(qū)根據體素和大小升序進行標簽）

3.5 男女平均顯著特征對比及分析

為了顯示一般情況下顯著特征所在腦區(qū)，需要找到顯著特征所在位置。因此在不同性別的全腦中，本文將特征熱圖按體素求平均，得到平均結果。如圖6所示，平均顯著特征主要分布在胼胝體壓部和左腦基底神經節(jié)背尾狀兩個腦區(qū)。其中，基底神經節(jié)是一組大腦皮層下核的總稱，它與大腦皮層、丘腦和腦干等腦區(qū)緊密相連?；咨窠浌?jié)具有多種功能，包括控制自主運動、程序學習、認知和情緒等[37-38]。此外，基底神經節(jié)在性別中也存在差異，如參考文獻[39]認為不同性別可能會影響基底神經節(jié)的體積。從圖6（b）、圖6（d）可知，不同性別在左腦基底神經節(jié)背尾狀的特征都較為顯著，這可能是該腦區(qū)在不同性別中的結構或者纖維束存在差異。該實驗結果至少揭示了在控制自主運動能力、程度學習能力或者情緒變化等大腦功能中的一種或幾種性別差異。

圖6 男女顯著特征對比

3.6 男女之間不同腦區(qū)的差異

在參考文獻[21]中，作者通過神經網絡第一個隱藏層得到的特征圖的均值和信息熵，發(fā)現男女之間存在差異。尤其是信息熵，在32個特征圖中男性信息熵大于女性的明顯較多。該研究發(fā)現，在特征熱圖分腦區(qū)的體素值求和中，男性數值大的腦區(qū)也明顯多于女性。其中，在白質中男性體素值之和大于女性的腦區(qū)為39個，女性大于男性的腦區(qū)為9個；在灰質中男性體素值之和大于女性的腦區(qū)為239個，女性大于男性的腦區(qū)為7個。這些結果進一步發(fā)現和證明了男女大腦之間存在非常大的差異。

4 結束語

本文使用深度學習方法在DTI數據上進行了性別分類，并使用深度神經網絡可視化方法對性別特征進行了提取和分析。在模型分類中，本文提出的全卷積網絡模型達到了更高的分類精度。在可視化方法中，本文通過最后兩層下采樣后的特征圖獲得特征熱圖，從圖3可以看出，在可視化的結果中顯著特征的位置更為準確。本文根據特征熱圖的體素值來進行腦區(qū)排名和求平均顯著特征。從圖4和圖5可以看出，不同腦區(qū)在不同性別中的重要性是不同的，尤其表現在白質中的胼胝體壓部和小腦中腳，灰質中男性的左腦頂葉下葉腹側區(qū)和額上回中間區(qū)及女性的右腦頂葉下葉腹側區(qū)和梭狀回腹腔區(qū)。從圖6可以看出，性別分類的顯著特征主要表現在胼胝體壓部和左腦基底神經節(jié)背尾狀兩個腦區(qū)。本文還通過特征熱圖的分腦區(qū)的體素值求和發(fā)現，無論在白質中還是在灰質中，男性數值大的腦區(qū)都遠遠多于女性。上述所有結果都證明了男女大腦之間存在明顯差異，尤其是胼胝體、頂葉下葉和基底神經節(jié)等多個腦區(qū)，它們與運動能力、數學運算、身體形象感知和情緒控制等方面相關。

本文提出的可靠的深度學習分類方法將有機會被用于臨床分析。通過模型得到的一般性男女大腦結構將有利于發(fā)現與性別相關的疾病患病情況和觀察大腦的病變過程。本文設計的深度學習分類模型以及可視化方法也為以后對大腦MRI的各種研究提供了參考。本文在可視化結果中進一步發(fā)現和證明了大腦的性別差異，其中主要的差異表現在胼胝體、頂葉下葉和基底神經節(jié)等腦區(qū)中。該結果對分析大腦性別差異具有一定的參考價值，同時也為以后更深入、更具體的性別差異分析提供了一定的指導。

然而，本文的深度學習模型雖然能夠準確地預測性別，但本文數據來自單個數據域，并不一定能夠很好地解決來自不同數據域的性別分類問題。此外，MRI特征可視化一直都是非常重要的研究內容，尤其在DTI數據中，當前的研究仍然缺少有效的方法。在未來的工作中，筆者將繼續(xù)研究不同性別的人的大腦MRI數據，從而進一步發(fā)現和證明男女之間的大腦差異。