詹悅 陳志峰

◆摘? 要：最初的簡單神經(jīng)網(wǎng)絡模型處理序列化數(shù)據(jù)，對于矩陣形式的數(shù)據(jù)，不能有效處理，因此，學者們提出卷積神經(jīng)網(wǎng)絡處理規(guī)則的矩陣數(shù)據(jù)。近年來，不規(guī)則的圖數(shù)據(jù)受到極大關(guān)注，圖神經(jīng)網(wǎng)絡取代了傳統(tǒng)的圖數(shù)據(jù)預處理階段，是一種精度更高的圖表示學習框架。雖然神經(jīng)網(wǎng)絡是一種不易解釋的黑匣模型，但仍需要一定的數(shù)學支撐。本文以數(shù)學在機器學習中的應用為出發(fā)點，淺談數(shù)學在機器學習中發(fā)揮的重要作用，并通過實驗驗證激活函數(shù)對圖神經(jīng)網(wǎng)絡模型的影響。

◆關(guān)鍵詞：數(shù)學;機器學習;圖神經(jīng)網(wǎng)絡

機器學習是一門交叉學科，本文以其中的圖神經(jīng)網(wǎng)絡（GNN）為主，簡要介紹數(shù)學在機器學習中的作用。本文結(jié)構(gòu)如下，第一部分簡要介紹數(shù)學與機器學習的基礎知識，并說明數(shù)學在機器學習中起到的重要作用，第二部分是實驗，第三部分是結(jié)論，最后是參考文獻。

1基礎知識

1.1相關(guān)定義

激活函數(shù)是為了讓神經(jīng)網(wǎng)絡模型可以理解和學習復雜的非線性的關(guān)系，不同的激活函數(shù)對模型有著不同的影響，但激活函數(shù)對神經(jīng)網(wǎng)絡模型是重要的，不可缺少的。

1.2數(shù)學與機器學習

本節(jié)以數(shù)學在機器學習中的應用為出發(fā)點，探討數(shù)學在機器學習中發(fā)揮的作用，主要以激活函數(shù)在圖神經(jīng)網(wǎng)絡模型中發(fā)揮的作用為例進行說明。GNN是目前處理圖數(shù)據(jù)最有效的模型，實現(xiàn)了端對端的架構(gòu)，跳過一定會損失信息的圖預處理階段，利用神經(jīng)網(wǎng)絡強大的擬合能力學習圖數(shù)據(jù)的豐富結(jié)構(gòu)信息。GNN目前誕生了諸多變體，本文旨在探討激活函數(shù)對GNN的重要性，說明即使是一些簡單的數(shù)學函數(shù)在機器學習中也發(fā)揮著作用。

2實驗

本節(jié)主要通過實驗驗證激活函數(shù)對圖神經(jīng)網(wǎng)絡模型的重要性，驗證說明激活函數(shù)是圖神經(jīng)網(wǎng)絡必不可少的一部分。實驗數(shù)據(jù)集為論文引用圖Cora和Citeseer，均是公開的機器學習基準數(shù)據(jù)集，主要用于節(jié)點分類任務，Cora數(shù)據(jù)集包含2708個節(jié)點，10556條邊，節(jié)點共有7類，訓練集、驗證集和測試集大小分別為140、500和1000，批大小為70。Citeseer數(shù)據(jù)集包含3327個節(jié)點，9228條邊，節(jié)點共有6類，訓練集、驗證集和測試集大小分別為120、500和1000，批大小為60。模型訓練學習率為0.005，為了防止過擬合采用的dropout值為0.6，保證以上參數(shù)一致，分別驗證帶有和不帶有激活函數(shù)的模型。

3結(jié)論

本文簡要介紹了機器學習的發(fā)展，尤其是圖神經(jīng)網(wǎng)絡的發(fā)展，通過對圖神經(jīng)網(wǎng)絡模型激活函數(shù)的理解，說明了激活函數(shù)對圖神經(jīng)網(wǎng)絡的重要性，并通過簡單的實驗驗證了這一結(jié)果。未來我們希望研究更復雜的損失函數(shù)，損失函數(shù)用到了均方誤差、交叉熵等數(shù)學知識，通過研究損失函數(shù)對模型的重要性說明數(shù)學在機器學習中起著重要作用，進而說明數(shù)學與機器學習的關(guān)系。

參考文獻

[1]周志華.機器學習：=Machine learning[M].清華大學出版社，2016.

[2]林艷.人王智能的符號主義綱領(lǐng)及其困境[J].求索，2019（06）：186-193.

[3]李道義.統(tǒng)計學和機器學習[J].數(shù)碼世界，2018（11）.

[4]Goodfellow I ，Bengio Y ， Courville A . Deep Learning[M]. The MIT Press， 2016.

[5]The Graph Neural Network Model[J]. IEEE Transactions on Neural Networks， 2009，20（01）：61.

[6]Bruna J， Zaremba W， Szlam A， et al.Spectral networks and locally connected networks on graphs[J].arXiv preprint arXiv：1312.6203， 2013.

[7]Semi-Supervised Classification with Graph Convolutional Networks，ICLR，2017.

[8]Representation Learning on Graphs with Jumping Knowledge Networks，Proceedings of the 35 th International Conference on Machine Learning.

[9]How Powerful are Graph Neural Networks？ In Proceedings of the 7th International Conference on Learning Representations，ICLR 2019， New Orleans， LA， USA， May 6–9， 2019.

[10]Graph Attention Network.In Proceedings of the 6th International Conference on Learning Representations，ICLR，2018.

[11]Heterogeneous Graph Neural Network[C]// the 25th ACM SIGKDD International Conference. ACM， 2019.