王梅，宋曉暉，劉勇，許傳海

神經(jīng)正切核K?Means聚類

王梅1，2，宋曉暉1，劉勇3，4*，許傳海1

（1.東北石油大學 計算機與信息技術學院，黑龍江 大慶 163318； 2.黑龍江省石油大數(shù)據(jù)與智能分析重點實驗室（東北石油大學），黑龍江 大慶 163318； 3.中國人民大學 高瓴人工智能學院，北京 100872； 4.大數(shù)據(jù)管理與分析方法研究北京市重點實驗室（中國人民大學），北京 100872）（?通信作者電子郵箱liuyonggsai@ruc.edu.cn）

針對K?Means聚類算法利用均值更新聚類中心，導致聚類結果受樣本分布影響的問題，提出了神經(jīng)正切核K?Means聚類算法（NTKKM）。首先通過神經(jīng)正切核（NTK）將輸入空間的數(shù)據(jù)映射到高維特征空間，然后在高維特征空間中進行K?Means聚類，并采用兼顧簇間與簇內距離的方法更新聚類中心，最后得到聚類結果。在car和breast?tissue數(shù)據(jù)集上，對NTKKM聚類算法的準確率、調整蘭德系數(shù)（ARI）及FM指數(shù)這3個評價指標進行統(tǒng)計。實驗結果表明，NTKKM聚類算法的聚類效果以及穩(wěn)定性均優(yōu)于K?Means聚類算法和高斯核K?Means聚類算法。NTKKM聚類算法與傳統(tǒng)的K?Means聚類算法相比，準確率分別提升了14.9%和9.4%，ARI分別提升了9.7%和18.0%，F(xiàn)M指數(shù)分別提升了12.0%和12.0%，驗證了NTKKM聚類算法良好的聚類性能。

神經(jīng)正切核；K?Means；核聚類；特征空間；核函數(shù)

0 引言

聚類算法是一種典型的無監(jiān)督的機器學習方法，是利用樣本的特征比較樣本的相似性，并將具有相似屬性的樣本劃分到同一類或簇中的算法［1-3］。聚類算法的目的是使每個類中的數(shù)據(jù)之間的相似度最大，不同類中的數(shù)據(jù)之間的相似度最小。聚類算法的應用十分廣泛，主要在數(shù)據(jù)挖掘、信息檢索和圖像分割等方面發(fā)揮重要作用［4-6］。

為了在復雜多樣的數(shù)據(jù)中提取人們所需的有價值的信息，研究人員不斷改進聚類算法。學者們將核方法引入聚類中，提出了核聚類算法，并對核聚類算法展開了廣泛而深入的研究。Girolami［7］和張莉等［8］的研究對核特征空間中的聚類問題有指導性意義；Ben?Hur等［9］在基于高斯核的支持向量數(shù)據(jù)域描述（Support Vector Domain Description， SVDD）算法基礎上拓展出無監(jiān)督非參數(shù)型的聚類算法。核聚類在圖像處理方面也有出色表現(xiàn)：徐小來等［10］采用基于核改進的模糊C?均值（Fuzzy C?Means，F(xiàn)CM）聚類算法，通過高斯核函數(shù)和歐氏距離分別對像素8?鄰域的灰度和空間信息進行建模，實現(xiàn)了圖像的分割；楊飛等［11］提出了使用內核誘導距離取代歐氏距離的核函數(shù)FCM算法，提高了傳統(tǒng)FCM算法處理噪聲圖像的能力。在多核聚類的研究方面：Xiang等［12］針對多核聚類方法在數(shù)據(jù)具有高缺值率時，易落入局部最優(yōu)狀態(tài)的問題提出了一種針對不完整數(shù)據(jù)的多核聚類（Absent Multiple Kernel Clustering ， AMKC）方法；Liu等［13］提出了簡單的多核K?均值（Simple Multiple Kernel K?Means， SimpleMKKM），它將廣泛使用的監(jiān)督核對齊準則推廣到多核聚類中。在核聚類的其他研究方面：Liu等［14］研究了核K?Means的統(tǒng)計特性并獲得近乎最優(yōu)的過度聚類風險界限，大幅提高了現(xiàn)有聚類風險分析中的最新界限。核聚類通過非線性映射增加了數(shù)據(jù)點線性可分的概率，即能較好地分辨、提取并放大有用的特征，從而實現(xiàn)更準確的聚類，算法收斂速度也較快。在經(jīng)典聚類算法失效時，核聚類算法常常能得到較好的聚類結果［15］；但學者們大多數(shù)使用淺層的核函數(shù)為基礎進行研究，而淺層的核函數(shù)挖掘深層次信息時存在局限性。

Neal等［16］在1994年就提出了在無限寬度的神經(jīng)網(wǎng)絡下，具有參數(shù)為獨立同分布的單層全連接神經(jīng)網(wǎng)絡等價于高斯過程（Gaussian Process， GP），揭示了無限寬的神經(jīng)網(wǎng)絡與核方法之間的聯(lián)系。Lee等［17］和Matthews等［18］研究發(fā)現(xiàn)這些內核對應于無限寬的深度網(wǎng)絡，參數(shù)都是隨機選擇的，只有頂層是通過梯度下降進行訓練。近幾年，Jacot等［19］研究表明參數(shù)化深層神經(jīng)網(wǎng)絡的訓練與神經(jīng)正切核（Neural Tangent Kernel， NTK）有關，一個正確地隨機初始化的、足夠寬的、由具有無窮小步長大小的梯度下降訓練的深度神經(jīng)網(wǎng)絡和一個帶有NTK的確定性核回歸預測器是等效的。NTK在無限寬極限下趨于一個確定的核，而且在梯度下降的訓練過程中保持不變。NTK不僅可用于全連接網(wǎng)絡，還可用于其他各種神經(jīng)網(wǎng)絡結構。例如，在文獻［20］中，研究人員將NTK拓展到卷積神經(jīng)網(wǎng)絡中，稱為卷積神經(jīng)正切核（Convolutional Neural Tangent Kernel， CNTK）；王梅等［21］將神經(jīng)正切核拓展到多核學習中，提出了一種基于神經(jīng)正切核的多核學習方法，能增強多核學習方法的表示能力；Arora等［22］通過對比實驗證明NTK比高斯核和低次多項式核在低數(shù)據(jù)任務中表現(xiàn)更佳。

NTK可以看作是一種復雜的多層次結構的神經(jīng)網(wǎng)絡，它相比淺層的核函數(shù)能更好地表示數(shù)據(jù)之間的關系，捕捉深層信息，進一步增加了數(shù)據(jù)點的線性可分的概率。因此本文提出了神經(jīng)正切核K?Means（Neural Tangent Kernel K?Means， NTKKM）算法，經(jīng)過NTK核處理后的數(shù)據(jù)集中的數(shù)據(jù)特征能夠更好地突顯出來，從而能夠更好地聚類復雜數(shù)據(jù)。

1 核K?Means聚類

核聚類的基本思想是利用Mercer核［23］把輸入空間中的樣本映射到高維特征空間中，在高維特征空間中得到更加理想的聚類效果，該方法是普適的。核K?Means聚類算法在聚類的準確性、穩(wěn)定性及健壯性等方面相比K?Means聚類算法有一定程度的改進［24-25］。

K?Means目標函數(shù)為：

首先利用核函數(shù)計算出輸入數(shù)據(jù)集的一個核矩陣，在高維空間中核K?Means更新聚類中心為：

2 神經(jīng)正切核K?Means

2.1　神經(jīng)正切核

采用無窮小學習率的梯度下降算法作為損失函數(shù)，即：

由上述可得，NTK相當于一個多層結構的神經(jīng)網(wǎng)絡，它與其他淺層核函數(shù)相比可以更好地表示復雜數(shù)據(jù)的特征。這為后面的聚類工作奠定了良好的基礎。

2.2　NTKKM聚類算法

2.2.1算法的目標函數(shù)

2.2.2聚類中心的初始

2.2.3聚類中心的更新

2.2.4本文算法

綜上所述，NTKKM聚類算法如下所示：

end for

end for

end for

end while

2.2.5本文算法時間復雜度

3 實驗與結果分析

3.1　實驗數(shù)據(jù)

為驗證本文算法能夠在維度較高、數(shù)量較大以及聚類數(shù)目較多的數(shù)據(jù)集上有較好的表現(xiàn)，選取UCI數(shù)據(jù)集中4個在維度、數(shù)量及聚類數(shù)目等方面具有代表性的數(shù)據(jù)集進行實驗，分別為紅酒質量數(shù)據(jù)集（winequality?red）、鳶尾花數(shù)據(jù)集（iris）、乳腺組織（breast?tissue）以及汽車評估數(shù)據(jù)集（car），它們的詳細信息如表1所示。

表1　實驗數(shù)據(jù)集信息

3.2　實驗方法及實驗結果分析

本文選用準確率（Accuracy， ACC）、調整蘭德系數(shù)（Adjusted Rand Index， ARI）及FM指數(shù)（Fowlkes and Mallows Index， FMI）三個評價指標進行評價。三種算法在每個數(shù)據(jù)集分別運行20次，然后統(tǒng)計各評價指標平均結果。上述三個評價指標都是值越大、聚類效果越好［33］。

3.2.1根據(jù)評價指標分析實驗結果

表2　三種算法的準確率

表3　三種算法的ARI

FMI作為衡量分類效果的標準，是精確率（Precision）和召回率（Recall）的幾何平均值，取值范圍為［0，1］。精確率指模型判為正的所有樣本中有多少是真正的正樣本；召回率指所有正樣本有多少被模型判為正樣本。精確率和召回率分別從局部和全局考慮分類效果。三種算法在每個數(shù)據(jù)集上FMI的統(tǒng)計結果如表4所示。由表4可知，NTKKM聚類算法精確率和召回率的幾何平均數(shù)的值高于對比算法，說明NTKKM聚類算法分類效果更優(yōu)。特別是在breast?tissue、car以及winequality?red數(shù)據(jù)集上，NTKKM聚類算法的FMI有顯著提升，比K?Means分別提升了12.0%、12.0%及20.0%。

表4　三種算法精確率和召回率的幾何平均數(shù)

3.2.2根據(jù)數(shù)據(jù)集特征分析實驗結果

本節(jié)根據(jù)數(shù)據(jù)集的特征對NTKKM聚類算法的聚類性能進行分析。實驗選用的數(shù)據(jù)集特征包括樣本維度、類別個數(shù)以及樣本數(shù)量，評價指標為準確率。

隨著樣本維度的增加，三種聚類算法準確率的變化情況如圖1所示，在NTKKM聚類算法聚類的準確率都優(yōu)于對比的兩種算法的前提下，NTKKM聚類算法相較于K?Means聚類算法在car、breast?tissue以及winequality?red數(shù)據(jù)集上準確率分別提升了14.9%、9.4%、9.4%及3.9%，在維度較低的iris數(shù)據(jù)集上準確率僅提升3.9%，說明了NTKKM聚類聚類算法在維度較高的數(shù)據(jù)集合上的聚類效果更佳。

隨著聚類個數(shù)的增加，三種聚類算法準確率的變化情況如圖2所示，可以明顯看到在聚類個數(shù)相對較少的iris數(shù)據(jù)集上，NTKKM聚類算法的準確率較其余兩個對比算法提升不明顯，但在聚類個數(shù)較多的數(shù)據(jù)集car、breast?tissue以及winequality?red上，NTKKM聚類算法的聚類性能相較于經(jīng)典的K?Means聚類算法和GKKM聚類算法有顯著提高。

隨著樣本數(shù)量的增加，三種聚類算法準確率的變化情況如圖3所示，NTKKM在處理樣本數(shù)量較多數(shù)據(jù)集winequality?red和car上，聚類準確性明顯優(yōu)于對比算法。

圖1　不同維度下三種算法的準確率

圖2　不同聚類個數(shù)下三種算法的準確率

圖3　不同樣本數(shù)量下三種算法的準確率

3.2.3聚類結果圖

使用K?Means聚類算法、GKKM聚類算法以及NTKKM聚類算法分別對iris和breast?tissue數(shù)據(jù)集進行聚類，結果圖如圖4、5所示。

圖4　在iris數(shù)據(jù)集上三種算法的聚類效果圖

圖5　在breast?tissue數(shù)據(jù)集上三種算法的聚類效果圖

由圖4、5分析可知，傳統(tǒng)的K?Means聚類算法沒有對數(shù)據(jù)進行處里，數(shù)據(jù)點的分布十分密集不易聚類；GKKM聚類算法通過高斯核將數(shù)據(jù)進行映射后進行聚類，通過圖4（b）和圖5（b）可以看出，淺層的高斯核對數(shù)據(jù)的表達能力較弱，未能充分表達出數(shù)據(jù)之間的相關性，因此，GKKM聚類效果并不理想；而NTKKM聚類算法通過神經(jīng)正切核將數(shù)據(jù)集進行高維映射后，充分挖掘數(shù)據(jù)之間的聯(lián)系，從圖4（c）和圖5（c）可以看出，原始空間中分布緊密的數(shù)據(jù)被映射到高維特征空間后數(shù)據(jù)之間的分布發(fā)生了改變，增加了數(shù)據(jù)之間的可分性，因此，能夠得到較好的聚類效果。

綜上所述，NTKKM聚類算法與傳統(tǒng)的K?Means聚類算法和GKKM聚類算法相比有更好的聚類效果和更強的穩(wěn)定性，并且在維度較高、分類數(shù)目較多以及樣本數(shù)量較多的數(shù)據(jù)集上表現(xiàn)更好。

4 結語

本文基于核聚類的基本思想提出了一種神經(jīng)正切核K?Means的聚類算法。首先使用NTK對數(shù)據(jù)集進行映射，挖掘數(shù)據(jù)之間在低維空間未顯示出的特征，同時對K?Means聚類算法進行改進，最后在高維空間中對數(shù)據(jù)點聚類。相較于傳統(tǒng)的K?Means聚類算法和淺層核K?Means，NTKKM聚類算法有更好的表示能力和更強的聚類效果。實驗結果表明，本文提出的NTKKM聚類算法在維度較高、分類數(shù)目較多以及聚類數(shù)量較多的數(shù)據(jù)集上的聚類結果較好，穩(wěn)定性也更強，能夠更好地表達數(shù)據(jù)的特征。

基于以上分析，NTKKM聚類算法也適用于圖像聚類。圖像聚類是將圖像劃分成各具特征或者是某種特性的區(qū)域，實現(xiàn)對圖像的精準分割，從而達到對特定實物識別和檢測的目的。由于NTK核具有多層次的網(wǎng)絡結構，因此NTK在對數(shù)據(jù)集進行高維映射時所需要時間較長。因此，下一步需要解決的問題是減少其計算時間，以及將NTKKM聚類算法拓展到圖像聚類應用中。

[1] FAHIM A M， SALEM A M， TORKEY F A， et al. An efficient enhanced?means clustering algorithm［J］. Journal of Zhejiang University — SCIENCE A （Applied Physics and Engineering）， 2006， 7（10）： 1626-1633.

[2] 汪敏，武禹伯，閔帆. 基于多種聚類算法和多元線性回歸的多分類主動學習算法［J］. 計算機應用， 2020， 40（12）：3437-3444.（WANG M， WU Y B， MIN F. Multi?category active learning algorithm based on multiple clustering algorithms and multiple linear regression［J］. Journal of Computer applications， 2020， 40（12）：3437-3444.）

[3] LAWRENCE L O. A Primer on Cluster Analysis by James C. Bezdck［J］. IEEE Systems， Man， and Cybernetics Magazine， 2018， 4（1）：48-50.

[4] 于佐軍，秦歡. 基于改進蜂群算法的K?means算法［J］. 控制與決策， 2018， 33（1）：181-185.（YU Z J， QIN H. K?means algorithm based on improved artificial bee swarm algorithm［J］. Control and Decision， 2018， 33（1）：181-185.）

[5] 覃華，詹娟娟，蘇一丹. 基于概率無向圖模型的近鄰傳播聚類算法［J］. 控制與決策， 2017， 32（10）：1796-1802.（QIN H， ZHAN J J， SU Y D. Affinity propagation clustering algorithm based on probabilistic undirected graphical model［J］. Control and Decision， 2017， 32（10）： 1796-1802.）

[6] 周濤，陸惠玲. 數(shù)據(jù)挖掘中聚類算法研究進展［J］. 計算機工程與應用， 2012， 48（12）：100-111.（ZHOU T， LU H L. Clustering algorithm research advances on data mining［J］. Computer Engineering and Applications， 2012， 48（12）：100-111.）

[7] GIROLAMI M. Mercer kernel?based clustering in feature space［J］. IEEE Transactions on Neural Networks， 2002， 13（3）：780-784.

[8] 張莉，周偉達，焦李成. 核聚類算法［J］. 計算機學報， 2002， 25（6）： 587-590.（ZHANG L， ZHOU W D， JIAO L C. Kernel clustering algorithm［J］. Chinese Journal of Computers， 2002， 25（6）： 587-590.）

[9] BEN?HUR A， HORN D， SIEGELMANN H T， et al. Support vector clustering［J］. Journal of Machine Learning Research， 2001， 2：125-137.

[10] 徐小來，房曉麗. 基于改進的直覺模糊核聚類的圖像分割方法［J］. 計算機工程與應用， 2019， 55（17）：227-231.（XU X L， FANG X L. Image segmentation method based on improved intuitive fuzzy kernel c?means clustering algorithms［J］. Computer Engineering and Applications， 2019， 55（17）：227-231.）

[11] 楊飛，朱志祥. 基于特征和空間信息的核模糊C-均值聚類算法［J］. 電子科技， 2016， 29（2）：16-19.（YANG F， ZHU Z X. Kernelized fuzzy C?means clustering algorithm based on feature and spatial information［J］. Electronic Science and Technology， 2016， 29（2）：16-19.）

[12] XIANG L Y， ZHAO G H， LI Q， et al. A fast and effective multiple kernel clustering method on incomplete data［J］. Computers， Materials & Continua， 2021， 67（1）：267-284.

[13] LIU X W， ZHU E， LIU J Y， et al. SimpleMKKM： simple multiple kernel?means［EB/OL］. （2020-05-12）［2021-07-20］. https：//arxiv.org/pdf/2005.04975.pdf.

[14] LIU Y， DING L. Nearly optimal risk bounds for kernel K?means［EB/OL］. （2020-03-09）［2021-07-01］.https：//arxiv.org/pdf/2003.03888v1.pdf.

[15] 孔銳，張國宣，施澤生，等. 基于核的K-均值聚類［J］. 計算機工程， 2004， 30（11）：12-13， 80.（KONG R， ZHANG G X， SHI Z S， et al. Kernel?based K?means clustering［J］. Computer Engineering， 2004， 30（11）：12-13， 80.）

[16] NEAL R M. Bayesian Learning for Neural Networks［M］. New York： Springer， 1996： 29-53.

[17] LEE J， BAHRI Y， NOVAK R， et al. Deep neural networks as Gaussian processes［EB/OL］. （2018-03-03）［2020-05-19］.https：//arxiv.org/pdf/1711.00165.pdf.

[18] MATTHEWS A G D G， ROWLAND M， HRON J， et al. Gaussian process behaviour in wide deep neural networks［EB/OL］. （2018-08-16）［2020-05-19］.https：//arxiv.org/pdf/1804.11271.pdf.

[19] JACOT A， GABRIEL F， HONGLER C. Neural tangent kernel： convergence and generalization in neural networks［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2018：8580-8589.

[20] ARORA S， DU S S， HU W， et al. On exact computation with an infinitely wide neural net［C/OL］// Proceedings of the 33rd Conference on Neural Information Processing Systems. ［2020-12-24］.https：//proceedings.neurips.cc/paper/2019/file/dbc4d84bfcfe2284ba11beffb853a8c4-Paper.pdf.

[21] 王梅，許傳海，劉勇. 基于神經(jīng)正切核的多核學習方法［J］. 計算機應用， 2021，41（12）：3462-3467.（WANG M， XU C H， LIU Y. Multi?kernel learning methods based on neural positive tangent kernel［J］. Journal of Computer Applications， 2021， 41（12）：3462-3467.）

[22] ARORA S， DU S S， LI Z Y， et al. Harnessing the power of infinitely wide deep nets on small?data tasks［EB/OL］. （2019-10-27）［2021-01-08］.https：//arxiv.org/pdf/1910.01663.pdf.

[23] SCH?LKOPF B， SEBASTIAN MIKA S， BURGES C J C， et al. Input space versus feature space in kernel?based methods［J］. IEEE Transactions on Neural Networks， 1999， 10（5）： 1000-1017.

[24] 王守志，何東健，李文，等. 基于核K-均值聚類算法的植物葉部病害識別［J］. 農業(yè)機械學報， 2009， 40（3）：152-155.（WANG S Z， HE D J， LI W， et al. Plant leaf disease identification based on the nuclear K?means clustering algorithm［J］. Transactions of the Chinese Society for Agricultural Machinery， 2009， 40（3）： 152-155.）

[25] 王宇，李曉利. 核-凝聚聚類算法［J］. 大連理工大學學報， 2007， 47（5）：763-766.（WANG Y， LI X L. Kernel?aggregate clustering algorithm［J］. Journal of Dalian University of Technology， 2007， 47（5）： 763-766.）

[26] HUO J， BI Y H， Lü D R， et al. Cloud classification and distribution of cloud types in Beijing using Ka?band radar data［J］. Advances in Atmospheric Sciences， 2019， 36（8）：793-803.

[27] TZORTZIS G， LIKAS A. The MinMax?Means clustering algorithm［J］. Pattern Recognition， 2014， 47（7）：2505-2516.

[28] 翟東海，魚江，高飛，等. 最大距離法選取初始簇中心的K?means文本聚類算法的研究［J］. 計算機應用研究， 2014， 31（3）：713-715， 719.（ZHAI D H， YU J， GAO F， et al. K?means text clustering algorithm based on initial cluster centers selection according to maximum distance［J］. Application Research of Computers， 2014， 31（3）：713-715， 719.）

[29] DENG Z H， CHOI K S， CHUNG F L， et al. Enhanced soft subspace clustering integrating within?cluster and between?cluster information［J］. Pattern Recognition， 2010， 43（3）：767-781.

[30] HUANG X H， YE Y M， ZHANG H J. Extensions of kmeans?type algorithms： a new clustering framework by integrating intra?cluster compactness and inter?cluster separation［J］. IEEE Transactions on Neural Networks and Learning Systems， 2014， 25（8）： 1433-1446.

[31] PANG N， ZHAO X， WANG W， et al. Few?shot text classification by leveraging bi?directional attention and cross?class knowledge［J］. Science China Information Sciences， 2021， 64（3）： No.130103.

[32] 黃學雨，程世超. KNN優(yōu)化的密度峰值聚類算法［J］. 通信技術， 2021， 54（7）：1608-1618.（HUANG X Y，CHENG S C. KNN optimized density peak clustering algorithm［J］. Communication Technology， 2021， 54（7）： 1608-1618.）

[33] 王芙銀，張德生，張曉. 結合鯨魚優(yōu)化算法的自適應密度峰值聚類算法［J］. 計算機工程與應用， 2021， 57（3）：94-102.（WANG F Y， ZHANG D S， ZHANG X. Adaptive density peak clustering algorithm combining with whale optimization algorithm［J］. Computer Engineering and Applications， 2021， 57（3）： 94-102.）

Neural tangent kernel K?Means clustering

WANG Mei1，2， SONG Xiaohui1， LIU Yong3，4*， XU Chuanhai1

（1，，163318，；2（），163318，；3，，100872，；4（），100872，）

Aiming at the problem that the clustering results of K?Means clustering algorithm are affected by the sample distribution because of using the mean to update the cluster centers， a Neural Tangent Kernel K?Means （NTKKM） clustering algorithm was proposed. Firstly， the data of the input space were mapped to the high?dimensional feature space through the Neural Tangent Kernel （NTK）， then the K?Means clustering was performed in the high?dimensional feature space， and the cluster centers were updated by taking into account the distance between clusters and within clusters at the same time. Finally， the clustering results were obtained. On the car and breast?tissue datasets， three evaluation indexes including accuracy， Adjusted Rand Index （ARI） and FM index of NTKKM clustering algorithm and comparison algorithms were counted. Experimental results show that the effect of clustering and the stability of NTKKM clustering algorithm are better than those of K?Means clustering algorithm and Gaussian kernel K?Means clustering algorithm. Compared with the traditional K?Means clustering algorithm， NTKKM clustering algorithm has the accuracy increased by 14.9% and 9.4% respectively， the ARI increased by 9.7% and 18.0% respectively， and the FM index increased by 12.0% and 12.0% respectively， indicating the excellent clustering performance of NTKKM clustering algorithm.

Neural Tangent Kernel (NTK); K?Means; kernel clustering; feature space; kernel function

This work is partially supported by National Natural Science Foundation of China （51774090， 62076234）， Postdoctoral Research Startup Fund of Heilongjiang Province （LBH?Q20080）， Natural Science Foundation of Heilongjiang Province （LH2020F003）， Higher Education Teaching Reform Key Entrusted Project of Heilongjiang Province （SJGZ20190011）.

WANG Mei， born in 1976， Ph. D.， professor. Her research interests include machine learning， kernel methods， model selection.

SONG Xiaohui， born in 1998， M. S. candidate. Her research interests include deep kernel learning.

LIU Yong， born in 1986， Ph. D.， research associate. His research interests include large?scale machine learning， automatic machine learning， statistical machine learning theory.

XU Chuanhai， born in 1998， M. S. candidate. His research interests include deep kernel learning.

TP181

A

1001-9081（2022）11-3330-07

10.11772/j.issn.1001-9081.2021111961

2021?11?17；

2021?12?13；

2021?12?23。

國家自然科學基金資助項目（51774090， 62076234）；黑龍江省博士后科研啟動金資助項目（LBH?Q20080）；黑龍江省自然科學基金資助項目（LH2020F003）；黑龍江省高等教育教學改革重點委托項目（SJGZ20190011）。

王梅（1976—），女，河北保定人，教授，博士，CCF會員，主要研究方向：機器學習、核方法、模型選擇；宋曉暉（1998—），女，山東濟南人，碩士研究生，CCF會員，主要研究方向：深度核學習；劉勇（1986—），男，湖南益陽人，副研究員，博士，CCF會員，主要研究方向：大規(guī)模機器學習、自動機器學習、統(tǒng)計機器學習理論；許傳海（1998—），男，黑龍江雞西人，碩士研究生，CCF會員，主要研究方向：深度核學習。