李智杰，王啟輝，李昌華，張 頡

(西安建筑科技大學(xué) 信息與控制工程學(xué)院，西安 710055)

1 引 言

現(xiàn)今，網(wǎng)絡(luò)無處不在，抖音、今日頭條、微信等社交平臺，用戶與用戶之間形成了社交網(wǎng)絡(luò)，不同地域不同語言形成了語言網(wǎng)絡(luò)，公司內(nèi)部員工之間郵件往來形成了郵件網(wǎng)絡(luò)[1].通過對這些網(wǎng)絡(luò)的學(xué)習(xí)以及挖掘網(wǎng)絡(luò)中的信息，對分析網(wǎng)絡(luò)的性質(zhì)和結(jié)構(gòu)具有積極的作用，如對抖音的推廣應(yīng)用方面為用戶推薦好友或感興趣的內(nèi)容等[2].

如何分析和學(xué)習(xí)網(wǎng)絡(luò)中的信息，其中一個基本且核心的關(guān)鍵問題是如何對網(wǎng)絡(luò)進行有效快速的學(xué)習(xí)[3].一是圖核算法，使用核函數(shù)來測量網(wǎng)絡(luò)之間的半正定網(wǎng)絡(luò)相似度[4].二是將網(wǎng)絡(luò)降維到低維空間(網(wǎng)絡(luò)嵌入)，通過頂點的向量表示，精確地捕獲節(jié)點之間的結(jié)構(gòu)關(guān)系[5]，目的是在學(xué)習(xí)的嵌入空間中重建網(wǎng)絡(luò).因此，可以直接在低維空間中挖掘網(wǎng)絡(luò)中的信息，例如信息檢索[6]、分類[7]和聚類[8].學(xué)習(xí)網(wǎng)絡(luò)特征主要面臨以下問題：如何捕獲高度非線性[9]的網(wǎng)絡(luò)結(jié)構(gòu)[10]，如何保持局部和全局結(jié)構(gòu)，以及由于網(wǎng)絡(luò)稀疏性[11]導(dǎo)致的鏈路預(yù)測性能的不足.

目前圖領(lǐng)域已經(jīng)存在很多網(wǎng)絡(luò)表示方法：基于因子分解的Laplace eigenmaps[12]和Graph Factorization；針對淺層網(wǎng)絡(luò)的Line[13]和Node2vec；以及近年提出的結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入模型(Structural Deep Network Embedding，SDNE).結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入模型是一種基于深度學(xué)習(xí)[14]的網(wǎng)絡(luò)嵌入模型，通過一個半監(jiān)督深度自編碼器模型來捕獲高度非線性網(wǎng)絡(luò)結(jié)構(gòu)，利用一階和二階相似度來表征局部和全局網(wǎng)絡(luò)結(jié)構(gòu)，旨在解決結(jié)構(gòu)保持和網(wǎng)絡(luò)稀疏性問題，在網(wǎng)絡(luò)重構(gòu)和鏈路預(yù)測方面表現(xiàn)出比傳統(tǒng)方法更好的效果[15].

結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入模型能很好的保留網(wǎng)絡(luò)的局部和全局結(jié)構(gòu)信息，但對于受損網(wǎng)絡(luò)，該模型所使用的自編碼器在學(xué)習(xí)過程中對受損網(wǎng)絡(luò)進行編碼解碼時，面對缺失或遭到污染的數(shù)據(jù)，在低維空間中學(xué)習(xí)得到的嵌入向量不能很好地重構(gòu)原有的網(wǎng)絡(luò)結(jié)構(gòu)，存在一定缺陷.基于此，本文通過加入降噪自編碼器(Denoising auto-encoder，DAE)[16]來對現(xiàn)有的SDNE模型進行改進，主要用來提升模型對受損網(wǎng)絡(luò)的網(wǎng)絡(luò)重構(gòu)和鏈路預(yù)測能力，同時提升模型的泛化能力和抵抗噪聲能力.

2 結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入模型與降噪自編碼器

在本節(jié)中，首先定義網(wǎng)絡(luò)表示，然后對結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入模型的基本結(jié)構(gòu)進行介紹，最后對現(xiàn)有的降噪自編碼器模型進行簡要介紹.

2.1 網(wǎng)絡(luò)表示定義

網(wǎng)絡(luò)嵌入的目的是將網(wǎng)絡(luò)中的節(jié)點映射到一個低維潛在空間，得到的低維節(jié)點向量能保留局部和全局結(jié)構(gòu)特征，可以直接實現(xiàn)網(wǎng)絡(luò)計算，并能運用到網(wǎng)絡(luò)重構(gòu)、節(jié)點分類和鏈路預(yù)測等多種網(wǎng)絡(luò)應(yīng)用領(lǐng)域，如圖1所示.

圖1 網(wǎng)絡(luò)表示概念圖

2.2 結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入模型

結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入模型是一個半監(jiān)督深度神經(jīng)網(wǎng)絡(luò)模型，整個模型可以分為兩個部分：一個是監(jiān)督的拉普拉斯特征映射對一階相似度進行建模的模塊；另一個是無監(jiān)督的深度自編碼器對二階相似度進行建模的模塊.通過半監(jiān)督深度神經(jīng)網(wǎng)絡(luò)進行聯(lián)合優(yōu)化，使模型在保留全局網(wǎng)絡(luò)結(jié)構(gòu)的同時保留局部的結(jié)構(gòu)特征，增強算法在稀疏網(wǎng)絡(luò)中的魯棒性.

圖2 SDNE模型

2.3 降噪自編碼器

自編碼器(Auto-encoder，AE)是經(jīng)典的深度學(xué)習(xí)模型之一，是目前應(yīng)用較為廣泛的降維方法，通過對多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練，將高維數(shù)據(jù)轉(zhuǎn)換為低維數(shù)據(jù).自編碼器是典型的3層神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層和輸出層構(gòu)成，編碼過程在輸入層和隱藏層之間完成，解碼過程在隱藏層和輸出層之間完成.DAE是AE的一種變形，該模型不僅可以去噪，還可以學(xué)習(xí)到一個更好的網(wǎng)絡(luò)表示.通過DAE學(xué)習(xí)到的表示可以被用來預(yù)訓(xùn)練更深的無監(jiān)督網(wǎng)絡(luò)或者有監(jiān)督網(wǎng)絡(luò).與稀疏自編碼器、稀疏編碼、收縮自編碼器等正則化的自編碼器類似，DAE的優(yōu)勢是避免了編碼器和解碼器學(xué)習(xí)的結(jié)果是無效的恒等函數(shù)，同時編碼器允許學(xué)習(xí)的容量很高.

2.4 拉普拉斯特征映射

拉普拉斯特征映射(Laplacian Eigenmaps，LE)利用節(jié)點對的相似度來保持網(wǎng)絡(luò)的性質(zhì)，具有相似度的節(jié)點在網(wǎng)絡(luò)嵌入過程，被映射到向量空間中的距離很近，就可以在降維后保持原有的網(wǎng)絡(luò)結(jié)構(gòu)，如果相似的節(jié)點對被映射到向量空間中的距離很遠(yuǎn)，就給予這對節(jié)點更大的罰值.拉普拉斯特征映射可以通過捕獲網(wǎng)絡(luò)的一階相似度來保留網(wǎng)絡(luò)的局部結(jié)構(gòu).基于這一思想，該方法使用如下目標(biāo)函數(shù)來實現(xiàn)節(jié)點對的低維映射：

y=∑i≠j(yi-yj)2Sij=2yTLy

(1)

(2)

3 結(jié)構(gòu)深度降噪網(wǎng)絡(luò)嵌入模型

傳統(tǒng)的自編碼器在面對受損網(wǎng)絡(luò)和稀疏網(wǎng)絡(luò)時所使用的重建標(biāo)準(zhǔn)不能保證提取有用的特征，會導(dǎo)致得到的輸出結(jié)果是簡單的復(fù)制輸入，為此本文通過對降噪自編碼和結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入模型的學(xué)習(xí)了解，提出了半監(jiān)督的結(jié)構(gòu)深度降噪網(wǎng)絡(luò)嵌入模型(Structural Deep Denoising Network Embedding，SDDNE).該模型通過對DAE的堆疊來捕獲二階相似度(保留網(wǎng)絡(luò)的全局結(jié)構(gòu))，由拉普拉斯特征映射捕獲一階相似度(保留網(wǎng)絡(luò)局部結(jié)構(gòu)).

圖3 結(jié)構(gòu)深度降噪網(wǎng)絡(luò)嵌入模型

(3)

gθ′(y)=s(W′y+b′)

(4)

參數(shù)集為θ′={W′，b′}.堆疊降噪自編碼器的目標(biāo)是最小化輸入和輸出的誤差，損失函數(shù)如下：

(5)

利用重構(gòu)準(zhǔn)則可以平滑的捕獲數(shù)據(jù)流形的優(yōu)勢，避免了最小重構(gòu)誤差在闡述樣本相似度上的局限，在一定程度上保持了樣本之間的相似度.如果使用鄰接矩陣S作為堆疊降噪自編碼器的輸入，重建過程將使具有相似鄰域結(jié)構(gòu)的頂點具有相似的表示.由于網(wǎng)絡(luò)的特定特性，這種重建過程不能用于本文要解決的問題.在網(wǎng)絡(luò)中，可以觀察到一些鏈接，但同時許多合法鏈接沒有被觀察到，這意味著頂點之間的鏈接確實指示它們的相似度，但沒有鏈接不一定表明它們不具備相似度.通過對非零元素的重構(gòu)誤差施加更多的懲罰來進一步解決網(wǎng)絡(luò)稀疏性的問題.修改后的目標(biāo)函數(shù)如下所示：

(6)

對于高度非線性網(wǎng)絡(luò)結(jié)構(gòu)，不僅需要保留全局網(wǎng)絡(luò)結(jié)構(gòu)，還需要保留局部網(wǎng)絡(luò)結(jié)構(gòu).本文使用一階相似度來表示局部網(wǎng)絡(luò)結(jié)構(gòu)，借用拉普拉斯特征映射的思想.當(dāng)相似頂點被映射到嵌入空間的距離較遠(yuǎn)時，就會產(chǎn)生懲罰，從而使得由一條邊連接的頂點在嵌入空間中距離相近，從而保證了一階的相似度.一階相似度損失函數(shù)如下：

(7)

為了同時保持一階和二階相似度，將損失函數(shù)聯(lián)合起來，加上正則項后得到了模型的整體目標(biāo)函數(shù)：

Lmix=αL2nd+βL1st+νLreg

(8)

其中，Lreg為防止過擬合的L2范數(shù)正則項：

(9)

(10)

SDNE采用sigmoid作為激活函數(shù)，但通過該激活函數(shù)方向傳播時，容易在兩端產(chǎn)生飽和神經(jīng)元，導(dǎo)致權(quán)值無法更新，引起梯度消失現(xiàn)象，使深度學(xué)習(xí)訓(xùn)練時出現(xiàn)節(jié)點間區(qū)分度較低的問題.為了避免上述問題，SDDNE采用線性整流函數(shù)(Rectified Linear Unit，ReLU)作為激活函數(shù)代替sigmoid.相較于sigmoid激活函數(shù)，ReLU具有計算速度快的優(yōu)勢，并且由于ReLU是分段線性函數(shù)，梯度下降和反向傳播效率更高，避免了梯度爆炸和梯度消失問題.SDNE采用了SGD優(yōu)化神經(jīng)網(wǎng)絡(luò)，雖然SGD訓(xùn)練速度快，但是本身的收斂速度較慢，準(zhǔn)確度下降較快，容易陷入鞍點，得不到全局最優(yōu)結(jié)果.SDDNE采用自適應(yīng)矩估計(Adaptive Moment Estimation，Adam)優(yōu)化器，Adam優(yōu)化器善于處理稀疏梯度和非平穩(wěn)目標(biāo)，并且在大數(shù)據(jù)集和高維數(shù)據(jù)空間可以更好的加速神經(jīng)網(wǎng)絡(luò)收斂.SDDNE模型的訓(xùn)練復(fù)雜度為O(ncld)，n為頂點數(shù)，d是隱藏層最大維數(shù)，c是網(wǎng)絡(luò)平均度，l是迭代次數(shù).具體算法如下：

算法.SDDNE半監(jiān)督深度模型訓(xùn)練算法

輸入：G=(V，E)的鄰接矩陣S，權(quán)重值W，偏重值b，超參數(shù)α和υ；

輸出：網(wǎng)絡(luò)表示Y，更新后的參數(shù)θ和重構(gòu)誤差LH；

Step 1.初始化參數(shù)θ；

Step 2.X=S；

Step 3.重復(fù)上述操作；

Step 10.重復(fù)過程Step 4-Step 9；

Step 11.直到迭代結(jié)束；

4 實驗結(jié)果及分析

為驗證模型在不同比例噪聲污染下網(wǎng)絡(luò)重構(gòu)和鏈路預(yù)測的實際效果，對數(shù)據(jù)集進行了訓(xùn)練和測試，針對SDNE、LINE、DeepWalk等不同模型分別做了對比實驗.

4.1 數(shù)據(jù)集

本文選用BLOGCATALOG社交網(wǎng)絡(luò)數(shù)據(jù)集和ARXIV GR-QC語言網(wǎng)絡(luò)數(shù)據(jù)集，社交網(wǎng)絡(luò)數(shù)據(jù)集是在線用戶的社交網(wǎng)絡(luò)，每個用戶至少有一個類別，這些類別可以作為每個頂點的基本屬性，ARXIV GR-QC涵蓋來自ARXIV的廣義相對論和量子宇宙學(xué)領(lǐng)域的論文.在這個網(wǎng)絡(luò)中，頂點代表作者，邊表示作者在arXiv中共同撰寫了一篇科學(xué)論文.

表1 數(shù)據(jù)集信息

4.2 實驗設(shè)置

為了驗證本文提出SDDEN模型的先進性，選擇保持一階、二階相似度的SDNE，LINE網(wǎng)絡(luò)嵌入模型以及保持二階相似度的DeepWalk網(wǎng)絡(luò)嵌入模型在不同數(shù)據(jù)集中分別進行對比實驗.

SDNE：利用拉普拉斯特征映射與自編碼器聯(lián)合優(yōu)化，同時保持網(wǎng)絡(luò)一階、二階相似度并以此來學(xué)習(xí)網(wǎng)絡(luò)的局部和全局特征.

LINE：通過定義損失函數(shù)，分別保持網(wǎng)絡(luò)的一階、二階相似度，通過KL散度，最小化鄰接矩陣生成的節(jié)點對概率分布和由嵌入內(nèi)積產(chǎn)生的概率分布之間的距離，最終實現(xiàn)嵌入最優(yōu)化.

膜蒸餾(Membrane Distillation，MD)是一種熱驅(qū)動的水處理方法，其中較熱的進料流在疏水的微孔膜的一側(cè)流動，而較冷的餾出物流在另一側(cè)流動。膜兩端的溫差產(chǎn)生蒸汽壓差，使得液態(tài)水從進料流中蒸發(fā)，通過膜孔，并冷凝成餾出物流。其廣泛應(yīng)用在海水淡化、超純?nèi)芤簼饪s與提純等方面 [1-3]。

DeepWalk：基于Word2vec的網(wǎng)絡(luò)嵌入算法，利用Skip-Gram模型將節(jié)點映射為低維嵌入向量，可以保持網(wǎng)絡(luò)的二階相似度.

本文采用了多層堆疊降噪自編碼器結(jié)構(gòu)，BLOGCATALOG和ARXIV GR-QC數(shù)據(jù)集使用3層編碼器，隱藏層的節(jié)點數(shù)為100，1000和10000.SDDNE激活函數(shù)為ReLu，優(yōu)化器采用Adam，通過網(wǎng)格搜索來進行調(diào)整，學(xué)習(xí)速率為0.01，SDDNE模型損失函數(shù)由前期的一階相似度損失和后期的二階相似度損失聯(lián)合組成，通過對模型的訓(xùn)練，發(fā)現(xiàn)當(dāng)?shù)螖?shù)超多60次時，兩次迭代之間權(quán)值誤差變化極小，達到了模型訓(xùn)練結(jié)束所設(shè)定閾值，模型收斂，為此實驗中模型迭代次數(shù)為60.SDNE激活函數(shù)為sigmoid，優(yōu)化器采用SGD.LINE隨機梯度下降的批量大小設(shè)置為1，初始學(xué)習(xí)速率為0.25，DeepWalk窗口大小為15，步長為60，每個頂點游走距離為60.

4.3 評估指標(biāo)

在網(wǎng)絡(luò)重構(gòu)和鏈路預(yù)測實驗中，采取precision@k和平均精度兩種評估指標(biāo)來評估模型性能.precision@k通過給返回的實例提供相同的權(quán)重來進行度量，定義如式(11)所示：

(11)

式(11)中：V是頂點集，index(j)表示第j個頂點a的排序索引，Δi(j)=1表示頂點vi和vj之間有鏈接.

平均精度(Mean Average Precision，MAP)中Average Precision是對單個查詢的精度求取其均值，加入Mean則是對所有查詢的平均精度進行取均值計算，所以MAP具有良好的區(qū)分性和穩(wěn)定性，并且對返回項中排名靠前的尤為關(guān)注.

(12)

(13)

式(13)中Q為查詢集.

4.4 實驗結(jié)果分析

4.4.1 網(wǎng)絡(luò)重構(gòu)

一個好的網(wǎng)絡(luò)嵌入模型應(yīng)該保證學(xué)習(xí)到的嵌入向量能夠保持原有的網(wǎng)絡(luò)結(jié)構(gòu).通過對本文所提出SDDNE與不同的網(wǎng)絡(luò)嵌入模型在網(wǎng)絡(luò)重構(gòu)能力方面進行對比實驗，從而驗證SDDNE在實際應(yīng)用中的通用性.使用語言網(wǎng)絡(luò)ARXIV GR-QC和社交網(wǎng)絡(luò)BLOGCATALOG作為代表.給定一個網(wǎng)絡(luò)，在不同的噪聲污染比例下使用不同的網(wǎng)絡(luò)嵌入模型來學(xué)習(xí)網(wǎng)絡(luò)表示.由于原始網(wǎng)絡(luò)中的現(xiàn)有鏈路是已知的，用來作為基礎(chǔ)樣本與重構(gòu)后的網(wǎng)絡(luò)表示進行對比，可以評估不同方法的重構(gòu)性能.用k-precisiion和MAP作評估指標(biāo)，衡量前k條邊被準(zhǔn)確重構(gòu)的比例.實驗結(jié)果如圖4所示.

由圖4整理得到在不同噪聲污染條件下，不同模型在網(wǎng)絡(luò)重構(gòu)測試中對網(wǎng)絡(luò)邊準(zhǔn)確重構(gòu)的Average precision如表2所示.

圖4 網(wǎng)絡(luò)重構(gòu)準(zhǔn)確率

以下為評估指標(biāo)MAP在數(shù)據(jù)集BLOGCATALOG和ARXIV GR-QC中面對不同比例噪聲干擾的網(wǎng)絡(luò)重構(gòu)任務(wù)的實驗結(jié)果.

結(jié)合表2可以得到在ARXIV GR-QC數(shù)據(jù)集上隨著噪聲污染的增加，SDDNE網(wǎng)絡(luò)重構(gòu)任務(wù)的k-precisiion均值分別為98.07%，84.89%，77.83%，BLOGCATALOG數(shù)據(jù)集上，SDDNE在5%，10%，20%噪聲污染下進行網(wǎng)絡(luò)重構(gòu)的k-precisiion均值分別為68.32%，65.79%，64.42%，與SDNE，LINE，DeepWalk等方法相比，在受損網(wǎng)絡(luò)的重構(gòu)上具有非常明顯的優(yōu)勢.圖5實驗結(jié)果表明，在ARXIV GR-QC和BLOGCATALOG數(shù)據(jù)集中各模型進行網(wǎng)絡(luò)重構(gòu)任務(wù)時隨著噪聲添加比例的增加MAP均有所下降，但SDDNE能夠一直保持較高的重構(gòu)平均準(zhǔn)確率.

表2 網(wǎng)絡(luò)重構(gòu)準(zhǔn)確率

圖5 不同噪聲污染下網(wǎng)絡(luò)重構(gòu)MAP

綜上所述，SDDNE在受損的社交網(wǎng)絡(luò)和語言網(wǎng)絡(luò)中進行網(wǎng)絡(luò)重構(gòu)任務(wù)具有很好的準(zhǔn)確率和穩(wěn)定性.雖然SDDNE，SDNE，LINE都是利用一階和二階相似度來保持網(wǎng)絡(luò)結(jié)構(gòu)，但是SDDNE具有更好的重構(gòu)性能.主要原因是，LINE模型采用淺層結(jié)構(gòu)，無法捕獲網(wǎng)絡(luò)中的高度非線性結(jié)構(gòu)，SDNE模型也是深度模型，但是對于受損網(wǎng)絡(luò)中被污染的結(jié)構(gòu)難以很好的進行網(wǎng)絡(luò)重構(gòu)，魯棒性不夠好.綜上所述，無論是在準(zhǔn)確率還是穩(wěn)定性上SDDNE比其他網(wǎng)絡(luò)嵌入模型具有更好的優(yōu)勢.

4.4.2 鏈路預(yù)測

為了評估SDDNE在鏈路預(yù)測任務(wù)中的整體性能，在本節(jié)中使用數(shù)據(jù)集BLOGCATALOG進行訓(xùn)練，與SDNE、LINE、DeepWalk進行對比.在本部分實驗中，隨機隱藏所選取鏈接數(shù)的20%，通過模型訓(xùn)練得到每個頂點的表示，使用獲得的表示來預(yù)測未被觀察到的聯(lián)系，與網(wǎng)絡(luò)重構(gòu)不同的是，鏈路預(yù)測實驗是為了預(yù)測未知或可能存在的鏈接，而不是重建現(xiàn)有鏈接，因此可以得到不同模型的鏈路預(yù)測能力.precision@k作為評估指標(biāo)，鏈接數(shù)從10逐漸增加到10000.實驗結(jié)果如表3所示.

表3 鏈路預(yù)測準(zhǔn)確率

分析表3可知，當(dāng)鏈接數(shù)k小于100時，所有的網(wǎng)絡(luò)嵌入模型都有很好的鏈路預(yù)測能力，但當(dāng)k的值逐漸增大到1000時，除了SDDNE可以保持90%以上的預(yù)測能力，其他模型都不能得到很好的學(xué)習(xí)表征.隨著k的增加，SDDNE的性能始終優(yōu)于其他網(wǎng)絡(luò)嵌入方法，表明該方法學(xué)習(xí)的表征對新的鏈路具有更好的預(yù)測能力.

5 結(jié) 語

本文針對現(xiàn)有結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入模型在處理受損網(wǎng)絡(luò)時，在低維空間中學(xué)習(xí)得到的嵌入向量無法很好的重構(gòu)原有網(wǎng)絡(luò)結(jié)構(gòu)的缺陷，從降噪的角度入手，通過引入降噪自編碼器并且進行堆疊，得到了改進的SDDNE模型.SDDNE模型通過堆疊降噪自編碼器來捕獲二階相似度以此保留網(wǎng)絡(luò)的全局結(jié)構(gòu)，通過拉普拉斯特征映射捕獲一階相似度來保留網(wǎng)絡(luò)局部結(jié)構(gòu).SDDNE解決了SDNE使用SGD優(yōu)化模型而產(chǎn)生的誤差變小和訓(xùn)練無效的問題，同時對受損網(wǎng)絡(luò)進行網(wǎng)絡(luò)重構(gòu)和鏈路預(yù)測任務(wù)時均取得了更好的重構(gòu)準(zhǔn)確率和鏈路預(yù)測準(zhǔn)確率.并且SDDNE模型很好的避免了傳統(tǒng)降噪自編碼器單層的模型結(jié)構(gòu)在處理高度非線性復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)時無法很好的保持網(wǎng)絡(luò)結(jié)構(gòu)特征的問題，模型具有更好的魯棒性.但在針對不同網(wǎng)絡(luò)結(jié)構(gòu)，如何得到最優(yōu)的降噪自編碼器噪聲添加比例，尚需進行研究.