施 濃，聶鐵錚，申德榮，寇 月，于 戈

(東北大學(xué) 計算機科學(xué)與工程學(xué)院，沈陽 110169)

1 引 言

近些年來，由于學(xué)者擁有相同的姓名，所以出現(xiàn)了越來越多屬于不同的學(xué)者，但卻擁有相同的學(xué)者姓名的文章.大量重復(fù)的作者姓名，降低了數(shù)字圖書館、web檢索信息的性能，從而導(dǎo)致錯誤地認為某幾篇文獻是同一位作者所寫.針對這種情況，傳統(tǒng)的處理方式是由人工的進行確認，因此需要做大量的繁瑣工作，浪費大量人力資源.還有一些機構(gòu)采用了名稱標識的方式，給作者分配一個唯一的標識符，但仍存在有大量文章作者沒有標識的問題.因此迫切需要提出切實有效的方法，實現(xiàn)可自動化對作者文獻進行聚類，進行正確的歸屬.

解決這類問題，常用思路是使用聚類的方法，從論文中提取特征，定義聚類相似度度量，從而將一堆論文聚成幾類論文.聚類得到的論文簇要盡可能的相似，而聚類與聚類之間的論文應(yīng)不屬于同一作者，最終得到的每一個聚類論文是屬于同一學(xué)者的論文.例如，文獻[1]是使用圖聚類解決同一姓名問題的經(jīng)典方法，利用論文之間的結(jié)構(gòu)以及屬性關(guān)系等信息去構(gòu)建統(tǒng)一的概率圖，最后通過算法估計聚類人數(shù)值.文獻[2]考慮到使用傳統(tǒng)特征具有局限性，因此采用低維語義的空間向量表示方法，通過將論文映射成低維空間的向量表示，使用基于特征向量的聚類方法，但是其聚類的準確度不是很高.

當前，針對作者姓名消歧技術(shù)的研究具體有如下幾個問題:1)由于作者和文獻均是不同的來源，并且很有可能沒有重疊的信息，如何對來自不同數(shù)據(jù)源實體進行量化;2)如何確定幾篇文獻是否屬于同一作者，量化幾篇文獻的相似性;3)如何確定每一個作者文獻的數(shù)量.

本文設(shè)計一個框架來更好的解決作者姓名消歧的問題，研究結(jié)合最新的嵌入模型，量化的捕捉文本之間的關(guān)系，該方法將每篇文獻實體投影到一個空間向量中，每篇文獻都作為一個節(jié)點;為了確定幾篇文獻是否屬于同一作者，本文提出將作者姓名消歧的聚類問題，轉(zhuǎn)換成為基于鏈接的聚類問題，根據(jù)節(jié)點的上下文來推測節(jié)點與其鄰居之間的鏈接可能性，提出使用圖卷積網(wǎng)絡(luò)(GCN)的可學(xué)習(xí)的聚類方法;最后，根據(jù)GCN輸出鏈接可能性，本文采用偽標簽傳播策略，不需要輸入簇的數(shù)量，可傳遞的合并鏈接的節(jié)點并獲得聚類結(jié)果.文獻作者姓名消歧方法框架如圖1所示.

圖1 文獻作者姓名消歧方法框架

2 相關(guān)工作

在文獻檢索中，多個作者擁有相同的姓名，相同的研究方向或者其他一些屬性相似，這是很正常的現(xiàn)象，但這種現(xiàn)象可能會導(dǎo)致人們錯誤的引用文獻、檢索結(jié)果不準確，數(shù)據(jù)庫集成的性能等問題.實體消歧的主要任務(wù)是將屬于同一個姓名多個人的文獻進行分區(qū)，每個區(qū)域都是由唯一一個人的文獻組成.命名實體識別消歧通常可以被看作是一個聚類問題[1]，和其他聚類的任務(wù)一樣，如何確定是否相似、聚類的大小是主要的兩個挑戰(zhàn).在作者姓名消歧問題中，如何量化相似性是急需解決的一個問題，現(xiàn)有的解決方案可大致分為兩類:一種是基于數(shù)據(jù)的特征，另一種是基于連接.

基于特征方法的文獻有很多，比如，Han等人[3]提出使用作者姓名，文章標題，以及會議或期刊名等特征，采用支持向量機等監(jiān)督方法對作者姓名進行消歧.Zhang等人[4]利用文獻作者姓名包括合作者姓名、文獻標題、出版地點或期刊、出版時間等作為特征進行提取，并計算特征之間的距離，使用特征和距離相結(jié)合的半監(jiān)督概率模型，解決作者消歧問題.MinoruYoshida[5]提出兩階段聚類的方法，采用命名和關(guān)鍵詞等信息進行相似度計算，將計算結(jié)果進行聚類，第1次聚類完成后，再提取相應(yīng)特征進行第2次聚類.Liu等人[6]主要使用的是元路徑，基于元路徑來確定兩個實體的相似度.元路徑的圖形需要自己制定，可以轉(zhuǎn)化為矩陣運算的問題，最后基于不同圖案的元路徑相似度加權(quán)求和進行最終的決策，本質(zhì)仍然是基于傳統(tǒng)的特征工程，里面除了包含大量的特征工程外，將元路徑引入其中，可以將路徑中的隱藏關(guān)系以及路徑中跨度加大的關(guān)系加入進去.文獻[7]提出兩個策略:一個分類器訓(xùn)練一個name，一個分類器訓(xùn)練所有name.使用ELM(極限學(xué)習(xí)機)技術(shù)使用作者姓名，標題作為特征向量，但因為特征維度較大，所以使用了PCA進行降維.

基于鏈接方法的文獻有TanayKumarSaha[8]提出的一種從協(xié)作網(wǎng)絡(luò)獲得時間戳得連接信息來解決實體消歧任務(wù)的方法，該方法使用匿名網(wǎng)絡(luò)的拓撲圖，不侵犯隱私.文獻[9]受到詞嵌入的影響，利用作者名，文章名構(gòu)建了3個圖，同時采用一種新的表示學(xué)習(xí)模型，將每一個文檔嵌入到一個低維的向量空間中，在這個空間中，名字消歧使用層次聚集聚類算法進行解決.Zhang等人[9]提出文獻全部屬性和局部屬性相結(jié)合的方法，首先利用文獻的部分屬性信息將所有文獻都表示在一個統(tǒng)一的向量空間中，使用圖自編碼器對已經(jīng)構(gòu)建的局部鏈接圖進行學(xué)習(xí)得到待消歧姓名文獻集的最終向量表示，最后利用得到的向量進行聚類分析.

本文結(jié)合上述兩種方案的優(yōu)點，使用BERT[10](Bidirectional Encoder Representation from Transformers)對文獻的多個特征進行詞和句子的嵌入，將文獻的作者、所屬機構(gòu)和摘要等特征嵌入到一個低維的向量空間中，結(jié)合將詞嵌入和句子嵌入進行結(jié)合，量化特征，使得到的特征向量更為準確.然后進行文獻局部圖(Article Partial Graph)的構(gòu)建，將聚類問題轉(zhuǎn)換為鏈接問題，使用GCN進行自動學(xué)習(xí)文獻之間生成鏈接的可能性.

第2個挑戰(zhàn)是如何確定聚類的大小，以前的大多數(shù)文獻都是假定該數(shù)字是事先已知的，并且在解決方案中忽略這個問題.現(xiàn)有的文獻中有一些使用諸如DBSCAN的聚類方法來避免提前設(shè)定聚類的大小，但仍需要提前指定幾個基于密度的超參數(shù).唐等人[1]對X-means算法進行改進，通過貝葉斯信息準則(BIC)來測量聚類質(zhì)量，從而迭代的估計最優(yōu)的聚類大小.但是，有一些實驗表明，基于BIC的方法傾向于將聚類合并在一起，而且缺少比較好的離群值控制，因此導(dǎo)致準確性降低.在本文中，為了將文獻更準確的聚類在一起，根據(jù)文獻的鏈接權(quán)重信息，在圖上使用連通域搜索并動態(tài)剪枝進行聚類.

3 問題定義

3.1 文獻定義

定義1.(名稱消除歧義)作者消除歧義是找到一個方法F，將Pa劃分為一組不相交的簇，例如:

(1)

3.2 K-NN連接

本文提出構(gòu)建文章局部圖的原因是:只需要計算一個實例與它的k個最近鄰居之間的鏈接可能性，就可以產(chǎn)生很好的聚類效果[11].不同k值的聚類性能的上限都很高，如果鄰居與該實例具有相同的作者，則直接將每個實例與其k-NN連接，預(yù)測實例與其k-NN之間而不是所有潛在對之間的鏈接更加有效.

姓名消除歧義工作的重點在于消歧結(jié)果的準確性，因此本文采用預(yù)測文獻與其k-NN之間的鏈接的可能性.因為預(yù)測是否鏈接是基于文獻所提供的信息和其鄰居所提供的信息，所以本文設(shè)計了一個名為“文獻局部圖”(APG)的局部結(jié)構(gòu).APG是一個以文獻P為中心的子圖.每個“文獻局部圖”都是由一個中心節(jié)點文獻P和P的k個臨近鄰居組成.

4 方 法

4.1 使用BERT對文獻多特征進行嵌入

首先將數(shù)據(jù)中所有的文獻特征都進行表示學(xué)習(xí)，然后展現(xiàn)在一個統(tǒng)一的向量空間中.如圖1所示，每篇文獻都由節(jié)點表示，比如，文獻作者名字有Lu Han使用左側(cè)帶點的圓圈節(jié)點表示.文獻用Pi進行表示，文獻的特征由Pi={p1，p2，p3，…，pk}一組長度可變的特征集表示，其中文獻的特征由標題、共同作者、出版單位或者期刊、關(guān)鍵詞和摘要等多特征構(gòu)成.輸入N篇文獻的特征，輸出N×K維的特征矩陣，其中K代表維數(shù).

受無監(jiān)督表示學(xué)習(xí)技術(shù)的啟發(fā)，本文使用BERT(Bidirectional Encoder Representation from Transformers)模型[10]進行全局表示學(xué)習(xí).本文考慮到一個重要的特征文獻摘要，由于文獻摘要句子過長，得到嵌入表示不夠準確，前人研究時都選擇忽略掉文獻摘要這個重要的特征.而BERT是對文本摘要進行雙向的建模，類似于全連接網(wǎng)絡(luò)輸入完整的句子模式，而不是LSTM等RNN網(wǎng)絡(luò)有序輸入的模式，考慮到句子中每個詞的位置和詞與詞之間的相對位置，會更加準確的獲得嵌入向量得表示.因此，本文將文獻摘要也作為一個特征進行嵌入，使用多特征生成一個嵌入向量，使嵌入結(jié)果更加準確.

4.2 構(gòu)建“文獻局部圖”

本文需要根據(jù)文章中的上下文特征來估計兩篇文章之間的鏈接可能性.在本文中，構(gòu)造文章局部圖APG(Article Partial Graph)，APG由3個步驟生成.首先，找到APG的所有節(jié)點，然后鄰居節(jié)點減去樞紐特征來標準化節(jié)點特征，最后在節(jié)點之間添加邊.

第1步.如圖2所示，查找節(jié)點，給定文獻C，本文將使用kNN連接方式進行查找鄰居結(jié)點，范圍到h-hop的鄰居作為APG的節(jié)點，對于每一跳節(jié)點，選擇的鄰居數(shù)量可能會有所不同.將第i個跳躍點的鄰居數(shù)表示為ki，i=1，2，3，…，h.比如:C是中心節(jié)點，那么APG中對于C定義為Gc(Vc，Ec)，其中Vc表示G的節(jié)點集，Ec表示圖G的邊集.舉個例子:當h=3時，k1=9，k2=6，k3=3，表示APG是由9個距離中心點C最近的鄰居組成，每個鄰居節(jié)點有6個臨近的一階鄰居，每個一階鄰居有3個最臨近的二階鄰居.如果一個鄰居在C進行臨近搜索時，始終離得很遠，那么這個鄰居和C的連接可能性很小.

圖2 找到節(jié)點p的鄰居節(jié)點

第2步.節(jié)點標準化，如圖1所示.有了中心節(jié)點C，節(jié)點集Vc，以及節(jié)點的特征Ci，定義其中一個鄰居節(jié)點{Cq|q∈Vc}.為了標準化各個節(jié)點特征，每個節(jié)點減去pc來進行標準化.

Ηc=[…，pq-pc，…]，?q∈Vc

(2)

第3步.在節(jié)點之間添加邊.最后一步是在節(jié)點之間添加邊緣.對于一個節(jié)點q∈Vc，首先在原始整個集合中的所有節(jié)點中找到最接近的u個鄰居.如果該鄰居節(jié)點r也出現(xiàn)在Vc中，那么將(q，r)添加到節(jié)點邊集Ec中.此操作是為了保證節(jié)點的集合不會有太大變化.最后，使用Ac∈R(|Vc|×|Vc|)和節(jié)點特征矩陣Ηc表示APG的拓撲結(jié)構(gòu).生成的文獻局部圖，如圖1所示.

4.3 使用圖卷積神經(jīng)網(wǎng)絡(luò)對APG進行連接預(yù)測

APG中節(jié)點包含的特征信息對于確定其它節(jié)點是否應(yīng)該連接到文章局部圖上有很大的作用.為了充分的確定兩個節(jié)點邊緣是否應(yīng)該鏈接，本文應(yīng)用了圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)[12]，在APG上進行預(yù)測.將文獻局部圖的節(jié)點特征矩陣X和鄰接矩陣A一起輸入到圖卷積層，訓(xùn)練后輸出節(jié)點特征矩陣Y.

在第1層中，輸入節(jié)點特征矩陣是原始節(jié)點特征矩陣X=H.形式上，圖卷積層具有以下公式:

Y=σ([X‖GX]W)

(3)

其中，X表示特征矩陣，是輸入矩陣維度是N×K維，而Y則是N×K維輸出矩陣，激活函數(shù)σ使用的是ReLU，G=(P，A)是大小N×N的聚合矩陣，運算符‖表示沿著特征維進行矩陣連接，W表示可學(xué)習(xí)的權(quán)重，σ(.)是非線性激活函數(shù).

圖卷積操作可以分為兩個步驟:

第1步.將P乘以G，該步驟是為了對節(jié)點和節(jié)點鄰居之間的關(guān)系進行匯總.然后沿著特征維度將輸入節(jié)點特征P與聚合信息GP串聯(lián)在一起.

第2步.由一組線性濾波器對級聯(lián)特征進行變換，該線性濾波器的參數(shù)W將被學(xué)習(xí).其中g(shù)(.)用類似于圖注意力網(wǎng)絡(luò)[13]，本文試圖學(xué)習(xí)鄰居的聚集權(quán)重.即，G中的元素由兩層MLP使用一對樞軸鄰居節(jié)點的特征作為輸入來生成.MLP是端到端的訓(xùn)練.注意聚合是在鄰居之間執(zhí)行加權(quán)平均池，在加權(quán)池中自動學(xué)習(xí)權(quán)重.

方案二：選用STM32F103 系列MCU 用于控制方案，使用STM32 MCU 作為核心控制芯片[5]，該芯片可以進行擴展，與外設(shè)進行連接通信，且控制速度較快，非常利于資源開發(fā)。

本文使用的圖卷積神經(jīng)網(wǎng)絡(luò)是由ReLU功能激活的4個圖卷積層的堆棧.然后將softmax激活后的交叉熵損失作為優(yōu)化的目標函數(shù).實際上，本文僅反向傳播一跳鄰居節(jié)點的梯度，因為僅考慮了樞軸及其一跳節(jié)點之間的聯(lián)系.與完全監(jiān)督的情況相比，采用節(jié)點一跳鄰居的方式不僅可導(dǎo)致相當大的加速，而且還可以提高準確性.原因是高階鄰居大部分為負，因此一跳鄰居中的正樣本和負樣本比其他鄰居中的樣本更加均衡.

為了演示圖卷積的工作機制，文本設(shè)計了一個具有二維輸入節(jié)點功能和兩個圖卷積層的玩具示例.不同的顏色表示不同的ID.虛化的深灰色節(jié)點是中心節(jié)點.在圖3中，本文顯示了每一層的輸出嵌入如何隨著訓(xùn)練迭代而變化.在每個圖卷積層之后，正節(jié)點(左側(cè))分組更加接近，而負節(jié)點(右側(cè))形成另一組.這是因為鄰居的消息在聚合步驟中傳遞到節(jié)點，并且鄰居的消息充當嵌入的平滑度，將鏈接的節(jié)點連接在一起.同時，將正節(jié)點組和負節(jié)點組分隔開.最終，系統(tǒng)達到其平衡點，在該平衡點上，不同類別的節(jié)點彼此遠離，同一類別中的節(jié)點相互接近.

圖3 GCN工作機制

4.4 使用偽標簽傳播策略聚類相同作者文章

本文遍歷所有文獻，將每篇文獻都構(gòu)造一個文獻局部圖，并預(yù)測該文章所涉及其他文獻之間關(guān)聯(lián)得可能性，節(jié)點分類器輸出softmax概率.

實驗得到了一組關(guān)于鏈接可能性的且?guī)в袡?quán)重的邊.為了得到聚類圖，一種比較簡單的方法是剪切權(quán)重低于某個閾值的所有邊緣，然后使用廣度優(yōu)先算法來傳播偽標簽.但是，在傳播的過程中，性能很有可能會受到閾值的影響.因此，本文采用了文獻[14]中提出的偽標簽傳播策略.首先，基于圖形中當前邊找到連接的文章，并將這個文章添加到隊列中.

在每次迭代中，本算法都會在某個閾值以下切割低分邊緣，并在其大小保持大于預(yù)定義的最大值的鏈接簇中，維護要在下一次迭代中處理的隊列.在下一次迭代中，增加要切割的閾值.重復(fù)此過程，直到隊列為空，這意味著所有文章都用偽標簽標記.

5 實 驗

5.1 數(shù)據(jù)集

本實驗采用AMiner提供的數(shù)據(jù)集，數(shù)據(jù)集基準測試包含來自12798位作者的70258個文檔.數(shù)據(jù)格式是由一個字典組成，存儲為JSON對象.具體來講，數(shù)據(jù)集中包括每一篇文獻的編號、文章標題、作者個人信息、工作單位、出版地、文章關(guān)鍵詞和文章摘要等，具體信息如表1所示.本文從標記良好的AMiner數(shù)據(jù)庫數(shù)據(jù)中中抽取了100個作者姓名進行實驗.

表1 數(shù)據(jù)集表示信息含義

5.2 評價指標

本文使用Precision公式(4)、Recall公式(5)、F1公式(6)作為評價指標對實驗結(jié)果進行度量.

除了Precision和Recall以外，本文還使用F1作為評價指標，因為Precision和Recall有時候會出現(xiàn)矛盾的情況，這樣就需要綜合考慮它們，最常見的方法就是使用F1-measure，當F1較高時則能說明實驗方法比較有效.

(4)

(5)

(6)

5.3 實驗參數(shù)選擇

用于APG構(gòu)造的3個參數(shù):跳躍點h，每一跳中最近的相鄰鄰居的數(shù)目，以及鏈接的最近鄰居u的數(shù)量.本文首先用不同的數(shù)值進行實驗，發(fā)現(xiàn)當h=3時不會帶來性能提升，因此在以下實驗中將h設(shè)置為2.同時，本文探索了值不同的ki影響:k2和u.

為了研究k1，k2和u如何影響性能，本文進行了兩組實驗，結(jié)果如圖4所示.首先，本文保持u不變，改變k1，k2，并顯示F量度是如何變化的.在圖4中觀察到，當u=10時，隨著k1和k2的增大，F(xiàn)度量會增加.k1越大，預(yù)測的候選鏈接越多，因此召回率越高.k2越大，涉及到的2跳鄰居越多，因此更精確地描述了1跳鄰居的局部結(jié)構(gòu)，因此預(yù)測更加準確.但是，當k1和k2足夠大時，性能達到飽和.對于參數(shù)u，即鄰居的鏈接數(shù)，本文在圖5中觀察到性能對u的值不敏感.考慮效率，k1和k2的值不能太大.經(jīng)研究發(fā)現(xiàn)k1=40;k2=5;u=4產(chǎn)生了效率和性能之間的良好折衷，并在以下實驗中使用此設(shè)置.

圖4 k1、k2取值對F1影響

圖5 k1、k2、u不同取值對F1影響

5.4 實驗結(jié)果

實驗整體效果提升姓名消歧的準確性，部分結(jié)果如表2所示，pubs表示包含該名字的文獻數(shù)，Cl表示同一個姓名的作者被聚類成多少簇(cluster)，P表示的是準確率，R表示的是召回率，F(xiàn)1表示的是F-measure方法.比如:在321篇文獻中出現(xiàn)了Bo_Hong這作者名字，實驗將其結(jié)果聚類為13個簇，聚類結(jié)果的準確率為0.84，召回率為0.71，F(xiàn)1值為0.77.

表2 部分實驗結(jié)果

5.5 對比實驗

為了驗證本文提出的方法(Our)的性能，下面將本文的方法與其他幾種同名消歧方法進行比較.本文提出的方法用"Our"表示，其他研究者的方法使用該文章作者表示.

1)Zhang等人[4]:該方法是基于文章合作者和文檔相似性為候選集，構(gòu)建了3個局部圖，通過從圖中抽取三元組，為每個候選集學(xué)習(xí)圖嵌入.最終的結(jié)果是通過聚集層次聚類進行生成的.

2)GHOST[15]:第2種方法是僅僅基于合作者的名字來進行消歧處理的，并未考慮其他特征.通過將每篇文獻的合作者折疊到一個節(jié)點，計算兩個節(jié)點之間的距離，最通過親和傳播算法生成聚類結(jié)果.

3)Louppe等人[16]:此方法首先根據(jù)一組精心設(shè)計的相似性特征訓(xùn)練成對距離函數(shù)，然后使用半監(jiān)督的HAC算法用于確定聚類.

4)Rule:規(guī)則的方法是在文獻作者和出版地點嚴格匹配的情況下，通過連接兩個文獻來構(gòu)造兩個文獻的局部鏈接圖，然后將圖劃分為連通的組件來獲得聚類.

如圖6展示了在AMiner數(shù)據(jù)集上，5種不同的作者姓名消歧算法的結(jié)果.Our是本文提出的消歧方法，使用F1-measure來評估所有的方法.Louppe等通過學(xué)習(xí)文章的特征得到相應(yīng)相似函數(shù)，相反，本文將原始文獻的多個特征進行輸入，進行表示學(xué)習(xí).GHOST和Zhang等人都利用了圖的拓撲結(jié)構(gòu)，將圖嵌入到低維向量空間中，本文對文獻的多個特征進行嵌入，結(jié)合圖卷積神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí).從實驗結(jié)果可以看出，本文提出消歧方法在大部分作者消歧上都表現(xiàn)更好的聚類效果.

圖6 部分作者消歧F1值

6 總 結(jié)

本文提出了一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的作者姓名消歧方法.文本強調(diào)了鄰居在作者消歧過程中的重要性，并構(gòu)造每篇文獻的文獻局部圖(APG).在APG上，本文使用圖卷積網(wǎng)絡(luò)來推理給定節(jié)點與其鄰居之間的鏈接可能性.實驗表明，與傳統(tǒng)方法相比，該方法對作者姓名相同的復(fù)雜分布效果更好，并且本文的方法可擴展到大型數(shù)據(jù)集.接下來，可以在本文的基礎(chǔ)上，再繼續(xù)研究圖卷積網(wǎng)絡(luò)在文獻數(shù)據(jù)量多時的時間效率問題.