馬建紅，曹文斌，劉元剛，夏 爽

（1.河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院，天津 300401；2.天津市科學(xué)技術(shù)協(xié)會，天津 300041；3.天津科學(xué)技術(shù)館，天津 300210）

（*通信作者電子郵箱m_zh2002@126.com）

0 引言

專利文獻代表企業(yè)的創(chuàng)新性和先進性，可以提高其競爭力，增加其經(jīng)濟效益。根據(jù)世界知識產(chǎn)權(quán)組織的資料，專利文獻占全世界最新科學(xué)研究成果的90%～95%，約70%的發(fā)明和技術(shù)從未在其他非專利文獻中發(fā)表過［1］。如果企業(yè)能夠利用好專利文獻，可以減少投入，加速創(chuàng)新。

專利聚類的目的是有效收集最新的專利資訊，以實現(xiàn)技術(shù)規(guī)避。近年來，為了更好地對專利進行聚類，研究員們對專利進行大量研究，并產(chǎn)出大量成果。研究表明，特征提取［2-4］對聚類結(jié)果影響很大。如周棟等［5］利用一種用于信息檢索與數(shù)據(jù)挖掘的常用加權(quán)技術(shù)TF-IDF（Term-Frequency-Inverse-Document-Frequency）方法對專利內(nèi)容進行向量表示，并對TFIDF 提取的關(guān)鍵詞在技術(shù)搜索方法上進行了研究；但由于專利內(nèi)容較多，通過TF-IDF 生成的向量空間維度會隨著專利篇幅變多而升高，在相似度計算或者對向量空間進行應(yīng)用時會消耗大量的時間，而且該方法還拋棄了專利內(nèi)容中的大量語義信息，導(dǎo)致模型準(zhǔn)確性不高。

卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）可以學(xué)習(xí)復(fù)雜、多維和非線性映射關(guān)系，更好地挖掘詞與詞之間的語義聯(lián)系，所以結(jié)合CNN 和詞嵌入的方法進行實驗，效果得到很大提升。Lei 等［6］將專利文檔映射到CNN 所追蹤的特征向量上，提出了基于向量空間模型（Vector Space Model，VSM）的改進版本——特征向量空間模型（Feature Vector Space Model，F(xiàn)VSM），既減少了空間維度，也將專利內(nèi)容的語義信息增加到向量空間模型中，取得了不錯的效果。循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）能夠有效地利用序列數(shù)據(jù)的序列信息，但是記憶能力因為距離的增長而變得越來越弱，存在梯度爆炸和梯度消失等相關(guān)問題。門控循環(huán)單元（Gated Recurrent Unit，GRU）網(wǎng)絡(luò)結(jié)構(gòu)簡單，在處理因距離產(chǎn)生的依賴問題時效果也很好，因此Lyu等［7］將專利文獻放入詞向量模型（Word To Vector，Word2Vec）、GRU 和文本卷積神經(jīng)網(wǎng)絡(luò)（Text Convolution Neural Network，TextCNN）中進行實驗，結(jié)果表明該模型在專利文獻自動分類上效果明顯。隨著注意力機制越來越多地用于深度學(xué)習(xí)，Rezaur rahman chowdhury等［8］將注意力機制引入長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)，提高了該模型的性能。

近期提出的雙向變形編碼器（Bidirectional Encoder Representation from Transformers，BERT）模型在各個文本處理任務(wù)中均達到很好的效果。Li 等［9］通過BERT 模型轉(zhuǎn)換文本到動態(tài)字符級的嵌入，并結(jié)合CNN和RNN提取的上下文特征更好地表示文本，從而提高文本分類任務(wù)的準(zhǔn)確性。上述提到的特征提取模型都是以全文內(nèi)容作為訓(xùn)練文本的，雖然可以捕捉文本的大量信息，但是對于專利而言，重要的是功能效應(yīng)信息。如果采用全篇內(nèi)容進行特征提取，既會產(chǎn)生維度較大的特性向量，還會產(chǎn)生大量不重要的噪聲。為了降低向量的維度，江屏等［10］通過專利分類號（International Patent Classification，IPC）對專利文獻進行聚類，由于IPC 的數(shù)目有限，所以根據(jù)IPC 去建立向量空間維度，然后計算相似度代價較小，但直接利用IPC 去對專利進行分析，粒度很粗，實用性不大，無法實現(xiàn)跨領(lǐng)域的聚類。

聚類算法方面：K-Means 聚類算法的起始點是隨機選擇的，具有不確定性，并導(dǎo)致聚類結(jié)果不穩(wěn)定；自組織神經(jīng)網(wǎng)絡(luò)（Self-Organizing Map，SOM）聚類算法的效果相對較好，但時間復(fù)雜度高，大型數(shù)據(jù)處理時消耗資源較大。Alfred 等［11］提出將K-Means 算法和SOM 算法相結(jié)合起來的聚類模型，以彌補K-Means 算法和SOM 算法的缺陷，但是時間復(fù)雜度問題仍未解決。另一方面，SOM算法需要設(shè)置輸出神經(jīng)元數(shù)量，設(shè)置過多會導(dǎo)致類間區(qū)分度大，類內(nèi)密度低；設(shè)置過少會導(dǎo)致類間區(qū)分度小，類內(nèi)密度大。

針對上述提到的問題，結(jié)合專利內(nèi)容特點，本文的主要工作包括：

1）在特征提取方面，提出一種功效特征聯(lián)合提?。‵unctional Effect Information-Joint，F(xiàn)EI-Joint）模型，由信息實體語義增強表示（Enhanced language Representation with Informative Entities，ERNIE）［12］和卷積神經(jīng)網(wǎng)絡(luò)組成，可以對專利的功效信息進行特征提取，避免全文特征提取，實現(xiàn)特征向量維度的降低，還可以打破IPC 分類信息粒度較粗，無法實現(xiàn)跨領(lǐng)域聚類的缺陷。

2）在聚類方面，提出一種早期拒絕策略的類合并自組織神經(jīng)網(wǎng)絡(luò)（Early Reject based Class Merge Self-Organizing Map，ERCM-SOM），該算法采用早期拒絕策略進行獲勝神經(jīng)元的計算，結(jié)合類合并算法，調(diào)整聚類之后的結(jié)果，以確保獲得最佳類簇數(shù)。此算法不僅減少聚類時間，且提升聚類效果。

1 基于功效特征的專利聚類框架

本文提出的基于功效特征專利聚類框架如圖1 所示，首先對專利文獻數(shù)據(jù)進行預(yù)處理工作，包括專利標(biāo)題和摘要的獲取、分詞、去除停用詞等相關(guān)操作，之后將專利摘要標(biāo)注功效句，然后通過FEI-Joint模型提取專利文獻功效特征，最終利用ERCM-SOM 算法對專利文獻進行基于功效特征的聚類。為了克服原始SOM 聚類算法的缺陷，提高算法性能，將FEIJoint模型得到的功效特征作為聚類算法的輸入。在聚類過程中計算取獲勝神經(jīng)元這一環(huán)節(jié)，對與類簇中心距離最小的神經(jīng)元做存儲，在之后的計算過程中其他神經(jīng)元距離一旦大于最小值，則提前退出計算，較早地拒絕不可能獲勝的神經(jīng)元，以此縮短聚類時間。最后通過類合并算法對其結(jié)果進行修正得到最佳類簇數(shù)。

圖1 基于功效特征的專利聚類框架Fig.1 Patent clustering framework based on functional effect

2 專利功效特征提取模型

FEI-Joint模型采用加入功效詞表的ERNIE模型和動態(tài)更新輸入層和嵌入層之間的權(quán)重的CNN 模型相結(jié)合，實現(xiàn)了對專利文獻功效信息的特征提取。

2.1 數(shù)據(jù)預(yù)處理

1）分詞。使用Jieba 分詞對專利文獻進行處理，為了分詞結(jié)果更加準(zhǔn)確，將百度百科條目添加到詞庫中，同時為了避免向量冗余，根據(jù)專利特征添加一些必要停用詞到停用詞表。例如“有利于電解液進一步浸潤材料”進行分詞后，得到如下結(jié)果：“有利于電解液進一步浸潤材料”。

2）標(biāo)注功效句。對于不是功效句的專利語句標(biāo)注0，是功效句的語句標(biāo)注1，例如“制備得到三元/富鋰復(fù)合正極材料0”“大大提升止逆閥的穩(wěn)定性和密封性1”。

3）功效詞表由實驗室人員整理得到，例如“保持提升維持支持固定防火密封性氣密性防火性安全性穩(wěn)定性”等。

2.2 ERNIE模型

ERNIE［12］是通過對訓(xùn)練數(shù)據(jù)中的詞法結(jié)構(gòu)、語法結(jié)構(gòu)，以及語義信息進行統(tǒng)一建模，極大地增強了通用語義表示能力，在各項任務(wù)中均取得了大幅度的提升。該模型利用百度內(nèi)部詞法分析工具對句對數(shù)據(jù)進行字、詞、實體等不同粒度的切分，然后對切分后的數(shù)據(jù)進行token 化處理，得到明文的token序列及切分邊界，然后將明文數(shù)據(jù)映射為id數(shù)據(jù)，在訓(xùn)練過程中，對token 進行隨機mask操作，如圖2所示。

圖2 ERNIE模型訓(xùn)練功效句Fig.2 ERNIE model training function sentence

將數(shù)據(jù)格式化成符合ERNIE 模型輸入要求的形式。字段之間都是text 和label 用制表符分割，text 為內(nèi)容，label 為句子類別。為了增加ERNIE 模型的訓(xùn)練準(zhǔn)確率，加入了功效詞表對訓(xùn)練結(jié)果進行修正，如果訓(xùn)練中判斷語句不屬于功效句，但其中包含有功效詞表中的詞語，就修正其為功效句。通過該模塊提取專利摘要中的功效句，以便后續(xù)使用。

2.3 CNN模型

在自然語言處理中使用CNN 模型，需要對文本內(nèi)容進行詞嵌入，例如文獻［13-14］中，word embeddings 會作為CNN 的第一個輸入層。

如圖3 所示，在本文提出的CNN 模型中，輸入N維向量，表示通過ERNIE 提取的功效句和標(biāo)題。首先訓(xùn)練CNN 的參數(shù)去更新輸入層和嵌入層之間的權(quán)重。權(quán)重的初始值設(shè)置為預(yù)先訓(xùn)練好Word2Vec 向量［15］。卷積層挖掘語句生成卷積層特征向量。池化層通過最大池化方法對每個卷積層特征向量選取最大值構(gòu)成新向量，公式如下所示：

圖3 CNN模型提取功效特征矩陣Fig.3 CNN model extracting functional effect matrix

最后全連接層通過權(quán)值矩陣組合出最終輸出特征向量。

3 改進SOM算法的功效特征聚類

本文通過FEI-Joint模型提取的功效特征作為聚類算法的輸入神經(jīng)元，彌補了詞與詞之間相互獨立，無法充分表達文本語言的不足。為了解決計算獲勝神經(jīng)元耗時的問題，本文提出的ERCM-SOM 通過對最小距離神經(jīng)元做記錄，當(dāng)累計距離大于最小距離則停止計算，早期拒絕不可能獲勝的神經(jīng)元。為了獲得最佳類簇數(shù)，ERCM-SOM 算法在聚類結(jié)束后通過類合并算法修正聚類結(jié)果，獲得最佳聚類結(jié)果。

3.1 ERCM-SOM算法

SOM 是一種典型的無監(jiān)督神經(jīng)網(wǎng)絡(luò)算法［16-18］，可將高維度向量映射到低維度空間中，其網(wǎng)絡(luò)結(jié)構(gòu)由輸入層和輸出層組成。針對其缺陷，本文進行了改進。在FEI-Joint 模型進行特征向量構(gòu)造之后，采用ERCM-SOM 算法進行基于專利功效特征的聚類，將不同功效信息的專利劃分到不同的類簇中，每一個類中包含多個具有相同功效信息的專利文獻。ERCMSOM 自組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。其中t1，t2，…，tk代表輸入神經(jīng)元，Wij代表輸入層與輸出層之間的權(quán)重。

圖4 ERCM-SOM模型對專利功效特征聚類Fig.4 Clustering of patent functional effects by ERCM-SOM model

算法的偽代碼如算法1所示。

算法1 ERCM-SOM算法。

輸入 輸入神經(jīng)元X，輸出神經(jīng)元網(wǎng)絡(luò)output，迭代次數(shù)T。

輸出 數(shù)據(jù)在神經(jīng)元網(wǎng)絡(luò)中的映射output。

具體過程如下：

步驟1 將上一步所得到的專利文獻功效特征表示作為SOM 自組織神經(jīng)網(wǎng)絡(luò)輸入層的輸入X，權(quán)重矩陣Wij通過隨機數(shù)賦值，并做歸一化處理。

步驟2X與輸出層各個神經(jīng)元的連接權(quán)重進行相似度比較，最相似的被標(biāo)記為獲勝的神經(jīng)元（winner），神經(jīng)元之間的相似度由以下公式計算獲得：

其中I(t)是獲勝神經(jīng)元的編號。

步驟3 通過式（5）對獲勝神經(jīng)元及其相鄰節(jié)點的權(quán)重進行調(diào)整：

其中：0 ＜η(t) ＜1為學(xué)習(xí)率，hc，j(t)為鄰域函數(shù)。

步驟4η(t)和hc，j(t)訓(xùn)練初始時是較大的，通過不斷迭代逐漸減小，hc，j(t)選擇使用高斯函數(shù)，如下：

其中：dcj表示獲勝神經(jīng)元c和鄰域內(nèi)任一被激活的輸出神經(jīng)元j之間的距離，r為鄰域半徑，鄰域半徑和學(xué)習(xí)速率將隨著迭代次數(shù)的增加而縮小，并遵循以下公式：

步驟5 將下一個向量加入到輸入層，返回步驟3，直到全部學(xué)習(xí)完畢。

步驟6 使得t加1，返回步驟2，直到t=T或網(wǎng)絡(luò)收斂為止。

3.2 獲勝神經(jīng)元策略

首先記錄最小距離，并在計算權(quán)重每一維的累計距離時，確定當(dāng)前距離是否大于最小距離。如果條件成立，則停止計算，否則繼續(xù)計算下一維度。這種方式可以減少一部分維度的距離計算，減低時間復(fù)雜度。算法的偽代碼如算法2所示。

算法2 獲勝神經(jīng)元算法。

輸入 輸入神經(jīng)元X，權(quán)值向量W。

輸出 獲勝神經(jīng)元winner。

具體步驟如下：

步驟1 假設(shè)當(dāng)前最小距離為dmin；

步驟2 通過式（3）計算Wi與輸入神經(jīng)元Xk的距離；

步驟3 如果計算累計距離到第k維的時候，累計距離小于最小距離，但計算至第k+1 維時累計距離大于最小距離，那么直接終止計算剩余維度，返回步驟2計算下一神經(jīng)元。

3.3 類合并算法

SOM 算法無須提前設(shè)置類簇數(shù)，輸出神經(jīng)元數(shù)量對聚類結(jié)果有很大的影響，并且基于距離公式的獲取獲勝神經(jīng)元的策略是存在局限性的，對兩個相似度很高的類簇劃分不是很理想。當(dāng)輸出神經(jīng)元較少時，會導(dǎo)致類內(nèi)密度大，沒有區(qū)分度；當(dāng)輸出神經(jīng)元數(shù)量設(shè)置較多時，會導(dǎo)致聚類密度低，類間區(qū)分度大。本文結(jié)合類合并思想，提出一種距離與密度相結(jié)合的類合并算法。算法偽代碼如算法3所示。

算法3 類合并算法。

輸入 SOM聚類中心點列表result，最優(yōu)類簇數(shù)K。

輸出 優(yōu)化后的聚類結(jié)果result。

具體步驟如下：

步驟1 將聚類得到的中心點進行兩兩距離計算，將結(jié)果存入一個矩陣中并排序，構(gòu)成中心距離排序矩陣。

步驟2 取出矩陣中距離中心最小的兩個中心點。

步驟3 取這兩個中心點的中值作為預(yù)合并中心點。

步驟4 以最小距離的1/2為密度范圍，將步驟2和步驟3中選取的3 個中心點按照密度范圍進行密度計算，最初選取的兩個中心點的密度分別記為DensityA和DensityB，預(yù)合并中心點的密度記為DensityC。

步驟5 判斷是否合并，公式如下：

如果不符合條件則返回步驟3 進行下一組對應(yīng)的兩個中心點計算；如滿足條件則將兩個原始類簇合并，重新劃分合并后的聚類。

步驟6 如果類簇數(shù)量等于K則停止計算輸出聚類結(jié)果，否則返回步驟1繼續(xù)計算。

4 實驗結(jié)果及分析

4.1 實驗數(shù)據(jù)準(zhǔn)備

本文從已有專利數(shù)據(jù)庫中隨機選出共4 000 篇專利進行實驗，每個領(lǐng)域的專利數(shù)量如表1 所示。提取專利的標(biāo)題和摘要部分，對摘要部分按句號和分號進行分割，字符數(shù)量一般不會超過50。專利標(biāo)題默認(rèn)是具有功效信息的句子，對摘要分隔出的句子進行功效句標(biāo)注。

表1 專利數(shù)據(jù)集Tab.1 Patent dataset

4.2 聚類評價標(biāo)準(zhǔn)

本文使用準(zhǔn)確率（Precision）與召回率（Recall）相結(jié)合的評價指標(biāo)F-measure 值來衡量聚類方法的性能。針對專利功效信息設(shè)定了一個標(biāo)準(zhǔn)的聚類結(jié)果SP=｛SP1，SP2，…，SPN｝。對應(yīng)實驗結(jié)果聚類為P=｛P1，P2，…，PN｝，計算方式如下：

其中：|SPi|表示類別SPi中的專利數(shù)量，|Pi|表示類別Pi中的專利數(shù)量，|SPi∩Pi|表示類別SPi和Pi中相同專利的數(shù)量。

F-measure 值為各個類的最大F-measure 值與該類的大小權(quán)重的乘積得到，計算公式如下：

4.3 實驗參數(shù)

ERNIE 的參數(shù)采用損失率為0.1，學(xué)習(xí)率為5E -5，層數(shù)為12層，隱藏層大小為768。CNN在卷積層，使用大小為3、4、5的3個卷積核，同一種卷積核的數(shù)量為100，卷積之后可以得到數(shù)量為300 的卷積層特征向量，池化層采用Max-pooling 方法，輸出每個卷積層特征向量的最大值，最后將池化層輸出進行全連接，得到300維的特征向量。

4.4 功效特征提取模型實驗及分析

為驗證本文提出的功效特征提取的有效性，將特征向量輸入到聚類算法中進行實驗，結(jié)果如表2所示。

表2 特征提取模型對比實驗結(jié)果 單位：%Tab.2 Comparison of experimental results of feature extraction models unit：%

1）TF-IDF+ERCM-SOM。通過TF-IDF 對專利文獻構(gòu)建詞向量，并利用ERCM-SOM聚類算法實現(xiàn)專利聚類。

2）LDA+ERCM-SOM。通過潛在狄利克雷分布（Latent Dirichlet Allocation，LDA）模型對專利文獻構(gòu)建“文獻-主題”向量，并利用ERCM-SOM聚類算法實現(xiàn)專利聚類。

3）CNN+ERCM-SOM。將專利標(biāo)題和摘要輸入到CNN 模型提取特征向量，并利用SOM聚類算法實現(xiàn)專利聚類。

4）FEI-Joint+ERCM-SOM。將專利標(biāo)題和摘要輸入到FEI-Joint 模型提取功效特征，并利用ERCM-SOM 聚類算法實現(xiàn)專利聚類。

實驗結(jié)果表明，本文提出的FEI-Joint 模型提高了聚類的F-measure 值。實驗1 得到的效果最差，因為TF-IDF 只是使用了詞向量空間表征專利內(nèi)容特征，沒有包含其中豐富的語義信息，向量維度較大，因此聚類效果差，時間長。實驗2 中，LDA 通過主題建模的技術(shù)挖掘?qū)＠谋局袧撛诘闹黝}信息，相對實驗1 來說，改善了聚類效果。實驗3 中，CNN 對專利內(nèi)容提取局部特征，使聚類結(jié)果有了進一步提升，但因為內(nèi)容信息較大，噪聲就會很大，使其影響聚類效果。實驗4 中，使用FEI-Joint模型進行特征提取，可以降低部分噪聲，并能有效地提取功效特征，可提升聚類效果。

4.5 聚類算法實驗及分析

為驗證聚類算法的有效性，本文在相同的實驗條件下進行三組不同的實驗，實驗1 為K-Means 聚類，實驗2 為SOM 聚類，實驗3為ERCM-SOM聚類。F-measure值如圖5所示。

圖5 聚類算法對比實驗結(jié)果Fig.5 Comparison of experimental results of clustering algorithm

實驗結(jié)果表明，K-Means算法比SOM 算法、ERCM-SOM 算法效果差，因為其對初始點的選擇依賴性較強，而SOM 算法和ERCM-SOM 算法通過動態(tài)調(diào)整網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，可以得到較好的聚類結(jié)果。ERCM-SOM算法通過類合并算法對聚類結(jié)果進行修正，可以將相似且密度較低類簇進行合并，優(yōu)化聚類結(jié)果。用4 000 篇專利進行實驗時，實驗時間分別是11.54 s、15.63 s、12.31 s，ERCM-SOM 算法的早期拒絕策略使尋找獲勝神經(jīng)元的過程中向量計算次數(shù)減少，因此聚類時間也得到縮短。對于本文選取的實驗數(shù)據(jù)，當(dāng)類簇數(shù)為10 時，聚類效果最好，當(dāng)類簇數(shù)大于10或者小于10時聚類效果降低。

4.6 跨領(lǐng)域聚類有效性分析

經(jīng)過FEI-Joint 模型提取功效特征進行聚類，與IPC 分類號專利分類進行結(jié)果對比。如表3 中提供的部分聚類結(jié)果，第一類主要功效是“防火”，E 類“固定建筑物”領(lǐng)域有關(guān)于“防火”功效的專利，F(xiàn) 類“機械工程”領(lǐng)域也有關(guān)于“防火”功效的專利。另一類主要功效是“成本低；結(jié)構(gòu)簡單”，A 類“人類生活必需”領(lǐng)域有此功效專利，E類、F類領(lǐng)域也有相關(guān)專利。結(jié)果表明，僅僅依據(jù)IPC 分類號做專利聚類的話，是無法實現(xiàn)功效相同、領(lǐng)域不同的專利之間的聚類，使用功效特征做專利聚類，可以實現(xiàn)跨領(lǐng)域聚類。

表3 FEI-Joint模型的特征提取和聚類結(jié)果Tab.3 Effect extraction and clustering results of FEI-Joint model

5 結(jié)語

本文提出基于功效特征的專利聚類方法，通過FEI-Joint模型提取功效特征矩陣，并使用ERCM-SOM 聚類方法進行專利聚類，改進SOM 算法中獲取神經(jīng)元策略，并加入了類合并算法對結(jié)果進行優(yōu)化，可以使專利按照功效信息實現(xiàn)跨領(lǐng)域聚類，并能縮短聚類時間。

專利內(nèi)容與其他文本不同，包含結(jié)構(gòu)化內(nèi)容和非結(jié)構(gòu)化內(nèi)容，本文使用其標(biāo)題和摘要，屬于非結(jié)構(gòu)化數(shù)據(jù)。如何結(jié)合專利文獻中結(jié)構(gòu)化內(nèi)容與非結(jié)構(gòu)化內(nèi)容進行特征提取，進一步研究這種特征提取方式和聚類方法的融合，提高聚類性能是今后需要做的工作。