孫曉玲，陳娜，丁堃

（大連理工大學(xué)科學(xué)學(xué)與科技管理研究所，大連 116024）

1 引言

新型國際關(guān)系背景下的科技競爭對科技創(chuàng)新戰(zhàn)略提出新的要求。突破性技術(shù)的競爭不斷升級，而技術(shù)新穎性是突破性技術(shù)的重要驅(qū)動力，具備高新穎性能增加突破性技術(shù)產(chǎn)生的概率[1-4]。但高新穎性特征的技術(shù)由于具有更高的不確定性和風(fēng)險性[5-6]，往往需要經(jīng)過較長的時間檢驗后才會顯示其歷史地位和價值。因此，技術(shù)新穎性的有效識別方法對于提高突破性技術(shù)預(yù)測的概率和早期識別核心專利具有重要意義[7]。

技術(shù)新穎性是一個抽象且復(fù)雜的概念，本文中的新穎性與專利審查中的新穎性概念具有一定的區(qū)別和聯(lián)系。在申請發(fā)明或?qū)嵱眯滦蛯＠麜r，具備新穎性是授予其專利權(quán)的必要條件之一，而本文側(cè)重在從主題內(nèi)容層面測度技術(shù)的新穎程度，是指發(fā)明過程中現(xiàn)有技術(shù)或新技術(shù)以一種新穎的方式組合[8-10]。未來可以用于科技查新工作，避免人工檢索的主觀性和非全面性影響專利新穎性評判結(jié)果。

如何衡量技術(shù)新穎性備受國內(nèi)外學(xué)者關(guān)注。衡量技術(shù)新穎性的方法通常從知識元組合視角，將知識元作為組成知識的結(jié)構(gòu)要素[11]，其組合過程通常反映了創(chuàng)新過程。利用專利主題詞組合的共現(xiàn)次數(shù)來測度技術(shù)主題內(nèi)容新穎性已得到實證研究[12-16]。然而，僅考慮主題詞組合的共現(xiàn)次數(shù)可能會低估組合概率，高估技術(shù)的新穎度。比如，(w1,w2)和(w3,w4)兩對主題詞以前都沒有共現(xiàn)過，但是(w1,w2)存在潛在語義關(guān)系，如存在間接關(guān)系或語義相關(guān)，(w3,w4)不存在語義關(guān)系，則(w3,w4)表現(xiàn)出的組合新穎性概率應(yīng)更高。因此，本文以專利作為技術(shù)創(chuàng)新成果的載體，從其標(biāo)題和摘要等內(nèi)容抽取出主題詞，提出一種綜合衡量技術(shù)主題內(nèi)容新穎性的方法。為了測量主題詞潛在組合概率，引入復(fù)雜網(wǎng)絡(luò)中的鏈接預(yù)測方法對間接關(guān)系進行量化，該方法根據(jù)兩個主題詞以往的關(guān)聯(lián)關(guān)系來度量未來鏈接的概率。除間接鏈接關(guān)系外，進一步融合主題詞之間的語義相似度。由于搜索相關(guān)領(lǐng)域的知識比搜索不熟悉的知識相對容易，因此語義相似度高的組合未來組合概率較高。

2 相關(guān)工作

許多學(xué)者從知識組合視角研究科學(xué)技術(shù)的新穎性，認為新知識和現(xiàn)有知識的相互組合是知識新穎性的主要來源。論文和專利分別被視為科學(xué)知識和技術(shù)知識的載體[17-18]，本文側(cè)重于技術(shù)新穎性的研究，但基于論文的科學(xué)知識組合新穎性研究也與此密切相關(guān)，因此本文將基于組合視角從科學(xué)新穎性和技術(shù)新穎性兩個方面進行綜述。

國內(nèi)外學(xué)者們主要從科學(xué)論文的引用期刊組合或主題內(nèi)容組合兩個視角測度科學(xué)新穎性。一是從引用期刊組合視角。Uzzi等[19]使用引文中期刊組合的共現(xiàn)次數(shù)來衡量每篇論文的新穎性分數(shù)Zscore。Klavans等[20]在Uzzi等[19]的方法基礎(chǔ)上，使用K50分數(shù)代替Zscore來測度期刊組合新穎性。Lee等[21]采用Uzzi等[19]提出的方法，進一步研究新穎性與團隊規(guī)模的關(guān)系。Wang等[22]基于論文的引用期刊對是否首次組合，并考慮這種新組合的難度，構(gòu)建基于引文中新期刊組合出現(xiàn)的次數(shù)作為衡量新穎性的方法。Veugelers等[23]在此方法基礎(chǔ)上用新期刊組合間的余弦相似度進行加權(quán)來測度新穎性。二是從主題內(nèi)容視角。沈陽[24]從關(guān)鍵詞的頻次、時間等維度評價論文新穎性。錢玲飛等[25]、楊建林等[26]使用關(guān)鍵詞對逆文檔頻率方法量化主題新穎性，其研究表明主題新穎度高只是保證論文質(zhì)量的前提之一。任海英等[27]采用論文標(biāo)題、摘要和關(guān)鍵詞來表征論文的主題內(nèi)容，構(gòu)建主題詞共現(xiàn)頻數(shù)網(wǎng)絡(luò)，以此判定論文新穎性類型。

基于知識組合視角的技術(shù)新穎性測度方法同樣得到了廣泛的關(guān)注，主要是利用專利技術(shù)分類代碼組合[28-31]和專利主題內(nèi)容組合[12-16,32]來測度技術(shù)新穎性。任海英等[12]基于主題詞頻次構(gòu)建專利的前向/后向知識網(wǎng)絡(luò)來評估專利主題內(nèi)容的新穎性，并采用負二項回歸模型研究新穎性與被引次數(shù)等特征的關(guān)系，其研究表明內(nèi)容新穎性會對突破性發(fā)明產(chǎn)生正向影響。劉玉琴等[13]使用文本挖掘技術(shù)計算專利相似度，以此構(gòu)建技術(shù)新穎度測算指標(biāo)，評價某段時間內(nèi)專利群體的價值和技術(shù)新穎性的關(guān)系。Schilling等[14]運用主題模型識別特定專利數(shù)據(jù)集中新主題的產(chǎn)生，發(fā)現(xiàn)蘊含新穎主題的專利相較于其他專利會獲得更高的被引頻次。Lee等[15]使用文本挖掘技術(shù)和局部離群因子方法來衡量專利的新穎性程度，并以具備高新穎性的專利為焦點，構(gòu)建專利識別圖，發(fā)現(xiàn)新的技術(shù)機會。Kim等[16]研究了專利的主題內(nèi)容新穎性和常規(guī)性與其影響力的關(guān)系，發(fā)現(xiàn)在常規(guī)技術(shù)組合中引入新穎技術(shù)組合的專利，會獲得更高的被引頻次。Arts等[32]將自然語言處理的方法與以往基于引文和專利分類的方法進行對比，發(fā)現(xiàn)基于關(guān)鍵詞組合的方法更容易識別新穎的專利。

從上述研究中可以看到，大多數(shù)學(xué)者從知識元組合共現(xiàn)次數(shù)或主題相似度等單一角度來測度知識組合新穎性，這很可能會低估知識元組合概率，而高估技術(shù)的新穎度。在以往研究的基礎(chǔ)上，本文提出了一種更加全面的衡量技術(shù)主題內(nèi)容新穎性的方法。

3 研究方法

評估新穎性意味著與現(xiàn)有知識進行比較。本文認為若某項技術(shù)的知識元組合以往沒有出現(xiàn)過且出現(xiàn)可能性較低，則認為該項技術(shù)具備新穎性。專利的標(biāo)題和摘要作為技術(shù)的知識元，可從中抽取出主題詞來代表專利的主題內(nèi)容，通過測度主題詞組合的新穎程度來評價技術(shù)主題新穎性。因此，某項技術(shù)的主題詞組合出現(xiàn)的概率越低，主題內(nèi)容新穎性越高。

3.1 主題內(nèi)容新穎性測度指標(biāo)

以往使用主題詞共現(xiàn)頻次可能會低估主題詞組合概率。比如，若兩個主題詞并沒有共現(xiàn)，但它們分別與其他相似的主題詞共現(xiàn)，則它們之間具有間接關(guān)系。除主題詞組合直接關(guān)系和間接關(guān)系外，主題詞的語義層面相似性也是影響組合概率的一個因素，兩個主題詞語義越相似，發(fā)生組合的概率越高?；诖耍疚奶岢隽艘环N綜合測度技術(shù)主題內(nèi)容新穎性的方法，該方法融合了主題詞對的共現(xiàn)關(guān)系、鏈接概率以及語義相似性。

主題詞組合新穎性測度方法的具體流程如圖1所示，采用線性加權(quán)模型，結(jié)合主題詞組合直接共現(xiàn)概率poccur、間接鏈接概率plink和語義相似度psemantic三個指標(biāo)來測度組合(w1,w2)的新穎性，

圖1 主題內(nèi)容新穎性測度方法

三種新穎性測度指標(biāo)的計算都是根據(jù)專利申請年t之前的數(shù)據(jù)計算的。pcombinet(w1,w2)是測度主題詞組合新穎性的三種指標(biāo)線性加權(quán)的概率值，該概率值越低，表示主題詞組合新穎性越高。λ和μ作為調(diào)節(jié)因子控制三種指標(biāo)的權(quán)重。熵值法[33]能夠根據(jù)各項指標(biāo)觀測值所提供的信息的大小來確定指標(biāo)權(quán)重，這里采用熵值法確定調(diào)節(jié)因子λ和μ的值。

3.1.1 主題詞組合直接共現(xiàn)概率

若一項專利包含以前沒有共同出現(xiàn)或共現(xiàn)次數(shù)較少的主題詞組合，則認為該專利在共現(xiàn)方面具備新穎性，即

其中，fw1w2表示在該專利申請年份t前的所有專利中主題詞出現(xiàn)的頻次。

3.1.2 主題詞組合間接鏈接概率

若一項專利的主題詞組合包含不太可能產(chǎn)生鏈接的主題詞組合，則認為該專利具有新穎性。采用復(fù)雜網(wǎng)絡(luò)中的鏈接預(yù)測方法，基于現(xiàn)有的知識網(wǎng)絡(luò)結(jié)構(gòu)來度量主題詞組合的間接鏈接概率。鏈接分析中有一些代表性的方法，如共同鄰居法、Adamic/Adar[34]、Katz[35]。根 據(jù) 先 前 的 研 究[36-37]，Adamic/Adar被證明是一種相對簡單有效的方法，通過加大稀有鄰居的權(quán)重，對常見鄰居的簡單計數(shù)進行了改進。本文使用Adamic/Adar來測量兩個主題詞的未來鏈接概率，即

其中，Γ(j)表示知識網(wǎng)絡(luò)中節(jié)點k的鄰居集合。

3.1.3 主題詞組合語義相似概率

利用表示學(xué)習(xí)word2vec算法[38]將專利主題詞表示成低維稠密的向量，并采用余弦相似度衡量主題詞組合的語義相似性程度。word2vec的skip-gram模型[38]如圖2所示，具有輸入層、隱藏層和輸出層這三層結(jié)構(gòu)的神經(jīng)元網(wǎng)絡(luò)，用文本序列{w1,w2,…,wn}中的每個詞向量w→l預(yù)測該詞上下文詞的向量，使公式

圖2 skip-gram模型結(jié)構(gòu)圖[38]

的損失函數(shù)概率最大化來學(xué)習(xí)詞向量，利用該模型捕捉主題詞之間隱含語義相似關(guān)系。

假設(shè)利用word2vec算法將主題詞w1、w2表示為詞 向 量，分 別 為w→1=(a1,a2,…,an)和w→2=(b1,b2,…,bn)，則主題詞組合(w1,w2)的語義相似度為

3.1.4 熵值賦權(quán)法

在構(gòu)建主題內(nèi)容新穎性綜合指標(biāo)pcombine時，三種指標(biāo)的貢獻不同。本文使用熵值法[39]來確定權(quán)重λ和μ的值。指標(biāo)離散程度越大，熵值越小，指標(biāo)對綜合評價的影響越大，該指標(biāo)所占的權(quán)重越大?；陟刂捣ㄓ嬎銠?quán)重的步驟如下：

Step1.假設(shè)t年所有專利有n個主題詞組合，每個主題詞組合有三個指標(biāo)：共現(xiàn)概率poccur、鏈接概率plink和語義相似度psemantic；那么xij是第i個主題詞組合第j個指標(biāo)的值（i=1,2,3,…,n；j=1,2,3)。

Step2.指標(biāo)標(biāo)準化：對三種指標(biāo)進行歸一化處理來消除三種指標(biāo)量綱的不同。由于正負向指標(biāo)采用的歸一化方法不同，而本文中的三種指標(biāo)對pcombine的影響均為正向影響，例如，某對主題詞組合以往出現(xiàn)概率越高，或間接鏈接的概率越大，或語義相似度程度越高，該組合出現(xiàn)的概率越大。故對指標(biāo)進行歸一化的公式為若j為正向指標(biāo)，則

若j為負向指標(biāo)，則

Step3.計算指標(biāo)中第i個主題詞組合在第j個指標(biāo)下的占比，

Step4.計算第j個指標(biāo)的熵，

其中，k=1/ln(n)；ej≥0。

Step5.計算各指標(biāo)權(quán)重，

Step6.計算每一對主題詞組合的新穎性概率，

3.2 主題內(nèi)容新穎性類型確定

借鑒Klavans等[20]擴大指標(biāo)值的做法，對專利主題詞組合概率pcombine采用公式

進行適當(dāng)擴大化處理，得到主題詞組合(w1,w2)概率值zscore。其中，ξexp為t年所有專利主題詞組合pcombine的均值，σVar為t年所有專利主題詞組合pcombine的方差。

專利由多對主題詞組合組成，基于以上對主題詞組合概率的定義，可得到專利的主題詞組合概率值分布。借鑒Uzzi等[19]評價論文新穎性方法，評價一項專利常規(guī)性和新穎性的高低，需要明確兩個指標(biāo)的定義：若t年的一項專利主題詞組合值分布的中位數(shù)高于t年所有專利主題詞組合值分布的中位數(shù)，則該項專利具備高常規(guī)性；若該專利第10個百分位數(shù)小于零，則該項專利具備高新穎性。將專利分類分為四種類型：高常規(guī)性/高新穎性（high conven‐tionality/high novelty，C+N+）、高常規(guī)性/低新穎性（high conventionality/low novelty，C+N-）、低常規(guī)性/高 新穎性（low conventionality/high novelty，CN+）、低常規(guī)性/低新穎性（low conventionality/low novelty，C-N-）。

4 實證研究

4.1 數(shù)據(jù)來源與處理

為驗證專利新穎性測度方法的可行性，利用涵蓋全球范圍內(nèi)海量專利數(shù)據(jù)的incoPat專利數(shù)據(jù)庫，檢索人工智能領(lǐng)域相關(guān)專利。根據(jù)新興技術(shù)行業(yè)研究公司Venture Scanner對人工智能的分類，借鑒張振剛等[39]、趙蓉英等[40]的檢索策略，參考《人工智能標(biāo)準化白皮書（2018版）》①http://www.cesi.cn/images/editor/20180124/20180124135528742.pdf，最終檢索式構(gòu)造為((TIAB=人工智能OR深度學(xué)習(xí)OR自然語言處理OR語音識別OR計算機視覺OR遙感控制OR智能機器人OR視頻識別OR語音翻譯OR圖像識別OR機器學(xué)習(xí))or(TIAB=("artificial intelligence*"OR" Depth learning*"OR" Natural language processing*"OR" Speech Recognition*"OR" Computer vision*"OR" Gesture control*"OR"smart robot*"OR"Video rec‐ognition*"OR"Voice translation*"OR" Image Recogni‐tion*"OR"Machine learning*")))NOT((IPC-SUB‐CLASS=("H04M"))OR(IPC-SUBCLASS=("A61B"))OR(IPC-SUBCLASS=("G08G"))OR(IPC-SUBCLASS=("G05B"))OR(IPC-SUBCLASS=("G09B"))OR(IPCSUBCLASS=("B60R")))。檢索到人工智能領(lǐng)域發(fā)明專利總共292275條（檢索時間為2020年1月14日）。中國、美國、日本和其他主要國家的專利申請量隨時間變化趨勢如圖3所示。中國的專利數(shù)量增長最快，在2009年超過了美國專利數(shù)量。

圖3 主要國家人工智能專利申請量變化趨勢

本文采用專利的標(biāo)題和摘要文本來表征專利的主題內(nèi)容，數(shù)據(jù)預(yù)處理流程如圖4所示。首先，in‐coPat數(shù)據(jù)庫對每項專利的標(biāo)題和摘要都分別有翻譯字段，為后續(xù)工作的便利性，本文統(tǒng)一提取專利的中文標(biāo)題和摘要；其次，將每項專利的中文標(biāo)題和摘要合并為一個字段，此處簡稱為“TA”；最后，對專利的“TA”字段進行分詞、去除停用詞等操作，得到專利最終的主題詞。為了保證專利主題詞的可靠性，建立人工智能領(lǐng)域自定義詞典，詞典的構(gòu)建基于人工智能領(lǐng)域?qū)＜壹啊度斯ぶ悄芗夹g(shù)手冊》[41]等確定的人工智能技術(shù)主題和關(guān)鍵詞作為自定義詞典的內(nèi)容，并搜集人工智能領(lǐng)域重要詞匯表，總共建立了2552個關(guān)鍵詞。詞表的建立提高了分詞的準確性，可通過不斷更新為后續(xù)研究提供保障。

圖4 專利主題內(nèi)容數(shù)據(jù)處理流程圖

4.2 主題內(nèi)容新穎性測度指標(biāo)的實證研究

4.2.1 案例分析

本文首先選擇一項專利作為案例研究來說明技術(shù)新穎性度量指標(biāo)的計算方法和有效性。該項專利于2014年11月由Facebook公司申請，標(biāo)題為《用于控制照相機裝置的控制裝置和用于控制照相機裝置的增強現(xiàn)實應(yīng)用程序的方法》（“Control device for controlling a camera arrangement and a method for controlling an augmented reality application program of the camera arrangement”），專利申請?zhí)枮閁S15038030。提取該專利的標(biāo)題和摘要用于表征該專利的主題內(nèi)容，對主題內(nèi)容進行如圖4所示的數(shù)據(jù)預(yù)處理工作得到該專利的組合詞，如表1所示。

表1 示例專利主題詞的提取

對該專利的組合詞進行兩兩組合，得到如表2所示的主題詞組合，通過計算主題詞組合直接共現(xiàn)次數(shù)、間接鏈接概率及語義相似度，得到新穎性度量值zscore?！皬V角鏡頭-觸摸屏”組合以往未出現(xiàn)過，間接鏈接及語義相似度都比較低，所以該組合的新穎性程度更高；“增強現(xiàn)實-照相機”組合以往出現(xiàn)了960次，未來鏈接的可能性也很高，加權(quán)求和后的概率值較高，故該組合的常規(guī)性程度更高。由于該專利主題詞組合分布的中位數(shù)2.77小于該年所有專利主題詞組合的中位數(shù)2.94，該專利主題詞組合分布的第10個百分位數(shù)為-5.63＜0，所以該專利的新穎性類型為低常規(guī)性/高新穎性（C-N+）。

表2 示例專利主題詞組合的新穎性值

4.2.2 指標(biāo)評價

新穎度測度方法的結(jié)果是輸出一個按照新穎度概率排序的列表。由于沒有基礎(chǔ)數(shù)據(jù)來比較結(jié)果，所以邀請四位人工智能相關(guān)專業(yè)領(lǐng)域研究人員來對數(shù)據(jù)進行標(biāo)注，以評估指標(biāo)效果。為了減少主觀因素對結(jié)果的影響，標(biāo)注人員比較標(biāo)注兩項專利的相對新穎性程度，而不是標(biāo)注一項專利的新穎性程度。比如，隨機選擇兩項專利PA和PB來進行比較，研究人員需要結(jié)合自身經(jīng)驗并查閱資料判斷同時期的兩項人工智能專利的相對新穎性。若PA比PB更新穎，則(PA,PB)被標(biāo)記為1；反之，標(biāo)記為-1；若認為PA和PB同樣新穎，標(biāo)記為0。四位研究人員單獨標(biāo)注，若產(chǎn)生不一致，則以多數(shù)人標(biāo)注結(jié)果為準。從2001—2019年每年隨機抽取50對專利，在評價集中共產(chǎn)生950個樣本，考察四位研究人員標(biāo)注的結(jié)果，兩兩一致性均超過85%，因此本文認為人工標(biāo)注結(jié)果具有可靠性。

若本文提出測度新穎性方法得出的(PA,PB)新穎性程度比較結(jié)果與人工標(biāo)注結(jié)論相同，則認為該測度方法是正確的。采用準確率指標(biāo)，其計算公式為n′/n，其中n′為新穎性測度指標(biāo)預(yù)測正確的樣本數(shù)，n為總樣本數(shù)。三種單一指標(biāo)與綜合指標(biāo)的Spearman兩兩相關(guān)性以及各指標(biāo)的準確率結(jié)果如表3所示。綜合指標(biāo)與三個單項指標(biāo)呈正相關(guān)，且顯著性水平為0.01。從結(jié)果可以看出，本文提出的基于組合概率的指標(biāo)相比于單一指標(biāo)提高了準確率。

表3 指標(biāo)間Spearman相關(guān)系數(shù)及準確率

4.3 主題新穎性與影響力的關(guān)系研究

專利的新穎性特征與其影響力是否存在關(guān)系？這里研究了新穎性特征與表征專利影響力的被引次數(shù)的關(guān)系。

4.3.1 新穎性與高被引

本節(jié)研究專利的高新穎性與高被引之間是否存在聯(lián)系。先是時間段的選擇。被引次數(shù)隨時間累積，如圖5所示，在各個時間段內(nèi)成為高被引專利的閾值相差較大。在2001—2005年，被引次數(shù)排名前1%的閾值為100，排名前5%的閾值為53；而2016—2019年，被引次數(shù)排名前1%的閾值為6，排名前5%的閾值為3。采用2001—2005年和2006—2010年這兩個較早的時間段，研究專利新穎性與被引次數(shù)的關(guān)系。

圖5 不同時間段專利被引次數(shù)排名前x%的閾值(x=1,5,10)

表4和表5列出的是2001—2005年被引次數(shù)排名前10位和新穎性排名前10位的專利。初步可以看出兩者之間的關(guān)系，被引次數(shù)排名前10位的專利中有9個都屬于高新穎性類型的專利，僅有1項專利（US10740242）為低新穎性。新穎性值排名較高的專利其被引次數(shù)卻不一定高，因為新穎性專利本身具有一定的風(fēng)險性和不確定性，即高被引的專利一般都具有高新穎性，但是具備高新穎性不一定成為高被引專利。

表4 被引次數(shù)排名前10位的專利

表5 新穎性值排名前10位的專利

圖6展示的是在2001—2005年和2006—2010年兩個時間段內(nèi)專利新穎性類型與高被引專利的關(guān)系?？v坐標(biāo)表示的是四種不同類型的高被引專利占該時間段專利總數(shù)的比例，采用三種方法定義高被引專利，分別是被引次數(shù)排名前1%、5%和10%。不論采用哪種定義高被引專利的方法，也不論在哪個時間段，低常規(guī)性/高新穎性（C-N+，D）相比于其他類型是高被引專利的概率均最高。相比之下，高常規(guī)性/低新穎性（C+N-，A）、高常規(guī)性/高新穎性（C+N+，B）和低常規(guī)性/低新穎性（CN-，C）類型的專利成為高被引的概率要低得多。

圖6 專利新穎性類型與高被引的關(guān)系A(chǔ)表示高常規(guī)性/低新穎性（C+N-），B表示高常規(guī)性/高新穎性（C+N+），C表示低常規(guī)性/低新穎性（C-N-），D表示低常規(guī)性/高新穎性（C-N+）。

4.3.2 新穎性與平均被引

圖7展示的是不同主題內(nèi)容組合新穎性類型專利在不同時間的平均被引次數(shù)。在2001—2019年時間段內(nèi)，高常規(guī)性/高新穎性專利（C+N+，B）平均被引次數(shù)最高，有5.16次；低常規(guī)性/低新穎性專利（C-N-，C）平均被引次數(shù)最低，僅有1.62次。這說明在專利寫作過程中，注重新穎性的同時，也需要結(jié)合傳統(tǒng)常規(guī)知識的表述或傳承，相對來說能夠產(chǎn)生更高的影響力。

圖7 不同主題新穎性類型專利的平均被引情況

5 總結(jié)與展望

本文提出了一種基于知識組合概率來衡量專利技術(shù)主題內(nèi)容新穎性的方法，該方法綜合考慮了知識元之間的直接共現(xiàn)概率、未來鏈接概率和語義相似概率，通過主題詞組合值分布的第10個百分位數(shù)和中位數(shù)來衡量專利的新穎性與常規(guī)性。該方法通過人工智能領(lǐng)域的發(fā)明專利進行了驗證，利用人工標(biāo)注的數(shù)據(jù)來評價，準確率可以達到0.851，優(yōu)于只使用單一指標(biāo)來測度主題內(nèi)容新穎性的方法。

從新穎性與影響力的關(guān)系來看，具備高新穎性特征的專利相比于其他類型更有可能成為高被引專利。高新穎性/高常規(guī)性專利（C+N+）平均被引次數(shù)最高。這對于專利發(fā)明人來說具有一定的啟示作用，在進行選題及撰寫專利文檔時，要注重結(jié)合新穎性內(nèi)容和常規(guī)性內(nèi)容。此外，很多技術(shù)成果長期處在無人問津的狀態(tài)，其影響往往需要很長的時間才能充分顯現(xiàn)出來，僅用事后指標(biāo)（如被引次數(shù)）并不適合識別新穎性專利。本文提出綜合多種事前指標(biāo)的測度方法可以及時監(jiān)測潛在新穎性知識組合，盡早發(fā)現(xiàn)新穎性專利，降低高新穎性專利被延遲發(fā)現(xiàn)的風(fēng)險。

本文評估指標(biāo)的數(shù)據(jù)由于缺乏基準數(shù)據(jù)，利用人工標(biāo)注來評價；未來的工作將精心設(shè)計更加嚴謹?shù)脑u估方法和更加全面的測度指標(biāo)，并將其應(yīng)用于其他領(lǐng)域，以證明該方法的廣泛可行性。綜合評價技術(shù)新穎性，既要考慮評價事前指標(biāo)，如本文提出的poccur、plink和psemantic這三個指標(biāo)；也要考慮評價事后指標(biāo)，如被引次數(shù)；還要考慮到技術(shù)新穎性可能來源于科學(xué)知識，如被引科技論文數(shù)及主題內(nèi)容等。因此，在本文技術(shù)新穎性測度的基礎(chǔ)上，未來工作需要進一步構(gòu)建能夠識別重大突破性技術(shù)的相關(guān)指標(biāo)和算法，期望有效識別對科技發(fā)展有重大影響的新興技術(shù)和顛覆性技術(shù)。