摘要：對學(xué)術(shù)論文創(chuàng)新性評價(jià)方法的相關(guān)研究文獻(xiàn)進(jìn)行梳理分類，總結(jié)現(xiàn)有評價(jià)方法存在的不足，展望未來研究趨勢。文章針對學(xué)術(shù)論文影響力評價(jià)和創(chuàng)新性評價(jià)的不同進(jìn)行了分析，指出兩種評價(jià)方式的區(qū)別和側(cè)重點(diǎn)。依據(jù)評價(jià)所采用的技術(shù)和數(shù)據(jù)的不同將創(chuàng)新性評價(jià)方法分為三類，分別是基于同行評議的方法、基于引文指標(biāo)的方法和基于內(nèi)容指標(biāo)的方法，并對每種方法的原理和相關(guān)研究進(jìn)行綜述，在此基礎(chǔ)上總結(jié)分析當(dāng)前學(xué)術(shù)論文創(chuàng)新性評價(jià)方法存在的不足，提出未來的研究方向。

關(guān)鍵詞：論文評價(jià)；論文創(chuàng)新性；創(chuàng)新性評價(jià)；同行評議；引文指標(biāo)；內(nèi)容指標(biāo)

DOI：10.19619/j.issn.1007-1938.2024.00.017

作者單位：南京農(nóng)業(yè)大學(xué)信息管理學(xué)院

一、引言

2020年2月，教育部、科技部印發(fā)了《關(guān)于規(guī)范高等學(xué)校 SCI 論文相關(guān)指標(biāo)使用樹立正確評價(jià)導(dǎo)向的若干意見》[1]，指出高等學(xué)校需要規(guī)范使用 SCI 論文相關(guān)指標(biāo)，提倡定量與定性評價(jià)相結(jié)合的方式，建立科學(xué)合理的評價(jià)體系。學(xué)術(shù)論文作為科研成果的重要表現(xiàn)形式之一，創(chuàng)新性是其價(jià)值的重要指標(biāo)，建立科學(xué)合理的論文創(chuàng)新性評價(jià)體系，是對科研成果的尊重與珍惜，也能對學(xué)科發(fā)展產(chǎn)生積極的推動(dòng)作用。

根據(jù)庫恩的“范式”概念，學(xué)術(shù)創(chuàng)新可以分為漸進(jìn)性創(chuàng)新和顛覆式創(chuàng)新，前者是指對現(xiàn)有理論或技術(shù)進(jìn)行增量式改進(jìn)和完善的創(chuàng)新，后者是指突破已有理論或技術(shù)的重大變革。[2]馬立釗[3]認(rèn)為學(xué)術(shù)創(chuàng)新是創(chuàng)造新知識(shí)、認(rèn)識(shí)新事物的過程，它的關(guān)鍵在于研究方法和學(xué)術(shù)思想的改變和進(jìn)步，并將學(xué)術(shù)創(chuàng)新分為繼承性創(chuàng)新、綜合性創(chuàng)新和原始創(chuàng)新。繼承性創(chuàng)新也可以稱為漸進(jìn)性創(chuàng)新；綜合性創(chuàng)新是對前人的研究成果的總結(jié)歸納，并在這個(gè)過程中形成獨(dú)有的優(yōu)勢；原始創(chuàng)新是完全意義上的突破發(fā)展，是對專業(yè)領(lǐng)域的研究空白進(jìn)行填補(bǔ)的過程。而對學(xué)術(shù)論文創(chuàng)新性的評價(jià)主要是關(guān)注論文的概念創(chuàng)新、理論創(chuàng)新、方法創(chuàng)新和結(jié)論創(chuàng)新等。

目前對于學(xué)術(shù)論文的評價(jià)主要包含兩個(gè)方面，一是論文影響力評價(jià)，二是論文創(chuàng)新性評價(jià)。論文影響力評價(jià)主要包括學(xué)術(shù)影響力評價(jià)和社會(huì)影響力評價(jià)。[4]75-83學(xué)術(shù)影響力常用引文指標(biāo)進(jìn)行評價(jià)，是指論文在學(xué)界或某學(xué)科領(lǐng)域內(nèi)產(chǎn)生的討論和反饋；社會(huì)影響力常用評價(jià)指標(biāo)是 Altmetrics指標(biāo)，是指學(xué)術(shù)論文在社會(huì)領(lǐng)域所引起的關(guān)注和支持程度。而論文創(chuàng)新性評價(jià)是識(shí)別論文本身提供的知識(shí)與已有文獻(xiàn)中知識(shí)存在的不同，[5]以及是否對科學(xué)研究的發(fā)展起到了促進(jìn)作用。對學(xué)術(shù)論文創(chuàng)新性的評價(jià)過程存在一定的復(fù)雜性，需要從多個(gè)方面進(jìn)行判斷研究。本文將創(chuàng)新性評價(jià)的方法分為定性評價(jià)和定量評價(jià)，根據(jù)研究角度的不同，定量評價(jià)又可以被分為基于外部指標(biāo)的評價(jià)和基于論文內(nèi)容的評價(jià)，以下將分別對這幾種創(chuàng)新性評價(jià)方法進(jìn)行梳理、歸納和總結(jié)。

二、學(xué)術(shù)論文創(chuàng)新性評價(jià)方法研究綜述

1.同行評議用于評價(jià)學(xué)術(shù)論文創(chuàng)新性的研究

同行評議作為定性評價(jià)方法的代表，長期以來都飽受人們的關(guān)注和質(zhì)疑。同行評議最早源于1416年，威尼斯共和國使用同行評議對專利申請進(jìn)行審查，該方法被大規(guī)模采用是在19世紀(jì)的美國。[6]1980年，我國學(xué)者楊安仙[7]具體地研究了美國在科研管理的各個(gè)階段對同行評議方法的使用，并建議結(jié)合國內(nèi)的實(shí)際情況制定一套切實(shí)可行的同行評議辦法用于科研管理工作。

隨著社會(huì)對于科學(xué)研究的重視，學(xué)術(shù)論文數(shù)量不斷增加，學(xué)術(shù)界迫切需要找到一種方式對學(xué)術(shù)成果進(jìn)行分析評價(jià)，于是同行評議方法開始被用于學(xué)術(shù)成果評價(jià)領(lǐng)域。我國關(guān)于學(xué)術(shù)成果同行評議的研究開始于20世紀(jì)80年代，主要是介紹英美學(xué)術(shù)期刊同行評議制度的編譯性文章。[8]819進(jìn)入21世紀(jì)以后，國內(nèi)開始嘗試建立國際化的同行評議制度用于學(xué)術(shù)期刊評價(jià)。[9]隨著相關(guān)研究的深入，同行評議法逐漸成為我國學(xué)術(shù)論文評價(jià)采用的主要方法。但由于國內(nèi)對學(xué)術(shù)成果的同行評議起步較晚，與國外的發(fā)展水平存在著較大差距，為了對國內(nèi)的同行評議過程進(jìn)行完善和優(yōu)化，不少學(xué)者針對存在的問題以及可能的改良方向進(jìn)行了研究。例如，吳堅(jiān)[10]對國內(nèi)外學(xué)術(shù)期刊的審稿過程進(jìn)行對比分析，發(fā)現(xiàn)國內(nèi)在審稿制度、審稿重點(diǎn)和審稿時(shí)間等方面與國外差距較大，需要改進(jìn)和提高。付偉棠[8]819-826對我國學(xué)術(shù)期刊同行評議過程存在的問題進(jìn)行了分析，并提出了發(fā)表前開放式同行評議、發(fā)表后同行評議，以及結(jié)構(gòu)化的同行評議等一系列改進(jìn)方案。

隨著研究的深入，學(xué)術(shù)期刊同行評議過程不斷調(diào)整優(yōu)化，其應(yīng)用場景和范圍也越來越廣，但其存在的局限也逐漸暴露出來。例如，同行評議對專家的依賴性極強(qiáng)，但嚴(yán)格意義上的科學(xué)同行相對較少，于是出現(xiàn)了許多“跨行”評價(jià)的情況，導(dǎo)致評價(jià)結(jié)果的嚴(yán)謹(jǐn)性和科學(xué)性有待提高。針對這一現(xiàn)象，不少學(xué)者認(rèn)為不能僅僅依靠同行評議，也需要建立多層次多元化的學(xué)術(shù)論文評價(jià)機(jī)制，[11]實(shí)現(xiàn)對論文的全方位評價(jià)。

2.引文指標(biāo)用于評價(jià)學(xué)術(shù)論文創(chuàng)新性的研究

由于定性評價(jià)方法存在主觀性和不全面性等問題，定量評價(jià)方法漸漸受到認(rèn)可和追捧。20世紀(jì)70年代，加菲爾德（Eugene Gar- field）提出引文集中定律，闡釋了引用次數(shù)作為科研人員學(xué)術(shù)成果評價(jià)指標(biāo)的有效性。[12]隨著引文索引的出現(xiàn)，以引文為中心的影響因子逐漸成為期刊評價(jià)的重要指標(biāo)，而引文指標(biāo)也逐漸被用于學(xué)術(shù)論文評價(jià)。

（1）基于引用關(guān)系的測度方法

引用行為是對被引論文內(nèi)容的延續(xù)和深入，能夠代表對被引論文的研究和觀點(diǎn)的認(rèn)可和肯定，而學(xué)術(shù)論文得到的關(guān)注越多，越能夠說明其研究主題的重要性和新穎性。基于引用關(guān)系的學(xué)術(shù)論文創(chuàng)新性評價(jià)方法更多使用與論文引用相關(guān)的指標(biāo)表征其創(chuàng)新程度，使用最為廣泛的指標(biāo)便是被引次數(shù)。烏茲（Brain Uzzi）等[13]469認(rèn)為具有高創(chuàng)新力的論文更有可能成為高被引論文，沈律[14]也認(rèn)為可以用科技成果被引用的數(shù)量變化情況來確定某位科學(xué)家研究成果的影響力大小和創(chuàng)新性強(qiáng)弱等。還有一些研究者認(rèn)為學(xué)術(shù)論文的引用動(dòng)機(jī)存在復(fù)雜性與多樣性，需要將引文指標(biāo)進(jìn)行處理才能用于論文的創(chuàng)新性評價(jià)。

對于不同學(xué)科領(lǐng)域乃至不同研究主題的論文，其平均被引次數(shù)的差距可能較大，但這種差距與研究內(nèi)容的創(chuàng)新性大小無關(guān)。因此，單純使用被引次數(shù)的大小來衡量不同領(lǐng)域、不同主題學(xué)術(shù)論文的創(chuàng)新性可能存在一定的偏差，而使用被引次數(shù)與引文數(shù)量差距來代表相對引用情況能夠較好地解決這個(gè)問題。科斯穆爾斯基（Marek Kosmulski ）[15]提出論文被引情況表現(xiàn)了該論文的知識(shí)擴(kuò)散程度，而參考文獻(xiàn)則代表該論文的知識(shí)吸收程度，若論文的被引次數(shù)大于其參考文獻(xiàn)的數(shù)量，則說明該論文在參考文獻(xiàn)的基礎(chǔ)上進(jìn)行了改善和創(chuàng)新，可認(rèn)為其是“成功論文”。宋歌[16]使用了這一原理，并基于引文網(wǎng)絡(luò)提出了用于評價(jià)學(xué)術(shù)成果創(chuàng)新力和影響力的 S 指數(shù)，其值等于與學(xué)術(shù)成果主題直接相關(guān)的參考文獻(xiàn)數(shù)量除以該文獻(xiàn)數(shù)量與學(xué)術(shù)成果發(fā)表后y 年內(nèi)總被引次數(shù)之和，S 指數(shù)越接近于0，說明學(xué)術(shù)成果的創(chuàng)新力越高。

（2）基于組合引用的測度方法

引文是每一篇論文的基礎(chǔ)，反映了論文的前期準(zhǔn)備和調(diào)研基礎(chǔ)，通過引文檢索，可以了解焦點(diǎn)文獻(xiàn)涉及的學(xué)科和知識(shí)組合。組合越罕見，越能產(chǎn)生與現(xiàn)有研究不同的學(xué)術(shù)成果，創(chuàng)新程度也可能越高。因此，通過對學(xué)術(shù)論文組合引用的情況進(jìn)行研究，可以判斷論文內(nèi)容的新穎性和創(chuàng)新性。研究發(fā)現(xiàn)在參考文獻(xiàn)中有較多新組合的論文后續(xù)更可能成為高引用率的論文。[17]烏茲等[13]468-472基于學(xué)術(shù)論文的共被引網(wǎng)絡(luò)識(shí)別非常規(guī)組合的被引文獻(xiàn)對，通過文獻(xiàn)的來源期刊形成被引期刊對，以被引期刊對的出現(xiàn)頻率高低來判斷論文的創(chuàng)新性大小，他還以此方法對1790篇跨學(xué)科論文進(jìn)行分析，證明了該評價(jià)方法的有效性。博恩曼（Lutz Bornmann）等[18]將使用上述兩種方法得出的評價(jià)結(jié)果與專家給出的新穎性評估結(jié)果進(jìn)行比較，驗(yàn)證了它們的準(zhǔn)確性。

（3）基于引文動(dòng)態(tài)網(wǎng)絡(luò)的測度方法

引文網(wǎng)絡(luò)反映的是學(xué)術(shù)論文之間復(fù)雜的引用行為，顯示了學(xué)術(shù)論文之間知識(shí)的流動(dòng)方向和過程。通過對引文網(wǎng)絡(luò)中的知識(shí)流動(dòng)進(jìn)行跟蹤，能夠直接識(shí)別知識(shí)的產(chǎn)生節(jié)點(diǎn)以及不同知識(shí)之間的組合情況，從而判斷學(xué)術(shù)論文的創(chuàng)新性。陳超美（CHEN Chaomei ）[19] 將結(jié)構(gòu)洞的概念從社會(huì)網(wǎng)絡(luò)擴(kuò)展到科學(xué)研究中的知識(shí)結(jié)構(gòu)網(wǎng)絡(luò)，發(fā)現(xiàn)具有結(jié)構(gòu)洞的引文網(wǎng)絡(luò)反映了焦點(diǎn)文獻(xiàn)對于不同知識(shí)的組合，具有較高的創(chuàng)新性。

另外，引文網(wǎng)絡(luò)也能反映焦點(diǎn)文獻(xiàn)的被引和引用情況，通過對比論文的施引文獻(xiàn)和參考文獻(xiàn)內(nèi)容重合和差異程度，了解焦點(diǎn)文獻(xiàn)對已有知識(shí)的吸收和新知識(shí)的發(fā)展程度，并從知識(shí)的繼承和改進(jìn)角度對其進(jìn)行創(chuàng)新性評價(jià)。有研究者改進(jìn)了羅素（Funk J. Russell）等[20]的顛覆性指數(shù)，將其從專利領(lǐng)域拓展至學(xué)術(shù)成果評價(jià)領(lǐng)域，提出了顛覆因子指標(biāo)[21]378。顛覆因子計(jì)算的是在所有引用焦點(diǎn)文獻(xiàn)的文獻(xiàn)中只引用焦點(diǎn)文獻(xiàn)而不引用其參考文獻(xiàn)的文獻(xiàn)所占的比例，即關(guān)注焦點(diǎn)文獻(xiàn)基于其參考文獻(xiàn)所產(chǎn)生的知識(shí)融合和創(chuàng)新，顛覆因子越接近于1，表示焦點(diǎn)文獻(xiàn)越具有顛覆性。關(guān)于顛覆因子指標(biāo)的有效性，有研究計(jì)算了諾貝爾獎(jiǎng)關(guān)鍵論文的顛覆因子，發(fā)現(xiàn)其識(shí)別創(chuàng)新論文的準(zhǔn)確性達(dá)到了83%；[21]378-382 博恩曼等[22]也通過計(jì)算《科學(xué)計(jì)量學(xué)》（Scientometrics）期刊上2000—2010年發(fā)表論文的顛覆因子驗(yàn)證了顛覆因子指標(biāo)的科學(xué)性。

引文指標(biāo)在機(jī)構(gòu)評價(jià)、人才評價(jià)和科研成果評價(jià)中被廣泛應(yīng)用，但也有一些學(xué)者認(rèn)為單獨(dú)的引文指標(biāo)只能在一定程度上反映學(xué)術(shù)論文的影響力，并不一定反映其創(chuàng)新性。[23] 另外，由于引文指標(biāo)存在一定的時(shí)滯性，不能實(shí)現(xiàn)對學(xué)術(shù)論文創(chuàng)新性的即時(shí)評估和認(rèn)定，于是一些研究者開始考慮直接從論文的內(nèi)容層面出發(fā)，評價(jià)學(xué)術(shù)論文的創(chuàng)新性。

3.內(nèi)容指標(biāo)用于評價(jià)學(xué)術(shù)論文創(chuàng)新性的研究

學(xué)術(shù)論文的創(chuàng)作包含了舊知識(shí)組合和新知識(shí)產(chǎn)生的過程，學(xué)術(shù)論文的引用情況能夠在一定程度上反映其創(chuàng)新性，但僅僅通過引文進(jìn)行評價(jià)存在一定的局限性，因此需要深入到文本內(nèi)容的層面去度量學(xué)術(shù)成果的新穎性。從內(nèi)容層面對論文進(jìn)行創(chuàng)新性評價(jià)最為常見的方法便是專家評議法，但如前文所述，由于對專家的素質(zhì)要求較高以及評價(jià)結(jié)果較為主觀，因此研究者開始將計(jì)量學(xué)的方法運(yùn)用于論文內(nèi)容創(chuàng)新性的評價(jià)過程中，使評價(jià)結(jié)果既具有客觀性，也能夠擺脫時(shí)間的約束。

（1）基于關(guān)鍵詞或主題詞的測度方法

學(xué)術(shù)論文的關(guān)鍵詞和主題詞是基于文本內(nèi)容的提煉和總結(jié)，能夠反映學(xué)術(shù)論文的研究主題和內(nèi)容?；陉P(guān)鍵詞或主題詞進(jìn)行研究，能夠從學(xué)術(shù)論文的文本層面實(shí)現(xiàn)對其研究內(nèi)容新穎性的測度。通過研究學(xué)術(shù)論文的關(guān)鍵詞或主題詞的差異性、前沿性以及組合新穎性等特征，識(shí)別論文知識(shí)內(nèi)容的融合和創(chuàng)新，從而對其創(chuàng)新性進(jìn)行判斷。錢玲飛等[24]以《情報(bào)學(xué)報(bào)》和《中國圖書館學(xué)報(bào)》兩種核心期刊發(fā)表的學(xué)術(shù)論文為研究對象，通過識(shí)別不同關(guān)鍵詞之間的交叉組合情況計(jì)算其關(guān)鍵詞交叉率，從而進(jìn)行創(chuàng)新性計(jì)量。楊京等[4]75-83基于 Keygraph 算法提取代表學(xué)術(shù)論文主題的關(guān)鍵詞，將其與前沿研究的主題詞進(jìn)行相似度對比，以關(guān)鍵詞的前沿性來測度學(xué)術(shù)論文的創(chuàng)新性。

為使分析過程更加簡便，提高學(xué)術(shù)論文創(chuàng)新性評價(jià)的效率，一些學(xué)者直接構(gòu)建關(guān)鍵詞或主題詞的演化網(wǎng)絡(luò)，通過關(guān)鍵詞出現(xiàn)的時(shí)間早晚和頻率高低來反映學(xué)術(shù)論文的創(chuàng)新力大小；還有一些學(xué)者構(gòu)建關(guān)鍵詞或主題詞的共現(xiàn)網(wǎng)絡(luò)，計(jì)算關(guān)鍵詞或主題詞組合的新穎性以測度論文的創(chuàng)新性。楊建林等[25]使用論文的出版時(shí)間作為時(shí)間戳，基于關(guān)鍵詞對逆文檔頻率來計(jì)算論文的新穎性，結(jié)果發(fā)現(xiàn)在同一學(xué)科主題下，核心期刊上刊載的論文的新穎性要高于普通期刊。任海英等[26]從學(xué)術(shù)論文的題名、摘要和關(guān)鍵詞中抽取主題詞，構(gòu)建主題詞共現(xiàn)網(wǎng)絡(luò)，通過論文中的常規(guī)主題詞組合和新穎主題詞組合的比例大小來識(shí)別創(chuàng)新性論文。

通過分析學(xué)術(shù)論文關(guān)鍵詞或主題詞能對學(xué)術(shù)論文的新穎性進(jìn)行評價(jià)，然而，由于部分研究在計(jì)算關(guān)鍵詞詞頻和相似度時(shí)沒有考慮關(guān)鍵詞的語義距離和有效性，[27]導(dǎo)致學(xué)術(shù)論文的創(chuàng)新性評價(jià)結(jié)果受到影響。因此，不能僅僅依據(jù)關(guān)鍵詞或主題詞出現(xiàn)的次數(shù)多少和頻率高低來計(jì)量論文的創(chuàng)新性，同時(shí)也應(yīng)該將文本語義納入考量范疇，以增強(qiáng)評價(jià)結(jié)果的可信度。

（2）基于引用內(nèi)容的測度方法

在使用引文指標(biāo)測度論文創(chuàng)新性的過程中，由于傳統(tǒng)的引文指標(biāo)無法依據(jù)施引文獻(xiàn)和被引文獻(xiàn)的內(nèi)容聯(lián)系對不同引用行為進(jìn)行區(qū)分，導(dǎo)致自引和負(fù)面引用等情況會(huì)對測度結(jié)果的準(zhǔn)確性產(chǎn)生嚴(yán)重影響，[28]使這一方法無法完全客觀地展現(xiàn)學(xué)術(shù)論文的創(chuàng)新程度。為解決這一問題，需要從引文文本內(nèi)容出發(fā)，充分考慮引用位置、引用情感、引用強(qiáng)度和引用目的等多方面的因素[29]對引用效果的影響，從而保證評價(jià)標(biāo)準(zhǔn)的有效性。

早在20世紀(jì)國外學(xué)者就開展了基于論文全文引用內(nèi)容的研究，隨著科學(xué)技術(shù)的進(jìn)步，文本抽取和自然語言處理等技術(shù)被應(yīng)用于學(xué)術(shù)評價(jià)領(lǐng)域，越來越多的研究根據(jù)文本內(nèi)容對引文進(jìn)行分類計(jì)算，實(shí)現(xiàn)對引文指標(biāo)的改善和優(yōu)化。依據(jù)評價(jià)的側(cè)重點(diǎn)不同，基于引文全文本的分析可以分為語義和語法兩個(gè)層面，[30]語義層面的研究主要關(guān)注引用情感和引用目的對于引用行為的影響，排除一些由于負(fù)面引用或者自引等造成的誤差；而語法層面的研究關(guān)注的是引用位置和引用強(qiáng)度帶來的影響，將出現(xiàn)在學(xué)術(shù)論文不同位置的引用進(jìn)行區(qū)分，使引文指標(biāo)的可解釋性更強(qiáng)。姜霖等[31]從語義層面分析引文文本，通過對引用內(nèi)容進(jìn)行細(xì)粒度的情感分析，將作者表達(dá)的情感觀點(diǎn)進(jìn)行極性劃分和強(qiáng)度量化，通過這一方法得到的評價(jià)結(jié)果更為科學(xué)和合理，更能體現(xiàn)文獻(xiàn)的內(nèi)在價(jià)值。馬里契奇（Sinisa Maricic）等[32]則從語法層面進(jìn)行分析，將論文的文本內(nèi)容分為引言、方法、結(jié)果和總結(jié)四個(gè)部分，并在運(yùn)用引文指標(biāo)進(jìn)行評價(jià)時(shí)對不同部分的引文內(nèi)容賦予不同權(quán)重參與計(jì)算。索姆巴特松波普（Narongrit Sombatsompop）等[33]設(shè)置位置影響因子（position impact factor，英文縮寫 PIF）用于評估引文位置的影響，并基于臨床醫(yī)學(xué)、化學(xué)、材料科學(xué)和工程四個(gè)不同學(xué)科類別的國際出版物對位置影響因子的可行性和有效性進(jìn)行了驗(yàn)證。

基于引文文本內(nèi)容測度論文的創(chuàng)新性極大改善了傳統(tǒng)指標(biāo)片面單一的缺點(diǎn)，[34]通過文本內(nèi)容和外部指標(biāo)相結(jié)合的方式，提高了評價(jià)結(jié)果的深入性、準(zhǔn)確性和全面性。

（3）基于機(jī)器學(xué)習(xí)的測度方法

運(yùn)用以上兩種評價(jià)方法雖然能夠發(fā)現(xiàn)學(xué)術(shù)論文所包含的主題和知識(shí)，但難以挖掘出所包含的深層次和潛在的創(chuàng)新主題。信息技術(shù)的發(fā)展使全文本計(jì)量成為可能，基于機(jī)器學(xué)習(xí)的測度方法依靠自然語言處理技術(shù)，通過抽取學(xué)術(shù)論文中的關(guān)鍵知識(shí)元和創(chuàng)新點(diǎn)，并與已有的科學(xué)研究進(jìn)行對比分析，從而確定學(xué)術(shù)論文的創(chuàng)新性與貢獻(xiàn)大小。與基于學(xué)術(shù)論文題錄數(shù)據(jù)抽取的主題詞以及作者確定的關(guān)鍵詞相比，基于機(jī)器學(xué)習(xí)方法抽取的知識(shí)單元與全文內(nèi)容更貼切，能夠更全面地展現(xiàn)文章內(nèi)容，使評價(jià)更快捷和準(zhǔn)確。

目前已有的對知識(shí)元的抽取主要包括詞級抽取和句子級抽取。詞級抽取是指基于學(xué)術(shù)論文全文抽取能代表其研究內(nèi)容的詞語的過程，抽取結(jié)果是文獻(xiàn)所包含知識(shí)和信息的最小單元的集合。詞級知識(shí)元的概念與文獻(xiàn)關(guān)鍵詞和主題詞類似，但前者與原文關(guān)系更加密切，反映的文獻(xiàn)內(nèi)容也更加具體和全面。李賀等[35]基于學(xué)術(shù)論文的研究問題、理論、方法和結(jié)論構(gòu)建了四個(gè)知識(shí)元的本體，設(shè)置相應(yīng)的知識(shí)元抽取規(guī)則庫和知識(shí)語料庫，通過抽取學(xué)術(shù)論文中所包含的四種知識(shí)元并與本體中相對應(yīng)的知識(shí)元進(jìn)行相似度計(jì)算，完成學(xué)術(shù)論文的創(chuàng)新性評價(jià)。句子級抽取能夠解決詞語中存在的歧義或意義不明的問題，更加直觀和精確地顯示學(xué)術(shù)論文的研究主題和創(chuàng)新點(diǎn)，為同行評議以及后續(xù)的評價(jià)過程提供參考。曹樹金等[36]使用 Bert 語言模型對情報(bào)學(xué)領(lǐng)域的期刊論文創(chuàng)新句進(jìn)行抽取，將創(chuàng)新句、章節(jié)內(nèi)容和論文本身進(jìn)行多粒度關(guān)聯(lián)，為后續(xù)的檢索提供數(shù)據(jù)來源。周海晨等[37]構(gòu)建了一個(gè)深度學(xué)習(xí)與規(guī)則結(jié)合的學(xué)術(shù)創(chuàng)新貢獻(xiàn)短語識(shí)別模型，并選取菊花研究領(lǐng)域的學(xué)術(shù)文本進(jìn)行實(shí)證研究，成功從學(xué)術(shù)文本中自動(dòng)識(shí)別并抽取出可以表征學(xué)術(shù)成果價(jià)值的學(xué)術(shù)創(chuàng)新點(diǎn)和貢獻(xiàn)點(diǎn)。

三、結(jié)論與討論

1.結(jié)論

實(shí)現(xiàn)學(xué)術(shù)論文創(chuàng)新性評價(jià)的客觀合理能夠促進(jìn)學(xué)科創(chuàng)新和進(jìn)步。本研究首先分析了學(xué)術(shù)論文影響力評價(jià)和創(chuàng)新性評價(jià)的不同，并分別闡述了兩種評價(jià)方式的側(cè)重點(diǎn)；其次，重點(diǎn)論述了學(xué)術(shù)論文創(chuàng)新性評價(jià)的不同方法，并依據(jù)評價(jià)所采用的技術(shù)和數(shù)據(jù)的不同將目前的評價(jià)方法分為三個(gè)大類，分別為基于同行評議的方法、基于引文指標(biāo)的方法和基于內(nèi)容指標(biāo)的方法，并依次對其原理和相關(guān)研究進(jìn)行論述。盡管對學(xué)術(shù)論文創(chuàng)新性的評價(jià)相關(guān)研究已經(jīng)十分成熟，但是仍存在一些不足之處，主要包括以下方面。

其一，使用一些測度學(xué)術(shù)論文的新穎性、影響力等特征的指標(biāo)代替創(chuàng)新性。學(xué)術(shù)論文的主題和關(guān)鍵詞的新穎性并不完全代表其創(chuàng)新性，新穎性是論文創(chuàng)新性的必要非充分條件；同樣，影響力只能代表論文的知名度和使用廣泛，并不能完全代替其創(chuàng)新性。

其二，目前對于學(xué)術(shù)論文創(chuàng)新性的研究多以引文指標(biāo)及論文的主題詞或關(guān)鍵詞等指標(biāo)來進(jìn)行評價(jià)，以外部特征指標(biāo)為主，較少關(guān)注學(xué)術(shù)論文的內(nèi)容層面，導(dǎo)致評價(jià)結(jié)果說服力較弱。此類評價(jià)指標(biāo)關(guān)注的只是區(qū)分創(chuàng)新性和非創(chuàng)新性的論文，并沒有找到學(xué)術(shù)論文的創(chuàng)新之處，不利于促進(jìn)科學(xué)研究的進(jìn)步。

其三，關(guān)于學(xué)術(shù)論文創(chuàng)新性評價(jià)的研究多是基于單個(gè)指標(biāo)或幾個(gè)指標(biāo)的結(jié)合，評價(jià)方式較為單一，評價(jià)方法的理論性也較為薄弱，主觀性較強(qiáng)，缺乏為學(xué)者所普遍接受的創(chuàng)新性評價(jià)方式，導(dǎo)致評價(jià)結(jié)果的準(zhǔn)確性較難得到保證。

2.討論

雖然目前學(xué)術(shù)論文創(chuàng)新性評價(jià)方法依舊存在許多問題，但隨著科學(xué)技術(shù)的發(fā)展，文本抽取、深度學(xué)習(xí)等自然語言技術(shù)不斷被用于學(xué)術(shù)評價(jià)領(lǐng)域，為學(xué)術(shù)論文的內(nèi)容挖掘提供了技術(shù)支撐，也使學(xué)術(shù)評價(jià)迎來了新的發(fā)展契機(jī)。針對學(xué)術(shù)論文創(chuàng)新性評價(jià)中存在的問題，本文認(rèn)為未來的研究應(yīng)該從以下幾個(gè)方面著手。

一是使用基于文本內(nèi)容的測度方法代替基于引文指標(biāo)的測度方法。引文指標(biāo)能夠從側(cè)面反映學(xué)術(shù)論文的創(chuàng)新性水平，但是被引次數(shù)會(huì)因?yàn)閷W(xué)科領(lǐng)域的不同、時(shí)間窗的長短等固定因素以及自引等不確定因素的影響而產(chǎn)生較大的差距，因此，在評價(jià)學(xué)術(shù)論文的創(chuàng)新性時(shí)，需要對引文指標(biāo)慎重使用。而基于文本內(nèi)容的測度方法是從論文文本出發(fā)進(jìn)行測度，反映的是學(xué)術(shù)論文的研究主題和內(nèi)容創(chuàng)新，具有較高的可解釋性和可信度。

二是可以采用定性與定量相結(jié)合的方式進(jìn)行評價(jià)。同行評議作為定性的評價(jià)方法，雖然面臨著同行專家較少、評價(jià)過程費(fèi)時(shí)費(fèi)力等問題，但是其優(yōu)點(diǎn)在于評價(jià)過程靈活，能夠促進(jìn)學(xué)術(shù)成果的傳播和交流。而隨著信息技術(shù)的發(fā)展和使用，定量評價(jià)方法的準(zhǔn)確率和效率也都在不斷提高。為發(fā)揮兩種評價(jià)方法的長處，未來的相關(guān)研究可以考慮采用定性與定量相結(jié)合的方式進(jìn)行評價(jià)，將定量評價(jià)的結(jié)果作為定性評價(jià)的輔助和參考，這樣既能夠提高評價(jià)效率，也能保持較高的評價(jià)準(zhǔn)確率。

三是通過構(gòu)建多指標(biāo)評價(jià)體系，完善對學(xué)術(shù)論文的創(chuàng)新性評價(jià)。學(xué)術(shù)論文的單指標(biāo)評價(jià)只能從某個(gè)角度識(shí)別學(xué)術(shù)論文的創(chuàng)新特征，而忽略其他方面可能存在的創(chuàng)新點(diǎn)。因此，對學(xué)術(shù)論文的創(chuàng)新性評價(jià)應(yīng)該建立多層次多指標(biāo)的評價(jià)體系，同時(shí)挖掘?qū)W術(shù)論文各個(gè)方面的創(chuàng)新點(diǎn)，保證評價(jià)結(jié)果的多樣性和靈活性。

參考文獻(xiàn)

[1]教育部科技部印發(fā)意見要求規(guī)范高等學(xué)校 SCI 論文相關(guān)指標(biāo)使用[EB/OL].（2020-02-23）[2024-01-02]. http：//www.moe.gov.cn/jyb_xwfb/gzdt_gzdt/s5987/202002/t20200223_423329.html.

[2] THOMAS K. The structure of scientific revolutions[J]. Philosophical Books，1962，4（3）：14-16.

[3] 馬立釗.關(guān)于學(xué)術(shù)期刊創(chuàng)新與評價(jià)的幾個(gè)問題[J].社會(huì)科學(xué)戰(zhàn)線，2015（7）：268-272.

[4] 楊京，王芳，白如江.一種基于研究主題對比的單篇學(xué) 術(shù)論文創(chuàng)新力評價(jià)方法[J].圖書情報(bào)工作，2018，62（17）：75-83.

[5] 汪雪鋒，于慧妍，鄭思佳，等.學(xué)術(shù)論文創(chuàng)新質(zhì)量評價(jià)研究：以多能干細(xì)胞技術(shù)為例[EB/OL].（2023-06-09）[2024-01-24].http：//kns.cnki.net/kcms/detail/10.1478. G2.20230608.1604.002.html.

[6] 錢玲飛，賀婉瑩，楊建林.論文學(xué)術(shù)創(chuàng)新力特征指標(biāo)體系研究[J].情報(bào)科學(xué)，2021，39（1）：56-64.

[7]楊安仙.談美國的同行評議[J].科研管理，1980（1）：77-80.

[8]付偉棠.我國學(xué)術(shù)期刊同行評議研究綜述[J].中國科技期刊研究，2019，30（8）：819-826.

[9] 張?jiān)录t，袁亞春.科技論文國際化同行評審的嘗試—— 《浙江大學(xué)學(xué)報(bào)（英文版）》的新舉措[J].編輯學(xué)報(bào)，2002（4）：294-295.

[10]吳堅(jiān).國外科技期刊審稿的一些特點(diǎn)[J].編輯學(xué)報(bào)，2004（2）：154-155.

[11]王國豫，朱曉林.同行評議與“外行”評議[J].科學(xué)學(xué)研究，2015，33（8）：1121-1126，1133.

[12]邱均平.信息計(jì)量學(xué)[M].武漢：武漢大學(xué)出版社，2007：316-319.

[13] UZZI B，MUKHERJEE S，STRINGER M，et al. Atypical combinations and scientific impact[J]. Science，2013，342（6157）：468-472.

[14]沈律.科技創(chuàng)新的一般均衡理論——關(guān)于科技成果創(chuàng)新度評價(jià)的科學(xué)計(jì)量學(xué)分析[J].科學(xué)學(xué)研究，2003（2）：205-209.

[15] KOSMULSKI M. Successful papers：a new idea in evaluation of scientific output[J]. Journal of Infor- metrics，2011，5（3）：481-485.

[16]宋歌.科研成果創(chuàng)新力指標(biāo) S 指數(shù)的設(shè)計(jì)與實(shí)證[J].圖書情報(bào)工作，2016，60（5）：77-86，124.

[17] WANG J，VEUGELERS R，STEPHAN P. Bias against novelty in science：a cautionary tale for users of bibliometric indicators[J]. Research Policy，2017，46（8）：1416-1436.

[18] BORNMANN L，ALEXANDER T，HELENA H Z，et al. Do we measure novelty when we analyze unusual combinations of cited references？ a validation study of bibliometric novelty indicators based on F1000 prime data[J]. Journal of Informetrics，2019，13（4）：100979.

[19] CHEN C M，YUE C，MARK H，et al. Towards an explanatory and computational theory of scientific dis- covery[J]. Journal of Informetrics，2009，3（3）：191-209.

[20] RUSSELL J. F，OWEN-SMITH. J. A dynamic network measure of technological change[J]. Management Science，2016，63（3）：791-817.

[21] WU L，WANG D，EVANS J A. Large teams develop and small teams disrupt science and technology[J]. Nature，2019，566（7744）：378-382.

[22] BORNMANN L， TEKLES A. Disruptive papers published in Scientometrics[J]. Scientometrics，2019，120（1）：331-336.

[23]楊思洛.引文分析存在的問題及其原因探究[J].中國圖書館學(xué)報(bào)，2011，37（3）：108-117.

[24]錢玲飛，楊建林，張莉.基于關(guān)鍵詞分析的學(xué)科創(chuàng)新力比較——以情報(bào)學(xué)圖書館學(xué)為例[J].情報(bào)理論與實(shí)踐，2011，34（1）：117-120.

[25]楊建林，錢玲飛.基于關(guān)鍵詞對逆文檔頻率的主題新穎度度量方法[J].情報(bào)理論與實(shí)踐，2013，36（3）：99-102.

[26]任海英，王德營，王菲菲.主題詞組合新穎性與論文學(xué)術(shù)影響力的關(guān)系研究[J].圖書情報(bào)工作，2017，61（9）：87-93.

[27]錢佳佳，羅卓然，陸偉.基于問題—方法組合的科技論 文新穎性度量與創(chuàng)新類型識(shí)別[J].圖書情報(bào)工作，2021，65（14）：82-89.

[28]廖君華，劉自強(qiáng)，白如江，等.基于引文內(nèi)容分析的引 用情感識(shí)別研究[J].圖書情報(bào)工作，2018，62（15）：112-121.

[29] MORAVCSIK M J，MURUGESAN P. Some results on the function and quality of citations[J]，Social Studies of Science，1975，5（1）：86-92.

[30]彭秋茹，閻素蘭，黃水清.基于全文本分析的引文指標(biāo)研究——以 F1000推薦論文為例[J].信息資源管理學(xué)報(bào)，2019，9（4）：82-88.

[31]姜霖，張麒麟.基于引文細(xì)粒度情感量化的學(xué)術(shù)評價(jià)研究[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)，2020，4（6）：129-138.

[32] MARICIC S，JAGODA S，LEO P，et al. Citation context versus the frequency counts of citation histories [J]. Journal of the American Society for Information Science，1998，49（6）：530-540.

[33] SOMBATSOMPOP "N， KOSITCHAIYONG "A，MARKPIN T，et al. Scientific evaluations of citation quality of international research articles in the SCI database：Thailand case study[J]. Scientometrics，2006，66（3）：521-535.

[34]楊思洛，聶穎.結(jié)合全文本分析的論文影響力評價(jià)模型研究[J].現(xiàn)代情報(bào)，2022，42（3）：133-146.

[35]李賀，杜杏葉.基于知識(shí)元的學(xué)術(shù)論文內(nèi)容創(chuàng)新性智能化評價(jià)研究[J].圖書情報(bào)工作，2020，64（1）：93-104.

[36]曹樹金，趙浜，岳文玉，等.學(xué)術(shù)論文創(chuàng)新點(diǎn)的識(shí)別與檢索入口研究——以情報(bào)學(xué)期刊論文為例[J].現(xiàn)代情報(bào)，2021，41（12）：17-27.

[37]周海晨，鄭德俊，酈天宇.學(xué)術(shù)全文本的學(xué)術(shù)創(chuàng)新貢獻(xiàn)識(shí)別探索[J].情報(bào)學(xué)報(bào)，2020，39（8）：845-851.

A Review of Innovative Evaluation Methods for Academic Papers

CAO Huili

Abstract： This paper sorts out and classifies the research literature on innovative evaluation methods for academic papers， summarizes the shortcomings of the existing evaluation methods， and looks forward to the future research trends. In addition， this paper analyzes the differences between the impact evaluation and the innovation evaluation of academic papers， and points out the differences and emphases of the two evaluation methods. According to the different technologies and data used in the evaluation， the innovative evaluation methods are divided into three categories， namely， the method based on peer review， the method based on citation indicators and the method based on content indicators，and the principles and related studies of each method are reviewed. On this basis， this paper summarizes and analyzes the shortcomings of the current innovative evaluation methods for academic papers， and proposes future research directions.

Keywords： essay evaluation; essay innovation; innovative evaluation; peer review; citation indicator; content indicator

Author Affiliation： College of Information Management， Nanjing Agricultural University

引文格式：曹慧麗.學(xué)術(shù)論文創(chuàng)新性評價(jià)方法研究綜述[J].出版與印刷，2024（2）：71-78.

延伸閱讀：期刊影響因子

影響因子是一種衡量期刊影響力的指標(biāo)。其計(jì)算方法是將某一期刊前兩年發(fā)表的論文在特定統(tǒng)計(jì)年份中被引用的總次數(shù)除以該期刊在這兩年內(nèi)發(fā)表的論文總數(shù)。這個(gè)指標(biāo)是一個(gè)相對統(tǒng)計(jì)量，用于比較不同期刊之間的引用頻率。影響因子越高，通常意味著該期刊的學(xué)術(shù)影響力和作用也越大，但影響因子與學(xué)術(shù)質(zhì)量間并非呈線性正比關(guān)系，不具有對學(xué)術(shù)質(zhì)量進(jìn)行精確定量評價(jià)的功能。