程啟厚

（中國藥科大學期刊編輯部 江蘇南京 210009）

學術評價是以學術標準為尺度對學術活動效果作出價值判斷的過程[1]，其對于考核學術質量、評價學術價值、鑒定學術成果、引導學術方向具有重要意義，同時它還影響職稱評定、基金申請、獎項獲取、基地評審、研究資源再分配[2]及期刊資料的采購和訂 閱[3]等諸多方面。因此，科學合理的學術評價體系對于促進科學研究的良性發(fā)展具有重要意義。以期刊影響因子為核心的科學引文評價自產(chǎn)生以來，就伴隨著各種質疑和批判。2015年4月，英國《自然》雜志發(fā)表了Hicks等撰寫的文章——萊頓宣言，指出濫用文獻計量學對于學術評價結果的扭曲。同期，眾多科學組織、科學家和知名學術出版機構先后簽署《舊金山科研評估宣言》（DORA），倡導科研評估不要再過度依賴文獻計量學指標，呼吁改用更加全面的科研評估模式。這種抵制潮流使傳統(tǒng)引文評價的應用價值遭受到前所未有的挑戰(zhàn)。

在引文實踐中，除去錯誤引用等極端情況，施引與被引都是基于文獻內(nèi)容之間的某種相關關系。溫科勒[4]通過調(diào)查研究表明，引文都是與研究內(nèi)容的某個特殊點有關系、相關聯(lián)的，可以說80%以上的引用都是出于專業(yè)的原因。但文獻的相關性不能直接證明引用關系完全體現(xiàn)知識增長的累積性[5]，這是引文評價的理論缺陷。在實踐中，缺乏客觀數(shù)據(jù)有效性以及錯把數(shù)據(jù)相關當成因果關系等往往會導致統(tǒng)計陷阱的出現(xiàn)[6]。因此，以文獻相關性為基礎的傳統(tǒng)引文評價結果無法真實反映評價對象的學術質量和影響力。借鑒大數(shù)據(jù)研究的數(shù)據(jù)挖掘思路[7]，將引文分為因果性引文和非因果性引文，并利用因果性引文數(shù)據(jù)進行學術評價是一種潛在合理的評價方法。它能客觀反映被引文獻對后續(xù)研究的支撐作用，消除引用行為和引文相關關系差異對于評價結果的影響，有利于促進良好的科技評價和學術出版生態(tài)的構建。

1 引文的相關性及傳統(tǒng)引文評價的不合理性

1.1 引文的相關性

科技論文是在科學研究、實驗的基礎上，運用概念、判斷、推理、證明、反駁等邏輯思維手段對自然科學和專業(yè)技術領域里的某些現(xiàn)象或者問題進行專題研究、分析和闡述，揭示出這些現(xiàn)象和問題的本質及規(guī)律性而撰寫的文章[8]。由于科研工作的繼承性和關聯(lián)性以及學科之間的交叉性和滲透性，幾乎所有研究成果的取得都在不同程度上依賴已有的相關研究文獻資料。因此，參考文獻的引用和著錄是學術論文不可或缺的重要有機組成部分[9]。引文的相關性體現(xiàn)在諸多方面，如相同或相近的研究主題（對象）、研究思路和方法的借鑒，以及相近或相反的研究結果及結論等。

1.2 引用行為對引文選擇的影響

論文撰寫實踐中，通常只有部分相關文獻會被引用，因此引文選擇決定了文獻引用結果。排除文獻可得性和語種、專業(yè)背景及學術規(guī)范要求等客觀因素影響，引文選擇還受作者（編輯和審稿人）的引用習 慣[10]和利益選擇[11]等因素影響。Tahamtan等[12]認為，文獻的內(nèi)容、作者和發(fā)表期刊都會影響引文選擇。此外，主題是否社會熱點、載體傳播途徑與文章可讀性等因素也會對引文選擇產(chǎn)生影響。群體性的引文偏好會對引文結果產(chǎn)生很大影響，如引文中長期存在的馬太效應會使期刊強者恒強。但更值得關注的是，廣泛存在的利益因素對引文選擇的影響，即個體可能會通過調(diào)整引用行為來獲得現(xiàn)實利益，例如作者刻意引用擬投稿期刊文獻以提高錄用機會，審稿人要求作者修改時引用自己的文獻，期刊非自然自引或者互引，科研者操縱個人的h指數(shù)[13]等。顯然，部分個體的利益選擇行為無疑會放大傳統(tǒng)引文評價方法的弊端，使評價結果偏離內(nèi)容的學術質量并最終極大削弱了傳統(tǒng)引文評價方法的價值。相較于群體性的引文偏好，利益選擇對傳統(tǒng)引文評價帶來更大的負面效應，也是其被抵制的重要原因。

1.3 引文相關的多樣性及應用于學術評價的復雜性

由于引文相關關系具備多樣性且其在評價中并未得到體現(xiàn)，以傳統(tǒng)的引文指標為主的評價方式無法真正評價學術期刊質量[14]。因此，對引文關系進行分類研究對于探討引文評價合理性非常必要，國內(nèi)外學者也對此進行了一系列研究。朱大明[15]將引文評價分為肯定型、否定型和商榷型，認為無論哪種引用都不能否定被引文獻的學術價值；劉雪立[16]則將文獻引用分為繼承性引用、指示性引用和批判性引用，并認為在統(tǒng)計引證次數(shù)時應該剔除批判性引用的次數(shù)。他們的研究都基于施引文獻作者對被引文獻內(nèi)容的評價是否正面，但他們對否定性和批判性引用是否應該計入統(tǒng)計數(shù)據(jù)持不同看法。這種對被引文獻具體科學意義、局限性的評判類似于同行評議，忽視了被引文獻對施引文獻的學術支撐作用，也未必能反映文獻背后科學研究之間的繼承性。因此，利用這種引文關系的區(qū)分方式無法對傳統(tǒng)引文評價進行改進。李沖[17]則將引文分為實質性、程序性和形式性引用，提出3種類型引文施引文獻知識創(chuàng)新的作用程度不同，實質性引文最高，程序性居中，形式性引文最低，并提出對各種類型引文進行區(qū)分能提高引文分析指標用于個體學術評價的可靠性[18]。雖然筆者并不認同程序性引文的知識創(chuàng)新作用一定低于實質性引文，但這種分類方法以文獻知識創(chuàng)新作用為切入點，突出了被引文獻對施引文獻的價值貢獻，排除了施引作者主觀因素或者利益對引文數(shù)據(jù)結果的影響，這為引文按對施引文獻的價值分類并科學應用于學術評價提供了可能，也與國外學者將文獻的引用功能分為5個等級和10個類別的結論[19-20]類似。

2 因果性引文與引文評價

在傳統(tǒng)引文評價長期的應用實踐中，曾出現(xiàn)過一些數(shù)據(jù)處理方法和思路，如剔除自引、引文加權值[21]等。前者的理論依據(jù)不足，因為自引也可能是正當合理的引用，尤其在一些新興交叉學科或者特定細分研究領域自引廣泛存在，剔除自引后的評價結果可能會嚴重失真。另外，剔除自引只能一定程度上解決惡意自引問題，但無法解決利益誘導下的互引等問題。引文加權值能反映不同引文對施引文獻作用的不同，但需要專業(yè)人士逐條甄別賦值，操作難度大，且使引文評價失去便捷性的優(yōu)點而不具備操作性。

大數(shù)據(jù)分析是近期的研究熱點，目前已有在情報研究相關領域的應用[22]。大數(shù)據(jù)具備數(shù)據(jù)規(guī)模大、數(shù)據(jù)種類多、數(shù)據(jù)要求處理快、數(shù)據(jù)價值密度低的共同特征[7]，引文數(shù)據(jù)也基本符合這些特征。在大數(shù)據(jù)的具體應用時，需針對特定的應用分析數(shù)據(jù)使之轉化成有用的結果，海量的數(shù)據(jù)才能發(fā)揮具體作用[7]。引文評價作為一種定量評價方法，具體引文中施引文獻和被引文獻之間不僅普遍具備相關性，整體的引文數(shù)據(jù)也具備大數(shù)據(jù)的特征。因此，引文數(shù)據(jù)應用于學術評價時也應通過數(shù)據(jù)分類挖掘，對文獻的相關關系進行區(qū)分，評價結果才可能具備合理性。鑒于此，基于是否對施引文獻知識創(chuàng)新具有支撐作用將引文分為因果性引文和非因果性引文，并以因果性引文數(shù)據(jù)作為基礎進行定量評價是一個潛在的合理方法。

2.1 因果性引文與非因果性引文的內(nèi)涵

因果關系是現(xiàn)代科學建立的基石，科學研究也以探尋事物的因果關系為根本任務[23]。將因果關系引入引文分類中，將普遍存在相關性的引文分為因果性引文和非因果性引文。因果性引文是指對施引文獻知識創(chuàng)新產(chǎn)生科學性和邏輯性支撐作用的文獻，是施引文獻產(chǎn)生和存在的前提，引用內(nèi)容對于施引文獻具備不可或缺性，是施引文獻內(nèi)容的一部分。因果性引文對施引文獻的支撐作用主要體現(xiàn)在以下方面：①對具體選題或研究思路的啟發(fā)，如試藥的發(fā)現(xiàn)是試藥性質研究的前提，新的科學假設會啟發(fā)新的研究方向；②研究方法的參考，新的技術手段是某些具體科研的支撐手段，是獲得具體科學發(fā)現(xiàn)的前提；③結論的理論或數(shù)據(jù)支撐等。而非因果性引文內(nèi)容對于施引文獻內(nèi)容的科學性和邏輯性沒有影響，一般是用于構成研究相關主題要素的知識譜系，反映科學研究之間的一般關聯(lián)關系，非因果性引文內(nèi)容的缺失并不對施引文獻的科學性、邏輯性和完整性造成影響，但可能會影響讀者評判具體研究意義和潛在應用價值。

2.2 因果性引文與非因果性引文的差別

從引文的動機和功能角度來看，因果性引文的引用目的是為了向同行讀者，尤其是編輯和審稿人證實研究的可靠性，引用體現(xiàn)了科學研究的繼承性。被引內(nèi)容的主要功能是支撐施引文獻的科學性和邏輯性，是施引文獻內(nèi)容的有機組成部分，其對于施引文獻不可或缺。而非因果性引文的引用目的主要是為了表述相關主題的研究現(xiàn)狀、本研究的潛在應用價值等，引用體現(xiàn)了學科的關聯(lián)度和交叉性，被引內(nèi)容的功能是向讀者提供研究主題的更多信息以定位本研究的知識譜系，相關內(nèi)容的缺失可能會影響文章的可讀性，但不對結果或結論的學術價值產(chǎn)生影響。由于因果性引文內(nèi)容對于施引文獻的重大價值，施引作者對其內(nèi)容會有更加深入的了解，對其科學性必然認同，其引用行為符合“認可論”[5]；非因果性引文由于其內(nèi)容對于施引文獻的價值較低，作者對其內(nèi)容并不一定會深入了解，而是按照學術共同體的撰文規(guī)范進行形式性[17]引用，其引用行為符合“說服論”[5]。從引用原則的角度來看，因果性引文應引用最初的原始文獻，這不僅體現(xiàn)了對被引文獻原創(chuàng)內(nèi)容的認可，也有利于知識的準確傳播并方便同行進行驗證；而對于非因果性引文，一般引用最新的相關文獻，以便讓同行讀者了解相關研究最新進展和準確評估其潛在應用價值。非因果性引文的選擇有較大的彈性和不確定性，通常受作者專業(yè)背景、引用習慣和利益因素等影響。另外，從文獻的傳播效應[24]角度來看，被引反映的是文獻學術成果的傳承和傳播，因果性引文契合了文獻的傳承效應，而非因果性引文體現(xiàn)了文獻的信息傳播作用。

2.3 基于人工智能技術的因果性引文評價方法構建

學術評價作為學術活動的一部分，應該由廣泛的學術共同體來完成[25]。同行評議作為一種定性的評價方法，評價行為一般由學術共同體中的少數(shù)代表來完成；而文獻施引是學術共同體的群體自發(fā)行為，施引過程中的引文選擇行為會受到諸多因素影響且引用的目的并不等同于評價，這是導致引文評價不合理的主要原因。學術共同體不僅可以評判論文的學術價值和引文的合理性，對于引文的因果性也能進行明確判斷。因此從理論上看，如果學術管理機構可以組織科研院所和大型學術團體進行廣泛討論并制定統(tǒng)一引文原則，引導科研人員按因果性與否對引文進行區(qū)分并分別著錄，在學術評價時只采用因果性引文數(shù)據(jù)，則其結果能反映被引文獻對后續(xù)相關研究的支撐，或者是后續(xù)相關研究者對被引文獻內(nèi)容創(chuàng)新性的認同，使得評價結果與內(nèi)容質量更具備一致性。這一方法從理論上可行，但操作難度極大，不僅需要制定適合各個學科領域的引文原則，還要對廣大作者、編輯和審稿人進行教育引導，實際上賦予引文加權值[21]一樣不具備可操作性。

近年來，人工智能技術的發(fā)展日新月異，其不僅在常規(guī)的信息文獻檢索[26]和各種可視化的知識圖譜生成[27]等方面開始應用，而且開始涉足評價引文的參考價值[28]。2016年，位于華盛頓西雅圖的艾倫人工智能研究所（Allen Institute of Artificial Intelligence）啟動了一項名為Sematic Scholar（語義學術）的服務，旨在通過文獻研究衡量科學家或科學組織對后續(xù)研究的影響。通過建立深度學習模型，理解和分析一系列因素，包括某篇論文在施引文獻中被引次數(shù)、每次被引時的位置及上下文背景等，判斷作者對所引用文獻的態(tài)度并辨別引用的價值，并因此建立了一個新的引文指標——高影響力引用次數(shù)（Highly Influential Citations）[28]。雖然這一指標是基于人工智能算法的不斷學習建立的，但其與因果性引文的思路基本一致，都是基于被引文獻對于施引文獻的價值貢獻。如果該算法得到公認，將其引入到其他學術引文數(shù)據(jù)庫及搜索引擎中，則使基于引文分析的學術影響力評價體系更為客觀。Sematic Scholar項目從計算機研究領域開始，逐步向神經(jīng)科學領域等拓展。此外，還有其他一些公司介入了人工智能應用于信息檢索領域，從不同的學科文獻入手推出了類似產(chǎn)品和服務，如微軟公司的Microsoft Academic Search和Digital Science科技公司創(chuàng)建的Dimensions等。這些人工智能產(chǎn)品以其便捷、準確的特點而得到迅速的商業(yè)化，為因果性引文評價的應用創(chuàng)造了現(xiàn)實條件。

3 結語

學術評價的內(nèi)涵是基于內(nèi)容來評價學術成果，是在科學性的基礎上對學術成果的創(chuàng)新性進行評估。傳統(tǒng)引文評價利用引文數(shù)據(jù)來定量評價學術成果，其本質上是一種基于“流量”的評價體系，這種體系既忽視了不同相關引文的功能差別，在現(xiàn)實中也可能會誘導參與者對引文數(shù)據(jù)進行干預，使科學研究、科技管理和出版行為偏離正軌，影響科研和科技出版的學術生態(tài)，也會誘導科技期刊調(diào)整編輯出版方針。因此，近年來我國學術評價體系中逐步淡化引文評價方法，如近期出臺的《國家科學技術獎勵條例（修訂草案）》，取消了填寫論文期刊影響因子并鼓勵以發(fā)表在國內(nèi)期刊的論文作為代表作。但是，對于期刊學術質量這種整體的評價，并沒有便捷的評價方法，基于相關性的傳統(tǒng)引文評價還會在一定時期內(nèi)存在并發(fā)揮影響，如在“中國科技期刊卓越行動計劃”的考核中，總被引和影響因子仍然是極其重要的指標，并對我國科技期刊出版生態(tài)帶來較大影響。

作為一種量化評價方法，引文評價不是一個科學理論，而是一種應用社會研究。如果學術研究的客觀性足以抵消人的主觀性影響，量化模式應用于自然科學研究仍然具備合理性[29]。借鑒大數(shù)據(jù)分析中的數(shù)據(jù)挖掘思路，將因果關系這種客觀性引入到引文評價中，既能使評價結果客觀地反映被引內(nèi)容對施引文獻知識創(chuàng)新的價值，又能遏制評價對象惡意鉆空子。人工智能的快速發(fā)展及其在文獻檢索及文獻作用評價中的廣泛應用，則為構建基于因果性的引文評價體系創(chuàng)造了技術和現(xiàn)實條件，也對恢復良好的科技期刊編輯出版生態(tài)具有重要意義。