□文│趙 均 李 波

定性評價學(xué)術(shù)論文是評價者基于個人的教育背景、研究習(xí)得和對學(xué)術(shù)前沿的把握，對論文的意識形態(tài)導(dǎo)向、學(xué)術(shù)水平和寫作質(zhì)量等做出的主觀價值判斷。學(xué)術(shù)論文定性評價的歷史悠久，與學(xué)術(shù)論文這種信息承載方式相伴而生，并且一度曾是唯一的論文評價方法。即使在時下“影響因子”作為主要評價指標(biāo)的情況下，在精細(xì)化評價、比對性評價、定性定量相結(jié)合評價等工作中，定性評價依然有“一席之地”。隨著大數(shù)據(jù)分析方法的加入，定性評價也必將在學(xué)術(shù)論文評價中重新煥發(fā)生機(jī)，發(fā)揮更為重要的作用。

相較于學(xué)術(shù)論文的影響因子、被引頻次等定量評價指標(biāo)而言，定性評價指標(biāo)更加難以獲得公允，莫衷一是。這一點(diǎn)從各類學(xué)術(shù)論文評選和各家學(xué)術(shù)期刊審稿標(biāo)準(zhǔn)的不統(tǒng)一就可以看得出來。一方面，評價意見需要通過預(yù)先設(shè)定的定性評價指標(biāo)來體現(xiàn)，以打分的形式獲得具體表達(dá)，否則難以實(shí)現(xiàn)評價意見的比較和匯總；另一方面，學(xué)術(shù)共同體對于論文定性評價指標(biāo)的具體劃分和指向又沒有規(guī)范性的指導(dǎo)，再加上漢語詞匯意合性強(qiáng)、語義模糊的特點(diǎn)，更使得對于學(xué)術(shù)論文定性評價指標(biāo)的表述難以獲得具象收斂。

定性評價是對學(xué)術(shù)論文最直觀顯性的主觀評價，定性評價指標(biāo)的混亂在一定程度上也影響到了定性評價學(xué)術(shù)論文的有效性和整體一致性。對學(xué)術(shù)論文開展大數(shù)據(jù)分析評價更需要用戶依據(jù)統(tǒng)一的定性評價指標(biāo)打分，這也使得對定性指標(biāo)的劃分開展研究顯得尤為重要。理論上來說，學(xué)術(shù)論文定性評價指標(biāo)不論如何劃分，都不可能是面面俱到、絕對正確的。盡管如此，仍舊應(yīng)該對其展開深入研究，以實(shí)現(xiàn)盡可能最有利于評價者打出無限接近學(xué)術(shù)論文實(shí)際學(xué)術(shù)水平的分?jǐn)?shù)。

一、定性評價標(biāo)準(zhǔn)的搜集整理

要想獲得普遍認(rèn)可的學(xué)術(shù)論文定性評價指標(biāo)，首先是要盡可能全面地搜集學(xué)術(shù)共同體對此的大量普遍認(rèn)識。學(xué)術(shù)論文被公認(rèn)為是最能迅速反映學(xué)術(shù)研究成果的信息承載方式，對論文定性評價標(biāo)準(zhǔn)的相關(guān)表述的搜集整理工作也應(yīng)該從相關(guān)學(xué)術(shù)研究論文著手。

考慮到搜集的目標(biāo)是獲得對于論文評價的各種相關(guān)表述，目的是為下一步凝練評價標(biāo)準(zhǔn)做準(zhǔn)備工作。基于此，筆者通過中國知網(wǎng)，以“審稿”作為主題詞，搜集了2011-2020年間刊登在學(xué)術(shù)期刊和學(xué)術(shù)輯刊的16114篇論文。再對其進(jìn)行優(yōu)選，挑選被引用過的論文合計(jì)1686篇，將其作為基礎(chǔ)研究對象（見表1）。

表1 優(yōu)選后的相關(guān)學(xué)術(shù)論文篇數(shù)（2011-2020）（截至2021年3月1日）

由于漢語的表達(dá)豐富性，同一種說法可以有多種表述。通過逐篇閱讀以上論文，在記錄其中有關(guān)審稿標(biāo)準(zhǔn)的內(nèi)容、逐條進(jìn)行甄別匯總歸并同類項(xiàng)的同時，也在歸并這些類型的表述。初次甄選合并確定有關(guān)審稿標(biāo)準(zhǔn)的條目如表2所示。

表2 初次甄選合并后的有關(guān)審稿標(biāo)準(zhǔn)條目數(shù)

二、評價指標(biāo)的確定

評價工作的簡便性要求評價標(biāo)準(zhǔn)本身具有簡明性，如果設(shè)定的評價標(biāo)準(zhǔn)太多，必然會影響到學(xué)者評價打分的積極性，且以上搜集到的定性評價表述本身也存在著交叉重疊問題。因此，需要深入分析這些表述的理論內(nèi)核，對相關(guān)表述進(jìn)行刪減和合并，精煉文字表達(dá)，以明確評價者打分時的評價取向。進(jìn)一步凝練整合后獲得以下表述：

①意識形態(tài)導(dǎo)向：是否符合黨的新聞出版政策和社會倫理道德等要求；

②創(chuàng)新性：新思路、新方法、新發(fā)現(xiàn)、新認(rèn)識等；

③科學(xué)性：論點(diǎn)合理可靠、論據(jù)恰當(dāng)充分、論證邏輯嚴(yán)密；

④重要性：選題價值、結(jié)論重要性；

⑤實(shí)用性（可借鑒性）：對實(shí)踐有指導(dǎo)意義（自然科學(xué)領(lǐng)域?qū)W術(shù)論文），有可參考性（人文社科領(lǐng)域?qū)W術(shù)論文）；

⑥寫作質(zhì)量：標(biāo)題精煉、摘要簡明、關(guān)鍵詞準(zhǔn)確、圖表合理、公式必要、引證規(guī)范、行文流暢、文字精當(dāng)、結(jié)構(gòu)合理、數(shù)字和計(jì)量單位符合標(biāo)準(zhǔn)。

需要特別指出的是，對于結(jié)論方面的評價，我們將之分為兩個方面，一方面是通過論證或?qū)嶒?yàn)之后，結(jié)論是否合理可靠；另一方面是結(jié)論是否重要。我們常會看到這樣的論文，經(jīng)過一系列邏輯嚴(yán)密的論證之后，獲得了一個人所共知的結(jié)論，但論證的科學(xué)性沒有任何問題?？紤]到這種情況，我們把“結(jié)論合理可靠”的評價放入“科學(xué)性”項(xiàng)，而把“結(jié)論是否重要”放入“重要性”項(xiàng)。之所以要設(shè)置“重要性”這一項(xiàng)，就是考慮到“選題價值”和“結(jié)論重要性”不是一個是否科學(xué)的問題，而是一個重要性的問題。

因此，學(xué)術(shù)論文評價指標(biāo)可以分為三個層級，第一個層級是意識形態(tài)導(dǎo)向、學(xué)術(shù)價值、寫作質(zhì)量。第二個層級，在意識形態(tài)導(dǎo)向項(xiàng)下可以分為政治導(dǎo)向和社會倫理道德要求，在學(xué)術(shù)價值項(xiàng)下可以分為學(xué)術(shù)水平和學(xué)術(shù)影響，在寫作質(zhì)量項(xiàng)下可以分為簡明流暢要求（標(biāo)題精煉、摘要簡明、關(guān)鍵詞準(zhǔn)確、行文流暢、文字精當(dāng)、結(jié)構(gòu)合理）、合理必要要求（圖表合理、公式必要）和標(biāo)準(zhǔn)規(guī)范要求（引證規(guī)范、數(shù)字和計(jì)量單位符合標(biāo)準(zhǔn)）。第三個層級，在學(xué)術(shù)水平項(xiàng)下可以分為創(chuàng)新性、科學(xué)性、重要性、實(shí)用性。第四個層級，在科學(xué)性項(xiàng)下分為論點(diǎn)合理可靠度、論據(jù)恰當(dāng)充分度、論證邏輯嚴(yán)密度，在重要性項(xiàng)下分為選題價值和結(jié)論重要性（見圖1）。

圖1 學(xué)術(shù)論文定性評價指標(biāo)層級圖

三、評價指標(biāo)權(quán)重核算

遴選后的各項(xiàng)定性評價指標(biāo)不可能同等表現(xiàn)，其權(quán)重分配應(yīng)該來自于對學(xué)術(shù)共同體普遍認(rèn)識的調(diào)研分析?？紤]到定性評價指標(biāo)調(diào)查統(tǒng)計(jì)的模糊性特征，評價結(jié)果受到多個指標(biāo)的影響，且這些指標(biāo)相互關(guān)聯(lián)、相互制約，最適合的統(tǒng)計(jì)分析方法是層次分析法。層次分析法的基本原理是依靠排序來區(qū)分優(yōu)劣等次，首先把所要研究解決的問題看成是在多重因子作用下的體系，將體系所要考察的因子根據(jù)互相的等級和隸屬關(guān)系排列，再邀請一定數(shù)量的專家學(xué)者對各因子兩兩比較其重要程度。最后利用數(shù)理統(tǒng)計(jì)方法，對各因子分層排出秩序，獲得分析研究結(jié)果。[1]

1.調(diào)研內(nèi)容的設(shè)計(jì)

為了獲得者各項(xiàng)評價指標(biāo)在用戶評價中的地位和權(quán)重， 對層級設(shè)計(jì)和調(diào)查問卷內(nèi)容的安排進(jìn)行討論優(yōu)化?！耙庾R形態(tài)導(dǎo)向”“學(xué)術(shù)影響”不需要調(diào)研，“寫作質(zhì)量”“創(chuàng)新性”“實(shí)用性（可借鑒性）”不需要下分選項(xiàng)。按照層次分析法的結(jié)構(gòu)，將評價指向重新定義，將圖1簡化為圖2。

圖2 調(diào)查問卷評價指標(biāo)重新定義層級圖

2.調(diào)研對象的遴選

學(xué)術(shù)期刊是傳播科學(xué)知識的主要媒介，同時也是學(xué)術(shù)共同體學(xué)習(xí)和交流學(xué)術(shù)研究成果的重要平臺。學(xué)術(shù)期刊的編輯群體由于工作崗位要求，主要的工作對象就是學(xué)術(shù)論文，日常承擔(dān)著大量的審稿、改稿、發(fā)稿任務(wù)。他們對某一篇論文學(xué)術(shù)質(zhì)量的評價也許比不上該學(xué)科領(lǐng)域的知名專家學(xué)者，但對論文的評價指標(biāo)權(quán)重分配的討論，卻是學(xué)術(shù)共同體中最有發(fā)言權(quán)的。特別是優(yōu)秀學(xué)術(shù)期刊的編輯，由于日常審看和加工的都是本領(lǐng)域的優(yōu)秀稿件，與本領(lǐng)域的優(yōu)秀作者群體交流甚密，更是學(xué)術(shù)期刊編輯群體中的理想被調(diào)查樣本群體?；谶@種認(rèn)識，調(diào)研范圍框定在了這些優(yōu)秀學(xué)術(shù)期刊的編輯群體。

為了覆蓋全部學(xué)科門類，被調(diào)研人群對象也必須兼顧各學(xué)科的學(xué)術(shù)期刊。因此，最終將開展調(diào)研的樣本采集范圍設(shè)置為《中文核心期刊要目總覽》（2020年版）遴選出的核心期刊群，進(jìn)行分學(xué)科抽樣。考慮到相近學(xué)科的學(xué)術(shù)研究共通性較高，同時考量所屬學(xué)科核心期刊的數(shù)量，可以酌情將相近學(xué)科歸并，這樣便于統(tǒng)計(jì)分析。歸并之后的核心期刊數(shù)量采用四舍五入原則，來確定提取樣本數(shù)量（見表3）。

表3 學(xué)術(shù)期刊調(diào)研抽樣比例

3.指標(biāo)權(quán)重計(jì)算結(jié)果

按照《中文核心期刊要目總覽》2020年版的分類方法，依據(jù)分類調(diào)研的數(shù)據(jù)，對各層次評價指標(biāo)在人文社科、自然科學(xué)、醫(yī)藥衛(wèi)生、農(nóng)業(yè)科學(xué)、工業(yè)技術(shù)這五大類學(xué)術(shù)論文的權(quán)重分別進(jìn)行計(jì)算，以提高對各專業(yè)領(lǐng)域?qū)W術(shù)論文評價的精準(zhǔn)度。同時也考慮到在具體評價實(shí)踐中為了提高效率或者兼容交叉融合領(lǐng)域的學(xué)術(shù)論文，可能需要忽略論文的學(xué)術(shù)方向，我們也計(jì)算了各層次評價指標(biāo)在不分專業(yè)領(lǐng)域情況下的權(quán)重。在學(xué)術(shù)論文定性評價的具體實(shí)踐工作中，可以根據(jù)評審數(shù)量和評選要求的精細(xì)化程度來選擇指標(biāo)層級。如果精細(xì)評價到第三個層級，論文定性評價指標(biāo)分為意識形態(tài)導(dǎo)向、創(chuàng)新性、科學(xué)性、重要性、實(shí)用性、寫作質(zhì)量共6個指標(biāo)。其中意識形態(tài)導(dǎo)向是評價學(xué)術(shù)論文的首要標(biāo)準(zhǔn)，如果論文在意識形態(tài)導(dǎo)向上有問題，直接一票否決制。精細(xì)到第三層次時各指標(biāo)權(quán)重分配見表4。

表4 精細(xì)至第三層次的定性評價指標(biāo)權(quán)重分布（保留至小數(shù)點(diǎn)后三位）

如果精細(xì)評價到第四個層級，論文定性評價指標(biāo)分為意識形態(tài)導(dǎo)向、創(chuàng)新性、論點(diǎn)合理可靠度、論據(jù)恰當(dāng)充分度、論證邏輯嚴(yán)密度、選題價值、結(jié)論重要性、實(shí)用性、寫作質(zhì)量共9個指標(biāo)，各指標(biāo)權(quán)重分配見表5。

表5 精細(xì)至第四層次的定性評價指標(biāo)權(quán)重分布（保留至小數(shù)點(diǎn)后三位）

四、結(jié)語

大數(shù)據(jù)分析方法對傳統(tǒng)定性評價方式的重新定義，賦予了定性評價指標(biāo)研究的現(xiàn)實(shí)意義和實(shí)踐需求。[2]對此進(jìn)行更為深入的研究，對于學(xué)術(shù)論文、學(xué)術(shù)期刊、學(xué)術(shù)成果的評價工作都會產(chǎn)生連鎖反應(yīng)。

學(xué)界對學(xué)術(shù)論文定量評價指標(biāo)的研究和討論比較常見，對定性評價指標(biāo)的討論較為少見。這并不能表明定性評價指標(biāo)的不重要，究其原因，還是源于定性評價指標(biāo)的不好劃分、不好描述、不好驗(yàn)證。為了克服這些困難，本項(xiàng)研究分為梳理定性評價指標(biāo)和調(diào)研分析指標(biāo)權(quán)重兩個部分。梳理定性評價指標(biāo)部分從10年間的相關(guān)研究論文中提取涉及學(xué)術(shù)論文定性評價的表述，分類合并、逐項(xiàng)分析，不需要精確比較孰多孰少，而在于盡可能全面地獲得定性評價意見指向，明確具體指向、合理劃分層次；在獲得指標(biāo)指向和層次的基礎(chǔ)上，調(diào)研分析指標(biāo)權(quán)重部分對核心期刊群進(jìn)行調(diào)研統(tǒng)計(jì)抽樣，利用層次分析法計(jì)算出各項(xiàng)指標(biāo)的權(quán)重分配。在實(shí)際評價中，主辦方可以綜合考慮評審要求，評審時長、參評論文量、資金投入等因素自主選擇將評審指標(biāo)精確到第三層次或第四層次。