文/趙 均
定性評價學(xué)術(shù)期刊是一種歷史悠久、經(jīng)驗豐富、考察全面的評價方法,但由于在學(xué)術(shù)質(zhì)量的評價上缺少數(shù)量值的明顯區(qū)別,給人一種不科學(xué)、不透明的印象。在引文統(tǒng)計分析方法被引進(jìn)和普遍推廣之后,定性評價方法的影響力似乎日漸式微,但隨之而來的定量評價中對數(shù)字的崇拜日益嚴(yán)重,甚至到了唯影響因子馬首是瞻的程度,學(xué)術(shù)界和期刊界對此質(zhì)疑之聲不斷。我們有必要重新認(rèn)識學(xué)術(shù)期刊的定性評價方法,深入分析定性評價指標(biāo)和評價過程控制因素,對其中的優(yōu)缺點(diǎn)與定量評價相比照,以便于在實際工作中有針對性地加以利用。
學(xué)術(shù)刊物的定性評價必須基于各項定性評價指標(biāo)來進(jìn)行,各類評價體系根據(jù)評價目的的不同自主選擇相應(yīng)的評價指標(biāo)。學(xué)術(shù)期刊的定性評價指標(biāo)主要有政治標(biāo)準(zhǔn)、學(xué)術(shù)質(zhì)量、編輯質(zhì)量、出版質(zhì)量、社會影響、質(zhì)量保障水平等。
政治標(biāo)準(zhǔn)分為思想指導(dǎo)和法律規(guī)定兩大類。思想指導(dǎo)類標(biāo)準(zhǔn)要求刊物堅持正確的輿論導(dǎo)向,全面、準(zhǔn)確地宣傳黨的路線、方針、政策,嚴(yán)格按照辦刊宗旨及專業(yè)分工范圍出刊,促進(jìn)社會科學(xué)的繁榮與發(fā)展。法律規(guī)定類標(biāo)準(zhǔn)要求刊物嚴(yán)格遵守國家憲法和法律,遵守《中華人民共和國保守國家秘密法》和《中華人民共和國著作權(quán)法》,嚴(yán)格執(zhí)行《出版管理條例》和《期刊出版管理規(guī)定》等法規(guī)和制度。
在按照政治標(biāo)準(zhǔn)評價學(xué)術(shù)期刊,尤其是評價人文社科學(xué)術(shù)期刊時要注意兩個問題,一是把握政治原則與學(xué)術(shù)自由的界限,學(xué)術(shù)自由是學(xué)術(shù)繁榮發(fā)展的必備土壤,既要反對片面擴(kuò)大政治標(biāo)準(zhǔn),對學(xué)術(shù)觀點(diǎn)上綱上線,限制學(xué)術(shù)研究的爭鳴與探索,也要警惕以“學(xué)術(shù)自由”為幌子,對黨和國家的意識形態(tài)建設(shè)產(chǎn)生消極影響。二是在刊物政治標(biāo)準(zhǔn)的具體考評上,對政治標(biāo)準(zhǔn)可以采用打分制,也可以采用一票否決制。一票否決制指的是如果刊物在政治標(biāo)準(zhǔn)上出現(xiàn)了問題,直接取消其參選資格。
刊物的學(xué)術(shù)質(zhì)量來自于刊發(fā)論文的整體學(xué)術(shù)研究價值和學(xué)術(shù)影響,包括學(xué)理框架的創(chuàng)新和構(gòu)建、學(xué)術(shù)前沿的探索和突破、科學(xué)研究的互通和融合、實踐經(jīng)驗的梳理和提煉、對后續(xù)學(xué)術(shù)研究的影響和激活等??锏膶W(xué)術(shù)質(zhì)量是評價學(xué)術(shù)期刊的主要標(biāo)準(zhǔn),對于長期持續(xù)關(guān)注本專業(yè)領(lǐng)域?qū)W術(shù)刊物的專家來說,各家參評刊物的學(xué)術(shù)水平高低在心中早有大致把握,主要精力可能會集中在水平相近刊物的細(xì)致比對和相對陌生刊物的仔細(xì)查看上。
對綜合性學(xué)術(shù)期刊學(xué)術(shù)質(zhì)量的評價是個難點(diǎn),可以把各學(xué)科專家組的評價按照各家期刊在各專業(yè)領(lǐng)域刊發(fā)論文上的比例作為權(quán)重綜合評分,也可以組成跨專業(yè)專家組對參選刊物綜合討論評價。不管使用哪種方法,專家組成員最好不發(fā)生變化,以保證判斷標(biāo)準(zhǔn)的相對持續(xù)統(tǒng)一。
編校質(zhì)量的評價是考評編輯和校對對刊物所做的貢獻(xiàn)度。要求學(xué)術(shù)刊物具有清晰明確的辦刊思路、新穎獨(dú)特的欄目設(shè)置,體現(xiàn)為解決重大理論與現(xiàn)實問題服務(wù)的特點(diǎn);刊物注重學(xué)術(shù)規(guī)范建設(shè),所刊發(fā)論文學(xué)風(fēng)嚴(yán)謹(jǐn);刊文符合學(xué)術(shù)論文的寫作要求,遵守國家語言文字規(guī)范和學(xué)術(shù)期刊編排體例,論文注釋和參考文獻(xiàn)注引標(biāo)準(zhǔn)化;刊物整體文字差錯率控制在較低水平;圖表編排和標(biāo)點(diǎn)符號的使用正確等。
出版質(zhì)量包括刊物能否按時出刊,封面、版式的設(shè)計是否得體,刊物印刷精美程度和裝訂水平的優(yōu)劣。出版質(zhì)量是學(xué)術(shù)期刊直觀顯性的外在質(zhì)量呈現(xiàn),其深層考量是要達(dá)到形式與內(nèi)容的和諧統(tǒng)一。反對固守過時老舊的期刊形象作為高深學(xué)術(shù)的代表面孔,也要防止過度包裝帶來的喧賓奪主。
刊物的社會影響包括刊物的學(xué)術(shù)影響、行業(yè)影響、經(jīng)濟(jì)效益、公益貢獻(xiàn)等內(nèi)容。具體體現(xiàn)為刊物在學(xué)科領(lǐng)域中的地位,對學(xué)術(shù)人才的培養(yǎng)和支持力度,在發(fā)現(xiàn)和培養(yǎng)科研人才方面所起的直接或間接作用;刊物對行業(yè)實踐的指導(dǎo)價值和意義;促進(jìn)相關(guān)的研究成果應(yīng)用所獲得的經(jīng)濟(jì)效益;刊物自身的發(fā)行收入水平等。
質(zhì)量保障水平包括刊物人員狀況、制度建設(shè)、工作流程、硬件條件等。人員狀況指刊物主編的政治素質(zhì)、業(yè)務(wù)水平、學(xué)術(shù)素養(yǎng)和學(xué)術(shù)聲望,編輯人員職稱、學(xué)歷、年齡結(jié)構(gòu)等;制度建設(shè)指刊物的內(nèi)部管理制度、審稿制度、用稿制度、考核制度和分配制度等的合理公正程度,是否體現(xiàn)科學(xué)管理、鼓勵先進(jìn)的原則,是否建立符合實際需要的用人制度和嚴(yán)格、科學(xué)的績效考核指標(biāo)體系;工作流程是否科學(xué)高效,有沒有質(zhì)量監(jiān)督和管控設(shè)計;硬件條件包括辦公用房、辦刊經(jīng)費(fèi)、圖書資料建設(shè)、辦公設(shè)備等是否達(dá)標(biāo),在編輯、審稿、出版、稿件管理等工作中的現(xiàn)代化程度等。
定性評價過程控制主要由評審人員、評價指標(biāo)、評價標(biāo)準(zhǔn)、評議方法等要素決定,嚴(yán)謹(jǐn)精準(zhǔn)的要素選擇是評價結(jié)果公正客觀的基礎(chǔ)。
在定性評價過程中,評審人員的遴選無疑是最重要的一環(huán)。期刊評審人員主要來自于主管部門、編輯出版界、本專業(yè)領(lǐng)域、圖書館、讀者群等。政治標(biāo)準(zhǔn)一般應(yīng)由來自主管部門的專家評價;編輯質(zhì)量、出版質(zhì)量和質(zhì)量保障水平一般應(yīng)由編輯出版界和圖書館專家評價;學(xué)術(shù)質(zhì)量和社會影響一般應(yīng)由本專業(yè)領(lǐng)域?qū)<襾碓u價,由于學(xué)術(shù)期刊的讀者群是高度專業(yè)化的小眾,本專業(yè)領(lǐng)域?qū)<以u審和讀者評議可以合二為一。
評審人員可以是海量專家參與,也可以由小范圍權(quán)威專家組成。前者用大數(shù)量的海評來淹沒個別學(xué)者的意見偏向,需要依靠專家數(shù)據(jù)庫和計算機(jī)輔助遴選;后者主要由評價管理者和專業(yè)權(quán)威共同來選擇評審人員,由于在學(xué)科領(lǐng)域有較深造詣的權(quán)威專家對學(xué)術(shù)期刊的認(rèn)知水平高,也較少有求于特定學(xué)術(shù)期刊,且時間成本少,因而被廣泛采用。當(dāng)然權(quán)威專家的選擇也需要仔細(xì)甄別,一是評審專家的研究領(lǐng)域應(yīng)和被評審刊物盡可能切合,尤其是要注意分支學(xué)科和交叉學(xué)科專家的選擇;二是應(yīng)選擇責(zé)任心強(qiáng)、學(xué)術(shù)品德高尚、對學(xué)術(shù)期刊評價懷有良知的專家參與評審。
在評審人員名單是否公示的問題上也一直存有爭議,一方面,公示評審人員名單被認(rèn)為是評審過程公正透明的重要環(huán)節(jié),尤其是評審前的公示可以接受各方面的質(zhì)詢和申訴,會有利于評審人員名單的最終盡可能公正的確定;另一方面,公開評審人員名單會給評審人員帶來各種壓力,招致來自各方面的人情請托、利益輸送,頗受評審人員的抵制,所以目前大都普遍采取不公開評審人員名單,也就是專家匿名評審,以免招致不必要的麻煩。
任何一次定性評價過程都必須要選擇合適的一項或多項評價指標(biāo),在評價指標(biāo)的選擇上要有針對性,避免求全責(zé)備。如果要整體評價學(xué)術(shù)期刊,可以按照多項指標(biāo)來考評,但各種評價指標(biāo)在權(quán)重上也應(yīng)有分別。倘若只是評價期刊的學(xué)術(shù)質(zhì)量,那么編輯質(zhì)量、出版質(zhì)量、質(zhì)量保障水平等指標(biāo)要減少權(quán)重甚至可以忽略,以免出現(xiàn)一本印刷精美但學(xué)術(shù)質(zhì)量欠佳的期刊堂而皇之地成為重要學(xué)術(shù)期刊。
評價標(biāo)準(zhǔn)是指在評價指標(biāo)內(nèi)劃分的等次標(biāo)準(zhǔn),在評分標(biāo)準(zhǔn)的劃分上有兩種設(shè)計:一種是盡可能具體明確規(guī)定打分標(biāo)準(zhǔn),而且在標(biāo)準(zhǔn)的劃分上越細(xì)致清晰越好,引導(dǎo)評審人進(jìn)行科學(xué)有效的評定,減少評審中的不確定性,[1]避免在綜合專家意見時出現(xiàn)幅度小的打分被幅度大的挾持。另一種是只在大方向上有規(guī)定,由專家依靠個人總體感覺來評判,避免陷入細(xì)碎考究,影響全面權(quán)衡刊物的辦刊質(zhì)量。
評議方式一般有通訊評議(通過網(wǎng)絡(luò)或郵函)、小型會議評議、評審組評議、實地調(diào)研、多次評議、落選申訴等方式,可以根據(jù)評審工作量的大小、資金投入的多少、評審周期的長短、評審程序的繁簡等因素綜合考慮,采用其中一種或幾種方式組合來安排評議方式。
在小樣本的學(xué)術(shù)期刊評審時,有時要求專家提供評議意見,幫助期刊在今后的發(fā)展中確立努力目標(biāo)和改進(jìn)方向。在大范圍的評審中,普遍采用專家打分法,包括各自獨(dú)立打分法、共同討論評議法、集體討論單獨(dú)打分法、德爾菲法等評審方法。
(1)各自獨(dú)立打分法
這種方法主要基于本專業(yè)領(lǐng)域權(quán)威專家學(xué)者的良好專業(yè)素養(yǎng)能為期刊評價帶來高度專業(yè)化和有價值的意見。每位專家的打分值可以有相同的權(quán)重,也可以根據(jù)專家意見的重要性給予不同的權(quán)重。集合評委的意見,最后匯總得出一個綜合評分值。這種方法的優(yōu)點(diǎn)在于評委不需要集體開會,節(jié)約了會議成本和時間成本;采用匿名和背靠背的方式,可以使每一位專家獨(dú)立地做出自己的判斷,不會受到其他外界因素的影響。
(2)共同討論評議法
評價的最終結(jié)果是由評審委員會或小組做出決定,所有評審成員都必須就最終決定達(dá)成共識。這種方法的優(yōu)點(diǎn)是大家可以充分討論,并當(dāng)場就別人的意見做出反駁或者妥協(xié),有利于各方意見的較快收斂。但如果現(xiàn)場出現(xiàn)一個有強(qiáng)勢話語權(quán)的人,會對其他評委施加過多的影響,甚至強(qiáng)迫別人同意他的意見,就會使最終結(jié)果被個別人左右;如果出現(xiàn)兩個或多個有話語權(quán)的人,評審意見可能會相持不下,就會使最終決定難產(chǎn)。
(3)集體討論單獨(dú)打分法
集體討論單獨(dú)打分法在形式上是前兩種方法的結(jié)合體,先召開評委會議進(jìn)行意見交流,然后各自獨(dú)立打分。評審人員在前期討論中可以吸收多方觀點(diǎn)以修正自己的偏見,避免了討論當(dāng)場公開做決定時的隨聲附和或意見沖突。
(4)德爾菲法
德爾菲法的形式是由組織者向每位專家組成員單個通信聯(lián)絡(luò),專家之間背靠背發(fā)表意見,組織者在對專家意見進(jìn)行整理、歸納、統(tǒng)計后,再反饋給各專家,再次征求意見,如此反復(fù)多次直至得到一致的意見。德爾菲法的優(yōu)點(diǎn)在于專家組成員在完全匿名的情況下交流思想,可以消除權(quán)威的影響。缺點(diǎn)一是過程比較復(fù)雜,花費(fèi)時間較長;二是議題不能太復(fù)雜,那樣會導(dǎo)致意見難以實現(xiàn)集中。
評價的本質(zhì)是人對事物和現(xiàn)象所作的主觀價值判斷,評價的結(jié)果可以是公平、公正的,但不可能是絕對客觀的,學(xué)術(shù)期刊的評價當(dāng)然也概莫能外。學(xué)術(shù)期刊的定量評價主要來自于被引用量的統(tǒng)計,是對微觀同行評議個例的宏觀計量,本質(zhì)上還是定性評價,依然是屬于主觀判斷性質(zhì)。雖然對評價結(jié)果的解釋可以有各種自圓其說,但并不能說主觀判斷就沒有高低之分,主觀判斷的高低之分在于是否有失公允,是否符合大多數(shù)人對此的期望。
學(xué)術(shù)期刊的定量評價目前只適用于對學(xué)術(shù)質(zhì)量的考察,主要通過使用引文分析法計算出的總被引頻次、影響因子、即年指標(biāo)等計量指標(biāo)來考評刊物。由于有明確的數(shù)值比較,使得過去飽受手續(xù)煩瑣、人情往來等爭議的學(xué)術(shù)期刊定性評價變?yōu)椴僮骱啽?、可排序比對,定量評價方法因而得以大行其道,深受科研管理部門的歡迎和廣泛采用。
定量評價的主要依據(jù)是刊物間的被轉(zhuǎn)摘和引用行為。被轉(zhuǎn)摘行為源于文摘刊物對符合自身辦刊宗旨和選文傾向的文章向讀者推薦閱讀,引用行為只是標(biāo)示研究者在學(xué)術(shù)研究過程中受到某文獻(xiàn)的足夠影響。影響效應(yīng)、擴(kuò)散程度和顯示度本身并不是論文學(xué)術(shù)水平的直觀呈現(xiàn)方式,用影響力和擴(kuò)散度來衡量刊物的學(xué)術(shù)質(zhì)量其實是一種“錯位”。而且把被轉(zhuǎn)摘和引用行為統(tǒng)一對待,無法體現(xiàn)出被轉(zhuǎn)摘和引用行為性質(zhì)的千差萬別,被轉(zhuǎn)摘和引用行為在實際操作中也受到各種不正當(dāng)轉(zhuǎn)摘和引用因素的干擾,這些因素都會影響到刊物學(xué)術(shù)質(zhì)量評價的可印證程度。這也是被轉(zhuǎn)摘和引文分析法應(yīng)用到學(xué)術(shù)評價領(lǐng)域一直存有爭議的主要原因。
應(yīng)該看到,任何一種評價方法都不是完美無缺的。學(xué)術(shù)期刊的定性評價畢竟是刊物學(xué)術(shù)質(zhì)量在認(rèn)識上的投射,在本質(zhì)上優(yōu)于定量評價學(xué)術(shù)期刊帶來的“錯位”效果,但符合期望的定性評價還有賴于在評價過程控制中各環(huán)節(jié)的完美表現(xiàn),在實際工作中卻不可能做到盡善盡美。
(1)評審程序的設(shè)置水平
評審的過程在選擇評審人、指標(biāo)、標(biāo)準(zhǔn)、方式、方法等方面的設(shè)置上存在著多種選擇,這些選擇并沒有直觀的優(yōu)劣之分。不同類型的期刊學(xué)術(shù)質(zhì)量評審在最初的方案制定上,需要依據(jù)評審目的、評選范圍、經(jīng)濟(jì)成本、時間效率、結(jié)果呈現(xiàn)等多方面的因素綜合考慮。評審程序設(shè)置水平的高低必然會影響到最終評審結(jié)果的公正合理性。
(2)評審人員的學(xué)術(shù)水平和主觀傾向
即使是從專家數(shù)據(jù)庫中隨機(jī)遴選評審專家,評審組織人員對評審領(lǐng)域非常熟悉、對評審工作有責(zé)任心,也不能保證最終選擇的專家完全能夠勝任評審工作。有些專家的知識面、學(xué)識與影響力不符,缺乏全局視野和前瞻性,學(xué)術(shù)觀點(diǎn)落后保守,其評審意見也就自然會失之偏頗。
在定性評價過程中,評審人員完全依靠主觀學(xué)術(shù)直覺獨(dú)立進(jìn)行價值判斷,不摻雜個人利益在內(nèi)的主觀偏見會或多或少存在,在程序上可以通過多人多次評價來消減這些偏向。但在實際評價工作中出現(xiàn)的權(quán)威主義、人情關(guān)系、利益驅(qū)使、盲目服從多數(shù)等不良傾向會嚴(yán)重侵蝕評審結(jié)果的公平公正性。定性評價實行的是科學(xué)民主制度,意味著不徇私情,而科學(xué)民主制度與人情交往從原則上是格格不入的。人際關(guān)系在評審過程中會表現(xiàn)出合作和對抗兩種方式:評審人員相互或多人合作,結(jié)成臨時利益聯(lián)盟,互相給對方的目的刊物打高分,使特定刊物在評審中擁有優(yōu)勢。評審人員也可以由于與被評審刊物主辦者存有個人恩怨,邀集同情者打壓目的刊物。已經(jīng)有研究者提出對專家評議狀況進(jìn)行評估,通過評估指標(biāo)對專家進(jìn)行排序。部分科學(xué)基金項目也已建立了對同行評議專家的評估,以便于篩選出重點(diǎn)評審專家,增強(qiáng)評審工作的公正性。[2]
(3)評審管理者的責(zé)任心和組織能力
定性評價完全是人為操作,評審管理者雖然隱于幕后,但在評審人員、評審標(biāo)準(zhǔn)、評審程序的選擇安排上,其實是具有超越評價的管理權(quán)力。不管是通過專家數(shù)據(jù)庫檢索還是專業(yè)權(quán)威協(xié)助遴選評審人名單,不管是多方征求意見還是由專業(yè)機(jī)構(gòu)制定評審標(biāo)準(zhǔn)和程序,評審管理者都擁有最終確定權(quán)。評審管理者如果責(zé)任心不夠、組織能力有限,必然會反映到定性評價的最終結(jié)果上。如選擇專業(yè)能力不夠或聽命于自己的評審人、在評審標(biāo)準(zhǔn)和程序上主觀故意不合理設(shè)置,都會使定性評價在實施的第一步就走向異化。
對學(xué)術(shù)期刊學(xué)術(shù)質(zhì)量的正確評價,只能是來自于定性評價各環(huán)節(jié)的公平公正實施。也正是由于評價的主觀判斷性質(zhì),即使是同樣的參選期刊名單,在保證過程控制因素同等水平的情況下,其評價結(jié)果也不能保證完全一樣。也就是說,學(xué)術(shù)質(zhì)量的評價沒有可重復(fù)驗證性。期刊學(xué)術(shù)質(zhì)量的評價是多維度的,在下面的學(xué)術(shù)期刊學(xué)術(shù)質(zhì)量定性評價與定量評價比較的示意圖中以域的形式表示。實際操作中的定性評價效果常常溢出刊物學(xué)術(shù)質(zhì)量的正確評價,也就是對學(xué)術(shù)質(zhì)量的不恰當(dāng)評價。
學(xué)術(shù)期刊學(xué)術(shù)質(zhì)量定性評價與定量評價比較的示意圖
定量評價由于其與生俱來的與刊物學(xué)術(shù)質(zhì)量反映的“錯位”,以及無法克服和難以校正的人為錯誤引用干擾,其實際評價效果雖然與刊物學(xué)術(shù)質(zhì)量有比較明顯的相關(guān)性,[3]但依然存在著無法完全反映刊物學(xué)術(shù)質(zhì)量的缺憾。比如一篇被后來公認(rèn)為非常具有學(xué)術(shù)價值的論文并沒有得到在評價時限內(nèi)的大量引用,從而也影響到對刊物的學(xué)術(shù)質(zhì)量定量統(tǒng)計。
從期刊學(xué)術(shù)質(zhì)量的實際評價來看,定量評價效果的“錯位”是被大家認(rèn)識到的,從而在選用時是可控的,而定性評價效果的“不確定性”是不可控的,定性評價效果的“不確定性”范圍遠(yuǎn)大于定量評價效果的“錯位”程度。公平公正的定性評價效果優(yōu)于定量評價效果,但不公平公正的定性評價卻遠(yuǎn)劣于定量評價效果。依據(jù)定量評價數(shù)據(jù)獲得的期刊學(xué)術(shù)質(zhì)量排名出現(xiàn)的不合理之處,我們可以尋找出原因進(jìn)行后續(xù)調(diào)整,實踐證明這種調(diào)整有時也是非常必要的。如個別在學(xué)界非常有影響力的刊物由于曲高和寡,在定量評價上的表現(xiàn)與實際學(xué)術(shù)質(zhì)量有差距,可以通過加權(quán)等方式加分。學(xué)術(shù)期刊的定性評價結(jié)果卻是難以改變的,評價背后的人為操作、不合理程序設(shè)置等帶來的最終評審結(jié)果很難找出其原因,而這種定性評價結(jié)果有時與真實情況相去甚遠(yuǎn)。
各家學(xué)術(shù)期刊引文數(shù)據(jù)庫的成年累月的統(tǒng)計、各種評價指標(biāo)的精心設(shè)計和使用起來的簡便易得,與定性評價的高成本、程序繁瑣和不確定性相比,定量評價學(xué)術(shù)期刊也就具有非常大的優(yōu)勢,以至于在時下的期刊學(xué)術(shù)質(zhì)量評價上占據(jù)了統(tǒng)治地位。定性評價在定量評價無法介入的政治標(biāo)準(zhǔn)、編輯質(zhì)量、出版質(zhì)量等評價方面仍然使用,在對學(xué)術(shù)質(zhì)量進(jìn)行高端、精細(xì)的評價時還是需要依靠定性評價方法,僅依據(jù)定量評價指標(biāo)的細(xì)微數(shù)值差異顯然無法看出刊物間的真實差距。對定性評價和定量評價片面夸大或縮小其評價功能都是不可取的。定量評價學(xué)術(shù)刊物不是最好的也不是最壞的評價方法,其使用優(yōu)勢在于簡便易行和與學(xué)術(shù)質(zhì)量的較大相關(guān)性。
定性定量相結(jié)合的評價方法目前被認(rèn)為是把定性和定量評價的優(yōu)點(diǎn)最大化的評價方法,也在實際評價中被廣泛應(yīng)用。目前在期刊學(xué)術(shù)質(zhì)量評價中定性定量相結(jié)合的評價方法主要有調(diào)整定量指標(biāo)排序法和定量指標(biāo)加權(quán)法兩種。
調(diào)整定量指標(biāo)排序法,主要是在已有定量評價指標(biāo)排序的基礎(chǔ)上,按照定性評價適當(dāng)給予調(diào)整。其本質(zhì)依然屬于定性評價,依然存在著定性評價中人為因素的不可控性。但調(diào)整定量指標(biāo)排序法畢竟是對完全定性評價的一種改良,在一定程度上會對定性評價的“不可控性”有所限制。如在評審時向評審專家群提供學(xué)術(shù)期刊定量評價數(shù)據(jù),由專家依據(jù)已有排名提供調(diào)整意見,并對該項調(diào)整做出相關(guān)說明,這樣就對其主觀評審設(shè)置了調(diào)整范圍和難度,也盡可能地保證了調(diào)整的有理可循。
定量指標(biāo)加權(quán)法,主要是對已有的定量評價數(shù)據(jù)分類加權(quán)后,再進(jìn)行一輪加權(quán)后的定量指標(biāo)排序。這種方法在本質(zhì)上依然是定量評價,也不可能改變定量數(shù)據(jù)不是學(xué)術(shù)水平直觀呈現(xiàn)的“錯位”,有時甚至還會讓這種“錯位”進(jìn)一步加深。定量指標(biāo)加權(quán)法的出發(fā)點(diǎn)是調(diào)整定量評價的“錯位”向盡可能完全反映學(xué)術(shù)質(zhì)量的方向靠攏,在一定程度上也實現(xiàn)了部分目的。如某學(xué)術(shù)期刊評價系統(tǒng)對其選用的若干個國內(nèi)外學(xué)術(shù)期刊定量評價數(shù)據(jù)進(jìn)行加權(quán),然后綜合計算排列出期刊學(xué)術(shù)質(zhì)量排名表。
現(xiàn)有的定性定量相結(jié)合評價并沒有從根本上消除定性和定量評價原有的缺點(diǎn),離我們心目中眾望所歸的權(quán)威方法還有距離。是調(diào)和也好,折中也罷,但畢竟是在綜合兩種評價方法之后的積極嘗試。對學(xué)術(shù)期刊的高質(zhì)量評價是關(guān)乎科學(xué)研究持續(xù)繁榮發(fā)展的重要一環(huán),對此進(jìn)行深入的理論研究和實踐探索者眾多。如何能夠?qū)W(xué)術(shù)期刊的辦刊質(zhì)量實施更科學(xué)有效的評判,還有待于我們在評價機(jī)制研究上的繼續(xù)探索。
注釋:
[1]江虎軍,馮雪蓮,楊新泉,唐隆華,何建慶.影響科學(xué)基金項目同行評議質(zhì)量的因素及改進(jìn)措施[J].中國科學(xué)基金,2006(6):359-363
[2]谷瑞升,張飛萍,李永慈,于振良,杜生明.國家自然科學(xué)基金專家評議狀況評估初探[J].中國科學(xué)基金,2005(5):298-301
[3][美]尤金·加菲爾德.引文索引法的理論及應(yīng)用[M].侯漢清等譯.北京:北京圖書館出版社,2004