■檀 旦

武漢大學(xué)中南醫(yī)院醫(yī)學(xué)新知雜志編輯部，武漢市武昌區(qū)東湖路169號(hào) 430071

對(duì)文獻(xiàn)進(jìn)行及時(shí)、恰當(dāng)?shù)脑u(píng)估是學(xué)術(shù)評(píng)價(jià)的前提。目前，國(guó)內(nèi)外常用的評(píng)價(jià)體系[1-3]都是基于論文發(fā)表的期刊及某一數(shù)據(jù)庫(kù)中該論文出版后的總被引次數(shù)，缺乏對(duì)論文本身的評(píng)價(jià)。同行評(píng)議是遴選論文、維護(hù)和提高學(xué)術(shù)質(zhì)量的重要途徑之一[4]?；ヂ?lián)網(wǎng)時(shí)代對(duì)同行評(píng)議前景的看好以及對(duì)居于主導(dǎo)地位的影響因子的詬病亟需新的評(píng)價(jià)科學(xué)質(zhì)量的方式。

F1000(Faculty of 1000)是一個(gè)基于同行評(píng)議的文獻(xiàn)評(píng)估系統(tǒng)，其名稱來(lái)源于 Science Navigation Group機(jī)構(gòu)計(jì)劃籌建一個(gè)由全球頂級(jí)科學(xué)家組成的千人學(xué)院，請(qǐng)生物醫(yī)學(xué)專家從每年發(fā)布的生物醫(yī)學(xué)論文中評(píng)選出一小部分(不足千分之二)賦予F1000論文稱號(hào)，推薦給全世界的生物學(xué)和醫(yī)學(xué)工作者[5-6]。

全世界卓越的科學(xué)家和臨床醫(yī)生通過(guò)F1000推薦生物學(xué)和醫(yī)學(xué)領(lǐng)域的重要文章，并且評(píng)價(jià)文章和闡述文章的重要性，提供生物學(xué)及醫(yī)學(xué)論文的重要信息及研究成果。F1000從2002年開始推薦文章，至今已有14年。F1000在全世界擁有超過(guò)5000名專家，推薦了超過(guò)100000篇頂級(jí)生物學(xué)和醫(yī)學(xué)文章，覆蓋超過(guò)3500種同行評(píng)議期刊，并且每天更新。F1000成員平均每個(gè)月推薦超過(guò)1500篇文章。F1000成員及其推薦的文章分布超過(guò)40個(gè)學(xué)科，并進(jìn)一步細(xì)分為超過(guò)300個(gè)亞學(xué)科。

F1000從兩年前開始改變計(jì)算方式，不再使用F1000因子來(lái)表示文章的重要性[7-10]，而是改用“星”來(lái)表示。F1000成員推薦文章時(shí)需簡(jiǎn)短闡述文章的重要性，而后將文章劃分為好、很好、杰出3個(gè)等級(jí)(相當(dāng)于1星、2星、3星的分?jǐn)?shù))。F1000根據(jù)每位推薦者單獨(dú)的評(píng)分來(lái)計(jì)算文章的總分，并且根據(jù)總分對(duì)文章排序。一篇文章得到的總評(píng)論數(shù)和總星數(shù)越多，排名就越靠前。

國(guó)內(nèi)學(xué)者宋麗萍選取F1000和Web of Science數(shù)據(jù)庫(kù)，以免疫學(xué)和生物信息學(xué)為研究對(duì)象，檢索并統(tǒng)計(jì)2005—2011年的數(shù)據(jù)，分析F1000因子與文章被引頻次的相關(guān)性，結(jié)果表明傳統(tǒng)文獻(xiàn)計(jì)量指標(biāo)與同行評(píng)議結(jié)果具有正相關(guān)性[11]。Wardle D A研究7種生態(tài)學(xué)核心期刊共1530篇文獻(xiàn)在F1000中的被推薦情況與論文出版5年后的被引頻次比較，結(jié)果發(fā)現(xiàn)F1000分?jǐn)?shù)并不能預(yù)測(cè)其被引頻次，也不能預(yù)測(cè)被引數(shù)百次的高影響力文章[12]。此外，Allen L[13]、Li X[14]、劉春麗[15]、Mohammadi E[16]、Waltman L[4]等也就同行評(píng)議指標(biāo)和替代計(jì)量學(xué)指標(biāo)做過(guò)類似的研究。以上研究廣泛討論了F1000因子與 Web of Science、Google Scholar、Scopus以及被引次數(shù)的相關(guān)性。然而，仍有以下不足：①F1000因子是兩年前F1000評(píng)價(jià)文章的指標(biāo)，如今已改用F1000總分來(lái)表示；②統(tǒng)計(jì)文章被引頻次的時(shí)間不夠長(zhǎng)，可能造成誤差。本文采用新的檢索方式，在新的F1000總分計(jì)算方式下，以醫(yī)學(xué)信息學(xué)和糖尿病為主題，檢索2010年發(fā)表文獻(xiàn)的F1000總分以及文章發(fā)表至今的總被引頻次和所在期刊的影響因子(IF)，分析F1000總分與總被引頻次、F1000總分與期刊IF的相關(guān)性，探索F1000和傳統(tǒng)文獻(xiàn)計(jì)量指標(biāo)在科學(xué)評(píng)價(jià)中的有效性與相關(guān)性，以期為數(shù)字出版時(shí)代文獻(xiàn)及期刊評(píng)價(jià)提供借鑒。

1 資料與方法

1.1 檢索方法

選擇2010年為檢索年份，得到文獻(xiàn)發(fā)表至今(5年)的總被引頻次和文章累計(jì)被推薦情況，避免造成偏倚。

通過(guò)閱讀文獻(xiàn)、與F1000工作人員溝通和自身實(shí)踐，發(fā)現(xiàn)可在 PubMed中檢索 F1000文獻(xiàn)，并且PubMed檢索優(yōu)于F1000自帶的檢索功能，兩種檢索方法如下：①使用loprovf1000[Filter]進(jìn)行字段限定。在 PubMed檢索框中分別直接輸入((loprovf1000[Filter]OR loprovf1000m[Filter]))AND“Medical Informatics”[Mesh]和((loprovf1000[Filter]OR loprovf1000m[Filter]))AND“Diabetes Mellitus”[Mesh]進(jìn)行檢索[17]；②在 PubMed 的 My NCBI的filter中選擇類別為L(zhǎng)inkOut，檢索框中輸入“Faculty of 1000”，然后檢索，選擇“Faculty of 1000 Ltd”，而后在PubMed中直接檢索就可以顯示F1000推薦的結(jié)果。均去掉印刷出版日期在2010年之前的文獻(xiàn)，以及出版日期在2010年之后的文獻(xiàn)。提取每篇文章的PMID、題目、第一作者、刊名、F1000總分等信息，并繪制Excel表格。利用Web of Science數(shù)據(jù)庫(kù)檢索每篇文章的總被引頻次，在JCR中檢索期刊在2010年的影響因子，并將文章的總被引頻次和期刊IF加入之前繪制的表格。

1.2 統(tǒng)計(jì)學(xué)處理

使用SPSS20.0軟件進(jìn)行分析，運(yùn)用Spearman檢驗(yàn)分析F1000總分與文章總被引頻次、F1000總分與期刊IF的相關(guān)性。P＜0.01為差異有統(tǒng)計(jì)學(xué)意義。

2 結(jié)果

2.1 文獻(xiàn)檢索結(jié)果

2.1.1 醫(yī)學(xué)信息學(xué)主題檢索結(jié)果

2010年發(fā)表并被F1000推薦的醫(yī)學(xué)信息學(xué)主題的文獻(xiàn)共259篇。

F1000總分為8分的文獻(xiàn)有2篇，分別發(fā)表在JAMA和Science Translational Medicine上，總被引頻次為208次和122次，2種期刊2010年的IF分別為30.011和3.292?？偡譃?分的文章有2篇，5分的文章1篇，4分的文章6篇，3分的文章18篇，2分的文章78篇，其余為1分的文章。

總被引頻次最高的文章被引464次，F(xiàn)1000總分為2分，刊名為PLoSBiology，IF為12.472?？偙灰l次最低的文章被引1次，F(xiàn)1000總分為1分，刊名為 Anaesthesia，IF為0.729。

IF最高的期刊為The New England Journal of Medicine，IF為53.486，被推薦文章3篇，F(xiàn)1000總分均為1分，總被引頻次分別為132次、86次和76次。IF最低的期刊為 Biomedical Papers of the Medical Faculty of the University Palacky， Olomouc，Czechoslovakia，IF為0.716，被推薦文章 1篇，F(xiàn)1000總分為1分，總被引頻次為5次。

在JCR中未查詢到3種期刊2010年的IF數(shù)據(jù)，分 別 為 Database-The Journal of Biological Databases and Curation、Biotechnology Journal和Journal of Anxiety Disorders。

2.1.2 糖尿病主題檢索結(jié)果

2010年發(fā)表并被F1000推薦的糖尿病主題的文獻(xiàn)共169篇。

F1000總分為14分的文獻(xiàn)有3篇，其中2篇發(fā)表在Nature上，1篇發(fā)表在The New England Journal of Medicine上，總被引頻次分別為285次、80次和885次，2種期刊2010年的IF分別為36.104和53.486?？偡譃?3分的文章有1篇，5～9分的文章9篇，3～4分的文章26篇，其余為1分和2分的文章。

總被引頻次最高的文章被引885次，F(xiàn)1000總分為 14分，刊名為 The New England Journal of Medicine，IF為53.486?？偙灰l次最低的文章被引0次，F(xiàn)1000總分為2分，刊名為European Heart Journal，IF為 10.052。

IF最高的期刊為The New England Journal of Medicine，IF為53.486，被推薦文章8篇，F(xiàn)1000總分最高為14分，最低為1分，總被引頻次最高885次，最低49次。IF最低的期刊為Australian Journal of Primary Health，IF為0.408，被推薦文章1篇，F(xiàn)1000總分為1分，總被引頻次為26次。

2種期刊未在JCR中查詢到2010年的IF數(shù)據(jù)，分別為 Preventing Chronic Disease和 Endocrine Practice。

2.2 相關(guān)性分析結(jié)果

2.2.1 醫(yī)學(xué)信息學(xué)主題相關(guān)性分析結(jié)果

（1）醫(yī)學(xué)信息學(xué)主題F1000總分與總被引頻次的相關(guān)性

將Excel中的數(shù)據(jù)導(dǎo)入到SPSS20.0軟件，由于兩個(gè)變量不滿足線性相關(guān)分析的適用條件，因此進(jìn)行Spearman秩相關(guān)分析，結(jié)果見表1。相關(guān)系數(shù)r表示兩變量間的直線相關(guān)程度，r值的范圍為-1～1。r為正表示兩變量之間為正相關(guān)，反之為負(fù)相關(guān)。r接近于0表示兩變量間關(guān)系不密切，r的絕對(duì)值接近1表示2變量間關(guān)系較密切[18]。由表1可知，r=0.223，F(xiàn)1000總分與總被引頻次呈低度正相關(guān)(P＜0.01)。

表1 醫(yī)學(xué)信息學(xué)主題F1000總分與總被引頻次的相關(guān)性分析結(jié)果

（2）醫(yī)學(xué)信息學(xué)主題F1000總分與期刊IF的相關(guān)性

剔除3種在JCR中查詢不到IF數(shù)據(jù)的期刊及其相關(guān)數(shù)據(jù)，而后進(jìn)行Spearman檢驗(yàn)，結(jié)果見表2。由表2可知，r=0.165，F(xiàn)1000總分與期刊IF呈低度正相關(guān)(P＜0.01)。

表2 醫(yī)學(xué)信息學(xué)主題F1000總分與期刊IF的相關(guān)性分析結(jié)果

2.2.2 糖尿病主題相關(guān)性分析結(jié)果

（1）糖尿病主題F1000總分與總被引頻次的相關(guān)性

將Excel中的數(shù)據(jù)導(dǎo)入到SPSS20.0軟件，由于兩個(gè)變量不滿足線性相關(guān)分析的適用條件，因此進(jìn)行Spearman秩相關(guān)分析，結(jié)果見表3。由表3可知，r=0.390，F(xiàn)1000總分與總被引頻次呈低度正相關(guān)(P＜0.01)。

表3 糖尿病主題F1000總分與總被引頻次的相關(guān)性分析結(jié)果

（2）糖尿病主題F1000總分與期刊IF的相關(guān)性

剔除兩種在JCR中查詢不到IF數(shù)據(jù)的期刊及其相關(guān)數(shù)據(jù)，而后進(jìn)行Spearman檢驗(yàn)，結(jié)果見表4。由表4可知，r=0.335，F(xiàn)1000總分與期刊IF呈低度正相關(guān)(P＜0.01)。

表4 糖尿病主題F1000總分與期刊IF的相關(guān)性分析結(jié)果

3 討論

F1000關(guān)注研究的特異性和評(píng)價(jià)的主觀性，是基于同行評(píng)議的定性評(píng)價(jià)，與文獻(xiàn)計(jì)量學(xué)方法定量表示的IF和被引頻次有一定區(qū)別，但是二者的初衷都是為了向科研工作者提供重要信息及研究成果。然而，F(xiàn)1000總分最高的文章不一定是總被引頻次和期刊IF最高的，兩種方式得到的結(jié)果有一定的差異。

本研究結(jié)果表明，醫(yī)學(xué)信息學(xué)和糖尿病兩個(gè)主題文獻(xiàn)的F1000總分與總被引頻次，F(xiàn)1000總分與期刊IF均呈正相關(guān)(P＜0.01)，這與 Allen L[13]、Li X[14]、 宋 麗 萍[11，19]、 劉 春 麗[15]、 Mohammadi E[16]、Waltman L[4]等的研究結(jié)果類似，說(shuō)明雖然F1000與傳統(tǒng)引用及影響計(jì)量指標(biāo)從不同維度描述論文的學(xué)術(shù)影響力，但是兩者具有一定程度的正相關(guān)性，表明上述指標(biāo)在科學(xué)評(píng)價(jià)中的有效性和可行性。兩個(gè)主題文獻(xiàn)的F1000總分與總被引頻次的相關(guān)性均大于F1000總分與期刊IF的相關(guān)性，這是因?yàn)镕1000總分與被引頻次都更關(guān)注單篇論文的質(zhì)量，而IF關(guān)注整本期刊的質(zhì)量。

兩個(gè)主題文獻(xiàn)的F1000總分與總被引頻次和IF的相關(guān)性均不高，可能有以下原因：

（1）F1000的時(shí)效性優(yōu)于傳統(tǒng)的計(jì)量指標(biāo)。

文章一經(jīng)發(fā)表或者還未發(fā)表就可被F1000推薦，Waltman L對(duì)F1000推薦的超過(guò)13萬(wàn)篇論文的研究顯示，80%的論文在正式出版前2個(gè)月至出版后4個(gè)月即得到推薦，只有不到10%的文獻(xiàn)在出版6個(gè)月以后被推薦[4，20]，而傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)的統(tǒng)計(jì)往往在文獻(xiàn)發(fā)表若干年后。雖然本研究統(tǒng)計(jì)文獻(xiàn)發(fā)表5年后的總被引頻次，但是文章的被引頻次隨著時(shí)間推移會(huì)逐漸增加，而且不排除某些被引頻次不高的文獻(xiàn)發(fā)表5年后被引頻次突然增加的情況。

（2）F1000與傳統(tǒng)計(jì)量學(xué)指標(biāo)評(píng)價(jià)文章的角度不同。

F1000從專家的角度反映文章質(zhì)量，而被引從作者的角度反映文章質(zhì)量，因此一些低被引，甚至零被引論文受到專家的推薦，而高被引論文反而沒有被專家推薦。

（3）F1000推薦文章的側(cè)重點(diǎn)與傳統(tǒng)計(jì)量學(xué)指標(biāo)不同。

F1000的專家推薦文章時(shí)會(huì)根據(jù)研究?jī)?nèi)容給論文賦予一個(gè)或多個(gè)標(biāo)簽，如新發(fā)現(xiàn)、能夠改變臨床實(shí)踐、新藥靶點(diǎn)、技術(shù)進(jìn)步等。已有研究表明，“新發(fā)現(xiàn)”更容易高被引，但是“能夠改變臨床實(shí)踐”類的文章專家推薦力度更高，而后者的被引次數(shù)往往不高，通過(guò)專家推薦能更好的識(shí)別醫(yī)學(xué)研究成果對(duì)臨床實(shí)踐的適用性。此外，在醫(yī)學(xué)領(lǐng)域，臨床研究類論文被引頻次低于基礎(chǔ)研究和非干預(yù)性研究，引文分析會(huì)嚴(yán)重低估臨床研究的影響力[20-21]。因此，結(jié)合F1000專家對(duì)論文的評(píng)價(jià)以及論文的標(biāo)簽特征可以幫助揭示論文的價(jià)值。

（4）F1000推薦存在自身的局限性。

既然F1000是基于同行評(píng)議的定性評(píng)價(jià)，專家推薦文章的動(dòng)機(jī)和因素、遴選專家是否有傾向性或偏倚、專家是否相互推薦或者地域性因素等可能導(dǎo)致不客觀的結(jié)果[12]，而基于定量評(píng)價(jià)的文獻(xiàn)計(jì)量學(xué)指標(biāo)可以盡可能地避免這些情況。

綜上，由于F1000與傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)評(píng)價(jià)文章的時(shí)效性、角度和側(cè)重點(diǎn)不同，且兩者均有自身的優(yōu)點(diǎn)和局限性，應(yīng)當(dāng)將兩者結(jié)合起來(lái)對(duì)文獻(xiàn)進(jìn)行相對(duì)全面的評(píng)價(jià)。

4 結(jié)語(yǔ)

(1)從統(tǒng)計(jì)學(xué)角度看，F(xiàn)1000與傳統(tǒng)文獻(xiàn)計(jì)量學(xué)指標(biāo)具有正相關(guān)性，這在一定程度上說(shuō)明了定性評(píng)價(jià)與定量評(píng)價(jià)的一致性，也表明上述指標(biāo)在科學(xué)評(píng)價(jià)中的有效性和可行性。通過(guò)對(duì)F1000推薦文獻(xiàn)的統(tǒng)計(jì)分析，可以進(jìn)一步對(duì)所收錄期刊的價(jià)值作出相應(yīng)評(píng)價(jià)；

(2)F1000與文獻(xiàn)計(jì)量學(xué)指標(biāo)從不同維度描述了論文層面的學(xué)術(shù)影響力，分別反映了科學(xué)評(píng)價(jià)的一個(gè)側(cè)面，都有自身的局限性，應(yīng)將兩者相結(jié)合進(jìn)行多維度的評(píng)價(jià)分析。

[1]Reinstein A，Hasselback JR，Riley M E，etal.Pitfallsof using citation indices for making academic accounting promotion，tenure， teaching load， and merit pay decisions[J].Issues in Accounting Education， 2011，26(1)：99-131.

[2]Psmeyers P，Burbules N C.How to improve your impact factor：Questioning the quantification of academic quality[J].J Philos Educ， 2011，45(1)：1-17.

[3]楊遠(yuǎn)芬.科技論文評(píng)價(jià)方法實(shí)證比較研究[J].科技管理研究， 2008，28(8)：57-59.

[4]Waltman L，Costas R.F1000 recommendations as a potential new data source for research evaluation：a comparison with citations[J].JAm Soc Inf Sci Technol， 2014，65(3)：433-445.

[5]謝巖巖，孫繼林.F1000的文獻(xiàn)評(píng)價(jià)功能淺議[J].圖書館雜志，2011，30(4)：38-42.

[6]Bommann L，Daniel H D.Selecting scientific excellence through comm ittee peer review-a citation analysis of publications previously published to approval or rejection of post-doctoral research fellowship applicants[J].Scientometrics， 2006， 68(12)：427-440.

[7]何星星，武夷山.基于文獻(xiàn)利用數(shù)據(jù)的期刊論文定量評(píng)價(jià)研究[J].情報(bào)雜志，2012，31(8)：98-102.

[8]陳美倫.一種新的醫(yī)學(xué)論文學(xué)術(shù)評(píng)價(jià)系統(tǒng)——醫(yī)學(xué) F1000[J].中華醫(yī)學(xué)圖書情報(bào)雜志，2008，17(2)：70-72.

[9]廖星，謝雁鳴.F1000：新興醫(yī)學(xué)論文評(píng)價(jià)和檢索系統(tǒng)[J].中國(guó)中西醫(yī)結(jié)合雜志，2012，32(5)：701-703.

[10]劉春麗.基于軟同行評(píng)議的科學(xué)論文影響力評(píng)價(jià)方法——F1000 因子[J].中國(guó)科技期刊研究，2012，23(3)：383-386.

[11]宋麗萍，王建芳.基于F1000與WoS的同行評(píng)議與文獻(xiàn)計(jì)量相關(guān)性研究[J].中國(guó)圖書館學(xué)報(bào)，2012，38(198)：62-69.

[12]Wardle D A.Do “Faculty of 1000”(F1000)ratings of ecological publications serve as reasonable predictors of their future impact[J].Ideas in Ecology and Evolution，2010，3(3)：11-15.

[13]Allen L，Jones C，Dolby K，et al.Looking for landmarks：the role of expert review and bibliometric analysis in evaluating scientific publication outputs[J].PLoS One， 2009， 4(6)：e5910.

[14]Li X， Thelwall M.F1000， mendeley and traditional bibliometric indicators[C]//Archambault E， Gingras Y，Lariviere V.The 17th International Conference on Science and Technology Indicators， Montreal， Canada， 2012：541-551.

[15]劉春麗，何欽成.不同類型選擇計(jì)量指標(biāo)評(píng)價(jià)論文相關(guān)性研究——基于 Mendeley、F1000和 Google Scholar三種學(xué)術(shù)社交網(wǎng)絡(luò)工具[J].情報(bào)學(xué)報(bào)，2013，32(2)：206-212.

[16]Mohammadi E，Thelwall W.Assessing non-standard article impact using F1000 labels[J].Scientometrics， 2013，97(2)：383-395.

[17]夏武青，葛芬，唐輝.醫(yī)學(xué)F1000推薦文獻(xiàn)的來(lái)源期刊分布[J].中華醫(yī)學(xué)圖書情報(bào)雜志，2011，20(11)：59-62.

[18]張文彤，閆潔.SPSS統(tǒng)計(jì)分析基礎(chǔ)教程[M].北京：高等教育出版社，2004：325-347.

[19]宋麗萍，王建芳，王樹義.科學(xué)評(píng)價(jià)視角下F1000、Mendeley與傳統(tǒng)文獻(xiàn)計(jì)量指標(biāo)的比較[J].中國(guó)圖書館學(xué)報(bào)，2014，40(212)：48-54.

[20]杜建，武夷山.文獻(xiàn)引文軌跡：分類及測(cè)度[J].情報(bào)理論與實(shí)踐， 2015，38(7)：52-58.

[21]Van Eck N J， Waktman L， Van Raan A F J， et al.Citation analysis may severely underestimate the impact of clinical research as compared to basic research[J].PLoSOne， 2013，8(4)：e62395.