，

開放獲取期刊(Open Access Journal,OAJ)是指可以在公共網絡上免費獲取，并允許用戶進行檢索、閱讀、下載、復制、打印，以及其他任何法律允許，而沒有經費、法律或技術方面的障礙，經過同行專家評閱的高質量全文電子期刊[1]。OAJ具有開放性、時效性，降低了資源建設的成本，增強了信息服務的時效性，拓寬了資源采集的途徑[2]，已經成為重要的學術資源之一。截至2016年1月7日，DOAJ(Directory of Open Access Journals)收錄的OA期刊已經增長為11 135種[3]。為了更好地選擇、采集、提供優(yōu)質的OAJ資源從而為用戶服務，本文旨在應用德爾菲專家咨詢法(Delphi)篩選出相對科學、合理、適用于OAJ評價的評價指標，并對指標篩選過程中的相關問題進行探討。

1 材料與方法

1.1 評價指標的初步篩選

通過中國知網、萬方數(shù)據知識服務平臺、圖書館信息科學文摘數(shù)據庫(Library and Information Science Abstract，LISA)、PubMed等中外文數(shù)據庫獲取有關期刊評價和國內外OAJ方面的文獻資源，參考有關OAJ評價和信息資源建設方面的專著[4-7]，并訪問DOAJ、BioMed Central、Free Medical Journal、Hinari、Medknow、SciELO等著名出版商網站，以及國際開放學術出版商協(xié)會(OASPA)、出版道德委員會(COPE)、世界醫(yī)學編輯協(xié)會(WAME)和國際科學技術醫(yī)學出版商協(xié)會(STM)提出的期刊最佳實踐標準等網絡資源，參照現(xiàn)行標準或規(guī)范來篩選OAJ的評價指標、評價方法和評價角度，初步篩選、建立OAJ評價指標框架。

1.2 評價指標的進一步遴選

1.2.1 專家遴選

為了構建科學有效、可操作性強的OAJ評價指標體系，減少主觀因素(如研究領域、學術水平、學科差異等方面對評價結果的影響)，在構建評價OAJ評價指標體系時，邀請16名具有副高級專業(yè)技術職稱及以上的圖書館學、情報學和臨床醫(yī)學(用戶代表)專家，具有中級專業(yè)技術職稱的業(yè)務骨干參與評價指標的遴選。其中，專家應從事相關工作2年以上并且對本研究感興趣，愿意配合專家咨詢；用戶代表選取醫(yī)學領域的專家，是因為醫(yī)學領域的開放獲取期刊的數(shù)量和增長速度在各領域中居首位。

1.2.2 編制專家咨詢表

第一輪問卷向專家提供初步擬定的評價指標，包括一級指標3個，二級指標7個，三級指標12個，主要是各位專家根據指標的重要程度分別對各項指標進行打分。若重要程度用K表示，則將評價指標的重要程度設定為非常重要K1、比較重要K2、一般重要K3、不太重要K4、不重要K5五個等級，并給每一等級設定一個分值：K1=9，K2=7，K3=5，K4=3，K5=1。專家咨詢問卷首先介紹了OAJ評價的必要性和各備選指標的釋義，主要是各位專家對OAJ評價備選指標的重要性判斷。此外，問卷還設立了半開放式問題，以便專家對于指標的設置提出意見。

第二輪的調查咨詢表主要分為兩部分。第一部分是專家對經過第一輪結果分析修正后的評價指標提出是否需要增加、修改和刪除等建議，進一步判斷和完善評價指標體系；第二部分是專家基本信息調查表(專家的年齡、研究領域、工作年限、專業(yè)技術職稱等基本信息)和專家權威程度自評表(主要了解專家對指標的熟悉程度和判斷依據)。

1.2.3 咨詢結果分析與綜合評價指標的篩選

指標的篩選需針對專家提出的修改意見進行，指標的修改、增加或刪除至少需要3位專家提出相同的意見或建議。入選指標的得分均值應在7分以上，有較高的重要比率得分，變異系數(shù)較小，盡量控制在0.5以下。

1.2.4 專家咨詢可靠性分析方法

本文采用專家積極系數(shù)、專家協(xié)調系數(shù)和權威系數(shù)3項指標檢驗第三輪專家咨詢的可靠性。

一是評價等級、判斷依據、熟悉程度的量化。對問卷結果進行數(shù)據分析所采用的量化標準見表1至表3。

表1 評價指標評分標準表

表2 專家熟悉程度量化表

表3 專家判斷依據及影響程度量化表

二是有關統(tǒng)計指標的計算。

(1)專家的權威系數(shù)Cr

專家的權威性對評價結果的可靠性至關重要。因此，在衡量評價結果時要考慮專家對某一指標要素的權威系數(shù)Cr。Cr一般由兩個重要因素決定，一是專家的判斷依據Ca，二是專家對問題的熟悉程度Cs。Cr越大，說明專家的權威程度越高。計算公式為：

(2)專家的協(xié)調系數(shù)W

協(xié)調系數(shù)是用來描述專家對方案協(xié)調程度好壞的指標，在0到1之間。W越大說明專家的協(xié)調程度越好，計算公式為：

式中，L：i專家評價中有相同評價值的組數(shù)；tl：L組中的相同等級數(shù)。

協(xié)調系數(shù)顯著性檢驗

自由度df=n-1，如果P<0.05，說明專家評估或預測協(xié)調性好，結果可取，否則不可取。

(3)專家的積極系數(shù)

專家的積極系數(shù)即專家咨詢表的回收率，其大小說明專家對該項目研究的關心程度。

1.3 統(tǒng)計分析

采用Epidata 3.1雙軌錄入數(shù)據并糾錯，利用EXCEL 2007進行數(shù)據統(tǒng)計分析。

2 結果與分析

2.1 專家組構成情況

本研究邀請的16名專家中，圖書館學專家6人，情報學專家7人，臨床醫(yī)學專家(用戶代表)3人。專家平均年齡(43.44±7.66)歲，平均工作年限(18.56±8.56)年，其中具有副高級及以上專業(yè)技術職稱的專家15人，占93.75%。專家構成情況見表4。

表4 專家構成情況

2.2 專家權威系數(shù)Cr

專家權威程度自評結果顯示，各一級指標的熟悉程度Cs在0.75-0.8之間，平均值為0.775；判斷依據Ca在0.8875-0.9375之間，平均值為0.9167。各一級指標的權威程度系數(shù)Cr在0.8188-0.8688之間，平均值為0.8458(表5)。

表5 專家權威程度自評結果

2.3 專家協(xié)調系數(shù)W

根據專家的評分結果，最后得出專家協(xié)調系數(shù)W為0.398，Χ2為54.9，P值小于0.05，具有統(tǒng)計學意義。檢驗結果表明，經過兩輪專家咨詢后，專家意見的協(xié)調性較好，結果可取，無需進行第三輪咨詢。

2.4 專家積極系數(shù)

專家積極系數(shù)表示專家對被研究的關心程度，一般以問卷的有效回收率來表示。其中第一輪共發(fā)放問卷16份，回收問卷16份，有效問卷16份，有效回收率為100%；第二輪發(fā)放問卷16份，回收問卷14份，有效問卷14份，有效回收率為87.5%。因此，兩輪專家積極系數(shù)為100%和87.5%。

2.5 指標的篩選結果

指標篩選是根據指標的集中程度和變異程度確定的，入選指標得分均值應在7分以上，有較高的重要比率得分，變異系數(shù)較小，盡量控制在0.5以下。第一輪指標得分情況具體見表6。

表6 第一輪開放獲取期刊評價指標得分情況

經過第一輪的德爾菲調查，修改、完善后的指標體系包括3個一級指標、7個二級指標和16個三級指標。根據表6中各指標得分情況可知，專家的意見較為一致。因此第二輪調查主要是專家對修正后的評價指標提出是否需要增加、修改和刪除，進一步判斷和完善評價指標體系，并未進行打分。第二輪的調查結果顯示，各位專家對于“開放獲取期刊評價指標”基本達成一致，除兩位專家在三級指標方面提出意見外，其他僅是個別指標語言表述方面和結構調整方面的些許意見或建議。本文最終得到的開放獲取期刊評價體系包含一級指標3個、二級指標7個、三級指標22個(表7)。

表7 開放獲取期刊評價指標

3 討論

3.1 指標體系的內容應充分體現(xiàn)評價對象的特點

構建評價指標體系時，一方面要有科學的理論作指導，確保指標體系的基本概念和邏輯結構嚴謹合理；另一方面，評價指標體系應具備全面性和針對性，充分體現(xiàn)評價對象的特點。本文的研究對象OAJ具有免費獲取、數(shù)字化、網絡化、質量良莠不齊、影響力逐步增加等特點，因而選擇開放程度、質量和影響力3個維度建立評價框架，評價指標基本涵蓋了各維度中的關鍵問題，具有一定的針對性。

3.2 遴選指標的方法應注重合理性和可靠性

德爾菲法經歷了多年的發(fā)展，在各研究領域得到了廣泛的應用。它依據不同領域內專家的經驗、知識，對初步擬定的指標進行分析、判斷，并且所有過程均是采用匿名或背靠背的方式，使每一位專家獨立判斷，不受其他人員的干擾影響。此外，預測過程必須經過幾輪的反饋，使專家的意見趨于一致，這樣得到的結果更具有代表性和可靠性。第一輪咨詢的目的主要是確定指標體系的框架和評價指標，第二輪咨詢的主要目的是進一步修正完善評價指標。

3.2.1 專家的代表性和權威性

一般來說，專家的選取關乎德爾菲法成功與否。本文選取的專家具有副高級及以上專業(yè)技術職稱的專家15人(占93.75%)，并且在專業(yè)領域的平均工作年限為18.56±8.56年，說明專家意見具有可靠性和代表性。

專家的權威程度與預測精度呈一定的函數(shù)關系，預測精度隨著專家權威程度的提高而提高，一般認為權威系數(shù)Cr≥0.7即可以接受。結果顯示，三個一級指標的權威系數(shù)Cr在8188-0.8688之間，平均值為0.8458， 可以認為本文中的專家權威程度較高。

3.2.2 專家的積極性和一致性

專家的積極性一般以問卷有效回收率表示，兩輪的專家積極性系數(shù)分別為100%和87.5%。艾爾巴比指出，50%的回收率是可以用來分析和報告的最小比例，60%的回收率比較好，70%非常好[8]。因此，本文具有較好的積極系數(shù)，反映了專家對本文的關心和支持程度較高。

通過計算專家意見的協(xié)調系數(shù)可以判斷專家對每項指標的評價是否存在較大分歧，同時也是咨詢結果可信度的衡量指標。協(xié)調系數(shù)表示全部專家對全部指標的協(xié)調程度，其值介于0-1之間，該系數(shù)越大越好。本研究的協(xié)調系數(shù)W為0.398，P值小于0.05，具有統(tǒng)計學意義。結果表明，經過兩輪的專家咨詢后，專家意見的協(xié)調性較好，可信度很高，結果可取。

4 結語

利用德爾菲法篩選開放獲取期刊的評價指標是一種有益的嘗試和探索，可以更好地遴選和評價開放獲取資源，為資源建設提供參考。雖然本次調查專家的積極性、權威程度和協(xié)調程度均達到要求，但是篩選出的指標仍可能受到專家局限性的影響，因此指標體系需要在今后的實際應用中進一步進行檢驗和完善。