近年來，在各類型的高等院校中，數(shù)字文獻資源的經(jīng)費投入均有大幅度增加，甚至超過了紙質(zhì)文獻資源[1]。因此，有必要對圖書館購置的電子資源進行綜合評估，并基于客觀數(shù)據(jù)和事實，對各種電子資源質(zhì)量的優(yōu)劣進行橫向比較，以判斷它們在用戶文獻利用方面發(fā)揮的價值。綜合評價結(jié)果，可為電子資源的新增、續(xù)訂、停訂等工作提供決策支持，使圖書館在經(jīng)費有限的情況下，采購到更符合用戶需求的高質(zhì)量資源，提高文獻資源建設經(jīng)費的使用效益。

對于電子資源的綜合評價，目前國內(nèi)外均有較多研究，但這些研究更多是集中在理論研究層面，包括對評價方法的討論、評價指標體系與評價模型的建立等[2-3]，實證分析和案例研究僅見少量報道[4-5]。首都醫(yī)科大學圖書館(以下簡稱“我館”)于2015年運用層次分析、德爾菲法等方法，結(jié)合醫(yī)學院校的實際情況，建立了一套適用于醫(yī)學院校圖書館的電子期刊評價指標體系[6]。

本文在前期工作的基礎上，對4種醫(yī)學外文電子期刊數(shù)據(jù)庫進行了試評價，就醫(yī)學電子資源的評價標準與評價方法與業(yè)內(nèi)同行進行了探討。

1 研究方法

1.1 評價對象的確立

選取4種醫(yī)學外文全文電子期刊數(shù)據(jù)庫作為研究樣本。因為評價內(nèi)容涉及價格等信息，為避免造成商業(yè)信息泄露，分別采用A、K、P、W數(shù)據(jù)庫進行指代。

A數(shù)據(jù)庫作為醫(yī)學學協(xié)會出版物的代表；K數(shù)據(jù)庫的內(nèi)容來自一家專注于出版醫(yī)學內(nèi)容的中小型出版社；P數(shù)據(jù)庫為集成型電子資源，收錄內(nèi)容來自多家出版社的醫(yī)學類電子期刊；W數(shù)據(jù)庫則為收錄多學科學術期刊的商業(yè)數(shù)據(jù)庫，本文僅對其醫(yī)學及生命科學學科進行評價。4種數(shù)據(jù)庫覆蓋了當前電子期刊幾種主要的出版與銷售模式，具有良好的代表性。

1.2 評價指標類別及數(shù)據(jù)來源

本研究采用的評價指標體系由數(shù)字資源內(nèi)容及數(shù)字資源使用情況、經(jīng)濟性、檢索系統(tǒng)功能和相關服務等5個1級指標、11個2級指標和28個3級指標構(gòu)成。根據(jù)各評價指標的性質(zhì)，不同指標的數(shù)據(jù)來源及評分方式有所不同，將這些指標大致分為定量型和定性型兩類。

定量型包括收錄全文電子期刊的種數(shù)和數(shù)據(jù)庫的登錄次數(shù)與檢索次數(shù)、價格等信息，數(shù)據(jù)主要來自DRAA(高校圖書館數(shù)字資源采購聯(lián)盟)出具的數(shù)據(jù)庫評估報告、數(shù)據(jù)庫商提供的信息及我館的實際使用數(shù)據(jù)等。

其中定性型變量又可分為以下兩類。

第一類為定序型變量，即變量值具有等級或程度上的差別，但這種差別往往來自人的主觀感知，難以用某種具體的尺度直接測量其數(shù)值的大小，如數(shù)據(jù)庫檢索系統(tǒng)功能的強弱，檢索結(jié)果分析、處理能力的高低等。對于該類指標，選取5名具備豐富檢索經(jīng)驗的圖書館員，根據(jù)實際工作中的體驗進行打分獲得。打分方式采用5級量表的形式，用1-5分分別代表非常不滿意、比較不滿意、一般、比較滿意、非常滿意，隨后計算5份打分結(jié)果的均值。為了避免打分的盲目性、隨意性，首先登錄各待評價數(shù)據(jù)庫網(wǎng)站，收集基本信息，并結(jié)合數(shù)據(jù)庫商提供的基本介紹材料，對檢索途徑、檢索技術、輸出結(jié)果多樣化以及檢索結(jié)果分析等4項指標來進行客觀事實的填寫，以供打分人員參考，具體信息見表1。

表1 定序型指標基本信息

第二類定性型變量稱為名義型變量，其特點是變量值只有若干有限取值。本文涉及的變量均有兩個可能的取值，即有或無、是或否，如是否包括附屬醫(yī)院IP，是否支持漫游訪問等信息。對于這種0-1型變量，則根據(jù)實際情況直接對其進行打分，分值分別為0分或1分。

全部28個評價指標的名稱、分類及原始數(shù)值參見表2。

另外，按照各評價指標的經(jīng)濟性，又可將其劃分為效益型指標(數(shù)值越大越好)和成本型指標(數(shù)值越小越好)。對于成本型指標，需要與效益型指標進行區(qū)別處理，反向賦值。

表2 4個數(shù)據(jù)庫指標的名稱、類別及原始數(shù)值

1.3 數(shù)據(jù)填寫過程中應注意的問題

一是數(shù)據(jù)庫收錄內(nèi)容。在統(tǒng)計收錄期刊的種數(shù)時，應注意排除OA期刊；對于集成型資源，還應分析該庫與其他數(shù)據(jù)庫收錄期刊的重復情況。

二是數(shù)據(jù)庫價格。在計算數(shù)據(jù)庫價格時，應將捆綁紙本刊的價格涵蓋在內(nèi)，一并計入成本。

三是用戶幫助與培訓指標。收集了2014-2016年首都醫(yī)科大學圖書館舉辦的全部講座與培訓的信息。在4種數(shù)據(jù)庫中，僅W數(shù)據(jù)庫曾于2016年到館進行1次培訓。但在實際工作中，各數(shù)據(jù)庫商對于用戶培訓的要求是積極配合，這對他們的產(chǎn)品也是一次很好的宣傳機會。由于全文期刊型數(shù)據(jù)庫總體上較簡便易用，檢索界面比較友好，無需每年安排培訓。對此，打分的過程中應予以適當考慮。

1.4 評價指標樣本數(shù)據(jù)的處理

1.4.1 空值的處理

在評價過程中有5個評價指標數(shù)值有缺失。造成空值的原因，一是指標對評價對象不適用，如C22(是否提供試用統(tǒng)計)項，適用于訂購前對試用數(shù)據(jù)庫的評價、比較，而本次測評的對象均為已訂購數(shù)據(jù)庫，因而不適用。二是數(shù)據(jù)無法獲得，如C7、C8、C9、C13項，涉及數(shù)據(jù)庫的用量統(tǒng)計。有些數(shù)據(jù)庫商能夠提供相對完備的統(tǒng)計數(shù)據(jù)，有些只提供全文下載量等基本信息。對于這些缺失值，在實際操作中作了刪除處理。為了避免因刪除指標導致的評價指標體系整體權重發(fā)生變化，采用的方式是參考一級指標及二級指標的權重，將同類目下的相應指標按比例放大。如C13(單次檢索成本)項有缺失，則參考二級指標B7(數(shù)字資源使用成本)項，將該項的權重0.0751均賦予C14(全文利用成本)項。在刪除5項有空值的指標后，再對剩余的23項指標進行進一步計算和處理。

1.4.2 電子期刊評價指標原始數(shù)據(jù)的無量綱化

我館構(gòu)建的評價指標體系在確定各項指標及權重后，采用百分制的方式，依據(jù)各指標的權重進行賦值。百分制賦值的優(yōu)點在于簡便、清晰，易于理解。但在實際操作的過程中，發(fā)現(xiàn)存在一些現(xiàn)實問題。首先是對各項指標權重的小數(shù)部分進行四舍五入，以得到整數(shù)。但當權重系數(shù)值較小時，小數(shù)部分的取舍會造成取值相對原始數(shù)值的較大比例的變化。另外一個重要的問題是在打分開始前，制定一個科學合理的打分標準是困難的，各數(shù)據(jù)庫的評分結(jié)果將會隨著打分標準的不同而發(fā)生變化；在打分的過程中，根據(jù)各項指標不同的原始數(shù)值賦予其不同的分值，操作起來也是模糊的，難以避免主觀隨意性。

本文采用數(shù)學轉(zhuǎn)換的方式，對原始數(shù)據(jù)進行無量綱化處理。這是因為三級指標之間是不同質(zhì)的，各個指標的內(nèi)涵和量綱也不完全相同，不便將其數(shù)值直接進行加和、比較。因而，有必要進行標準的轉(zhuǎn)換，去除原始數(shù)據(jù)的量綱，這是對多指標的復雜對象進行綜合評價的一個必要的步驟和環(huán)節(jié)。結(jié)合課題的實際情況，采取“差極化”的方法，將上述定量型指標和定序型指標的客觀數(shù)據(jù)xi轉(zhuǎn)換為[0,1]范圍內(nèi)的數(shù)值yi。

對于效益型指標和成本型指標，二者的處理方式有所不同，見公式1和公式2。

最后，用ωi代表指標權重，運用公式3，計算出4個數(shù)據(jù)庫的最終得分Z(見表3)。

表3 4種數(shù)據(jù)庫的無量綱化值及綜合得分

2 結(jié)果與分析

由計算結(jié)果可知，4種數(shù)據(jù)庫的綜合得分排名為W>A>K>P。其中W數(shù)據(jù)庫得分最高，績效最好；K數(shù)據(jù)庫和P數(shù)據(jù)庫得分接近，K數(shù)據(jù)庫略高。通過對樣本數(shù)據(jù)庫各分項指標的加權得分進行橫向比較，可以得知各個數(shù)據(jù)庫在每項指標中的優(yōu)勢和不足之處。

2.1 W數(shù)據(jù)庫

W數(shù)據(jù)庫的綜合績效得分為0.8465分，排名第一。其優(yōu)勢在于收錄期刊的整體學術水平較高，且數(shù)量較大。由C3(收錄內(nèi)容)及C4(SCI/EI比重)兩項指標可知，該數(shù)據(jù)庫收錄的生物醫(yī)學類期刊中有455種被SCI/EI收錄，因而獲得了最高的全文下載量。其2016年全年達到了9.75萬篇，是下載量排名第二的K數(shù)據(jù)庫的8.6倍。此外，W數(shù)據(jù)庫還獲得了最低的全文利用成本。由于C10(全文下載量)和C14(全文利用成本)的權重較高(0.3314)，使W數(shù)據(jù)庫最終得分領先。W數(shù)據(jù)庫突出的缺點在于其具有對檢索結(jié)果進行分析的功能，缺乏基本的檢索結(jié)果分面篩選功能，使用戶在大量檢索結(jié)果面前無法快速篩選自己想要的內(nèi)容，造成極大的不便和困擾。

2.2 A數(shù)據(jù)庫

A數(shù)據(jù)庫的綜合績效得分為0.5395分，排名第二。雖然該庫只收錄了10種全文期刊，但每種期刊的學術質(zhì)量均非常高，全部被SCI/EI所收錄。A數(shù)據(jù)庫的年度全文下載總量為10 993篇，與收錄84份期刊的K數(shù)據(jù)庫相近。根據(jù)全文下載量，可以計算出平均每份期刊的年下載量達到了1 099篇，是W數(shù)據(jù)庫的5.6倍，說明A數(shù)據(jù)庫也在一定程度上滿足了用戶需求。

2.3 K數(shù)據(jù)庫

K數(shù)據(jù)庫的績效得分為0.3945分。原因是K數(shù)據(jù)庫的檢索界面不夠友好，且檢索功能整體較弱，在檢索界面、檢索途徑、檢索技術、檢索結(jié)果輸出多樣化等方面，用戶滿意度均很低，從而拉低了分值。

2.4 P數(shù)據(jù)庫

P數(shù)據(jù)庫是集成型資源，在所評價的4個數(shù)據(jù)庫中，收錄的醫(yī)學全文電子期刊的種數(shù)最高，為3 055種。其不足之處在于，很多期刊都存在時滯，且內(nèi)容更新不夠及時，無法提供最新的文獻，對于時效性要求很高的醫(yī)學文獻而言，是一個較大的問題。該庫全年總下載量最低，僅有2 400余篇，且單篇下載成本最高，使績效得分最低，僅為0.3236分。

3 討論

3.1 評價結(jié)果對資源建設工作的指導性作用

對電子資源進行系統(tǒng)性的綜合評價，可以為圖書館數(shù)字文獻資源建設提供數(shù)據(jù)支撐。從研究結(jié)果可知，W數(shù)據(jù)庫整體表現(xiàn)較好，在采購方案沒有大幅變動的情況下，可以維持續(xù)訂；A數(shù)據(jù)庫評分中等，可以密切關注；K數(shù)據(jù)庫和P數(shù)據(jù)庫績效評分均較低，但對這兩個數(shù)據(jù)庫又需要區(qū)別對待。K數(shù)據(jù)庫主要是在檢索系統(tǒng)方面存在不足，需要反饋給數(shù)據(jù)庫商，敦促其重視用戶體驗，積極升級檢索功能；P數(shù)據(jù)庫的主要問題是用量較低，使用成本較高。筆者查閱了DRAA集團的使用統(tǒng)計，發(fā)現(xiàn)在18家參團用戶中，2015年的集團年平均全文下載量為1.6萬篇，單篇下載成本平均為5.32元，說明P數(shù)據(jù)庫整體而言對用戶是有幫助的，不宜直接停訂，還需加大宣傳推廣的力度，促進讀者對該數(shù)據(jù)庫的認識和使用，從而降低使用成本，提高使用效益。若經(jīng)過一個合同期的宣傳，該數(shù)據(jù)庫的利用率仍然較低，則可以考慮不再續(xù)訂。

3.2 評價指標體系的有效性

筆者采用DRAA集團組織的2016年度用戶滿意度調(diào)查結(jié)果作為參照，該調(diào)查共設置4項一級指標，包括數(shù)據(jù)庫內(nèi)容與質(zhì)量、數(shù)據(jù)庫商服務、購買價格及方式、檢索系統(tǒng)平臺，以及13項二級指標。匯總用戶對于A、K、P、W這4個數(shù)據(jù)庫的打分結(jié)果，發(fā)現(xiàn)在涉及的13項二級指標中，W數(shù)據(jù)庫有11項指標獲得了最高的滿意度，2項得到了次高滿意度的評價。這與本次測評的結(jié)果或可進行相互的驗證，從一定程度上說明，評價指標體系的指標選取和權重設置是合理、可行的。

3.3 評價指標體系的可操作性

在28項三級指標中，有23項獲得了完整的數(shù)據(jù)，說明選取的指標在數(shù)據(jù)的可獲得性方面，整體表現(xiàn)較好。各項指標內(nèi)涵清晰，并實現(xiàn)了盡可能的量化，使填寫簡便易行，便于數(shù)據(jù)庫間的橫向比較。

在存在空值的5個指標中，4個與數(shù)據(jù)庫的用量有關，包括登錄次數(shù)、檢索次數(shù)、題錄下載篇數(shù)、單次檢索成本等。為此，筆者調(diào)查了22個生物醫(yī)學及相關學科的外文全文數(shù)據(jù)庫能夠提供的用量統(tǒng)計情況，調(diào)查結(jié)果顯示，在22個數(shù)據(jù)庫中，只有全文下載量這一指標是每個數(shù)據(jù)庫都能提供的，能夠提供登錄次數(shù)、檢索次數(shù)、題錄下載篇數(shù)的數(shù)據(jù)庫分別為6個(27%)、15個(68%)和7個(32%)。為避免在今后的評測工作中出現(xiàn)大量的空值，可以保留檢索次數(shù)和全文下載篇數(shù)兩個指標，刪除登錄次數(shù)和題錄下載篇數(shù)這2個指標。

4 結(jié)語

對訂購的各類型數(shù)字資源進行系統(tǒng)性的服務績效評估，是圖書館需要長期開展的一項常規(guī)工作。評估的結(jié)果是圖書館合理分配采購經(jīng)費，對電子資源的新增、續(xù)訂、停訂進行科學決策的客觀依據(jù)。作為評價工具的評價指標體系的科學性、合理性及可操作性，無疑會對評測結(jié)果起到至關重要的作用。一個理想的評價工具的建立不是一蹴而就的，必須經(jīng)過實踐的檢驗，并根據(jù)評價對象的變化而調(diào)整，使之不斷完善，具有更好的實用性。