何文珍　趙 捷

（中國科學(xué)技術(shù)信息研究所，北京　100038）

國家科技報告服務(wù)系統(tǒng)用戶滿意度評價體系研究

何文珍趙 捷

（中國科學(xué)技術(shù)信息研究所，北京100038）

結(jié)合國內(nèi)外學(xué)者對用戶滿意度的研究，利用層次分析法設(shè)計國家科技報告服務(wù)系統(tǒng)用戶滿意度評價指標(biāo)體系，利用Expert Choice 軟件科學(xué)計算各指標(biāo)相對于總目標(biāo)的權(quán)重，并利用問卷調(diào)查法調(diào)查判斷用戶對國家科技報告服務(wù)系統(tǒng)的滿意度。在此基礎(chǔ)上，對提高國家科技報告服務(wù)系統(tǒng)的用戶滿意度提出改進建議。

國家科技報告服務(wù)系統(tǒng)；層次分析法；用戶滿意度；評價指標(biāo)體系

1　引言

科技報告是描述科研活動的過程、進展和結(jié)果，并按照規(guī)定格式撰寫的特種文獻，包括科研活動的過程管理報告和描述科研細(xì)節(jié)的專題研究報告。世界上許多國家建立了比較完善的科技報告制度，尤其是美國最為完善，已經(jīng)建立包括國防部的AD報告、商務(wù)部的PB報告、國家航空航天局的NASA報告和能源部的DE報告在內(nèi)的四大科技報告體系的國家科技報告制度，有利于加強各類科技計劃協(xié)調(diào)銜接、避免科技項目重復(fù)部署，有利于廣大科研人員共享科研成果、提高國家科技投入效益，有利于社會公眾了解科技進展，促進科技成果轉(zhuǎn)化應(yīng)用［1］。

我國在1984年就初步建立國防科技報告體系，近年來我國在民口也正在建立統(tǒng)一的科技報告制度，已經(jīng)積累國家和地方兩個層面的科技報告。受國家科技部的委托，中國科學(xué)技術(shù)信息研究所承擔(dān)建設(shè)了國家科技報告服務(wù)系統(tǒng)，并于2014年3月1日正式上線運行，目前共有4萬多份科技報告對外服務(wù)，受到社會各界的廣泛關(guān)注。但是，用戶對該系統(tǒng)是否滿意？滿意度如何？所謂“用戶滿意度”是由經(jīng)濟學(xué)上的顧客滿意度衍生而來，已被應(yīng)用于各行各業(yè)對產(chǎn)品、服務(wù)和工作績效的質(zhì)量評價中，成為衡量服務(wù)質(zhì)量好壞的重要指標(biāo)，也是相關(guān)行業(yè)發(fā)現(xiàn)問題、改進服務(wù)的重要手段［2］。自20世紀(jì)70年代開展用戶滿意度研究以來，國外學(xué)者對用戶滿意度的研究主要集中在傳統(tǒng)服務(wù)行業(yè)、互聯(lián)網(wǎng)網(wǎng)站質(zhì)量、信息服務(wù)質(zhì)量等方面［3］。

國內(nèi)學(xué)者在用戶滿意度的研究上主要集中在圖書館［4-6］、電子商務(wù)網(wǎng)站［7］、學(xué)術(shù)網(wǎng)站［8］、政府門戶網(wǎng)站［9］、科技文獻平臺［10］等領(lǐng)域。

目前，最具代表性的用戶滿意度理論是由Fornell等人提出的”美國顧客滿意度指數(shù)”模型（ACSI），很多學(xué)者在該模型的基礎(chǔ)上建立了相應(yīng)的用戶滿意度評價指標(biāo)體系。例如：甘利人等從顧客期望、顧客對質(zhì)量的感知、顧客對價值的感知、顧客滿意度、顧客抱怨、顧客忠誠等6個方面構(gòu)建的我國四大數(shù)據(jù)庫網(wǎng)站用戶滿意度評價指標(biāo)體系［11］；武京安設(shè)計的評價武漢市政府門戶網(wǎng)站的評價指標(biāo)體系［9］。本文設(shè)計了國家科技報告服務(wù)系統(tǒng)用戶滿意度評價指標(biāo)體系，并對其實用性和有效性進行了問卷調(diào)查，從而確定了用戶對該服務(wù)系統(tǒng)的總體滿意度評價，并在此基礎(chǔ)上提出了改進建議。

2　評價目標(biāo)

本文本著科學(xué)性、實用性、客觀性和可操作性的原則來確定對國家科技報告服務(wù)系統(tǒng)進行評價的目標(biāo)。

對注冊用戶的電話訪問表明，用戶除了比較關(guān)注系統(tǒng)整體性能外，更加重視系統(tǒng)提供科技報告的質(zhì)量，關(guān)注系統(tǒng)的檢索、瀏覽、全文推送、服務(wù)方式、易用性等。因此，結(jié)合系統(tǒng)自身的特點，從系統(tǒng)整體性能、檢索功能、網(wǎng)站易用性和資源4個方面來實現(xiàn)以下目標(biāo)。

（1）提高系統(tǒng)性能。系統(tǒng)的性能包括系統(tǒng)的穩(wěn)定性、系統(tǒng)的運行速度等，系統(tǒng)的性能直接關(guān)系到用戶使用系統(tǒng)的直接感受。對系統(tǒng)整體性能進行評價，有助于發(fā)現(xiàn)系統(tǒng)性能存在的問題。

（2）改進檢索功能。用戶瀏覽科技報告必須在系統(tǒng)上進行相關(guān)檢索，檢索功能的完備性、可靠性及檢索結(jié)果的全面性等與國家科技報告服務(wù)系統(tǒng)提供科技報告開放共享服務(wù)的質(zhì)量息息相關(guān)。對系統(tǒng)的檢索功能進行評價，有助于發(fā)現(xiàn)目前系統(tǒng)檢索功能存在的不足。

（3）改善網(wǎng)站易用性。網(wǎng)站易用性是指用戶在使用系統(tǒng)時的方便性，包括網(wǎng)站的幫助服務(wù)、用戶注冊、登錄、界面友好性等。從用戶的角度對網(wǎng)站的易用性進行評價，能及時了解當(dāng)前系統(tǒng)的界面設(shè)計是否合理。

（4）充分發(fā)揮特色服務(wù)。科技報告的開放共享是國家科技報告服務(wù)系統(tǒng)提供的特色服務(wù)，調(diào)查用戶對資源的權(quán)威性、更新的時效性及內(nèi)容的完整性等的評價，有利于發(fā)現(xiàn)不足，及時做出調(diào)整，從而充分發(fā)揮系統(tǒng)的特色服務(wù)。

3　評價指標(biāo)與權(quán)重

根據(jù)層次分析法，評價指標(biāo)體系共分3個層次：目標(biāo)層、準(zhǔn)則層和指標(biāo)層。評價指標(biāo)集的設(shè)計則主要包括：準(zhǔn)則層指標(biāo)和指標(biāo)層指標(biāo)的設(shè)計。根據(jù)評價目標(biāo)，結(jié)合用戶對系統(tǒng)關(guān)注的重點與系統(tǒng)的實際情況，選取系統(tǒng)整體性能、檢索功能、網(wǎng)站易用性和資源內(nèi)容質(zhì)量4個維度作為評價指標(biāo)體系的準(zhǔn)則層。然后，細(xì)化各準(zhǔn)則層的指標(biāo)，選取指標(biāo)層各指標(biāo)：系統(tǒng)的整體性能從穩(wěn)定性和運行速度來評價，檢索功能從檢索頁面易用性、檢索方式完備性、檢索結(jié)果全面性和可靠性來評價，網(wǎng)站易用性從界面、注冊、反饋處理、網(wǎng)站幫助以及全文推送5個方面進行評價，資源內(nèi)容質(zhì)量從權(quán)威性、更新時效性、分類合理性和內(nèi)容完整性4個方面進行評價。指標(biāo)體系的各級具體評價指標(biāo)及指標(biāo)含義如表1所示。

評價指標(biāo)體系3個層次的具體涵義如下。

（1）目標(biāo)層是用戶對國家科技報告服務(wù)系統(tǒng)的滿意度評價，表示實施評價的總目標(biāo)。

（2）準(zhǔn)則層是為了實現(xiàn)目標(biāo)而建立的一套判斷準(zhǔn)則。本文將從國家科技報告服務(wù)系統(tǒng)的4個維度進行評價，即系統(tǒng)整體性能、檢索功能、網(wǎng)站易用性、資源內(nèi)容質(zhì)量，從不同角度概括了系統(tǒng)的各個方面。

（3）指標(biāo)層也稱為措施層，是實現(xiàn)目標(biāo)、解決問題可供選擇的各種決策、措施、方案等，即對國家科技報告服務(wù)系統(tǒng)進行評價的具體評價指標(biāo)。本文共設(shè)有15個三級評價指標(biāo)。

評價指標(biāo)權(quán)重的確定系借鑒層次分析法中指標(biāo)權(quán)重的確定方法，對于國家科技報告服務(wù)系統(tǒng)用戶滿意度的總目標(biāo)（A），采用問卷方式調(diào)查用戶對評價指標(biāo)體系中準(zhǔn)則層和指標(biāo)層各指標(biāo)重要程度的感知，對感知度進行量化，要求用戶對每個指標(biāo)重要程度從1-9進行感知評價，共分為5個等級，其中，9表示極其重要，7-8表示非常重要，5-6表示一般重要，3-4表示不太重要，1-2表示不重要。對收集數(shù)據(jù)進行必要處理后，對準(zhǔn)則層（B）中各指標(biāo)的相對重要性進行兩兩比較，構(gòu)造該級別判斷矩陣A-B（表2）。判斷矩陣中的元素bij，表示指標(biāo)Bi對指標(biāo)Bj的相對重要性值，這里采用T.L.Satty提出的1-9級比例標(biāo)度法（表3）來衡量指標(biāo)間的相對重要性。根據(jù)建立的判斷矩陣，利用Expert Choice軟件計算出準(zhǔn)則層B1、B2、B3、B4相對于總目標(biāo)A的權(quán)重為V=｛V1，V2，V3，V4｝。

同樣，對準(zhǔn)則層的4個指標(biāo)B1、B2、B3、B4的下一級（C層）各指標(biāo)，采用同樣的方法分別構(gòu)造判斷矩陣B1-C、B2-C、B3-C、B4-C、同樣計算出指標(biāo)層各指標(biāo)相對于各自準(zhǔn)則層指標(biāo)的權(quán)重Ci。然后通過公式

計算得出指標(biāo)層各因素相對于總目標(biāo)的相對權(quán)重的總的排序W。

4　實證研究

基于已設(shè)計的調(diào)查問卷，對用戶進行問卷調(diào)查來驗證設(shè)計的評價指標(biāo)體系的實用性和有效性。

表1　國家科技報告服務(wù)系統(tǒng)用戶滿意度評價指標(biāo)體系

表2　準(zhǔn)則層各指標(biāo)的判斷矩陣

表3　1-9級比例標(biāo)度及其含義

4.1問卷調(diào)查

選取國家科技報告服務(wù)系統(tǒng)的注冊用戶作為調(diào)查對象，調(diào)查用戶對評價指標(biāo)體系中準(zhǔn)則層和指標(biāo)層各指標(biāo)相對重要性的感知程度。同時，調(diào)查用戶對指標(biāo)層各指標(biāo)的滿意度評分，這里采用5級評分標(biāo)準(zhǔn)（5分為最高分，1分為最低分），其測試評語集為：S=｛5，4，3，2，1｝=｛非常滿意，比較滿意，一般滿意，不太滿意，非常不滿意｝。

本研究采用郵件的方式隨機向注冊用戶發(fā)放調(diào)查問卷100份，共回收有效問卷80份，回收率為80%。通過對回收的調(diào)查問卷進行統(tǒng)計分析發(fā)現(xiàn)，本科學(xué)歷用戶占32.5%，碩士學(xué)歷用戶占50%，博士及以上學(xué)歷用戶占17.5%。其中管理學(xué)占61.25%，工科占27.5%，理科占5%，其他專業(yè)占6.25%。選取注冊用戶為調(diào)查對象，使分析結(jié)果更具有說服力。隨機選取不同學(xué)歷層次、不同專業(yè)用戶填寫調(diào)查問卷，有效確保了調(diào)查得到的數(shù)據(jù)的可靠性與隨機性。

4.2評價指標(biāo)權(quán)重的確定

利用回收的調(diào)查問卷中各個指標(biāo)的調(diào)查數(shù)據(jù)，求出各指標(biāo)重要度均值，然后對指標(biāo)層相對于同一準(zhǔn)則的各指標(biāo)進行兩兩比較，得出其相對重要性的比值，分別構(gòu)造判斷矩陣，并利用Expert Choice 軟件計算各指標(biāo)相對于上一層準(zhǔn)則的權(quán)重。最后利用公式計算得出指標(biāo)層（C）各評價指標(biāo)相對于總目標(biāo)（A）的相對重要性之總排序W（表4）。

表4　指標(biāo)相對于評價總指標(biāo)的權(quán)重總排序

4.3一致性檢驗

為了保證指標(biāo)的合理性，在使用軟件Expert Choice 進行特征值的計算時對指標(biāo)進行一致性檢驗，檢驗結(jié)果是所有判斷矩陣的一致性指標(biāo)C.I均≤0.1，所有指標(biāo)判斷矩陣均通過了一致性檢驗，說明研究結(jié)果具有統(tǒng)計學(xué)意義，同時表明該評價指標(biāo)體系是可行的。

4.4問卷結(jié)果

對回收問卷數(shù)據(jù)進行整理后，以柱形圖顯示各指標(biāo)重要度感知等級評價人數(shù)占總?cè)藬?shù)的百分比（圖1）。從圖1可以看出，約80%用戶認(rèn)為界面友好性、系統(tǒng)穩(wěn)定性以及系統(tǒng)運行速度都是非常重要的，50%以上的用戶認(rèn)為檢索結(jié)果可靠性和資源權(quán)威性是極其重要的，認(rèn)為系統(tǒng)檢索功能是非常重要和極其重要的用戶占80%以上；絕大多數(shù)人認(rèn)為注冊是否方便和網(wǎng)站對用戶反饋處理是否及時不是很重要，對這2個指標(biāo)的重要度感知評價在6及其以下的用戶占40%以上。

對回收的問卷按照不同學(xué)科的用戶進行劃分，分別計算各學(xué)科用戶對評價指標(biāo)滿意度評分的平均值，以柱形圖展現(xiàn)（圖2）。從圖2可以看出，各學(xué)科用戶對系統(tǒng)性能和資源內(nèi)容質(zhì)量相對比較滿意，對系統(tǒng)網(wǎng)站幫助服務(wù)相對不太滿意。其中，用戶對系統(tǒng)檢索頁面的易用性、網(wǎng)站對用戶反饋處理的時效性以及科技報告全文傳遞的便捷性不太滿意，評價平均分都在3分以下。

圖1　各指標(biāo)重要度感知等級評價人數(shù)占全部人數(shù)的百分比

圖2　不同學(xué)科及全部用戶對各指標(biāo)的滿意度評分平均值

將回收的調(diào)查問卷中各指標(biāo)滿意度評分的平均值，記為Si；總體滿意度評分記為S。利用公式求出用戶對國家科技報告服務(wù)系統(tǒng)的總體滿意度評分為4.12，處于一般滿意與比較滿意之間。如果按照100分制來計算，則總滿意度評價得分為82.4分。說明用戶對國家科技報告服務(wù)系統(tǒng)比較滿意。

5　結(jié)論與建議

（1）用戶大都比較關(guān)注國家科技報告服務(wù)系統(tǒng)的整體性能。其中，界面友好性、系統(tǒng)穩(wěn)定性、系統(tǒng)運行速度直接關(guān)系到用戶使用系統(tǒng)的心情以及用戶是否會繼續(xù)使用系統(tǒng)的忠誠度，直接影響到用戶對服務(wù)系統(tǒng)的滿意度。因而需要進一步提高系統(tǒng)整體性能。

（2）很多用戶反應(yīng)找不到國家科技報告服務(wù)系統(tǒng)的檢索窗口。系統(tǒng)對用戶設(shè)有3種訪問身份：社會公眾、專業(yè)人員、管理人員，用戶必須選擇一種身份點擊進去才能看到檢索窗口，導(dǎo)致用戶對檢索頁面易用性評分比較低。雖然，國家科技報告服務(wù)系統(tǒng)網(wǎng)站上的“幫助服務(wù)”對系統(tǒng)各種操作都有詳細(xì)說明，但是很少有用戶在使用系統(tǒng)前會仔細(xì)了解這些幫助信息。因此，有必要將檢索窗口置于明顯位置，提高檢索頁面易用性。

（3）目前，服務(wù)系統(tǒng)還不能像其他購物網(wǎng)站那樣可以在線詢問，很多用戶不愿意打電話或者認(rèn)為發(fā)郵件太過麻煩，系統(tǒng)需要進一步完善反饋機制，建議建立國家科技報告服務(wù)系統(tǒng)的交流平臺，及時接收用戶反饋的意見，使用戶及時了解系統(tǒng)最新發(fā)展動態(tài)。

（4）科技報告作為一種科技文獻，側(cè)重描述整個研究過程中的技術(shù)環(huán)節(jié)，有嚴(yán)格的密級劃分和限制使用范圍。因為要確保科技報告的安全使用，所以用戶不能像其他相關(guān)網(wǎng)站那樣隨便下載全文，只能通過向作者本人發(fā)送請求或者獲取閱點才能獲取到全文。系統(tǒng)應(yīng)盡可能完善科技報告全文傳遞的收費服務(wù)功能。

此外，本文提出的國家科技報告服務(wù)系統(tǒng)運行狀況的評價指標(biāo)體系尚不夠完善，問卷調(diào)查的對象不夠全面，樣本量不夠大，收集的數(shù)據(jù)也不夠充分。因此，對國家科技報告服務(wù)系統(tǒng)的總體評價，有待在今后的研究中進一步探討強化。

［1］關(guān)于加快建立國家科技報告制度的指導(dǎo)意見［EB/OL］. ［2014-09-11］.http://www.nstrs.org.cn/Admin/Content/ArtileDetails.aspx？arid=4685&type=1.

［2］李浩凌，肖瓏，徐成，等.用戶滿意度調(diào)查法在數(shù)字資源評估中的運用［J］.大學(xué)圖書館學(xué)報，2007，25（1）:41-46.

［3］莫祖英，馬費成.數(shù)據(jù)庫信息資源內(nèi)容質(zhì)量用戶滿意度模型及實證研究［J］.中國圖書館學(xué)報， 2013，39（2）:85-97.

［4］任紅娟，趙伯興.論圖書館用戶滿意度評價體系的建構(gòu)［J］.圖書館理論與實踐，2006（3）:4-6.

［5］李雪萍，馮凱.基于神經(jīng)網(wǎng)絡(luò)的圖書館服務(wù)用戶滿意度評價體系［J］.情報雜志，2006，25（3）:87-88.

［6］杜湘.基于模糊綜合評價模型的圖書館用戶滿意度評估方法研究［J］.情報探索，2011（5）:26-28.

［7］顧立培，邢寶君.團購導(dǎo)航網(wǎng)站用戶滿意度研究［J］.現(xiàn)代情報，2014，34（6）:160-165.

［8］劉友華，戚愛華，杜佳，等.學(xué)術(shù)網(wǎng)站評價指標(biāo)體系的構(gòu)建與應(yīng)用［J］.情報科學(xué)，2008，26（1）:64-68.

［9］武京安.武漢市政府門戶網(wǎng)站用戶滿意度研究［D］.武漢:華中科技大學(xué)，2012.

［10］吳曉丹，吉久明.科技文獻平臺用戶滿意度灰色模糊綜合評價研究［J］.數(shù)字圖書館論壇，2009（5）:45-49.

［11］甘利人，馬彪，李岳蒙，等.我國四大數(shù)據(jù)庫網(wǎng)站用戶滿意度評價研究［J］.情報學(xué)報，2004，23（5）:524-530.

Research of Customer Satisfaction Evaluation System to the National Science and Technology Reporting Services System

He Wenzhen， Zhao Jie
（Institute of Scientifc and Technical Information of China， Beijing 100038）

On the basis of the combination of foreign and domestic scholars research on customer satisfaction，using AHP design an evaluation indicator system about customer satisfaction to the National Science and Technology Reporting Service System. Using software Expert Choice calculate the weight of every index to the overall goal. Using questionnaire survey customer satisfaction to the National Science and Technology Reporting Service System and then determine customer's overall satisfaction evaluation to the current service system. Finally， putting forward several suggestions for improving customer satisfaction to the National Science and Technology Reporting Service System.

National Science and Technology Reporting Service System， AHP， customer satisfaction， evaluation indicator system

G203

A DOI：10.3772/j.issn.1674-1544.2015.05.003

何文珍（1990-），女，中國科學(xué)技術(shù)信息研究所碩士研究生，研究方向：數(shù)據(jù)分析與挖掘；趙捷（1959-）；男，中國科學(xué)技術(shù)信息研究所信息資源中心副主任，研究館員，碩士生導(dǎo)師，研究方向：數(shù)據(jù)挖掘與知識服務(wù)。

中國科學(xué)技術(shù)信息研究所承擔(dān)項目“科技報告試點工作和服務(wù)系統(tǒng)建設(shè)”（2014KJBG-01）。

2015年6月19日。