中國醫(yī)學科學院醫(yī)學信息研究所（100020） 郭珉江 劉鴻燕 王冰倩 陳慶錕 胡紅濮

基于整合視角的省級新農(nóng)合信息系統(tǒng)建設效果評價模型研究*

中國醫(yī)學科學院醫(yī)學信息研究所（100020） 郭珉江 劉鴻燕 王冰倩 陳慶錕 胡紅濮△

目的構(gòu)建省級新農(nóng)合信息系統(tǒng)建設效果評價模型，為管理者深入了解新農(nóng)合信息系統(tǒng)的建設效果，持續(xù)完善信息系統(tǒng)建設提供參考工具。方法從技術－服務－業(yè)務支撐的整合視角出發(fā)，采用德爾菲法對17名專家進行兩輪專家咨詢建立省級新農(nóng)合信息系統(tǒng)建設效果評價指標體系，并運用層次分析法確定指標權(quán)重。結(jié)果兩輪專家咨詢的問卷回收率分別為94%和88%，17名專家中50%以上為在相關工作領域工作10年以上的省級新農(nóng)合業(yè)務管理人員，是信息系統(tǒng)的直接用戶，其權(quán)威程度為0．83。最終構(gòu)建的指標體系包括6個一級指標和24個二級指標。結(jié)論指標體系體現(xiàn)了對新農(nóng)合信息系統(tǒng)建設不同層面效果的測量，為全面分析新農(nóng)合信息化建設存在問題和改進方向奠定基礎。

省級新農(nóng)合信息系統(tǒng) 建設效果 整合視角

隨著新農(nóng)合業(yè)務信息的海量增長，管理信息系統(tǒng)在輔助新農(nóng)合業(yè)務管理中的作用日益凸出，全國三分之二的省份已建立了省級新農(nóng)合信息平臺［1］，為提高新農(nóng)合業(yè)務管理水平和服務效率提供了重要支撐，90%的新農(nóng)合統(tǒng)籌地區(qū)實現(xiàn)了省內(nèi)異地就醫(yī)即時結(jié)算［2］。然而，受系統(tǒng)架構(gòu)、數(shù)據(jù)標準、信息管理等多方面因素影響，我國許多地區(qū)在新農(nóng)合信息化建設方面難以達到理想效果［3］。如何科學、客觀地判斷和測量新農(nóng)合信息系統(tǒng)建設的實際效果，及時發(fā)現(xiàn)系統(tǒng)存在的問題，明確改進方向，對于確保其制度支撐能力以及公共投入績效具有重要意義。本研究在系統(tǒng)分析衛(wèi)生領域信息系統(tǒng)建設效果內(nèi)涵的基礎上，從技術－服務－業(yè)務支撐的整合視角出發(fā)構(gòu)建省級新農(nóng)合信息系統(tǒng)建設效果評價模型，以期為各省新農(nóng)合管理人員科學管理信息系統(tǒng)提供參考。

建設效果內(nèi)涵

在衛(wèi)生領域，效果是指規(guī)劃執(zhí)行后解決某一衛(wèi)生問題或改善不良衛(wèi)生狀況取得的實際成果，通常用于衡量與實施活動直接相關的結(jié)果［4］。在信息領域，信息系統(tǒng)效果常常以效用、績效等概念的形式出現(xiàn)，如馬費成［5］等認為信息系統(tǒng)效用是指信息系統(tǒng)所具有的、可以通過用戶的使用改變用戶績效的能力。肖希明［6］等認為信息資源共享系統(tǒng)的績效涉及系統(tǒng)運行的效果和效率、系統(tǒng)建設和維護的投入產(chǎn)出、系統(tǒng)提供的服務所產(chǎn)生的經(jīng)濟效益和社會效益、用戶獲取和利用信息資源的滿意度等諸多方面。DeLone和M cLean［7］借用了Shannon和Weaver對信息交流系統(tǒng)的研究，認為成功的信息系統(tǒng)能夠在三個不同等級下進行測度或評價：技術性等級，即生產(chǎn)信息系統(tǒng)的準確性和高效性；語義性等級，即信息傳達它本意的成功性；有效性等級，即信息對于接收者的影響，由此提出了經(jīng)典的“信息系統(tǒng)成功模型”，包括系統(tǒng)質(zhì)量、信息質(zhì)量、服務質(zhì)量、使用意愿、系統(tǒng)使用、用戶滿意度和凈收益七個指標。由此可見，衛(wèi)生領域所探討的“效果”更多關注于結(jié)果，而信息領域所探討的“效果”則同時關注于過程和結(jié)果兩個方面。這主要是因為信息系統(tǒng)是一個復雜的社會技術系統(tǒng)，其實施不僅帶來了信息產(chǎn)品的誕生，也意味著一種新的業(yè)務環(huán)境和運行模式，因此它的效果存在演變和時滯等問題，需要通過過程研究來分析收益的傳遞和評估［8］。綜上所述，衛(wèi)生領域信息系統(tǒng)建設效果評價既應包含對作為信息產(chǎn)品的系統(tǒng)性能的評價，也應包含其建成后在用戶和業(yè)務層面產(chǎn)生的效益的評價，是一個整合技術有效性、服務有效性和業(yè)務支撐有效性三方面的綜合評價，需要摒棄傳統(tǒng)的“唯技術論”的評價視角，從整合視角出發(fā)構(gòu)建評價模型。

新農(nóng)合信息系統(tǒng)建設效果評價框架

本文以省級新農(nóng)合信息系統(tǒng)為研究對象，根據(jù)省級新農(nóng)合業(yè)務需求，以“信息系統(tǒng)成功模型”為基礎，從技術有效性、服務有效性和業(yè)務支撐有效性的整合視角構(gòu)建建設效果評價框架。

1．技術有效性

技術有效性主要從信息系統(tǒng)開發(fā)者的角度進行評價，它關注的是信息系統(tǒng)作為信息產(chǎn)品的屬性，隨著城鄉(xiāng)居民基本醫(yī)療保險制度的逐步整合，業(yè)務并軌對信息系統(tǒng)的基礎支撐作用要求更高，其核心即為保證技術層面的有效性。因此技術有效性是評價新農(nóng)合信息系統(tǒng)建設效果的最為核心的內(nèi)容。根據(jù)信息論的“信源、信道、信宿”三階段理論，技術有效性重點從信息產(chǎn)品的生產(chǎn)即系統(tǒng)層和信息產(chǎn)品結(jié)果（即信息層）兩個層面對技術有效性進行分析，包括“系統(tǒng)質(zhì)量”和“信息質(zhì)量”兩個維度。

2．服務有效性

服務有效性主要從新農(nóng)合業(yè)務人員的角度進行評價，它關注的是信息系統(tǒng)作為操作工具的屬性，可以從服務提供與使用兩個層面對服務有效性進行分析，包括“服務質(zhì)量”、“使用意愿”、“系統(tǒng)使用”和“用戶滿意度”四個維度。這里的分層與“信息系統(tǒng)成功模型”略有不同，這是因為“信息系統(tǒng)成功模型”重在分析信息系統(tǒng)成功的因果關系，因此將“服務質(zhì)量”、“系統(tǒng)質(zhì)量”和“信息質(zhì)量”作為基礎，探討其對系統(tǒng)使用的影響；而本研究重在分解信息系統(tǒng)建設效果的構(gòu)成要素，從評價對象角度劃分有效性的內(nèi)涵，因此將“服務質(zhì)量”與系統(tǒng)使用相關維度歸為一類。

3．業(yè)務支撐有效性

業(yè)務支撐有效性主要從新農(nóng)合管理人員的角度進行評價，它關注的是信息系統(tǒng)作為管理工具的屬性。許多研究表明，新農(nóng)合信息系統(tǒng)在提高管理效率、服務管理質(zhì)量和輔助決策方面具有重要作用，因此本研究也主要從“結(jié)報管理”、“基金管理”和“報表管理”三個關鍵業(yè)務節(jié)點的效率、質(zhì)量和決策支持程度進行有效性評價。

德爾菲法篩選指標

1．專家遴選

本研究旨在分析省級新農(nóng)合信息系統(tǒng)有效性，咨詢專家需要同時具有省級新農(nóng)合管理經(jīng)驗和系統(tǒng)建設經(jīng)驗，因此我們選擇專家主要來自于信息化建設較好省份的新農(nóng)合業(yè)務管理人員及信息化管理人員，同時選擇了具有相關項目建設經(jīng)驗的專家學者，共遴選專家17人。其中省級新農(nóng)合業(yè)務管理人員7人，省級新農(nóng)合信息系統(tǒng)管理人員4人，衛(wèi)生信息管理專家6人。17名專家均為本科以上學歷，其中具有高級職稱者8人（47%），中級職稱者4人（23．6%），其他職稱者（行政人員）5人（29．4%）。

2．問卷內(nèi)容

第一輪專家咨詢問卷包括一級指標8個，二級指標28個。第二輪專家咨詢時，向?qū)＜姨峁┏醪綌M訂的指標體系和上一輪專家咨詢的統(tǒng)計結(jié)果。兩輪咨詢均要求專家就指標進行刪減、調(diào)整和修改。本研究要求專家對每個指標進行重要性評價，評價標準采用9分制，9分為很重要，7分為較重要，5分為一般，3分為較不重要，1分為很不重要，8分、6分、4分、2分為兩相鄰程度的中間值。通過計算指標的得分、均數(shù)、標準差及變異系數(shù)作為進一步篩選指標的判斷依據(jù)。

3．專家咨詢可靠性分析

專家咨詢的可靠程度一般用專家積極系數(shù)、專家權(quán)威程度和專家意見的協(xié)調(diào)程度這三個指標來衡量。專家積極系數(shù)一般用問卷回收率來表示。專家的權(quán)威程度用權(quán)威系數(shù)表示。權(quán)威系數(shù)一般由兩個因素決定，即專家對指標的熟悉程度和判斷依據(jù)。其中專家熟悉程度和判斷依據(jù)的賦值如表1～2所示。結(jié)果顯示，專家對評價指標熟悉程度的平均系數(shù)為0．75，專家的判斷依據(jù)的平均系數(shù)為0．91，專家的權(quán)威程度平均為0．83，表明所選專家在行業(yè)內(nèi)具有較高的權(quán)威性。專家意見的協(xié)調(diào)程度用協(xié)調(diào)系數(shù)W（Kendall和諧系數(shù)）表示，其值為0～1，越接近于1，意味著專家協(xié)調(diào)程度越高，通過計算協(xié)調(diào)系數(shù)并進行顯著性檢驗（卡方檢驗），判斷專家對各項指標的評價是否存在較大分歧［9］。本研究結(jié)果顯示，全部檢驗結(jié)果P值均小于0．05，有統(tǒng)計學意義（表3）。檢驗結(jié)果表明專家意見的協(xié)調(diào)性較好。

表1 指標熟悉程度量化表

表2 指標判斷依據(jù)及影響程度量化表

表3 Kendall和諧系數(shù)W檢驗結(jié)果

4．指標篩選結(jié)果

遴選出的指標需要較高的得分均值且變異系數(shù)小，本研究以均值得分大于滿分的70%（6．3分），變異系數(shù)小于0．3為篩選標準進行指標刪減。根據(jù)第一輪各項指標的得分均數(shù)和變異系數(shù)兩項指標，結(jié)合專家提出的意見，第一輪咨詢后，刪除1個一級指標、2個二級指標，并修改4個指標，增加1個指標。第二輪專家咨詢后，專家的意見穩(wěn)定，協(xié)調(diào)性好，結(jié)果良好，對第二輪指標未調(diào)整，經(jīng)研究組成員反復討論篩選后，最終確立了省級新農(nóng)合信息系統(tǒng)建設效果評價模型，其中一級指標6個，二級指標24個（表4、5）。

表4 一級指標遴選結(jié)果

表5 二級指標遴選結(jié)果

層次分析法確定指標權(quán)重

本文通過層次分析法進行指標權(quán)重計算。邀請德爾菲咨詢中第二輪專家對矩陣中的指標進行兩兩對比，構(gòu)建兩兩比較判斷矩陣，利用層次結(jié)構(gòu)反映因素間的關系，并根據(jù)衡量目標的重要程度給出標度［10］。按照Satty的1～9比例標度賦值，通過層次單排序及一致性檢驗、層次單總排序及一致性檢驗、綜合群組判斷矩陣得到各級指標的權(quán)重系數(shù)，見表6。

表6 使用層次分析法確定的新農(nóng)合信息系統(tǒng)建設效果評價指標權(quán)重系數(shù)

實證檢驗

通過問卷調(diào)查和現(xiàn)場調(diào)研，我們收集了四個省級新農(nóng)合信息系統(tǒng)的相關數(shù)據(jù)，其中兩個省份為東部省份，兩個省份為中部省份。采用綜合指數(shù)法構(gòu)建綜合評價模型，對評價對象采取正向累積的方式計分，最后通過SPSS21．0軟件進行信度分析。

1．數(shù)據(jù)無量綱化處理

對于無量綱化處理，目前經(jīng)常使用的有極差正規(guī)化法、標準化法和均值化法。有研究表明，對于沒有統(tǒng)一標準的指標，可采用平均值作為標準，其中高優(yōu)指標為X/M（M為各指標的標準，X為各指標的實測值），低優(yōu)指標為M/X［11］。本研究均為高優(yōu)指標，因此數(shù)據(jù)無量綱化計算方式如下：

xij為j指標的原始數(shù)值為j指標的均值，yij為標化處理后數(shù)值。

2．計算綜合指數(shù)值

將各個指標無量綱化處理后的數(shù)值乘以該項指標的組合權(quán)重可以得到綜合指數(shù)值，計算方式如下：

其中y為綜合指數(shù)值，wi是指標i的權(quán)重，xi是指標i的標化值，n為指標個數(shù)。為更清楚地區(qū)分各地差異，可將y值乘以100，得到綜合評價參考得分。

3．結(jié)果

調(diào)研省份的綜合指數(shù)如表7所示。

表7 四省新農(nóng)合信息系統(tǒng)綜合評價得分

4．模型驗證

本研究通過計算克朗巴赫α系數(shù)對評價指標體系的信度進行檢驗。結(jié)果顯示，省級新農(nóng)合信息系統(tǒng)指標體系總體信度克朗巴赫α系數(shù)標準值為0．924，F(xiàn)＝46．219，P＜0．001，可以認為指標體系內(nèi)部的一致性較好。由于本研究所選指標并未涉及效標關聯(lián)效度，同時本研究的樣本量較小，結(jié)構(gòu)效度測量受限，因此本研究只考慮內(nèi)容效度。內(nèi)容效度一般靠經(jīng)驗、推理和判斷來進行評估，本研究中依據(jù)文獻回顧制定評價框架和指標內(nèi)容選擇標準，之后進行兩輪德爾菲專家咨詢進行指標的遴選和修改，可以認為評價指標基本包含了所要評價的內(nèi)容，具有較好的內(nèi)容效度。

討 論

從綜合評價結(jié)果來看，中部地區(qū)新農(nóng)合信息系統(tǒng)建設效果普遍優(yōu)于東部，系統(tǒng)使用情況和用戶滿意程度也普遍高于東部。由于樣本量較小，難以從統(tǒng)計學上分析這一結(jié)果的可靠性，從實際經(jīng)驗來看，這一結(jié)果主要有兩方面的可能原因：一是由于自2006年起，中央財政持續(xù)對中西部省份的新農(nóng)合信息化建設投入，中西部省份在新農(nóng)合信息系統(tǒng)建設、組織建設、政策制定等方面起步較早，系統(tǒng)建設與應用相對成熟。二是由于本研究所選取的中部省份均為農(nóng)業(yè)大省，參合農(nóng)民占當?shù)厝丝跀?shù)量非常高，因此新農(nóng)合管理服務對信息化的需求更為迫切，對信息系統(tǒng)建設起到了很大的促進作用。

本研究從技術－服務－業(yè)務支撐的整合視角出發(fā)建立了省級新農(nóng)合信息系統(tǒng)建設效果評價模型，不僅確保了有形和無形的建設效果都得以測量，引導管理者在注重技術效果的同時，也要注重系統(tǒng)服務、業(yè)務支撐等效果；同時體現(xiàn)了建設效果作為技術水平和業(yè)務績效的中間過程的特點，避免簡單地將投入作為衡量衛(wèi)生信息系統(tǒng)建設效果的傾向，將建設效果的原因和結(jié)果區(qū)別開來，從而為管理者明確系統(tǒng)的薄弱環(huán)節(jié)和潛在需求提供了參考依據(jù)。在指標篩選和權(quán)重確定過程中，綜合運用了德爾菲法和層次分析法。一方面考慮了操作的可行性，另一方面考慮了結(jié)果的客觀性，為開展具體的評價工作提供了有效的實施方法。限于研究對象的數(shù)量，缺乏大樣本實證檢驗，后續(xù)研究將以縣級系統(tǒng)為對象進行更大范圍的實證研究以驗證模型的實用性。

［1］郭珉江，錢慶，胡紅濮．我國省級新農(nóng)合信息平臺建設狀況研究．中國衛(wèi)生信息管理雜志，2014（1）：57-60，64．

［2］國務院：深化醫(yī)改2015年重點工作任務．http：//www．cn-healthcare．com/article/20150510/content-473661．htm l．［3］謝莉琴，李亞子，那旭．基于各級新農(nóng)合信息系統(tǒng)實現(xiàn)異地就醫(yī)管理實踐與問題研究．中國數(shù)字醫(yī)學，2014（12）：6-8．

［4］程曉明，羅五金，劉國祥．衛(wèi)生經(jīng)濟學．北京：人民衛(wèi)生出版社，2012．

［5］馬費成，宋恩梅．信息管理學基礎．武漢：武漢大學出版社，2011．

［6］肖希明，李卓卓．信息資源共享系統(tǒng)績效評估研究．北京：學習出版社，2013．

［7］Delone WH，M clean ER．The DeLone and M cLean model of information systems success：a ten-year update．Journal of Management Information Systems，2003，19（4）：9-30．

［8］肖靜華．企業(yè)信息化水平評價理論與方法．北京：電子工業(yè)出版社，2010．

［9］劉歡，吳晶，劉軍安，等．村衛(wèi)生室基本藥物制度績效評價指標體系構(gòu)建研究．中國衛(wèi)生統(tǒng)計，2015，32（6）：935-938．

［10］朱鳳梅．基于模糊綜合評價方法的醫(yī)療衛(wèi)生體制改革評價研究．中國衛(wèi)生統(tǒng)計，2016，33（2）：267-270．

［11］李玉革，陳訪賢，岳一姬，等．TOPSIS法在新疆艾滋病綜合防治工作評價中的應用．中國衛(wèi)生統(tǒng)計，2014，31（4）：658-660．

（責任編輯：郭海強）

中央級公益性科研院所基本科研業(yè)務費課題項目（2016RC330017）

△通信作者：胡紅濮，E-mail：hu．hongpu＠imicams．a(chǎn)c．cn