韓 嘯,黃劍鋒
隨著工作、生活中信息技術/信息系統(tǒng)的應用越來越多,如何對信息技術/信息系統(tǒng)的使用效益進行評估成為了學界和業(yè)界關注的熱點問題[1]。在學者們不斷努力下,一些評估模型被提出,如技術接受模型、整合技術接受模型、期望確認模型和信息系統(tǒng)成功模型等。其中,學者DeLone和Mclean所建構的信息系統(tǒng)成功模型(以下簡稱D&M模型)是被信息系統(tǒng)評價研究參考最多的理論模型[2],被稱為最具里程碑意義的模型[3]。2004年,國內學者開始運用D&M模型開展研究,在之后的十幾年間該模型的應用范圍迅速擴散,從企業(yè)ERP、圖書館、政府網站到團購網站與社交媒體等。不過,國內基于D&M模型進行應用研究時,存在著一些差異,甚至不斷出現與D&M模型建構的變量關系不一致、甚至矛盾的結論[4-6],例如針對社交媒體的研究顯示,信息質量、系統(tǒng)質量與滿意度之間不存在相關關系[6];有關電子政務的研究發(fā)現信息質量、系統(tǒng)質量與使用意愿之間沒有相關關系[7]。這些不一致的研究結論不僅造成了認識上的分歧,也對D&M模型的有效性和變量關系的穩(wěn)定性提出了質疑,不利于后續(xù)研究的深化。薈萃分析作為對實證研究文獻進行綜述的一種方法,可將獨立的研究結果進行整合形成一致性的研究結論,得出客觀評價結果,解決爭議性議題,實現從個別結論到一般結論的科學歸納[8-9]。自70年代薈萃分析法被提出后,已在醫(yī)學、心理學、教育學、管理學、經濟學等領域廣泛應用,被公認為是社會科學領域最常用的定量合成方法[10]。鑒于此,本文采用薈萃分析方法,整合國內涉及D&M模型的所有定量研究,合并相關系數,計算Q值、效應值和失效安全系數以檢驗模型的有效性和變量關系的穩(wěn)定性,剖析和探討當下研究結論存在不一致的原因,為后續(xù)研究提供經驗證據。
在信息系統(tǒng)研究的早期,學界廣泛使用計劃行為理論(TPB)和技術接受模型(TAM)等去解釋為什么用戶更容易采納新技術的原因。盡管采納是實現信息系統(tǒng)成功的必要前提,但不能將用戶采納等同于系統(tǒng)成功。由于影響信息系統(tǒng)成功因素的復雜性、相互依賴性和多維性,學界缺乏對信息系統(tǒng)成功的系統(tǒng)研究[11]。DeLone和McLean受到信息可分為技術層(Technical)、語義層(Semantic)、效用層(Effectiveness)的啟示[12],把“信息系統(tǒng)成功”這個概念劃分為6個變量(技術層:系統(tǒng)質量;語義層:信息質量;效用層:使用、用戶滿意、個人影響和組織影響)[1],通過對比信息系統(tǒng)研究領域最權威的7種期刊在1981-1987年期間發(fā)表的關于影響信息系統(tǒng)成功的論文,證實了信息系統(tǒng)成功可以使用這相互作用的6個變量來進行詮釋[13],據此創(chuàng)建了第一代D&M模型。詳見圖1。
圖1 第一代D&M信息系統(tǒng)成功模型(1992)
第一代模型中,系統(tǒng)質量是指信息系統(tǒng)運行時表現出的穩(wěn)定性、易用性和響應性等;信息質量是通過信息系統(tǒng)輸出信息的完整性、時效性、準確性等因素來衡量;使用是指用戶對系統(tǒng)的使用情況,例如使用時間、頻率以及對系統(tǒng)的依賴度;滿意度指用戶使用信息系統(tǒng)后的自身感受,是用戶對信息系統(tǒng)最直接的評價和決定是否使用該信息系統(tǒng)的重要變量[14]。個人影響是指員工使用信息系統(tǒng)后工作效率得到提高、決策質量獲得提升;組織影響涉及的內容較多,有生產效率、產品質量、競爭優(yōu)勢等,是信息系統(tǒng)成功的最終目標。但由于很難將組織影響與其他因素進行很好的分離,所以學界避免對組織影響進行直接測量[15]。
自1992年第一代信息系統(tǒng)成功模型提出后,學界對D&M模型進行了大量實證研究,這些研究中有的變量關系顯著,而有的變量關系則不顯著[3],例如使用會對滿意度產生正向影響,但滿意度并不一定會對使用產生正向影響;還有研究指出初始模型忽略了服務質量對信息系統(tǒng)成功的影響,在未來研究需要補充對該變量的評估[14];以及使用信息系統(tǒng)對個人和組織所產生的影響可能是正向的也可能是負向的,初始模型中假定使用信息系統(tǒng)產生的影響為正向,太過片面。為了回應學界的批評和建議,提高模型的解釋度,DeLone和McLean對1993-2002年期間有關D&M模型研究的全部論文進行分析后,更新初始D&M模型,提出第二代模型(見圖2)。更新后的D&M模型包括7個變量,12組變量關系,新增加變量“服務質量”和“使用意愿”,將“個人影響”和“組織影響”合并成為“凈利益”,并且“凈利益”正向影響“使用意愿”和“滿意度”。
第二代模型中7個變量的概念內涵如下:(1)系統(tǒng)質量,是針對信息系統(tǒng)自身特征的測度,如易用性、靈活性、可靠性以及容易操作、系統(tǒng)功能直觀等;(2)信息質量,包含信息系統(tǒng)輸出的理想特點,即相關性、可理解性、準確性、簡明性、完整性、及時性和有用性;(3)服務質量,指用戶從信息系統(tǒng)部門和信息技術支持人員那里獲得的幫助質量,如響應力、準確性、技術能力和同理心;(4)使用,即員工和客戶利用信息系統(tǒng)能力的程度和方式,如使用數量、使用頻率、使用性質、使用適當性、使用范圍和使用目的;(5)滿意度,是指用戶對使用信息系統(tǒng)、服務支持的滿意程度;(6)使用意愿,指個人對使用信息系統(tǒng)的態(tài)度,相比利用行為,更適用于因果模型,并且它不像“使用”那樣存在多重含義;(7)凈收益,指信息系統(tǒng)在多大程度上為個人、團體、組織實現目標做出的貢獻,如:改善決策、提高效率、增加售量、降低成本和經濟發(fā)展等[16-17]。
圖2 第二代D&M信息系統(tǒng)成功模型(2003)
第二代D&M模型自2004年起被國內學界運用于具體的實證研究中[18],在不同領域進行了廣泛應用,如網絡教育、商業(yè)、網絡社區(qū)、政府信息化等。為勾勒出國內研究現狀,筆者根據兩項標準,即發(fā)表時間與下載量,選擇了10篇代表性文獻來介紹D&M模型的應用情況,參見表1。通過表1,可以了解這些研究涉及的背景、樣本量以及D&M模型中變量之間的顯著性關系。
表1 我國D&M信息系統(tǒng)成功模型的部分研究情況
周煒[3]通過對企業(yè)ERP系統(tǒng)使用情況的考察,發(fā)現系統(tǒng)質量、服務質量對使用意愿具有顯著正向作用,信息質量不會對使用意愿產生影響;信息質量、服務質量顯著正向影響用戶滿意度,系統(tǒng)質量與滿意度之間沒有相關關系;使用與滿意度分別正向影響用戶的凈收益。在信息檢索研究領域中,成穎[4]通過929份問卷對所構建的學術信息檢索系統(tǒng)成功模型進行實證檢驗發(fā)現,系統(tǒng)質量、信息質量對滿意度具有顯著正向影響,信息質量、系統(tǒng)質量和滿意度對使用意愿具有顯著正向影響,但服務質量不會對滿意度產生影響,會對使用意愿產生負向影響。武海東[19]的研究則發(fā)現,系統(tǒng)質量、信息質量和服務質量雖然不會對檢索系統(tǒng)的使用意愿產生正向影響,但是會顯著正向影響用戶的滿意度,滿意度對凈收益會產生顯著正向影響。
在移動商務服務方面,張冕[5]的研究發(fā)現,信息質量正向影響用戶使用意愿與滿意度,系統(tǒng)質量與服務質量對用戶使用意愿不會產生顯著影響,服務質量與滿意度之間具有顯著正向影響,系統(tǒng)質量對滿意度的作用并不顯著,滿意度越高用戶的使用意愿越強。項玥[20]針對電子地圖用戶行為的調查發(fā)現,用戶滿意度和使用意愿均會受到信息質量和系統(tǒng)質量的正向影響,滿意度正向影響用戶的使用意愿。龐詠[21]通過發(fā)放190份問卷調查安卓應用商店中用戶行為的影響因素后發(fā)現,用戶滿意度受到信息質量、服務質量的正向影響,系統(tǒng)質量對滿意度的影響不顯著,滿意度影響用戶的使用意愿。
在關于圖書館信息系統(tǒng)的研究中,謝佳琳和張晉朝[22]通過分析高校圖書館用戶行為,發(fā)現系統(tǒng)質量、信息質量和服務質量對用戶的使用意愿產生顯著正向影響,滿意度正向影響用戶的使用意愿。李浩君和冉金亭[23]對235名圖書館服務系統(tǒng)的用戶進行調查分析后發(fā)現,移動圖書館服務系統(tǒng)的信息質量、系統(tǒng)質量對用戶系統(tǒng)使用和滿意度均具有正向影響,服務質量對用戶使用和滿意度的假設沒有通過檢驗;用戶對圖書館系統(tǒng)的使用和滿意度會對凈收益產生顯著正向影響。
在電子政務的相關研究中,呂懷偉[24]通過問卷收集數據,對G2C模式下的電子政務成功因素進行了評價,研究證實系統(tǒng)質量、信息質量和服務質量對用戶使用和滿意度均有顯著正向影響,用戶使用和滿意度對凈收益有顯著正向影響,但使用對用戶滿意度之間的關系沒有通過檢驗。曾星[7]在對影響電子政務成功的因素研究中發(fā)現,信息質量、系統(tǒng)質量和服務質量都會顯著正向影響用戶滿意度,滿意度與服務質量會正向影響使用意愿,而信息質量和系統(tǒng)質量不會對使用意愿產生影響。
通過對上述研究的比較分析,可發(fā)現基于中國情境下的D&M模型研究結果呈現出不一致性,一些研究所證實的變量關系卻被另一些研究所否定,模型建構的變量關系是否有效及適用會對研究發(fā)現造成直接影響,這些彼此矛盾的結論會給研究者們造成不少困惑,不禁質疑D&M模型是否有效?所建構的變量關系是否穩(wěn)定?是否適用于中國情境?針對這些問題,需要一個能整合多項研究發(fā)現、有效降低甚至排除單一研究結果中存在的測量誤差和抽樣誤差[25]、對彼此矛盾的研究結論進行客觀判斷的循證分析方法。薈萃分析作為循證分析最重要的方法[26],具有“客觀量化標準、整合不同結論、提高統(tǒng)計效度和獲得新發(fā)現”等方面的優(yōu)勢[26]。Glass[27]在20世紀70年代首次提出薈萃分析的概念和研究方法后,不同研究領域的學者對該方法進行完善,應用日漸成熟。近年來,薈萃分析法在圖書情報領域的運用呈現快速上升趨勢,相關研究論文不斷發(fā)表在國內外高水平期刊上。表明薈萃分析法作為一個成熟的研究方法,其科學性、實踐性已被學界廣泛接受、認可。鑒于此,本文選擇薈萃分析作為研究方法,針對D&M模型中變量關系的穩(wěn)定性展開研究。回應國內研究發(fā)現的不一致,分析其中存在差異的原因,以期深化認識、推進未來研究。
參考現有研究[28-29],結合研究目的,本研究的具體步驟為:(1)選擇研究對象,確定檢索詞,開始檢索文獻;(2)根據文獻納入標準,篩選文獻;(3)逐篇閱讀文獻,提取數據;(4)進行計算分析;(5)撰寫分析結論。
筆者選擇全文信息量規(guī)模最大的文獻數據庫:中國知網(CNKI)作為文獻檢索數據來源,為最大限度地將國內D&M模型研究文獻檢索出來,進行了多種檢索方案的嘗試,最終確定“信息系統(tǒng)成功模型”或“D&M模型”或“Information Systems success model”或“D&M-ISSM”為檢索主題進行文獻檢索得到的文獻數量最多,即153篇。在確定文獻納入標準上,筆者參考PRISMA標準,即:(1)研究必須是定量研究;(2)研究變量有采納意愿或采納意向;(3)論文報告了研究模型的相關矩陣或可以轉換為相關系數的其他數值;(4)報告了樣本量;(5)至少測試了原始或修正模型的兩個變量關系[30-31]。針對最初檢索發(fā)現的153篇論文對照文獻納入標準進行篩選,排除重復、不符合納入條件的文獻,最終獲得45篇論文。筆者對分析樣本進行全文閱讀,提取作者、發(fā)表年份、樣本量、分析方法、相關系數以及系統(tǒng)屬性等內容進行編碼,為后面分析提供基礎。
進行薈萃分析前,需要將不同的研究結果轉換為效應值,使研究者能夠進行綜合比較。計算效應值是薈萃分析的核心步驟,因為它代表著標準化的度量指標,體現變量關系的強度和方向,即效應值為正,變量關系為正相關;效應值越高表明變量關系越強,變量關系越強則反映變量關系的穩(wěn)定性越好。本文采用皮爾森相關系數r作為效應值的度量數據,在45篇研究樣本中,71.11%(32篇)的研究報告了相關系數,另外28.89%(13篇)研究報告的是T值或Beta系數,參考轉換公式,將其進行整合計算[32]。
基礎數據整理完畢后,開展進一步分析。首先,計算Q值,進行同質性檢驗,觀察同質性檢驗結果的顯著性水平,判定是否需要討論調節(jié)變量。然后,將每個研究的皮爾森相關系數r轉化為Fisher’s Z,獲得綜合相關系數,以便各研究之間能夠綜合比較大??;其后,進行Z檢驗,評估Zr的加權平均效用值的統(tǒng)計意義;最后,計算失效安全系數,考察需要增加多少篇未出版或者未達顯著性的研究才能推翻薈萃分析的顯著效應值,以此檢驗薈萃分析結果的穩(wěn)定性。
統(tǒng)計樣本中,D&M模型的12組變量關系的研究數量、相關數量、P值范圍以及樣本量等數值,共得到210個相關系數,54186個樣本。但針對“凈收益-使用意愿”(NB-IU)、“凈收益-滿意度”(NB-S)這兩組變量關系,沒有一篇論文報告了它們的相關系數或其他數值。Delone和McLean的研究指出現有研究很少對完整模型進行討論,更多的是選擇其中某些變量展開分析[33]。因此,薈萃分析只針對其余10組變量關系(見表2)。從表2可知,在D&M模型的10組變量關系中,IQ-IU、SyQ-IU、SeQ-IU、SeQ-S的P值跨度較大且出現了負相關,這點與原模型的假設相矛盾;從樣本數量的統(tǒng)計可知,最小樣本量為102名受訪者,最大的有929名受訪者,樣本總量最高的變量關系是SyQ-S,11066人;最低的是U-S,770人。所有研究變量的平均樣本量為5418名受訪者,說明10組變量關系中調查樣本的人數差距較大。
表2 變量關系的描述性統(tǒng)計
同質性檢驗的目的在于判定所收集到的研究效果值是否屬于相同的母群,即各項研究間所顯示的差異源自同一母群的抽樣變動。如同質性檢驗的結果未達顯著,即表示可直接將這些效果值合并以求得變量關系的效應值與計算效應值的95%置信區(qū)間;如同質性檢驗結果達到顯著,即表示這些研究并非估計相同的母群,或有其他調節(jié)變量產生了影響,需要進一步分析原因。筆者通過對模型中的變量關系進行同質性檢驗(見表3),發(fā)現10組變量關系均未能通過同質性檢驗,以“信息質量-使用意愿”為例進行同質性檢驗結果說明,Q值=583.09(P=0.000),I2=97.60%(>75%),Tau2=0.179(>0.04),說明具有顯著異質性,需要進一步分析是否受到調節(jié)變量的影響。
表3 D&M模型中變量關系的同質性檢驗結果
為了檢驗調節(jié)變量對模型變量關系的影響,本文借鑒已有研究[34]并根據樣本特征,選擇使用層次(個人/組織)、系統(tǒng)屬性(盈利/非盈利)、被試類型(學生/非學生)這三個因素對10組變量關系的調節(jié)效應進行隨機模型分析,由于使用-滿意度,使用-凈收益的研究數量過少,結果無法進行計算,未納入表格。當Q值的顯著性<0.1時,則可以判定檢驗的變量關系受到調節(jié)變量的影響,如表4內容顯示,信息質量-使用意愿、信息質量-滿意度、系統(tǒng)質量-滿意度、服務質量-使用意愿、滿意度-使用意愿、滿意度-凈收益受到調節(jié)變量的顯著影響,但調節(jié)變量不會對系統(tǒng)質量-使用意愿,服務質量-滿意度產生顯著影響;參照根據點估計的結果進行具體說明,例如在個人使用層次背景下,信息質量與使用意愿之間有著高相關(r=0.545),在組織使用層次背景下,兩者之間有著低程度相關(r=0.136);當系統(tǒng)屬性為盈利時,服務質量與使用意愿之間具有中等相關(r=0.467),在非盈利背景下,兩者呈現低相關(r=0.160)。
表4 調節(jié)變量對變量關系的影響結果
在進行同質性檢驗和調節(jié)變量分析后,參考Hunter和Schmidt研究中所使用的公式[34]進行效應值計算,表5給出了10組變量關系的計算值。效應值從高到低依次為:滿意度-使用意愿(0.523)、滿意度-凈收益(0.509)、信息質量-使用意愿(0.443)、系統(tǒng)質量-使用意愿(0.421)、系統(tǒng)質量-滿意度(0.383)、使用-滿意度(0.382)、信息質量-滿意度(0.375)、使用-凈收益(0.334)、服務質量-使用意愿(0.250)、服務質量-滿意度(0.237)。隨后進行了失效安全系數檢驗,該數值越大說明研究結果越穩(wěn)定,被推翻的可能性越小,反之,則說明研究結果存在著被推翻的可能性。根據失效安全系數(FSN)計算公式[35]進行失效安全系數的計算,表5顯示10組變量關系均通過失效安全系數檢驗,信息質量-使用意愿的顯著相關關系,需要增加85項額外研究才會消失,信息質量-滿意度的顯著相關關系,需要增加210項額外研究才會消失。
表5 變量關系的效應值和失效安全系數
根據J.Cohen的定義,效應值取值大于或等于0.1且小于0.3時為低;當取值大于或等于0.3且小于0.5時,效應值為中;當取值大于或等于0.5時,效應值為高[36]。透過表5可知,滿意度-使用意愿、滿意度-凈收益的效應值為高,服務質量-使用意愿和服務質量-滿意度的效應值為低,其余變量關系的效應值為中等水平。且所有變量關系的效應值都通過了失效安全系數的檢驗,在理論層面上證實了D&M模型所提出的假設(圖3),但部分變量關系的失效安全系數較低,如使用-滿意度、使用-凈收益與滿意度-凈收益。隨著研究數量的增加,可能存在效應值降低的情況。
圖3 D&M信息系統(tǒng)成功模型中變量關系的效應值
本文針對2007-2017年間國內的D&M模型實證研究進行薈萃分析,對模型中10組變量關系進行同質性檢驗、效應值和失效安全系數的計算,以檢測該模型的有效性和變量關系的穩(wěn)定性。研究發(fā)現,模型中的每組變量關系均為正向,符合原始模型假設,模型整體通過有效性檢驗。各組變量關系的穩(wěn)定性存在著差異,具體而言:滿意度-使用意愿、滿意度-凈收益兩組變量關系的效應值得分為高,具有較好的穩(wěn)定性;信息質量-使用意愿、信息質量-滿意度、系統(tǒng)質量-使用意愿、系統(tǒng)質量-滿意度、使用-滿意度和使用-凈收益這六組變量關系的效應值為中等水平,穩(wěn)定性尚可;另外,服務質量-使用意愿、服務質量-滿意度的效應值得分低,穩(wěn)定性弱。
據以往文獻來看,對服務質量-使用意愿、服務質量-滿意度兩組變量關系的研究充滿著爭議[4-6][23]。這兩組變量關系的效應值低,表明穩(wěn)定性不強,且存在被推翻的可能。這點發(fā)現與2008年Stacie,DeLone和McLean的薈萃分析中對服務質量-使用意愿、服務質量-滿意度兩組變量關系的判定一致[11]。
據此,筆者綜合已有研究發(fā)現,提出了幾點可能的原因:
(1)變量關系之間存在著中介變量或調節(jié)變量的影響。一項針對社交媒體的研究指出,服務質量不會直接影響受眾的滿意度,而是通過動機滿足程度這個中介變量作用于滿意度[6]。根據表4可知,服務質量-使用意愿受到調節(jié)變量系統(tǒng)屬性和被試類型的影響,當使用具有“盈利”屬性的信息系統(tǒng)時,服務質量對使用意愿的影響將增強;當用戶為非學生時,會更加強調服務質量,使用意愿會隨著服務質量的提高而增加。鑒于此,建議未來研究可重視中介變量、調節(jié)變量的影響。
(2)D&M模型是基于西方社會文化背景所發(fā)展出來的理論模型,模型中的變量關系存在著一些有待進一步探討、分析之處,正如Sabherwal批評模型中服務質量-使用意愿、服務質量-滿意度的顯著相關性一直無法被有效證明[37]。現今,本文基于來自中國的研究樣本,再次證實了這兩組變量關系存在效應值低,缺乏穩(wěn)定性等問題,為后續(xù)研究提供了經驗證據。從模型發(fā)展的角度來看,這兩組變量關系或成為未來D&M模型發(fā)展的突破口。
(3)來自樣本的影響。關于服務質量-使用意愿、服務質量-滿意度的樣本量情況:最少的只有108份,最大的有929份,抽樣方法較隨意,缺乏科學性。眾所周知,P值分析會受到樣本量大小、抽樣方法、樣本來源等因素的影響,未來研究尤其要重視規(guī)范、科學的數據收集與分析,這是保證研究質量的關鍵。