余建農(nóng)， 覃慶玲， 胡 俊

(中國建設銀行 湖北分行， 武漢 430079)

?

銀行信息系統(tǒng)項目后評估模型與評分卡設計研究

余建農(nóng)， 覃慶玲*， 胡 俊

(中國建設銀行 湖北分行， 武漢 430079)

項目后評估是項目全生命周期管理的重要環(huán)節(jié).該文以銀行信息系統(tǒng)項目建設活動為研究對象，利用項目評估實踐、調(diào)研跟蹤、數(shù)據(jù)采集、定向交流等方式獲取的信息，參考業(yè)界通用的成本效益分析法、層次分析法，研究建立了BISPAM銀行信息系統(tǒng)項目后評估模型(Bank Information System Project Post-Assessment Model).整個建模過程包括評估內(nèi)容確定、評估指標選擇、指標權重計算及一致性檢核.根據(jù)建模成果，為了提高效率和后評估工作的可操作性，設計了3種評分卡，即業(yè)務應用類項目后評估評分卡、管理信息類項目后評估評分卡、基礎設施類項目后評估評分卡.結合某行代理專用卡應用項目(項目編號:CCBSX-2004003)的后評估過程和跟蹤結果，對該模型和評分卡進行了驗證，結果表明：BISPAM銀行信息系統(tǒng)項目后評估模型和評分卡能夠準確評估項目投產(chǎn)后的目標達成度，定性和定量評價項目的實際成效.該研究結果對同類信息系統(tǒng)項目的后評估具有推廣和參考價值.

銀行信息系統(tǒng)； 項目后評估； 評估模型； 評分卡； AHP層次分析法

近年來，隨著移動互聯(lián)網(wǎng)、云計算和大數(shù)據(jù)等新興信息技術的快速發(fā)展，我國銀行業(yè)的業(yè)務與IT技術正步入深度的融合，銀行業(yè)務流程、渠道、范圍和方式正發(fā)生深刻變化.為了更有效推進銀行業(yè)信息化建設，對已投入運行的信息系統(tǒng)項目和創(chuàng)新活動進行后評估顯得日益重要.

對銀行信息系統(tǒng)項目進行后評估，即是對已完成的項目目標達成度、技術水平、經(jīng)濟效益、社會效益等進行系統(tǒng)、客觀的綜合分析和評估.通過對項目完成情況進行針對性的檢核和篩選，獲取關鍵指標量化值，與項目決策時的預期進行比較，評定項目的經(jīng)濟、技術目標達成度，判斷項目成效.在后評估內(nèi)容的選取上，結合銀行信息系統(tǒng)項目建設的特點和專家評估實踐經(jīng)驗，將成本效益、開發(fā)過程、系統(tǒng)運行、標準符合性、影響力和可持續(xù)性等確定為銀行信息系統(tǒng)項目后評估的重要內(nèi)容.

目前業(yè)界信息系統(tǒng)評估方法分為：以定性為主的評估方法、以定量為主的評估方法、擬定量評估方法等3種.其中擬定量評估方法是定性和定量分析方法的結合，通常由數(shù)理統(tǒng)計入手，然后進行全面、系統(tǒng)的技術分類和比較研究，再進行有針對性的量化分析，最后進行定性描述.通常包括層次分析法(AHP)[1]、成本效益分析法等.

層次分析法(AHP)是美國運籌學家匹茲堡大學教授薩蒂(Saaty T.)[2]于20世紀70年代初提出的一種層次權重決策分析方法，其特點是在對復雜問題的本質(zhì)、影響因素及其內(nèi)在關系進行定性分析的基礎上，利用確定的定量信息，使決策的思維過程數(shù)學化.其應用范圍廣泛，許多國家重大科技課題、政府決策、企業(yè)工程項目都采用AHP方法進行評估和分析.成本效益分析法通過計算信息系統(tǒng)生命周期內(nèi)的成本和收益情況，判斷系統(tǒng)經(jīng)濟目標的達成度，主要有凈現(xiàn)值(NPV)收益法、現(xiàn)值指數(shù)法、財務內(nèi)部收益率法3種計算方法.凈現(xiàn)值NPV(Net Present Value)指在項目評估期內(nèi)，按行業(yè)基準折現(xiàn)率或其他設定的折現(xiàn)率計算的各年凈現(xiàn)金流量現(xiàn)值的代數(shù)和，本文采用凈現(xiàn)值法進行成本收益計算.

本文根據(jù)銀行業(yè)務的特點和行業(yè)評估實踐，參照CMMI及SPCA關于軟件能力成熟度模型評估的部分內(nèi)容，采用擬定量評估方法，即用層次分析法(AHP)進行建模，用凈現(xiàn)值(NPV)方法進行成本效益計算，構建了BISPAM銀行信息系統(tǒng)項目后評估模型(Bank Information System Project Post-Assessment Model)和評分卡工具.

1銀行信息系統(tǒng)項目后評估模型建立

銀行信息系統(tǒng)項目后評估模型BISPAM(Bank Information System Project Post-Assessment Model)建立，包括評估內(nèi)容模型確定、層次化指標選擇[3]、指標權重計算規(guī)則及一致性檢核等內(nèi)容.

1.1評估內(nèi)容確定

根據(jù)商業(yè)銀行經(jīng)營特點及銀行信息系統(tǒng)開發(fā)、運行及評估實踐，從成本效益分析、項目開發(fā)分析、系統(tǒng)運行分析、標準符合性分析、影響力分析和可持續(xù)性分析等6個方面對銀行信息系統(tǒng)項目進行評估.銀行信息系統(tǒng)項目后評估內(nèi)容見圖1.

1.2評估指標選擇

依據(jù)后評估內(nèi)容，參照《商業(yè)銀行信息科技風險管理指引》，選取成本效益、開發(fā)過程、系統(tǒng)運行、標準符合性、影響力和可持續(xù)性等六項作為一級指標.然后，根據(jù)商業(yè)銀行信息系統(tǒng)開發(fā)、運行實踐，

借鑒業(yè)界相關標準(如CMMI、SPCA等)，在“成本效益分析”、“項目開發(fā)分析”、“系統(tǒng)運行分析”等一級指標下，細分出二級、三級指標；根據(jù)商業(yè)銀行經(jīng)營特點及專家、行業(yè)經(jīng)驗，在“標準符合性分析”、“影響力分析”、“可持續(xù)分析”等一級指標下，細分出二級、三級指標.指標分解如表1所示.

圖1 銀行信息系統(tǒng)項目后評估內(nèi)容Fig.1 Contents of bank information system project post-assessment

一級指標二級指標三級指標評價評價分值權重值指標得分1-盈利分析盈利分析效益4-及格50.330516.53開發(fā)事前評估可行性報告1-優(yōu)秀100.02032.03項目審批1-優(yōu)秀100.02492.49IT外包1-優(yōu)秀100.02032.03組織及人員保障1-優(yōu)秀100.02032.03開發(fā)中期評估方案設計合理性1-優(yōu)秀100.02032.03技術先進性1-優(yōu)秀100.02032.032-開發(fā)分析項目計劃管理1-優(yōu)秀100.02112.11需求管理1-優(yōu)秀100.02112.11質(zhì)量管理1-優(yōu)秀100.02032.03配置管理1-優(yōu)秀100.02032.03測試管理1-優(yōu)秀100.02032.03開發(fā)后期評估上線方案評審1-優(yōu)秀100.02032.03開發(fā)周期1-優(yōu)秀100.02942.94系統(tǒng)可靠性1-優(yōu)秀100.02472.47系統(tǒng)安全性1-優(yōu)秀100.00820.82系統(tǒng)性能系統(tǒng)可維護性1-優(yōu)秀100.00820.823-運行分析系統(tǒng)可恢復性1-優(yōu)秀100.02472.47系統(tǒng)處理能力1-優(yōu)秀100.02812.81流程管理1-優(yōu)秀100.00770.77ITSM有效性問題管理1-優(yōu)秀100.00770.77專家?guī)旖ㄔO1-優(yōu)秀100.02472.47

續(xù)表1

1.3指標權重計算規(guī)則及一致性檢核

銀行信息系統(tǒng)后評估分級指標選擇、篩選后，采用標準AHP方法建立各層級指標判斷矩陣，描述同層級指標間相互關系；然后，根據(jù)判斷矩陣的賦值，計算指標相對權重并進行一致性檢核；最后，計算層級指標相對總目標權重，并進行一致性檢核[4].

1.3.1一級指標權重計算及一致性檢驗

1)一級指標權重計算方法

首先，建立一級指標判斷矩陣，再根據(jù)判斷矩陣，計算一級指標權重[5].指標權重計算方法有三種，求冪法、和積法和方根法.AHP層次分析法是一種定性與定量相結合的分析法，上述三種方法均可滿足指標權重計算的要求；其中，求冪法計算精度最高，但在實際工程應用中多采用和積法和方根法.本文采用方根法進行計算.

a)判斷矩陣的一行元素彼此相乘，得到行乘積.

(1)

b)然后對該乘積進行N次方根處理(N等于判斷矩陣階數(shù))，得到特征向量的一個元素.

(2)

c)求出特征向量

(3)

特征向量經(jīng)歸一化處理(單個向量元素除以整個元素和)后即為權重向量.

2)一致性進行校驗

通過計算判斷矩陣最大特征根λmax和CR，進行判別[6].若CR<0.1，則說明判斷矩陣具有滿意的一致性，否則，需要調(diào)整判斷矩陣并重新計算.

a)特征根的計算

(4)

N指判斷矩陣維數(shù)，W為一級指標組合權重，A為判斷矩陣.

b)判斷矩陣一致性指標CI計算

(5)

c)隨機一致性比率CR計算

CR計算公式如下：

(6)

式中，RI為平均隨機一次性指標值.

1.3.2二級指標相對權重計算 本文二級指標元素僅用于對下層指標的工程內(nèi)容分類匯總評價.在實際的計算過程中，不單獨進行相對權重計算，采用按三級指標計算得分，分類匯總得出.

1.3.3三級指標組合權重計算及一致性檢驗 首先，建立三級指標判斷矩陣，計算出三級指標相對權重(也稱為層次單排序)；其次，根據(jù)三級指標相對權重及一級指標權重，計算三級指標組合權重[7](也稱層次總排序).最后，對三級指標層次總排序一致性進行檢驗.

三級指標組合權重即為所求權重(相對于總目標).

2評分卡設計

為了方便用戶對項目進行后評估，根據(jù)后評估模型設計了專用的評分卡工具.評分卡工具采用EXCEL表實現(xiàn)，具有權重計算、成本效益計算、指標等級評估、指標得分計算、項目評分計算等功能，可操作性和實用性強.評分卡工具根據(jù)銀行信息系統(tǒng)種類，分為業(yè)務應用、管理信息、基礎設施等3種.現(xiàn)以業(yè)務應用類評分卡為例闡述其使用方法.

2.1項目收益計算表

如表2所示，該表用于計算項目成本收益情況，用戶填入折現(xiàn)率、各期成本和收益后，自動計算項目收益，計算結果將用于評分.

表2 收益計算表

注：1.T0指項目前期收入支出現(xiàn)金流；T1、T2、T3指項目第1、2、3年的收入支出現(xiàn)金流(折現(xiàn)率15%)；

2.新增存款轉化收益按存貸款利率差計算、新增客戶轉化收益按每戶獲取成本計算.

2.2指標權重計算及一致性檢核

2.2.1一級指標權重計算及一致性檢核 建立一級指標判斷矩陣，如表3所示.

表3 一級指標判斷矩陣

一級指標權重計算表(表4)根據(jù)判斷矩陣的賦值，利用Excel的函數(shù)功能自動計算權重W1和CR(一致性檢核).

2.2.2三級指標相對權重計算及一致性檢核 由于二級指標只起分類作用，所以直接計算三級指標相對權重.分別建立三級指標相對一級指標各元素的判斷矩陣，下面以“系統(tǒng)運行分析”一級指標為例進行說明[8].首先，制作判斷矩陣，并填入矩陣階數(shù)及RI(8階)值，如表5所示.

三級指標相對權重計算表將根據(jù)判斷矩陣的賦值，利用Excel的函數(shù)功能自動計算權重W1和CR(一致性檢核).三級指標相對權重計算表請參見表4.

表4 一級指標權重計算表

表5 三級指標判斷矩陣

矩陣維數(shù)：8 RI (8)：1.41

2.2.3三級指標組合權重計算(層次總排序) 如表6所示，以各三級指標相對權重向量為列元素(與一級指標無關的元素賦0)組成三級指標權重矩陣A，然后乘以一級指標權重矩陣B，可計算出三級指標組合權重W.該表具有自動取值、計算等功能.

表6 三級指標層次總排序

續(xù)表6

2.2.4三級指標層次總排序一致性檢核 如表7所示，該表可以自動取值并利用Excel的函數(shù)功能計算CR.

表7 三級指標層次總排序一致性檢查

2.3評分表

三級指標組合權重計算出來后，將數(shù)據(jù)拷貝到評分表“權重值”列中.除“效益”指標是根據(jù)“項目收益計算”表計算結果自動評價外，其余三級指標均需要專家進行現(xiàn)場評估，最終評分值和指標得分由評分表自動計算得出.

3評分卡應用案例及效果

以某行專用卡項目后評估為例，對項目后評估流程及評分卡的應用及效果進行逐項說明.該專用卡項目，是某行為拓展中間業(yè)務收入，代理他行專用卡而開發(fā)；目的是利用銀行網(wǎng)點優(yōu)勢，通過收取代理手續(xù)費、吸收存款及保證金獲取收益.該業(yè)務應用系統(tǒng)2004年開發(fā)，當年投產(chǎn)，2005年升級改造.

3.1使用“項目收益計算表”計算項目收益

打開“業(yè)務應用類項目后評估評分卡”，選擇“項目收益計算表”，填入相關參數(shù)，即可計算項目成本收益情況.成本效益采用凈現(xiàn)值方法(NPV)計算.項目收益計算表可參見表2.

通過計算，該項目2004年～2006年三年收益凈現(xiàn)值為114.28萬元.

3.2正確使用“參數(shù)表”

“參數(shù)表”用于存放評分卡所使用到的一些參數(shù).

表8 指標達成度表

該表存放“效益”指標的達成度.用戶需要填入“效益”指標的預期值；實際值和目標達成度由評分卡工具自動計算.

3.3使用“評分表”完成評估

用戶根據(jù)指標完成達成度，在“評分表”中對指標進行等級評估[9].指標評估等級包括：優(yōu)秀、良好、中等、及格、不及格五個等級，分別對應10分、8分、6分、5分、0分(參見表9).用戶對指標進行等級評估后，工具自動進行評分，然后乘以權重值，計算出指標得分.各指標得分匯總后，即為項目總得分，項目滿分為100分.

表9 指標評估等級表

三級指標除了“效益”指標根據(jù)“參數(shù)表”和“項目收益計算表”自動計算外，其它各指標需要專家評估其等級.等級評估完畢后，工具將自動計算等級得分，然后乘以指標權重，自動計算加權得分，并最終匯總項目的總得分.某行專用卡項目后評估得分情況，參見表1.

通過評估和計算，某行代理專用卡項目評估總得分75.19分，其中效益實際達成度僅57.14%，未能達到項目預期目標.在業(yè)務可持續(xù)性方面得分較低，業(yè)務規(guī)模受限，盈利增長乏力，反映出該項目在立項審批階段對于盈利能力的測算不準確，市場調(diào)研不足，業(yè)務可持續(xù)性發(fā)展預期偏樂觀，決策方面需要反思，汲取教訓.

4結論

通過調(diào)查研究，發(fā)現(xiàn)目前業(yè)內(nèi)銀行信息系統(tǒng)項目大多未進行項目后評估，項目成效無法準確回溯和評價，難以從中獲取有價值的經(jīng)驗教訓.即使進行了后評估，也多為人為主觀判斷，缺乏量化的評估模型和實用型操作工具.

層次分析法較好地結合運用了專家經(jīng)驗，簡便、靈活，具有很強的實用性.評分卡具體通過EXCEL的函數(shù)功能實現(xiàn)評估模型相關數(shù)據(jù)的計算，具有很強的可操作性.

通過某行代理專用卡項目后評估實際案例驗證，BISPAM銀行信息系統(tǒng)項目后評估模型(Bank Information System Project Post-Assessment Model)和評分卡能夠對項目目標達成度、技術水平、經(jīng)濟效益以及項目成效等進行準確、有效的評估，對同類系統(tǒng)的后評估工作具有參考價值.

銀行信息系統(tǒng)項目后評估尚未建立國家及行業(yè)規(guī)范和標準，該文研究建立的模型和評分卡可以在實踐中進一步優(yōu)化，為形成行業(yè)規(guī)范及標準做有益的探索.

本文判斷矩陣采用九標度方法，在評估過程中，尚需結合專家經(jīng)驗尋找操作性更好的標度方法.在項目評價指標的選擇方面，還可以探索用回歸方法做進一步的篩選和檢驗[10].

[1] 王振源， 段永嘉. 基于層次分析法的智慧城市建設評價體系研究[J].科技管理研究，2014(17)：165-169.

[2] SAATY T L. Multicriteria dcision making [M]. Pittsburgh:RWS Publications， 1990

[3] KHALII M I A. Selecting the appropriate project delivery method using AHP[J]. International Journal of Project Management，2002， 20(6):469-474．

[4] 薛 崧， 張計龍， 成偉華， 等. 基于AHP模型的圖書館RFID解決方案評估——以復旦大學圖書館為例[J] .武漢大學學報(理學版)，2012(S1): 277-281.

[5] 李 彥， 朱吉勝. 層次分析法的一種改進及其應用[J].電子設計工程， 2011， 19(15)：29-33．

[6] 高 尚. 三種層次分析法中權值的計算方法[J].科學技術與工程， 2007(20)：5204-5207．

[7] 樊為剛， 候麗紅. 層次分析法的改進[J] .科技情報開發(fā)與經(jīng)濟， 2005， 15(4)：153-154．

[8] 梁 軍， 毛振寰. 計算機網(wǎng)絡與信息安全[M].北京：北京郵電大學出版社， 2005．

[9] 楊 泉. 風險評估定性與定量分析方法[C]//國家信息中心信息安全處.中國信息協(xié)會信息安全專業(yè)委員會，2004 年會論文集.北京：北京科技出版社， 2006:54-55．

[10] 徐維祥， 張全壽. 從定性到定量信息系統(tǒng)項目評價方法研究[J].系統(tǒng)工程理論與實踐， 2001， 21(3):124-127.

Study on banking system project post-assessment model and the scorecard design

YU Jiannong， QIN Qingling， HU Jun

(Hubei Branch of the China Construction Bank, Wuhan 430079)

Project post-assessment is an important part of the total project life cycle management. In this paper, bank project construction activities are studied, using information generated from project assessment practice, research tracking, data acquisition and directional communication way to obtain information such as general reference industry of, bank information system project post-assessment model (BISPAM) is set up taking cost-benefit analysis and analytic hierarchy process (AHP). The entire modeling process contains assessment content determination, choice of evaluation index, index weight calculation and consistency check. Based on the results of modeling, in order to improve the evaluation results of the efficiency and maneuverability, three kinds of scorecard are designed, including the business application projects post-assessment scorecard, the management information projects post-assessment scorecard and the infrastructure projects post-assessment scorecard. Combing post-assessment process and follow-up results of a bank agent special card application project (project number:CCBSX-2004003), the model and the scorecard are verified. The results show that the bank information system project post-assessment model and the scorecard are able to accurately assess the degree for a goal after the project put into production and the actual effect both qualitatively and quantitatively. These results have certain value of reference and popularization for post-assessment of similar information systems.

bank information system; project post-assessment; assessment model; scorecard; analytic hierarchy process(AHP)

2016-05-30.

中國建設銀行三峽分行金融科技應用開發(fā)項目(2004003).

1000-1190(2016)06-0867-08

C931.6

A

*通訊聯(lián)系人. E-mail: 942891430@qq.com.