王穎 張珂 趙蔚 戎偉 夏軍 李旭

[摘要]本文基于中國移動北京公司內(nèi)部信息系統(tǒng)審計成果，從審計角度探索IT系統(tǒng)效能評估模型，在拓寬審計成果實踐應(yīng)用的同時，為促進(jìn)企業(yè)信息化管理能力的提升提供參考。

[關(guān)鍵詞]內(nèi)部審計 ? ?IT系統(tǒng) ? ?效能評估 ? ?模型

一、IT系統(tǒng)需求開發(fā)及使用效能審計內(nèi)容

中國移動北京公司（以下簡稱北京移動）2020年開展了IT系統(tǒng)需求開發(fā)及使用效能審計調(diào)查項目，根據(jù)北京移動IT系統(tǒng)管理特點，審計從系統(tǒng)建設(shè)項目全生命周期角度開展，對項目立項、需求管理、開發(fā)測試、系統(tǒng)運行維護(hù)、費用結(jié)算、系統(tǒng)應(yīng)用等環(huán)節(jié)重點把控，查找問題風(fēng)險點。

審計發(fā)現(xiàn)，在項目立項階段，對IT系統(tǒng)進(jìn)行宏觀規(guī)劃時，前期目標(biāo)考慮不充分，導(dǎo)致后期IT系統(tǒng)功能需求頻繁變更，造成系統(tǒng)開發(fā)投入資金的浪費。因此，在項目立項前期應(yīng)對IT系統(tǒng)功能建設(shè)的必要性、建設(shè)內(nèi)容、建設(shè)規(guī)模、建設(shè)方案、進(jìn)度安排、風(fēng)險分析、配套等相關(guān)內(nèi)容進(jìn)行充分的可行性研究，從公司發(fā)展戰(zhàn)略、長遠(yuǎn)目標(biāo)、業(yè)務(wù)時限需求等方面進(jìn)行評估和決策。

在需求管理方面，存在項目最終交付成果與立項內(nèi)容不一致情況，經(jīng)審查是由于IT系統(tǒng)建設(shè)過程中存在未經(jīng)審批的項目變更導(dǎo)致。需求隨意變更，可能導(dǎo)致項目實際執(zhí)行偏離立項目標(biāo)，存在影響項目投資效益風(fēng)險。在項目任務(wù)書下達(dá)后，如果涉及項目建設(shè)內(nèi)容、建設(shè)規(guī)模、投資及進(jìn)度等的變更，應(yīng)及時提出變更申請并經(jīng)相應(yīng)層級審批。

在開發(fā)測試階段，未充分考慮系統(tǒng)程序架構(gòu)、安全等問題，且測試不夠全面、完整，造成系統(tǒng)由于存在功能缺陷或安全漏洞等問題而下線，影響正常生產(chǎn)并造成投資損失。在系統(tǒng)立項及建設(shè)過程中，應(yīng)充分考慮系統(tǒng)安全相關(guān)規(guī)定、指標(biāo)，確保符合系統(tǒng)安全規(guī)定。

在系統(tǒng)運行維護(hù)階段，存在系統(tǒng)功能模塊上線、下線未及時發(fā)布通知，系統(tǒng)賬號管理粗放，功能模塊零使用率等問題，從應(yīng)用維護(hù)角度反映出系統(tǒng)的使用情況。

在費用結(jié)算環(huán)節(jié)，工作量評估不合理、不嚴(yán)謹(jǐn)，導(dǎo)致需求工作量評估過高，對需求排期造成浪費，結(jié)算過多的人天工作量給公司帶來一定的經(jīng)濟(jì)損失。應(yīng)建立工作量評估模型，合理評估需求工作量，提升系統(tǒng)投資效益。

本次審計還通過線上調(diào)查問卷的形式，對系統(tǒng)的使用效果、使用頻率、用戶滿意度等方面進(jìn)行調(diào)研，多渠道收集信息資料，為搭建系統(tǒng)效能評估模型提供充分依據(jù)。

二、IT系統(tǒng)效能評估模型探索

北京移動結(jié)合層次分析法將決策問題分為目標(biāo)層、準(zhǔn)則層和方案層，同時參考D&M模型中的信息質(zhì)量、系統(tǒng)質(zhì)量、服務(wù)質(zhì)量、使用意愿、用戶滿意、凈收益等因素，分析IT系統(tǒng)需求開發(fā)及使用效能審計項目成果及其對公司的影響程度，對系統(tǒng)效能評估模型進(jìn)行探索，最終確定IT系統(tǒng)效能評估模型。

IT系統(tǒng)效能評估模型分為5個維度，分別為目標(biāo)評價維度、能力評價維度、效益評價維度、影響評價維度、持續(xù)性評價維度。每個維度由不同的指標(biāo)共同進(jìn)行評估，并根據(jù)企業(yè)實際情況設(shè)定指標(biāo)評分依據(jù)及指標(biāo)權(quán)重。

（一）系統(tǒng)效能評估模型架構(gòu)

1.目標(biāo)評價維度。包括制定合理性、戰(zhàn)略一致性和實施時效性指標(biāo)，共同評估IT系統(tǒng)建設(shè)項目的目標(biāo)完成情況。制定合理性主要評估目標(biāo)制定及項目立項的合理性。戰(zhàn)略一致性主要評估IT系統(tǒng)建設(shè)項目立項是否符合公司發(fā)展前景或集團(tuán)要求。實施時效性主要評估IT系統(tǒng)建設(shè)項目竣工完成的及時性。

2.能力評價維度。包括系統(tǒng)功能能力、系統(tǒng)運行能力和系統(tǒng)安全能力指標(biāo)。系統(tǒng)功能能力主要評估IT系統(tǒng)建設(shè)項目竣工后，系統(tǒng)實際功能點完成度能否覆蓋全部立項需求。系統(tǒng)運行能力主要評估系統(tǒng)在運行過程中的性能能否滿足運行要求。通過系統(tǒng)性能評估、缺陷記錄等查看是否對項目中功能點提出了缺陷修復(fù)需求，同時結(jié)合系統(tǒng)定期運行情況通報數(shù)據(jù)及日常運維需求進(jìn)行綜合判定。系統(tǒng)安全能力主要評估系統(tǒng)運行過程中的安全能力能否滿足公司要求。結(jié)合網(wǎng)絡(luò)與信息安全管理部門系統(tǒng)安全等級評判以及系統(tǒng)漏洞掃描記錄，對系統(tǒng)的安全能力進(jìn)行評判。

3.效益評價維度。包括系統(tǒng)開發(fā)效益和系統(tǒng)運維效益評估指標(biāo)，共同評估IT系統(tǒng)建設(shè)過程及建設(shè)后為企業(yè)帶來的效益。系統(tǒng)開發(fā)效益主要評估開發(fā)成本的合理性，查看人天價格是否合理、功能點人天工作量評估是否合理、評估開發(fā)過程中成本花費是否合理。系統(tǒng)運維效益主要評估項目功能點開發(fā)后帶來的收益或提升的工作效率。

4.影響評價維度。包括內(nèi)部流程影響和用戶滿意度影響指標(biāo)。內(nèi)部流程影響主要評估系統(tǒng)建設(shè)或優(yōu)化后對公司內(nèi)部業(yè)務(wù)流程的影響。向系統(tǒng)使用部門發(fā)放調(diào)查問卷，問卷中設(shè)定項目功能點開發(fā)前及開發(fā)后的流程影響評分，收集反饋并進(jìn)行統(tǒng)計評判。用戶滿意度影響主要評估系統(tǒng)用戶對系統(tǒng)的滿意度情況，調(diào)查問卷中設(shè)定客戶滿意度等級，收集用戶人員的反饋并進(jìn)行統(tǒng)計評判。

5.持續(xù)性評價維度。包括系統(tǒng)點擊率與賬號活躍度兩個指標(biāo)。系統(tǒng)點擊率主要評估系統(tǒng)功能的使用情況。定期統(tǒng)計系統(tǒng)使用率，查看系統(tǒng)功能點上線后的使用情況（點擊率），結(jié)合該項目下所有功能點的點擊率進(jìn)行線性評分。賬號活躍度主要評估系統(tǒng)賬號的活躍程度。

（二）模型評分依據(jù)及指標(biāo)權(quán)重

為使系統(tǒng)效能評估結(jié)果更準(zhǔn)確、更貼合公司管理現(xiàn)狀，北京移動通過對系統(tǒng)進(jìn)行全量數(shù)據(jù)分析，對抽樣數(shù)據(jù)進(jìn)行重點審核，采用數(shù)據(jù)分析及概率統(tǒng)計的方法，確定本系統(tǒng)效能評估模型的評分依據(jù)及指標(biāo)權(quán)重（見表1）。

三、系統(tǒng)效能評估實例展示

北京移動以某項目管理系統(tǒng)及2017年擴(kuò)容項目二階段工程為例，通過資料審閱、問卷調(diào)查、數(shù)據(jù)收集與分析，參照系統(tǒng)效能評估模型，對該系統(tǒng)進(jìn)行系統(tǒng)效能評估，評估得分結(jié)果見表2和圖1。

從某項目管理系統(tǒng)評估結(jié)果可以看出，該系統(tǒng)整體得分偏低，短板主要集中在效益評價維度和持續(xù)性評價維度方面。

為驗證該模型的評估效果，北京移動還抽取了除該系統(tǒng)之外的8個系統(tǒng)進(jìn)行評估，評估結(jié)果見表3。

通過對9個系統(tǒng)效能評估結(jié)果進(jìn)行分析對比，系統(tǒng)效能評估平均分為70.23分，其中5個系統(tǒng)評分超過平均分，4個系統(tǒng)低于平均分，根據(jù)系統(tǒng)評估結(jié)果的分布情況來看，該模型評估效果具備可參考價值。

四、結(jié)束語

北京移動以拓寬審計成果實踐應(yīng)用范圍、提高審計成果轉(zhuǎn)化率為目標(biāo)，本著審計價值利用最大化的原則，運用信息系統(tǒng)審計項目成果對IT系統(tǒng)效能評估模型進(jìn)行探索。通過系統(tǒng)不同維度的得分結(jié)果，清晰得出系統(tǒng)建設(shè)項目存在的短板并分析原因，為后續(xù)系統(tǒng)建設(shè)項目投資立項及決策提供參考。不同企業(yè)可根據(jù)自身實際情況，調(diào)整模型指標(biāo)打分依據(jù)及權(quán)重，為企業(yè)系統(tǒng)信息化評估提供思路，以審計之力助企業(yè)健康發(fā)展，最大限度發(fā)揮內(nèi)部審計價值。

（作者單位：中國移動通信集團(tuán)北京有限公司，郵政

編碼：100007，電子郵箱：wang_ying2@bj.chinamobile.com）