周洪美 裴飛 陳云蕾 蘭鵬 張志清
摘 要:國家高度重視涉及人民群眾生命財產(chǎn)安全的電梯等特種設備重點領域安全監(jiān)管。面對目前電梯保有量持續(xù)增長、電梯安全監(jiān)管形勢復雜的情況,市場監(jiān)管部門提出了對電梯維保企業(yè)實施信用風險分類監(jiān)管的需求。本文在研究通用型企業(yè)信用風險分類模型的基礎上,考慮電梯專業(yè)領域風險因素,并引入機器學習算法構建了電梯維保企業(yè)信用風險分類指標體系和模型。通過H省電梯維保企業(yè)的驗證結果發(fā)現(xiàn),該模型結果能夠較好地反映電梯維保企業(yè)存在的問題,能夠有效提高監(jiān)管及時性、精準性、有效性,有助于合理配置監(jiān)管資源并提升監(jiān)管效能,推動監(jiān)管更加公平有效。
關鍵詞:機器學習,信用風險分類,指標體系,電梯安全監(jiān)管
DOI編碼:10.3969/j.issn.1002-5944.2023.17.007
基金項目:本文受國家重點研發(fā)計劃項目“市場主體信用風險智能評價預警關鍵技術研究及系統(tǒng)研發(fā)”(編號:2022YFC3302404)、國家市場監(jiān)管總局資助科技計劃項目“電梯安全監(jiān)管大數(shù)據(jù)應用及相關標準研究”(項目編號:2021MK160)資助。
Research on the Application of Machine Learning in the Supervision of Credit Risk Classifi cation in Key Fields
—Taking Elevator Maintenance Enterprises as An Example
ZHOU Hong-mei1 PEI Fei2 CHEN Yun-lei1 LAN Peng3 ZHANG Zhi-qing3
(1. Hongdun Bigdata Co., Ltd.; 2. China Standardization Press Co., Ltd.; 3. Information Center of State Administration for Market Regulation)
Abstract: China has attached great importance to safety supervision in key areas of special equipment such as elevators involving the safety of peoples lives and property. Faced with the continuous growth of elevators and the complex situation of elevator safety supervision, market regulation departments have proposed the need to implement credit risk classifi cation supervision of elevator maintenance enterprises. On the basis of research on general enterprise credit risk classification model, this paper considers the risk factors in the fi eld of elevator, and establishes a credit risk classifi cation index system and model for elevator maintenance enterprises by introducing machine learning algorithms. The verifi cation results of elevator maintenance enterprises in H province indicate that the model can well refl ect the problems existing in elevator maintenance enterprises, effectively improve the timeliness, accuracy, and effectiveness of supervision, which helps to allocate regulatory resources reasonably, improves regulatory effi ciency, and promotes fairer and more effective supervision.
Keywords: machine learning, credit risk classifi cation, index system, elevator safety supervision
0 引 言
隨著我國經(jīng)濟的不斷發(fā)展、全面建成小康社會,中國特色社會主義進入新時代,人民對電梯的需求也不斷增加,電梯成為人民美好生活需求的重要組成部分[1]。我國電梯保有量與產(chǎn)量穩(wěn)居世界首位,是電梯生產(chǎn)和使用大國。電梯質(zhì)量安全事關人民群眾生命財產(chǎn)安全和經(jīng)濟社會發(fā)展穩(wěn)定。近年來,我國電梯萬臺事故數(shù)和死亡人數(shù)持續(xù)下降,安全形勢穩(wěn)定向好[2]。但是,電梯質(zhì)量安全事關人民群眾生命財產(chǎn)安全和經(jīng)濟社會發(fā)展穩(wěn)定,隨著電梯保有量持續(xù)增長,老舊電梯逐年增多,電梯困人故障和安全事故一旦發(fā)生,社會影響很大,市場監(jiān)管總局提出了嚴格要求加強對電梯的安全監(jiān)管?!妒袌霰O(jiān)管總局關于加強重點領域信用監(jiān)管的實施意見》(國市監(jiān)信發(fā)〔2021〕28號)提出要“綜合運用大數(shù)據(jù)、人工智能等信息技術手段,依托國家企業(yè)信用信息公示系統(tǒng),建立完善重點領域信用記錄、信用檔案,推進企業(yè)信用風險分類管理,全面提升智慧監(jiān)管水平”[3],《市場監(jiān)管總局關于推進企業(yè)信用風險分類管理進一步提升監(jiān)管效能的意見》(國市監(jiān)信發(fā)〔2022〕6號)提出“食品、藥品、特種設備等直接關系人民群眾生命財產(chǎn)安全、公共安全,以及潛在風險大、社會風險高的重點領域,在按照現(xiàn)有規(guī)定實行重點監(jiān)管的同時,要統(tǒng)籌行業(yè)風險防控和企業(yè)信用風險分類管理,強化業(yè)務協(xié)同,實行全鏈條監(jiān)管”[4]。因此,對電梯相關企業(yè)尤其是數(shù)量最多的電梯維保企業(yè)實施信用風險分類管理,對及時監(jiān)測電梯運行風險、提升電梯監(jiān)管效能具有較強的支撐作用。
1 模型設計原則
對電梯維保企業(yè)實施信用風險分類管理,最重要的是設計電梯維保企業(yè)信用風險分類模型。信用風險分類管理模型綜合利用計量經(jīng)濟學、統(tǒng)計學、機器學習等多學科交叉的大數(shù)據(jù)建模理念,貫穿于建模的各個環(huán)節(jié),保證模型的準確性和健壯性。電梯作為特種設備監(jiān)管中重點,電梯維保企業(yè)信用風險分類模型設計應具有科學性、實用性、可操作性等特點。因此,必須確定正確的指導原則,才能達到預期目的。
(1)有標可對。參考市場監(jiān)管總局通用型企業(yè)信用風險分類管理指標體系以及《電梯安全技術規(guī)范》(GB 7588-2020)構建本領域的分級分類監(jiān)管機制。電梯維保企業(yè)信用風險分類指標體系基于通用型企業(yè)信用風險分類指標體系,重點從企業(yè)基礎屬性信息、企業(yè)動態(tài)信息、監(jiān)管信息等方面構建分類指標體系,科學賦予指標權重,并根據(jù)監(jiān)管實際不斷更新調(diào)整,持續(xù)優(yōu)化完善,結合電梯領域特點,構建符合實際情況且具有電梯領域特色的企業(yè)信用風險分類指標體系。
(2)有法可依。電梯維保企業(yè)信用風險分類指標體系參考《中華人民共和國市場主體登記管理條例》《中華人民共和國特種設備安全法》《特種設備安全監(jiān)察條例》《特種設備檢驗人員考核規(guī)則》《特種設備檢測機構核準規(guī)則》《特種設備型式試驗機構核準規(guī)則(第1號修改單)》《電梯型式試驗規(guī)則》等有關法律法規(guī)中的相關規(guī)定,根據(jù)監(jiān)管工作實際確定相關指標維度。
(3)整體性。指標的設計、選擇和確定即需要在現(xiàn)有的、能夠獲取的數(shù)據(jù)資源中盡可能客觀地反映電梯維保企業(yè)的整體情況,又能反映需要監(jiān)管的重點。
(4)系統(tǒng)性。電梯維保企業(yè)信用風險分類模型既有通用性也有專業(yè)性,各項指標必須有機結合,相互之間既不重復又不矛盾,這是電梯維保企業(yè)信用風險評價指標體系是否合理的關鍵。
(5)實用性。指標應選取的指標數(shù)據(jù)要比較容易取得,且不能過于復雜,以重點的、有代表性的指標實現(xiàn)全面性原則與實用性原則的統(tǒng)一。
(6)關聯(lián)性?,F(xiàn)有的數(shù)據(jù)或單一指標很難準確揭示潛在風險,需要將不同指標與監(jiān)管經(jīng)驗、案例分析關聯(lián),發(fā)現(xiàn)其內(nèi)在的關聯(lián)性,有助于發(fā)現(xiàn)潛在風險線索并用于引導監(jiān)管方向。
2 模型算法設計
2.1 電梯維保企業(yè)信用風險影響因素
影響電梯維保企業(yè)信用風險的因素是指電梯維保企業(yè)在運營過程中為減少違法行為所表現(xiàn)出來的風險因素,綜合各方面的研究,影響因素包括通用型信用風險因素、專業(yè)領域風險因素以及其他因素[5-7],見圖1。
(1)通用型信用風險因素
企業(yè)通用型信用風險因素包括基本因素、動態(tài)因素、監(jiān)管因素、關聯(lián)因素、社會評價因素五個方面的因素。其中基本因素包含企業(yè)規(guī)模、企業(yè)年齡、企業(yè)背景等基礎特征信息,反映了基于企業(yè)群體特征所表現(xiàn)的風險因素;動態(tài)因素包含企業(yè)準入許可、登記備案、年報公示、經(jīng)營狀況、納稅社保、知識產(chǎn)權等方面的行為信息,反映了基于行為特征所表現(xiàn)的風險因素;監(jiān)管因素包含行政檢查、行政處罰、訴訟信息、經(jīng)營異常、黑名單、失信被執(zhí)行人、信用信息等方面的信息,反映了基于歷史監(jiān)管記錄所表現(xiàn)的風險因素;關聯(lián)因素包含企業(yè)相關人員違法失信信息和關聯(lián)企業(yè)違法失信信息,反映了基于企業(yè)關聯(lián)關系所表現(xiàn)的風險因素;社會評價因素包含投訴舉報、輿情評價和社會關注度等信息,反映了基于社會評價信息所表現(xiàn)的風險因素。
(2)專業(yè)領域風險因素
本研究所涉及到的電梯專業(yè)領域風險因素主要包括人員、設備、管理三方面的因素[8-9]。其中人員因素包括人員配置情況、具備資質(zhì)的工程師數(shù)量占比、具有資質(zhì)的工程師數(shù)量、人均負責電梯數(shù)量等人員相關信息,反映了基于電梯領域相關人員特征所表現(xiàn)的風險因素;電梯安全因素包括重大安全風險隱患、安全檢查、安全隱患排查、安全隱患整改等電梯安全相關信息,反映了基于電梯安全特征所表現(xiàn)的風險因素;管理因素包括安全管理制度、電梯乘梯須知、電梯設備檔案、一梯一檔建立安全技術檔案等電梯管理相關信息,反映了基于電梯領域管理特征所表現(xiàn)的風險因素。
(3)其他因素
影響電梯維保企業(yè)信用風險的因素除了通用型信用風險因素和專業(yè)領域風險因素外,法律法規(guī)、政策支持、環(huán)境變化、地理條件、氣候變化等因素也影響著電梯維保企業(yè)信用風險,但這些因素一般對某個區(qū)域的企業(yè)都是相同或相近的,因此在構建針對單個企業(yè)信用風險評價時可以忽略。
2.2 電梯維保企業(yè)信用風險分類模型指標體系構建
為提高企業(yè)信用風險分類在電梯領域的契合度和有效性,電梯維保企業(yè)信用風險分類模型指標體系在通用型企業(yè)信用風險分類模型指標體系的基礎上,梳理目前可獲得的數(shù)據(jù)資源,融合各政府部門的電梯許可、監(jiān)督抽查通報、召回公告等信用信息等專業(yè)領域風險相關數(shù)據(jù)指標,并運用機器學習算法特征篩選等算法,最終完善一套新的、可不斷優(yōu)化迭代的電梯維保企業(yè)信用風險分類指標體系。
電梯相關企業(yè)信用風險分類指標體系基于企業(yè)通用型風險分類指標體系構建,共包含5個一級指標,21個二級指標和57個三級指標。5個一級指標與通用型指標相同,分別為基礎屬性信息、動態(tài)信息、監(jiān)管信息、關聯(lián)信息和社會評價信息。其中基礎屬性信息指反映電梯維保企業(yè)基礎屬性相關的風險特征,包含企業(yè)規(guī)模、企業(yè)年齡、企業(yè)背景等3個二級指標,8個三級指標;動態(tài)信息反映電梯維保企業(yè)行為相關的風險特征,包含許可和準入事項、登記備案事項、經(jīng)營狀況、納稅社保狀況、認可認證、標準等6個二級指標,16個三級指標;監(jiān)管信息全面反映監(jiān)管中發(fā)現(xiàn)的風險信息,包含重大安全風險、安全檢查、經(jīng)營異常名錄、黑名單、失信被執(zhí)行人、行政檢查、行政處罰、訴訟信息等8個二級指標,19個三級指標;關聯(lián)信息反映了電梯維保企業(yè)的關聯(lián)風險,包含關聯(lián)人員違法失信信息和關聯(lián)企業(yè)違法失信信息等2個二級指標,9個三級指標;社會評價信息,反映了投訴舉報和互聯(lián)網(wǎng)輿情等外部信息中存在的風險信息,包含投訴舉報和輿情評價等2個二級指標,5個三級指標。
電梯企業(yè)信用風險分類指標的構建是通過“通用+專業(yè)”指標融合方式進行構建,既考慮通用型指標的普適性,又考慮特殊行業(yè)指標的專業(yè)性。與企業(yè)通用型信用風險分類指標相比,保留了企業(yè)規(guī)模、企業(yè)背景、經(jīng)營狀況、經(jīng)營異常名錄、黑名單信息、失信被執(zhí)行人、行政檢查、行政處罰、訴訟信息關聯(lián)人員違法失信信息、關聯(lián)企業(yè)違法失信信息、投訴舉報、輿情評價等二級指標和對應的三級指標。針對電梯安全增加了電梯安全檢查、重大安全風險二級指標,其中重大安全風險是指電梯企業(yè)是否重大火災隱患逾期未改名單,電梯安全檢查包括了未按時定期檢驗、未定期開展安全隱患排查、未及時完成隱患整改、未編制以安全生產(chǎn)責任制為主要內(nèi)容的安全管理制度、未按一梯一檔建立安全技術檔案、檢驗設備、儀器是否滿足要求。各項檢測、試驗記錄是否符合現(xiàn)場實際、是否張貼電梯乘梯須知、是否有健全電梯設備檔案等三級指標。
2.3 電梯維保企業(yè)信用風險分類模型算法設計
(1)指標賦分
每個指標項可以根據(jù)取值不同分為類別指標和數(shù)值指標,類別指標取值是有限的(如是否為納稅非正常戶),數(shù)值指標的取值是連續(xù)且分散的(如注冊資本)。為了模型計算的方便,需要將數(shù)值指標轉化為類別指標,數(shù)值分類需要綜合考慮該指標的數(shù)值分布及其與風險目標變量的關系。對每個指標的各類別風險賦分可以采用平衡記分卡進行賦分,需要根據(jù)該類別與風險變量的關系進行賦分[10]。如行政處罰是電梯維保企業(yè)信用風險的一個反映,可以將一年內(nèi)受到行政處罰的比例作為風險測量變量,計算出全部電梯維保企業(yè)受到行政處罰比例的平均值μ和標準差σ,如果該類別的受到行政處罰比例為x,則該類別賦分為:
(2)指標權重
指標的權重設置可采用德爾菲法、層次分析法等主觀賦權法或者特征工程、相關分析法、熵權法等客觀賦權法,計算出各三級指標權重、二級指標權重和一級指標權重。本文基于歷史企業(yè)抽查檢查和行政處罰結果實現(xiàn)對企業(yè)分類的標注,通過引入邏輯回歸、SVM、AdaBoost、GBDT、XGBoost等機器學習算法,實現(xiàn)自動最優(yōu)權重的確定。
(3)信用風險得分計算
每個電梯維保企業(yè)信用風險得分最高為1000分。各個指標項的最高分為1000分,每個電梯維保企業(yè)的信用風險總得分計算方法如下:
信用風險總得分=∑[各個三級指標得分×三級指標權重×二級指標權重]×一級指標權重
(4)信用風險等級分類
根據(jù)電梯維保企業(yè)信用風險得分由低到高將電梯維保企業(yè)分成A類(信用風險低)、B類(信用風險一般)、C類(信用風險較高)和D類(信用風險高)。每個電梯維保企業(yè)信用風險得分為0~1000分,得分越高表明電梯維保企業(yè)風險越高。電梯維保企業(yè)信用風險得分與信用風險等級的對應關系見表1。
3 模型優(yōu)化驗證
3.1 數(shù)據(jù)處理說明
此次選擇H省電梯維保企業(yè)674家作為研究對象,通過整合各類數(shù)據(jù),以表1中指標體系為依據(jù)構建相關指標,同時以2021年企業(yè)監(jiān)管數(shù)據(jù)中企業(yè)是否發(fā)現(xiàn)問題作為企業(yè)信用風險分類的依據(jù)。通過描述性分析、相關性分析等方式對數(shù)據(jù)進行數(shù)據(jù)探索,發(fā)現(xiàn)在此項目中,數(shù)據(jù)存在缺失值、異常值及樣本不均衡等問題:
(1)對于缺失值,根據(jù)數(shù)據(jù)缺失實際情況,采用模型填充、直接刪除等方式對數(shù)據(jù)進行處理;
(2)對于異常值,結合業(yè)務實際情況,異常值屬于正常數(shù)據(jù),在此不進行處理,我們通過計算WOE值、IV、cart樹分箱、卡方分箱等方法對數(shù)據(jù)進行分箱離散化處理并編碼,并確定特征權重重要性;
(3)對于相關性分析結果,從結果可以看出各指標間相關性相對來說不突出,在此不做處理;
(4)對于樣本不均衡的問題,使用下采樣和SMOTE過采樣兩種方法來解決該問題,用這兩條路線進行對比實驗。
4.2 算法選取及模型構建
基于歷史監(jiān)管數(shù)據(jù)對樣本進行分類,采用有監(jiān)督學習的方式來訓練模型,算法上通過比較邏輯回歸、SVM、樸素貝葉斯等算法,最終選擇邏輯回歸分類算法進行機器學習模型構建。并通過對模型搭建及多次調(diào)參訓練,模型結果匯總見表2。經(jīng)過對比分析,模型調(diào)優(yōu)后的召回率、準確率和精準率最高,再結合ROC曲線和AUC值,最終選擇調(diào)優(yōu)模型結果作為最終應用模型。
利用調(diào)優(yōu)后的模型對電梯維保企業(yè)進行風險測算,信用風險低、信用風險一般、信用風險較高和信用風險高的占比呈現(xiàn)倒金字塔形式,分別為50.76%、40.46%、6.11%和2.67%。
4.3 模型應用驗證
結合模型分類結果和2022年H省三個地區(qū)的電梯維保企業(yè)“雙隨機、一公開”抽查檢查結果進行比對(見表3),發(fā)現(xiàn)風險等級為D類的問題發(fā)現(xiàn)率為90%左右,C類企業(yè)問題發(fā)現(xiàn)率最低也接近50%,而A類和B類企業(yè)的問題發(fā)現(xiàn)率均低于20%。這表明該模型結果能夠較好地反映電梯維保企業(yè)存在的問題,能夠有效提高監(jiān)管及時性、精準性、有效性,有助于合理配置監(jiān)管資源并提升監(jiān)管效能,以公正監(jiān)管促進公平競爭、優(yōu)勝劣汰。
5 結語和建議
通過構建電梯維保企業(yè)信用風險分類模型,可以實現(xiàn)對電梯維保企業(yè)信用風險的自動分類,及時對電梯維保企業(yè)信用風險進行研判,根據(jù)風險分類結果對企業(yè)實施差異化監(jiān)管,科學有效配置監(jiān)管資源和力量,提升監(jiān)管效能。為進一步充分應用機器學習提升電梯維保企業(yè)信用風險分類管理的精準型,現(xiàn)提出如下建議:
一是增強專業(yè)領域數(shù)據(jù)歸集能力。目前電梯維保企業(yè)通用因素相關指標數(shù)據(jù)基礎相對較好,而專業(yè)領域數(shù)據(jù)缺乏統(tǒng)一的數(shù)據(jù)歸集中心而散落到各個業(yè)務系統(tǒng)中,數(shù)據(jù)的完整性和全面性存在較大問題,需要通過相關機制建設提升專業(yè)領域數(shù)據(jù)歸集能力。同時,需要深化傳感器、物聯(lián)網(wǎng)、邊緣計算等新技術的應用,提升對電梯運行相關數(shù)據(jù)的采集能力,為電梯領域信用風險分類模型奠定堅實數(shù)據(jù)基礎。
二是持續(xù)迭代優(yōu)化指標體系模型。構建“信用風險分類驅動監(jiān)管業(yè)務”為核心的監(jiān)管業(yè)務流程閉環(huán)系統(tǒng),在生成信用風險分類結果后,及時推送、驅動線下監(jiān)管,同時再次將線下監(jiān)管結果采集至平臺,形成由監(jiān)測到監(jiān)管再到監(jiān)測的全流程業(yè)務閉環(huán)。通過業(yè)務監(jiān)管實際問題發(fā)現(xiàn)情況以及各類日常檢查、專項檢查結果的反饋,及時評估模型的科學性和準確性,通過機器學習等方式持續(xù)優(yōu)化指標體系和模型,進一步提升模型的準確性,更好地支撐電梯維保企業(yè)信用風險分類工作。
參考文獻
[1]國務院辦公廳.國務院辦公廳關于加強電梯質(zhì)量安全工作的意見[EB/OL].(2018-02-09)[2023-04-13].http://www.gov.cn/zhengce/content/2018-02/09/ content_5265380.htm.
[2]國家市場監(jiān)督管理總局.市場監(jiān)管總局關于2022年全國特種設備安全狀況的通告[EB/OL].(2023-03-16)[2023-04-13].https://www.samr.gov.cn/samrgkml/nsjg/ tzsbj/202303/t20230316_353874.html.
[3]國家市場監(jiān)督管理總局.市場監(jiān)管總局關于加強重點領域信用監(jiān)管的實施意見[EB/OL].(2021-06-08)[2023-04-13].https://www.samr.gov.cn/samrgkml/nsjg/ xyjgs/202106/t20210608_330344.html.
[4]市場監(jiān)管總局.市場監(jiān)管總局關于推進企業(yè)信用風險分類管理進一步提升監(jiān)管效能的意見[EB/OL].(2022-02-14)[2023-04-13].http://www.gov.cn/zhengce/ zhengceku/2022-02/14/ content _5673425.htm.
[5]趙吉臣.電梯安全性能影響因素與電梯檢驗探討[J].科技創(chuàng)新與應用,2020(20):122-123.
[6]文濤,秦定林,李云安,等.淺談影響電梯安全的幾方面因素及應對策略[J].中國電梯,2020,31(19):42-43.
[7]廖鴻儒.電梯安全性能影響因素及電梯檢驗檢測的強化路徑研究[J].中國設備工程,2020(23):158-160.
[8]李泉.電梯安全性能影響因素和強化電梯檢驗檢測策略研究[J].中國設備工程,2020(1):126-128.
[9]回彩娟,楊洋.簡析電梯在安裝、使用和維修過程中的風險因素[J].中國特種設備安全,2019,35(6):65-68.
[10]楊臻黛.業(yè)績衡量系統(tǒng)的一次革新——平衡記分卡[J].外國經(jīng)濟與管理,1999(9):7-11.
作者簡介
周洪美,博士,紅盾大數(shù)據(jù)(北京)有限公司副總經(jīng)理,高級統(tǒng)計師,研究方向為政務領域大數(shù)據(jù)應用。
裴飛,碩士,《中國標準化》雜志社有限公司社長,正高級工程師,研究方向為標準與質(zhì)量管理。
陳云蕾,本科,紅盾大數(shù)據(jù)(北京)有限公司分析師,研究方向為大數(shù)據(jù)建模。
蘭鵬,碩士,市場監(jiān)管總局信息中心應用開發(fā)一處工程師,研究方向大數(shù)據(jù)應用。
張志清,碩士,市場監(jiān)管總局信息中心應用開發(fā)一處副處長、高級工程師,研究方向數(shù)字政府建設、人工智能應用。
(責任編輯:張瑞洋)