摘 要：為進(jìn)一步提高LSTM網(wǎng)絡(luò)預(yù)測(cè)的精度，提出一種基于ResNet和Attention改進(jìn)LSTM的風(fēng)險(xiǎn)預(yù)測(cè)模型。其中，利用ResNet10網(wǎng)絡(luò)對(duì)樣本數(shù)據(jù)進(jìn)行特征提取，然后引入Attention賦予不同特征權(quán)重，進(jìn)而提高重要特征的權(quán)重，最后運(yùn)用LSTM對(duì)樣本數(shù)據(jù)進(jìn)行預(yù)測(cè)。結(jié)果表明，本研究的方案得到的風(fēng)險(xiǎn)預(yù)測(cè)準(zhǔn)確率、準(zhǔn)確率等指標(biāo)明顯高于其他風(fēng)險(xiǎn)預(yù)測(cè)模型，由此得出本方改進(jìn)方案可行。

關(guān)鍵詞：ResNet10網(wǎng)絡(luò)；Attention；LSTM；風(fēng)險(xiǎn)預(yù)測(cè)；特征權(quán)重

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-5922（2025）03-0193-04Research on risk prediction model and its application basedon deep learningGAO Min

（Heze Information Engineering School of Shandong Province，Heze 274000，Shandong China）

Abstract：To further improve the accuracy of LSTM network prediction，a risk prediction model based on ResNetand Attention improved LSTM is proposed. Among them，the ResNet10 network is used to extract features from thesample data，and then attention is introduced to assign different feature weights，thereby increasing the weight of im?portant features. Finally，LSTM is used to predict the sample data. The results indicate that the accuracy and otherindicators of risk prediction obtained by the proposed approach are significantly higher than those of other risk pre?diction models，indicating the feasibility of our improved approach.

Key words：ResNet10 network；attention；LSTM；risk prediction；feature weight

將深度學(xué)習(xí)應(yīng)用于風(fēng)險(xiǎn)預(yù)測(cè)中，成為當(dāng)前智能化的一個(gè)重要方向。對(duì)此，張瑋亞等 [1] 將深度學(xué)習(xí)算法應(yīng)用到不停電作業(yè)風(fēng)險(xiǎn)的評(píng)估中，大大提高了評(píng)估準(zhǔn)確率；龍?chǎng)斡竦?[2] 將深度學(xué)習(xí)算法用于電網(wǎng)的防汛風(fēng)險(xiǎn)的預(yù)測(cè)中，結(jié)果表明預(yù)測(cè)的準(zhǔn)確率要高于傳統(tǒng)的機(jī)器學(xué)習(xí)算法；周遠(yuǎn)翔等 [3] 則將深度學(xué)習(xí)算法用于設(shè)備風(fēng)險(xiǎn)預(yù)測(cè)中，大大提高了配電設(shè)備運(yùn)行的可靠性；尤姍姍和邵思思等 [4-6] 將深度學(xué)習(xí)用于軟件的風(fēng)險(xiǎn)預(yù)測(cè)中，結(jié)果表明較常規(guī)方法具有很大的優(yōu)勢(shì)。

本研究認(rèn)為，深度學(xué)習(xí)算法主要用于文本和圖像的預(yù)測(cè)中，其中對(duì)特征的提取顯得非常關(guān)鍵。對(duì)此，基于以上的經(jīng)驗(yàn)，提出一種ResNet網(wǎng)絡(luò)結(jié)合改進(jìn)LSTM的風(fēng)險(xiǎn)預(yù)測(cè)模型，并將該模型用于舞弊風(fēng)險(xiǎn)的識(shí)別中。

1 基本方法

1.1 ResNet 網(wǎng)絡(luò)

ResNet網(wǎng)絡(luò)屬于殘差網(wǎng)絡(luò)的范疇，在ResNet網(wǎng)絡(luò)內(nèi)部存在多個(gè)ResNet-block子網(wǎng)絡(luò)相互堆疊，二層卷積基本殘差單元結(jié)構(gòu)展示如下圖1所示。

2 基于LSTM-Attention的風(fēng)險(xiǎn)預(yù)測(cè)模型構(gòu)建殘差結(jié)構(gòu)能夠精簡(jiǎn)學(xué)習(xí)過(guò)程、實(shí)現(xiàn)梯度傳播以及提高訓(xùn)練速度，所以本文選用殘差結(jié)構(gòu)進(jìn)行特征提取，然后采用注意力機(jī)制對(duì)輸入的多種因素執(zhí)行動(dòng)態(tài)加權(quán)處理，由此提高與真實(shí)數(shù)據(jù)相關(guān)性強(qiáng)的因素的權(quán)值，最終建立起基于注意力機(jī)制的 LSTM模型。引入注意力機(jī)制的預(yù)測(cè)流程如圖3所示。

在LSTM-Attention網(wǎng)絡(luò)模型中，Attention層分布在LSTM后、扁平層（Flatten層）前，模型中添加扁平層是為了實(shí)現(xiàn)多維數(shù)據(jù)向一維數(shù)據(jù)的轉(zhuǎn)換，從而便于數(shù)據(jù)連接至輸出層。LSTM-Attention網(wǎng)絡(luò)架構(gòu)如圖4所示。

3 試驗(yàn)驗(yàn)證

3.1 數(shù)據(jù)來(lái)源

本模型數(shù)據(jù)來(lái)源于部分上市公司的舞弊數(shù)據(jù)，包含130個(gè)評(píng)價(jià)指標(biāo)。具體來(lái)說(shuō)，結(jié)構(gòu)化指標(biāo)包括93個(gè)財(cái)務(wù)指標(biāo)和28個(gè)非財(cái)務(wù)指標(biāo)，剩余的9個(gè)指標(biāo)均為非結(jié)構(gòu)化指標(biāo)。在完成PCA處理以后，最終獲得35個(gè)財(cái)務(wù)指標(biāo)、21個(gè)非財(cái)務(wù)指標(biāo)以及7個(gè)非結(jié)構(gòu)化指標(biāo)。通過(guò) ResNet10 模型提取面板數(shù)據(jù)特征，輸入LSTM模型進(jìn)行學(xué)習(xí) [8] 。設(shè)定5年作為1個(gè)周期，由此執(zhí)行滾動(dòng)學(xué)習(xí)，具體數(shù)據(jù)集劃分如圖5所示。

同時(shí)，按照3∶3∶4的比例對(duì)樣本數(shù)據(jù)進(jìn)行隨機(jī)劃分，由此分別得到訓(xùn)練集、驗(yàn)證集及測(cè)試集。旨在規(guī)避主觀因素對(duì)樣本數(shù)據(jù)劃分過(guò)程的干擾，本文調(diào)用了Python中的train_test_split 函數(shù)按照3∶3∶4的比例對(duì)樣本數(shù)據(jù)進(jìn)行隨機(jī)劃分，如此能夠確保樣本數(shù)據(jù)劃分過(guò)程的隨機(jī)性、可靠性 [9] 。

3.2 模型參數(shù)設(shè)置

參數(shù)設(shè)置：激活函數(shù)為Sigmoid；損失函數(shù)為Bi?nary-cross-entropy；優(yōu)化器為Adam；學(xué)習(xí)率為0.0001；Batch Size為128；訓(xùn)練輪數(shù)為70次。

3.3 評(píng)價(jià)指標(biāo)選取

本文建立的基于深度學(xué)習(xí)的風(fēng)險(xiǎn)預(yù)測(cè)模型用于識(shí)別上市公司舞弊風(fēng)險(xiǎn)，因此選用查準(zhǔn)率（Preci?sion）、召回率（Recall）、準(zhǔn)確率（Accuracy）、 F 1 分?jǐn)?shù)以及AUC等指標(biāo)對(duì)模型應(yīng)用性能進(jìn)行評(píng)價(jià) [10] 。

AUC（Area Under Curve）指的是 ROC（ReceiverOperating Characteristic）曲線與坐標(biāo)軸所圍成的封閉面積，面積數(shù)值介于0～1之間 [11] 。另外，ROC曲線通常分布在直線y=x以上，所以AUC數(shù)值通常介于0.5～1之間。AUC數(shù)值趨近于1，說(shuō)明預(yù)測(cè)結(jié)果的真實(shí)性越高，反則反之 [12-14] 。若AUC=0.5，說(shuō)明當(dāng)前的預(yù)測(cè)模型無(wú)法辨識(shí)正例與反例，預(yù)測(cè)結(jié)果的可靠性很低。

3.4 數(shù)據(jù)不平衡處理

分別采取過(guò)采樣與欠采樣方式對(duì)數(shù)據(jù)不平衡問(wèn)題進(jìn)行處理，匯總?cè)绫?所示。

由表1可知，采取過(guò)采樣方式的處理結(jié)果在各項(xiàng)指標(biāo)上都顯著優(yōu)于欠采樣方式，由此判定過(guò)采樣方式更適于解決數(shù)據(jù)不平衡問(wèn)題，因此，本文在利用風(fēng)險(xiǎn)預(yù)測(cè)模型對(duì)舞弊樣本進(jìn)行識(shí)別分類時(shí)，就采用了過(guò)采樣方式來(lái)處理數(shù)據(jù)不平穩(wěn)問(wèn)題，最終得到了33 337 個(gè)樣本，其中測(cè)試集中的樣本數(shù)是 13 335個(gè) [15] 。

3.5 模型比較

在確定評(píng)價(jià)指標(biāo)以及建立預(yù)測(cè)模型以后，把完成過(guò)采樣處理的樣本數(shù)據(jù)輸入各模型進(jìn)行學(xué)習(xí)，各模型的查準(zhǔn)率、召回率、F 1 分?jǐn)?shù)、準(zhǔn)確率以及AUC如表2所示。

由表2可知，除了CNN模型屬于單一結(jié)構(gòu)模型以外，其余三個(gè)模型均是混合模型，通過(guò)對(duì)比發(fā)現(xiàn)，CNN模型的查準(zhǔn)率、召回率、F 1 分?jǐn)?shù)、準(zhǔn)確率以及AUC等各項(xiàng)指標(biāo)的評(píng)分均低于混合模型，比如添加LSTM網(wǎng)絡(luò)后的CNN-LSTM模型的各項(xiàng)評(píng)價(jià)指標(biāo)分值出現(xiàn)明顯提升，足可見(jiàn)LSTM網(wǎng)絡(luò)對(duì)于金融時(shí)間序列數(shù)據(jù)的預(yù)測(cè)上具有優(yōu)勢(shì) [16-18] 。與其他三類模型做對(duì)比，本文建立的ResNetl0-LSTM-Attention模型所對(duì)應(yīng)的查準(zhǔn)率、召回率、F 1 分?jǐn)?shù)、準(zhǔn)確率以及AUC分值均是最高的，這說(shuō)明本文模型在識(shí)別舞弊方面相較于其他模型更具實(shí)用價(jià)值 [19-20] 。

4 結(jié)語(yǔ)

通過(guò)建立基于深度學(xué)習(xí)算法的風(fēng)險(xiǎn)預(yù)測(cè)模型，用以對(duì)舞弊樣本數(shù)據(jù)進(jìn)行分類識(shí)別，實(shí)現(xiàn)了對(duì)舞弊的識(shí)別。其中，超參數(shù)的選擇及設(shè)定對(duì)于模型性能及應(yīng)用效果起到關(guān)鍵影響，本文在選定超參數(shù)以后，建立了深度學(xué)習(xí)單一模型及混合模型，將采取過(guò)采樣方式處理后的數(shù)據(jù)樣本輸入各模型，建立各模型所對(duì)應(yīng)的混淆矩陣以及確定各模型預(yù)測(cè)結(jié)果的準(zhǔn)確率、召回率、F 1 分?jǐn)?shù)、準(zhǔn)確度、AUC分值，由此獲得各模型的綜合評(píng)價(jià)結(jié)果并進(jìn)行對(duì)比，得出本文建立ResNetl0-LSTM-Attention 模型相較于其他三類模型具有明顯優(yōu)勢(shì)，能夠更加精準(zhǔn)地識(shí)別出舞弊風(fēng)險(xiǎn)。

【參考文獻(xiàn)】

[1] 張瑋亞，陳中，宮衍平，等. 基于多模態(tài)深度學(xué)習(xí)的不停電作業(yè)風(fēng)險(xiǎn)評(píng)估[J]. 高壓電器，2022，58（11）：138-150.

[2] 龍?chǎng)斡?，石英，林朝? 基于改進(jìn)Transformer的電網(wǎng)防汛風(fēng)險(xiǎn)概率預(yù)測(cè)[J]. 武漢理工大學(xué)學(xué)報(bào)，2022，44（9）：79-88.

[3] 周遠(yuǎn)翔，葛佳敏，陳健寧，等. 基于巡視文本挖掘的配電設(shè)備運(yùn)行環(huán)境風(fēng)險(xiǎn)預(yù)測(cè)[J]. 高電壓技術(shù)，2022，48（4）：1213-1225.

[4] 尤姍姍，劉雪嬌. 基于非線性集成深度學(xué)習(xí)的軟件模塊風(fēng)險(xiǎn)預(yù)測(cè)[J]. 計(jì)算機(jī)仿真，2021，38（11）：305-308.

[5] 邵思思，李奎，堯海昌，等. 一種基于深度學(xué)習(xí)的Docker風(fēng)險(xiǎn)預(yù)測(cè)方法研究[J]. 南京郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，41（2）：104-112.

[6] 程洪亮，黃鶴，龐然，等. 基于改進(jìn)ResNet網(wǎng)絡(luò)的光伏電站檢測(cè)方法[J]. 北京建筑大學(xué)學(xué)報(bào)，2023，39（6）：72-79.

[7] 吳文彥. 基于卷積通道注意力及改進(jìn)ResNet的遙感場(chǎng)景分類[J]. 蘭州工業(yè)學(xué)院學(xué)報(bào)，2023，30（6）：26-30.

[8] 孫明正，李浩. 一種基于ResPNet的光伏組件紅外成像故障檢測(cè)方法[J]. 激光與光電子學(xué)進(jìn)展，2023，60（24）：201-209.

[9] 儲(chǔ)天啟，陳秀明，王先傳，等. 融合LSTM-Attention和CNN模型的文本分類方法[J]. 安慶師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，29（3）：89-94.

[10] 耿治勝，王月明，高東輝，等. 基于LSTM-Attention與MOPSO高爐節(jié)能減排控制算法研究[J]. 電子測(cè)量技術(shù)，2023，46（14）：102-108.

[11] 吳先紅，宋俊材，王驍賢，等. 基于雜散磁場(chǎng)感知與NBCNN-LSTM-Attention深度回歸建模的永磁直線電機(jī)氣隙磁密測(cè)量研究[J]. 儀器儀表學(xué)報(bào)，2023，44（7）：305-314.

[12] 孫晨宇，張樹東. 基于CEEMDAN與LSTM-Attention的股市預(yù)測(cè)模型[J]. 計(jì)算機(jī)應(yīng)用與軟件，2023，40（12）：119-125.

[13] 唐 宇 峰 ，陳 星 紅 ，蔡 宇 ，等. 基 于 時(shí) 序 分 解 和SSA-LSTM-Attention模型的尾礦壩位移預(yù)測(cè)[J]. 科學(xué)技術(shù)與工程，2023，23（29）：12753-12759.

[14] 曹梅，楊超宇. 基于小波的CNN-LSTM-Attention瓦斯預(yù)測(cè)模型研究[J]. 中國(guó)安全生產(chǎn)科學(xué)技術(shù)，2023，19（9）：69-75.

[15] 毛百海，覃吳，肖顯斌，等. 基于LSTMamp;GRU-Attention多聯(lián)合模型的鋰離子電池SOH估計(jì)[J]. 儲(chǔ)能科學(xué)與技術(shù)，2023，12（11）：3519-3527.

[16] 蔣闖，艾紅，陳雯柏. 基于時(shí)域特征與LSTM-Attention的IGBT退化預(yù)測(cè)方法[J]. 中國(guó)測(cè)試，2023，49（8）：8-14.

[17] 穆晨宇，薛文斌，穆羨瑛，等. 基于VMD-LSTM-Attention模型的短期負(fù)荷預(yù)測(cè)研究[J].現(xiàn)代電子技術(shù)，2023，46 （17）：174-178.

[18] 馬佳成，王曉霞，楊迪. 基于Attention機(jī)制的TCN-LSTM非侵入式負(fù)荷分解[J].電力信息與通信技術(shù)，2023，21（8）：43-51.

[19] 李東澤，齊詠生，劉利強(qiáng). 基于LSTM-ATTENTION融合神經(jīng)網(wǎng)絡(luò)的光伏功率預(yù)測(cè)[J]. 內(nèi)蒙古工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，42（4）：350-354.

[20] 楊廷勝，盧志鵬，苗厚利. 基于PMS的設(shè)備故障數(shù)據(jù)分析模型構(gòu)建及仿真[J]. 粘接，2022，49（7）：165-169.

（責(zé)任編輯：張玉平）