摘要:本文采用理論分析與案例研究相結(jié)合的方法,分析了AI發(fā)展趨勢及對政府專項債券發(fā)行的影響,提出了建立地方政府專項債券“正面清單”“自審自發(fā)”“一案兩書”及智能發(fā)行、智能償付等AI發(fā)行有效路徑。
關(guān)鍵詞:DeepSeek垂直模型 專項債AI發(fā)行 正面清單 自審自發(fā) 一案兩書
AI發(fā)展趨勢及影響
因ChatGPT而盛行的人工智能(AI)熱度受算力制約等影響一度消退,深度求索(DeepSeek)再次燃起業(yè)界對AI的期待。DeepSeek主要借助我國龐大的產(chǎn)業(yè)資源和豐富的工程師資源做了大量工程創(chuàng)新,主要體現(xiàn)在以下幾點。
(一)繞開西方硬件壁壘
過去,我國AI產(chǎn)業(yè)發(fā)展面臨西方互聯(lián)網(wǎng)企業(yè)的硬件壁壘,如英偉達通過并行計算和編程系統(tǒng)(CUDA)形成芯片高端互聯(lián)壁壘。在國外,AI企業(yè)為了繞開硬件的生態(tài)壁壘,構(gòu)建AI加速器并嵌入OpenAI等公司的應(yīng)用程序編程接口(API)服務(wù)器,依賴AI加速器的軟件技術(shù)棧運行,僅僅使用硬件頭部互聯(lián)網(wǎng)企業(yè)的云資源,不與微處理器(GPU)直接交互從而繞過硬件壁壘。如高通、超威半導(dǎo)體、賽瑞博斯、桑巴諾瓦、高迪等都開發(fā)了AI加速器。DeepSeek同樣采用了該策略,運用混合專家模型(MoE),在C語言中嵌入比CUDA更底層的編程語言以減少對英偉達芯片高端互聯(lián)技術(shù)的依賴,繞過硬件壁壘而直接調(diào)用硬件資源。例如,DeepSeek的高效多層注意力解碼內(nèi)核開源項目(FlashMLA),通過低秩壓縮和分頁內(nèi)存管理兩項工程創(chuàng)新,不僅將大模型開發(fā)工具性能發(fā)揮到極致,還可以克服國產(chǎn)芯片顯存短板。
大模型的生成原理是用自然語言調(diào)用計算機程序,以詞向量表征形式傳遞給神經(jīng)網(wǎng)絡(luò),通過編碼器/解碼器(Encoder/Decoder)、位置編碼和自注意力機制構(gòu)建詞向量之間的關(guān)系。DeepSeek將該工程創(chuàng)新發(fā)揮到極致,多款產(chǎn)品可以不依賴專業(yè)GPU,而是在普通四核處理器運行,這不僅為我國AI產(chǎn)業(yè)發(fā)展帶來戰(zhàn)略機遇,還引領(lǐng)全球AI產(chǎn)業(yè)從傳統(tǒng)通用芯片轉(zhuǎn)向?qū)S肁I加速器的算力革命。隨著AI技術(shù)發(fā)展,3D封裝、高速互聯(lián)、高顯存、模型架構(gòu)(Transformer)芯片等硬件架構(gòu)也會快速創(chuàng)新,并與軟件系統(tǒng)互動螺旋上升。隨著DeepSeek開源及生態(tài)逐漸完善,通過模型蒸餾開發(fā)債券垂直模型越來越成熟,為AI在債券行業(yè)應(yīng)用帶來新機遇。
(二)突破算力瓶頸
DeepSeek發(fā)揮量化交易工程創(chuàng)新優(yōu)勢,優(yōu)化模型訓(xùn)練方式、多頭注意力機制、混合專家機制,充分適配現(xiàn)有算力資源,突破現(xiàn)有算力瓶頸而步入AI商業(yè)化新階段。
強化學(xué)習(xí)模型后訓(xùn)練。模型訓(xùn)練是關(guān)鍵,而高質(zhì)量專業(yè)數(shù)據(jù)比以往更稀缺且增加空間受限,使得模型訓(xùn)練前階段的規(guī)?;▌t(Scaling Law)越來越明顯,出現(xiàn)了“Scaling Law撞墻”現(xiàn)象。而美國開放人工智能公司系列推理模型(OpenAI o1)通過強化學(xué)習(xí)完成了模型的后訓(xùn)練,顯著降低了對標注數(shù)據(jù)規(guī)模的依賴,從而使得模型后訓(xùn)練階段Scaling Law得到業(yè)界重視。DeepSeek發(fā)揮工程創(chuàng)新優(yōu)勢,充分挖掘強化學(xué)習(xí)(RL)模型后訓(xùn)練潛力,通過模型蒸餾技術(shù)和群組相對策略優(yōu)化技術(shù)(GRPO),支持小模型實現(xiàn)長思維鏈和自我驗證功能,這不僅避免了價值網(wǎng)絡(luò)的高成本問題,還能快速響應(yīng)復(fù)雜場景需求,同時擁有邊緣計算優(yōu)勢。
多頭潛注意力模型(MLA)。Transformer模型處理長文本時需要鍵值緩存(KV Cache)以維持長鏈推理和保持場景上下文關(guān)聯(lián)。傳統(tǒng)解決方案采取分組查詢注意力(GQA)、多頭共享(KV)緩存技術(shù),以犧牲語義理解精度為代價降低顯存占用。DeepSeek采用MLA模型,通過KV壓縮、低秩降維使推理時僅緩存潛向量,避免在生成新的文本單元(token)時重復(fù)計算整個序列的健向量(Key)和值向量(Value),減少KV緩存占用的93.3%以上。MLA的潛維度每壓縮50%,推理速度可提升1.8倍,精度損失保持在0.5%以內(nèi)。在保持專業(yè)輸出能力的同時,顯著降低了計算及通信成本,如DeepSeek-R1的開發(fā)成本僅為600萬美元,僅占OpenAI o1約5億美元成本的2%。
創(chuàng)新混合專家模型(DeepSeek MoE)。2023年,法國Mistral AI推出Mixtral 8x7B,引爆了AI業(yè)界,推理速度相比市售主流產(chǎn)品提高了6倍。但是傳統(tǒng)方案采取的是分組查詢注意力(GOA)方式,加之路由沖突嚴重、冗余計算浪費會出現(xiàn)路由崩潰(Routing Collapse)現(xiàn)象,超80%的專家處于休眠狀態(tài),導(dǎo)致模型在專業(yè)領(lǐng)域輸出低于期望值。而DeepSeek MoE引入多智能體協(xié)作技術(shù)(CoE),采取專家動態(tài)偏置自適應(yīng)技術(shù),搭建共享-路由專家聯(lián)邦平臺,由“總指揮”統(tǒng)一調(diào)度數(shù)百個智能體(Agent)按照任務(wù)分配和交互順序協(xié)同開展場景推理(Scene Context),使得專家組合自由度、專家使用效率提高了800多倍,從而大大提升了推理速度和準確性。更為重要的是,DeepSeek采取開源創(chuàng)新策略,DeepEP成為全國首個為MoE和專家并行(EP)搭建的專用通信庫,顯著提升了模型的高吞吐量和低延遲能力,模型訓(xùn)練更快并形成開源共享—生態(tài)反哺—跨越創(chuàng)新的強化螺旋,推動AI步入商業(yè)化新階段,也為形態(tài)各異的專項債發(fā)行奠定了輕量模型基礎(chǔ)。
專項債AI發(fā)行的有效路徑
自黨的二十屆三中全會提出建立全口徑地方債務(wù)監(jiān)測監(jiān)管體系以來,地方政府專項債券(以下簡稱“專項債”)發(fā)行向著規(guī)范化、可持續(xù)化方向發(fā)展。根據(jù)《地方政府債券市場報告(2024年12月)》,2024年我國新增專項債3.9萬億元,比上年增加1000億元,支持地方政府用于就業(yè)、醫(yī)療、教育、社會保障等重要民生領(lǐng)域。10年期及以上專項債占比為78.74%,有力支持了土地儲備、城市更新、老舊小區(qū)改造、保障性住房等新型城鎮(zhèn)化建設(shè)項目。
值得一提的是,《國務(wù)院辦公廳關(guān)于優(yōu)化完善地方政府專項債券管理機制的意見》(國辦發(fā)
〔2024〕52號)將低空經(jīng)濟等新興產(chǎn)業(yè)基礎(chǔ)設(shè)施以及算力設(shè)備等新質(zhì)生產(chǎn)力納入“正面清單”1管理范圍,支持專項債用作項目資本金,為新興產(chǎn)業(yè)發(fā)展創(chuàng)造良好基礎(chǔ)條件。在政策發(fā)力的基礎(chǔ)上,可借助AI進行市場需求預(yù)測、定價模型優(yōu)化及風(fēng)險實時監(jiān)控,優(yōu)化專項債發(fā)行全流程,實現(xiàn)智能化決策與精準動態(tài)管理。
(一)探索建立“正面清單”AI管理機制
在專項債用作項目資本金范圍方面,可探索建立“AI正面清單”管理機制,加快DeepSeek等大模型本地化部署進程,建設(shè)專項債“正面清單”管理垂直模型,通過創(chuàng)新算法設(shè)計、訓(xùn)練策略、獎勵機制等,形成專項債“正面清單”的決策依據(jù)—數(shù)據(jù)挖掘—模型改進—垂直專長的管理機制,精準識別和遴選信息技術(shù)、新材料等新興產(chǎn)業(yè)項目、新型基建項目、重要民生項目和省級產(chǎn)業(yè)園項目。同時,或可將項目資本金的比例由25%提高至30%,緩解專項債項目匱乏的問題,減少“資金等項目”現(xiàn)象,使專項債資金能夠更快地形成實物工作量,推動經(jīng)濟回升向好。例如,利用大模型多令牌預(yù)測框架,將解碼器token-by-token生成模式優(yōu)化為multi-token生成,再通過多層網(wǎng)絡(luò)做完整的前向計算,減少了訓(xùn)練時間教官強迫和推理時間自回歸生成之間的分布差異,可以跨行業(yè)評估低空經(jīng)濟、商業(yè)航天、北斗、生命科學(xué)、生物制造、信息技術(shù)、量子科技、數(shù)字經(jīng)濟、新材料等新興產(chǎn)業(yè)項目,提升“正面清單”績效合力。
(二)探索建立“自審自發(fā)”試點AI管理機制
“自審自發(fā)”核心內(nèi)容是允許地方政府自主審查專項債項目的可行性、資金需求、還款來源等關(guān)鍵指標,決定專項債的發(fā)行規(guī)模、期限、利率等事項。模型蒸餾是將復(fù)雜大模型生成功能克隆給小模型的過程,DeepSeek-R1的670B參數(shù)大模型通過蒸餾生成的7B參數(shù)小模型,在手機端運行復(fù)雜推理任務(wù),面對新數(shù)據(jù)時表現(xiàn)良好,延遲低于500毫秒。過去,大語言模型涉及深度學(xué)習(xí)框架支撐、模型訓(xùn)練、數(shù)據(jù)收集清洗標注、算力調(diào)度、分布式訓(xùn)練等諸多技術(shù),對基礎(chǔ)設(shè)施的要求較高。而以DeepSeek為代表的輕量化模型,不僅適用于DS大模型軟硬件一體機,還適用于移動設(shè)備、邊緣計算設(shè)備、手機等資源受限的設(shè)備,同時保留了大模型強化學(xué)習(xí)功能。建議搭建全國專項債大模型并同時蒸餾省級“自審自發(fā)”小模型,智能解析國家、各省區(qū)市關(guān)于專項債的相關(guān)政策精神,通過算法自主計算項目盈利性、行業(yè)對標性、數(shù)據(jù)一致性等,支持試點省份滾動組織篩選形成本地區(qū)項目清單。根據(jù)國務(wù)院相關(guān)指導(dǎo)意見,分析項目申報資料及項目實施管理數(shù)據(jù)、圖像等,明確界定地方財政兜底責(zé)任和項目投資管理責(zé)任,完善“自審自發(fā)”流程。
(三)探索建立“一案兩書”AI管理機制
通過大數(shù)據(jù)分析和AI技術(shù)分析項目申請文件,挖掘項目目標、預(yù)算、預(yù)期收益等關(guān)鍵數(shù)據(jù),自動識別債券發(fā)行和使用過程中的信息披露不完整、資金用途違規(guī)等問題,提高監(jiān)管效率。建議搭建專項債“一案兩書”2AI模型,內(nèi)置思維鏈(CoT)統(tǒng)一編程接口、智能調(diào)度整合行業(yè)經(jīng)濟數(shù)據(jù)、地方財政收支數(shù)據(jù)、項目歷史數(shù)據(jù)等多源信息,將打包的具體項目精準識別出來并逐項逐步推理,通過任務(wù)要求、工作描述、疑問解答等提示詞(Prompt)多次計算以實現(xiàn)自洽,更好地擬合項目申請情況并自主生成《專項債券項目實施方案》《項目財務(wù)評價報告書》和《項目法律意見書》的參考版本,提升“一案兩書”的編制效率。垂直模型的訓(xùn)練風(fēng)險主要來源于數(shù)據(jù)安全性,有必要結(jié)合加密技術(shù)和訪問控制機制,確保“一案兩書”數(shù)據(jù)的安全性。
(四)探索建立專項債AI統(tǒng)籌發(fā)行機制
專項債額度批準后,需要統(tǒng)籌發(fā)行計劃、節(jié)奏和進度,科學(xué)銜接原有專項債及已安排項目與新發(fā)專項債及新項目,保障在建項目資金需求。例如,英國債券系統(tǒng)開發(fā)商 Algomi 建立了基于AI的債券交易系統(tǒng),為債券投資者提供不同債券市場的交易信息。參照此類AI交易系統(tǒng)審發(fā)流程,搭建專項債AI發(fā)行模型,用垂直模型小資源撬動高性能,完善“常態(tài)化申報、按季度審核”的項目申報審核機制,標準化審核流程,縮短審核周期。探索專項債額度AI分配方式,設(shè)計專項債公共資本產(chǎn)出彈性模型,持續(xù)加大對產(chǎn)業(yè)鏈集聚、經(jīng)濟拉動作用強、稅收凈貢獻能力大的區(qū)域的專項債支持力度,打通非“自審自發(fā)”試點省份在建項目續(xù)發(fā)專項債“綠色通道”,提高專項債在全國范圍內(nèi)的總投資乘數(shù)。在發(fā)行方式方面,引入智能合約技術(shù),通過公開招標、簿記建檔等方式提高市場參與度。利用AI技術(shù)探索專項債利率市場化改革,跟進市場供需關(guān)系波動,及時更新市場利率。設(shè)計專項債交易垂直模型,通過添加新的學(xué)習(xí)器、對路由進行軟約束等,提高投資收益,引領(lǐng)招標報價“博邊際”3策略,推動專項債的標準化。發(fā)揮債券通優(yōu)勢,引入做市商制度并增加交易品種,鼓勵保險公司、基金公司、外資機構(gòu)等更多投資者參與專項債的二級市場交易。建立專項債的風(fēng)險緩釋機制,設(shè)立償債基金并引入保險資金以降低違約風(fēng)險。
(五)探索建立專項債AI償付及風(fēng)險管理機制
搭建專項債AI償付及風(fēng)險控制垂直模型,結(jié)合債券發(fā)行額,采用多維度數(shù)據(jù)融合技術(shù)編制年度預(yù)算。建議將DeepSeek等大模型作為專項債“自構(gòu)建數(shù)據(jù)”垂直模型引擎,利用歷史數(shù)據(jù)和市場趨勢預(yù)測項目收益,建立專項債項目資產(chǎn)明細臺賬,規(guī)范新增項目資產(chǎn)核算,分類管理存量、增量項目資產(chǎn),構(gòu)建多元收益來源,提升項目投資收益自平衡率。建立AI“債務(wù)剎車”機制,大模型賦能下,對專項債資金實施穿透式監(jiān)管,智能識別虛報收益行為及潛在償債危機,并提供應(yīng)對方案。實時監(jiān)控項目收益與預(yù)算偏差,動態(tài)調(diào)整專項債項目實施周期和跨年融資收益平衡方案,建立償債備付金制度,必要時調(diào)度其他項目專項收入、項目單位資金和政府性基金預(yù)算收入強制償還債券本金。
參考文獻
[1]范拓源.財政貨幣政策對經(jīng)濟與金融不確定性的動態(tài)影響機制研究[D].長春:吉林大學(xué),2023.
[2]洪鈺,李燕婷,萬淑珊,朱隼,陳奕按,魯炎.債券投資新探索:基于機器學(xué)習(xí)的利率擇時策略實踐[J].人工智能,2023(2).
[3]李紫菡,周雙雙. ChatGPT概述及應(yīng)用研究[J].債券,2023(6). DOI: 10.3969/j.issn.2095-3585. 2023.06.015.
[4]呂文哲,賈晨,唐華云.金融領(lǐng)域大語言模型應(yīng)用安全探析[J].債券,2024(8). DOI: 10.3969/j.issn. 2095-3585.2024.08.016.
[5] [美]伊恩·古德費洛,[加]約書亞·本吉奧,[加]亞倫·庫維爾.深度學(xué)習(xí)[M].北京:人民郵電出版社,2021.
[6]張成文.大模型導(dǎo)論[M].北京:人民郵電出版社,2024.
[7]趙大偉,李文化.人工智能技術(shù)在債券行業(yè)應(yīng)用問題研究[J].金融與經(jīng)濟,2020(12).
[8]中國財政科學(xué)研究院2022年“地方財政經(jīng)濟運行”課題組.多重不確定性下的風(fēng)險權(quán)衡與對沖—2022年“地方財政經(jīng)濟運行”調(diào)研總報告[J].財政研究,2023(3).