李 巍，李樹(shù)元

（1.水利部海河水利委員會(huì)，天津 300170；2.天津市龍網(wǎng)科技發(fā)展有限公司，天津 300170）

1 背景與意義

近年來(lái)，隨著ChatGPT 在人工智能領(lǐng)域率先取得突破性的進(jìn)展，基于大規(guī)模文本訓(xùn)練的生成式預(yù)訓(xùn)練（Generative Pre-Trained，GPT）模型在文本生成任務(wù)上表現(xiàn)出了強(qiáng)大的泛化能力，大語(yǔ)言模型（Large Language Model，LLM）已經(jīng)成為人工智能領(lǐng)域的研究熱點(diǎn)。目前，大語(yǔ)言模型已在文本生成、文本理解等多個(gè)領(lǐng)域取得了顯著成就，在語(yǔ)音識(shí)別、圖像描述生成等跨模態(tài)任務(wù)中也展現(xiàn)出強(qiáng)大的潛力，已在情感分析、問(wèn)答系統(tǒng)、文本分類(lèi)、智能客服、機(jī)器翻譯等方面得到了廣泛應(yīng)用。GPT模型在專(zhuān)業(yè)領(lǐng)域也取得了進(jìn)展，醫(yī)療、金融、電力等行業(yè)相繼研發(fā)了領(lǐng)域大語(yǔ)言模型[1-3]，但在水利行業(yè)尚未見(jiàn)比較成熟的應(yīng)用案例。

數(shù)字孿生流域作為智慧水利發(fā)展的重要方向，近年來(lái)備受關(guān)注。建設(shè)數(shù)字孿生流域是提升國(guó)家水安全保障能力的重要支撐，水利部明確了提升流域設(shè)施數(shù)字化、網(wǎng)絡(luò)化、智能化水平的目標(biāo)，提出加快建設(shè)數(shù)字孿生流域，構(gòu)建智慧水利體系，推動(dòng)新階段水利高質(zhì)量發(fā)展[4-6]。水利部發(fā)布了數(shù)字孿生流域技術(shù)導(dǎo)則，部署了一系列先行先試項(xiàng)目。數(shù)字孿生永定河系統(tǒng)是水利部部署的先行先試任務(wù)之一，是數(shù)字孿生海河的重要組成部分，系統(tǒng)建設(shè)內(nèi)容包括感知體系、數(shù)據(jù)底板、模型平臺(tái)、知識(shí)平臺(tái)、水利業(yè)務(wù)應(yīng)用等。知識(shí)平臺(tái)作為數(shù)字孿生流域的重要組成部分，在推進(jìn)數(shù)字孿生流域建設(shè)中發(fā)揮著關(guān)鍵作用。

知識(shí)平臺(tái)的通用構(gòu)建技術(shù)路線是基于知識(shí)圖譜，通過(guò)梳理水利業(yè)務(wù)對(duì)象及其相互關(guān)系，搭建知識(shí)圖譜庫(kù)，并用于具體的水利業(yè)務(wù)應(yīng)用。如何將新一代人工智能技術(shù)應(yīng)用于水利行業(yè)，基于大語(yǔ)言模型搭建水利知識(shí)平臺(tái)，在數(shù)字孿生流域建設(shè)中發(fā)揮支撐作用，是一個(gè)比較前沿的研究方向。本文以數(shù)字孿生永定河系統(tǒng)為基礎(chǔ)，基于海量的業(yè)務(wù)數(shù)據(jù)、圖書(shū)文獻(xiàn)、期刊論文和行業(yè)資料，構(gòu)建數(shù)字孿生永定河知識(shí)庫(kù)。以知識(shí)庫(kù)為基礎(chǔ)，訓(xùn)練大語(yǔ)言模型，創(chuàng)建水利對(duì)象、預(yù)報(bào)方案、調(diào)度預(yù)案、歷史場(chǎng)景等知識(shí)圖譜?；诖笳Z(yǔ)言模型、知識(shí)圖譜和向量數(shù)據(jù)庫(kù)，實(shí)現(xiàn)知識(shí)檢索和智能問(wèn)答，以及水利對(duì)象信息智能檢索、歷史場(chǎng)景復(fù)演、防洪預(yù)案和生態(tài)調(diào)度方案智能匹配等水利業(yè)務(wù)智能應(yīng)用。

2 系統(tǒng)設(shè)計(jì)

2.1 總體架構(gòu)

數(shù)字孿生永定河系統(tǒng)知識(shí)平臺(tái)基于數(shù)字孿生流域總體技術(shù)架構(gòu)，匯聚關(guān)系型數(shù)據(jù)庫(kù)、方案預(yù)案、標(biāo)準(zhǔn)規(guī)范、科研文獻(xiàn)、圖書(shū)檔案、項(xiàng)目資料等結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)知識(shí)抽取、知識(shí)融合、文本分割、知識(shí)向量化、知識(shí)存儲(chǔ)等環(huán)節(jié)，構(gòu)建知識(shí)庫(kù)；基于語(yǔ)料庫(kù)訓(xùn)練大語(yǔ)言模型，構(gòu)建規(guī)則引擎和知識(shí)圖譜計(jì)算引擎，共同組成知識(shí)引擎；在知識(shí)庫(kù)和知識(shí)引擎基礎(chǔ)上，開(kāi)發(fā)知識(shí)應(yīng)用程序，包括文檔搜索、智能問(wèn)答、圖譜檢索、知識(shí)統(tǒng)計(jì)等基礎(chǔ)知識(shí)應(yīng)用，以及水利對(duì)象關(guān)聯(lián)、業(yè)務(wù)規(guī)則匹配、歷史場(chǎng)景復(fù)演、實(shí)時(shí)調(diào)度方案編制等專(zhuān)題知識(shí)應(yīng)用。知識(shí)平臺(tái)總體架構(gòu)，如圖1所示。

圖1 知識(shí)平臺(tái)架構(gòu)

2.2 知識(shí)庫(kù)建設(shè)

知識(shí)庫(kù)是數(shù)字孿生永定河流域知識(shí)平臺(tái)的核心組成部分。知識(shí)庫(kù)存儲(chǔ)了關(guān)于流域的各類(lèi)信息和知識(shí)，包括但不限于流域的自然地理、水文氣象、水資源開(kāi)發(fā)利用、預(yù)報(bào)調(diào)度預(yù)案方案等信息。知識(shí)庫(kù)不僅可以提供知識(shí)檢索，同時(shí)可為大語(yǔ)言模型和知識(shí)圖譜提供豐富的語(yǔ)料庫(kù)和實(shí)體關(guān)系提取素材，為知識(shí)應(yīng)用提供全面和準(zhǔn)確的知識(shí)支撐。

知識(shí)庫(kù)的構(gòu)建步驟包括數(shù)據(jù)收集、篩選、整合與分割、結(jié)構(gòu)化數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)清洗和標(biāo)準(zhǔn)化等預(yù)處理、文本預(yù)處理、數(shù)據(jù)標(biāo)注、知識(shí)抽取、知識(shí)建模、知識(shí)融合、知識(shí)向量化與存儲(chǔ)、知識(shí)質(zhì)量評(píng)估、知識(shí)驗(yàn)證與完善、知識(shí)更新與維護(hù)等。通過(guò)知識(shí)抽取和格式轉(zhuǎn)換，構(gòu)建基礎(chǔ)知識(shí)庫(kù)和主題知識(shí)庫(kù)，基礎(chǔ)知識(shí)庫(kù)由文檔庫(kù)、語(yǔ)料庫(kù)、向量數(shù)據(jù)庫(kù)和知識(shí)圖譜庫(kù)組成；在此基礎(chǔ)上，根據(jù)業(yè)務(wù)場(chǎng)景可構(gòu)建主題知識(shí)庫(kù)，包括水利對(duì)象關(guān)系知識(shí)庫(kù)、預(yù)案知識(shí)庫(kù)、歷史場(chǎng)景知識(shí)庫(kù)、專(zhuān)家經(jīng)驗(yàn)知識(shí)庫(kù)、專(zhuān)題圖譜知識(shí)庫(kù)等。

2.3 知識(shí)引擎構(gòu)建

數(shù)字孿生永定河流域知識(shí)引擎由大語(yǔ)言模型、規(guī)則引擎和知識(shí)圖譜計(jì)算引擎構(gòu)成。

大語(yǔ)言模型提供了自然語(yǔ)言解析引擎和知識(shí)推理引擎，其訓(xùn)練包括模型預(yù)訓(xùn)練、Tokenizer 訓(xùn)練、指令微調(diào)、獎(jiǎng)勵(lì)模型和強(qiáng)化學(xué)習(xí)等環(huán)節(jié)。本項(xiàng)目基于中文分詞器，采用開(kāi)源的互聯(lián)網(wǎng)新聞數(shù)據(jù)集、百科類(lèi)數(shù)據(jù)集、社區(qū)問(wèn)答數(shù)據(jù)集、翻譯語(yǔ)料庫(kù)，以及通過(guò)圖書(shū)文獻(xiàn)等資料自主構(gòu)建的水利行業(yè)基礎(chǔ)數(shù)據(jù)集和永定河專(zhuān)題數(shù)據(jù)集等，作為文本預(yù)訓(xùn)練數(shù)據(jù)集和指令數(shù)據(jù)集，對(duì)模型進(jìn)行預(yù)訓(xùn)練和精調(diào)。

規(guī)則引擎實(shí)現(xiàn)將業(yè)務(wù)規(guī)則和應(yīng)用程序代碼的分離，將業(yè)務(wù)規(guī)則集中管理，實(shí)現(xiàn)動(dòng)態(tài)修改業(yè)務(wù)規(guī)則快速響應(yīng)需求變化，提高了系統(tǒng)的靈活性和可維護(hù)性。本系統(tǒng)采用Drools 作為規(guī)則引擎，提供規(guī)則編輯器、規(guī)則執(zhí)行引擎等一系列工具，構(gòu)建水利業(yè)務(wù)規(guī)則庫(kù)。

知識(shí)圖譜計(jì)算引擎用于處理大規(guī)模的知識(shí)圖譜數(shù)據(jù)，并提供分析和應(yīng)用服務(wù)，其主要功能包括知識(shí)圖譜的構(gòu)建、存儲(chǔ)、查詢、推理和更新。本系統(tǒng)采用基于Neo4j 圖數(shù)據(jù)庫(kù)和圖查詢語(yǔ)言Cypher、圖算法庫(kù)構(gòu)建知識(shí)圖譜計(jì)算引擎。

2.4 智能業(yè)務(wù)應(yīng)用

在通用的文檔搜索、智能問(wèn)答、圖譜檢索、知識(shí)統(tǒng)計(jì)的基礎(chǔ)上，設(shè)計(jì)開(kāi)發(fā)豐富的水利業(yè)務(wù)專(zhuān)題應(yīng)用，將豐富的知識(shí)運(yùn)用到防汛預(yù)報(bào)調(diào)度、水資源管理、水環(huán)境保護(hù)等業(yè)務(wù)場(chǎng)景中。

（1）智能問(wèn)答?；诖笳Z(yǔ)言模型和知識(shí)圖譜的深度融合，采用知識(shí)向量化檢索召回模式，研發(fā)數(shù)字孿生永定河智能問(wèn)答機(jī)器人。該智能問(wèn)答機(jī)器人既能回答關(guān)于永定河流域的基礎(chǔ)性知識(shí)，如官?gòu)d水庫(kù)基本情況介紹、官?gòu)d水庫(kù)的總庫(kù)容等，也能回答官?gòu)d水庫(kù)的預(yù)計(jì)來(lái)水量之類(lèi)的預(yù)測(cè)類(lèi)的問(wèn)題。智能問(wèn)答系統(tǒng)界面，如圖2所示。

圖2 智能問(wèn)答系統(tǒng)界面

（2）水利對(duì)象關(guān)聯(lián)查詢。實(shí)體對(duì)象包括江河湖泊、水利工程以及水利對(duì)象的治理管理活動(dòng)等，通過(guò)對(duì)這些水利實(shí)體和概念的關(guān)聯(lián)關(guān)系進(jìn)行查詢檢索，可為水利知識(shí)的融合提供基礎(chǔ)。用戶可以方便地查詢到各種水利對(duì)象之間的關(guān)聯(lián)關(guān)系，以及與之相關(guān)的屬性、特征等信息。例如，查詢官?gòu)d水庫(kù)關(guān)聯(lián)的河流、行政區(qū)、水文站、視頻監(jiān)控點(diǎn)、電站等。

（3）業(yè)務(wù)規(guī)則智能匹配。業(yè)務(wù)規(guī)則包括防洪工程調(diào)度規(guī)則、生態(tài)水量調(diào)度規(guī)則和工程運(yùn)行管理規(guī)則等，提取流域內(nèi)的水利工程、來(lái)水邊界、控制對(duì)象等節(jié)點(diǎn)，分析各節(jié)點(diǎn)的來(lái)水情況、控制對(duì)象、啟用條件、運(yùn)行方式等要素，將調(diào)度規(guī)則方案邏輯化、知識(shí)化、關(guān)聯(lián)化。例如，在知識(shí)平臺(tái)中可查詢永定河生態(tài)補(bǔ)水的調(diào)度目標(biāo)、各個(gè)補(bǔ)水水源之間的關(guān)系和各自的輸水計(jì)劃以及詳細(xì)的數(shù)據(jù)，也可查詢圖譜中各節(jié)點(diǎn)對(duì)應(yīng)的具體數(shù)據(jù)。

（4）歷史場(chǎng)景復(fù)演。收集整理永定河歷史上發(fā)生的Ⅰ級(jí)洪水、Ⅱ級(jí)洪水和一般洪水資料，如1737、1780、1801、1819……1956、1963、2012、2023 年等。對(duì)歷年的典型洪水進(jìn)行復(fù)盤(pán)推演并提取知識(shí)圖譜，包括歷史洪水場(chǎng)景的核心過(guò)程、暴雨洪水特征和主要應(yīng)對(duì)措施等。基于歷史場(chǎng)景知識(shí)庫(kù)，可為同類(lèi)暴雨洪水事件的預(yù)報(bào)調(diào)度提供決策參考。

（5）實(shí)時(shí)調(diào)度方案編制?；谥R(shí)庫(kù)、水利專(zhuān)業(yè)模型算法引擎、規(guī)則引擎以及大語(yǔ)言模型，讓計(jì)算機(jī)學(xué)習(xí)永定河流域內(nèi)的防洪調(diào)度預(yù)案、動(dòng)態(tài)洪水風(fēng)險(xiǎn)圖、流域水工程聯(lián)合調(diào)度方案等預(yù)案方案知識(shí)，分析和總結(jié)歷史調(diào)度方案和調(diào)度結(jié)果與成效，推薦水工程聯(lián)合實(shí)時(shí)調(diào)度最優(yōu)方案，將推薦的調(diào)度方案同步在三維可視化平臺(tái)進(jìn)行實(shí)時(shí)復(fù)演呈現(xiàn)。同時(shí)，可自動(dòng)生成調(diào)度令，調(diào)用辦公自動(dòng)化流程輔助下達(dá)調(diào)度令。

3 核心技術(shù)分析

3.1 大語(yǔ)言模型預(yù)訓(xùn)練與精調(diào)

永定河數(shù)字孿生大語(yǔ)言模型有別于ChatGPT 這類(lèi)通用大語(yǔ)言模型，是典型的領(lǐng)域?qū)I(yè)大語(yǔ)言模型。當(dāng)前主流的大語(yǔ)言模型均選擇基于Transformer 架構(gòu)的深度神經(jīng)網(wǎng)絡(luò)模型作為主體結(jié)構(gòu)，有別于傳統(tǒng)的RNN 之類(lèi)的神經(jīng)網(wǎng)絡(luò)模型，Transformer 具有多頭自注意力機(jī)制和高效并行計(jì)算能力，并能有效捕獲不同維度詞之間的關(guān)聯(lián)程度，能夠高效處理大規(guī)模文本數(shù)據(jù)。

數(shù)字孿生永定河大語(yǔ)言模型采用“無(wú)監(jiān)督預(yù)訓(xùn)練”+“有監(jiān)督下游任務(wù)精調(diào)”模式，首先基于大規(guī)模文本數(shù)據(jù)訓(xùn)練一個(gè)具備通用語(yǔ)義表達(dá)能力的大語(yǔ)言模型，然后使用高精度的水利行業(yè)和永定河流域的標(biāo)注數(shù)據(jù)進(jìn)行精細(xì)微調(diào)優(yōu)化，以適配水利業(yè)務(wù)應(yīng)用的精準(zhǔn)需求。訓(xùn)練過(guò)程中采用數(shù)據(jù)并行和模型并行等分布式訓(xùn)練技術(shù)，將模型訓(xùn)練任務(wù)分散到多個(gè)GPU計(jì)算節(jié)點(diǎn)上并行執(zhí)行，從而顯著提升訓(xùn)練效率。

3.2 知識(shí)圖譜與大語(yǔ)言模型深度融合

知識(shí)圖譜是一種結(jié)構(gòu)化的語(yǔ)義知識(shí)庫(kù)，能夠準(zhǔn)確表達(dá)實(shí)體及其相互關(guān)系。但知識(shí)圖譜的構(gòu)建過(guò)程耗時(shí)費(fèi)力，語(yǔ)言理解和文本生成是知識(shí)圖譜應(yīng)用中的技術(shù)難點(diǎn)。而大語(yǔ)言模型在語(yǔ)義理解和文本生成方面表現(xiàn)優(yōu)異，但模型訓(xùn)練和推理成本較高，同時(shí)存在幻覺(jué)、解釋性差、無(wú)法實(shí)時(shí)更新等問(wèn)題。將兩者深度融合則可實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)，大語(yǔ)言模型補(bǔ)足了知識(shí)圖譜的語(yǔ)義理解能力，知識(shí)圖譜補(bǔ)足了大語(yǔ)言模型的知識(shí)準(zhǔn)確度。兩者的深度結(jié)合可提供精準(zhǔn)、可控、可靠的知識(shí)處理方案，可勝任更加復(fù)雜和準(zhǔn)確度要求更高的任務(wù)。

本系統(tǒng)基于知識(shí)圖譜與大語(yǔ)言模型深度融合，通過(guò)調(diào)用大語(yǔ)言模型的接口服務(wù)，實(shí)現(xiàn)知識(shí)圖譜從創(chuàng)建到應(yīng)用以及更新全生命周期各環(huán)節(jié)的效率和質(zhì)量提升。在知識(shí)圖譜構(gòu)建和更新環(huán)節(jié)，通過(guò)大語(yǔ)言模型從文本中提取實(shí)體及關(guān)系；在知識(shí)應(yīng)用階段，通過(guò)大語(yǔ)言模型來(lái)表達(dá)知識(shí)圖譜中的知識(shí)。同時(shí)，通過(guò)知識(shí)圖譜增強(qiáng)大語(yǔ)言模型的訓(xùn)練和應(yīng)用環(huán)節(jié)，利用知識(shí)圖譜作為評(píng)估數(shù)據(jù)集，優(yōu)化模型預(yù)訓(xùn)練和微調(diào)。在推理階段，將知識(shí)圖譜接入大語(yǔ)言模型，為大語(yǔ)言模型提供準(zhǔn)確的知識(shí)源，提升大語(yǔ)言模型的推理結(jié)果的可靠性。

3.3 知識(shí)向量化與知識(shí)檢索增強(qiáng)生成

知識(shí)向量化是一種將知識(shí)轉(zhuǎn)化為高維向量的技術(shù)體系，其核心技術(shù)包括詞向量表示、知識(shí)圖譜嵌入和文檔向量表示等，可實(shí)現(xiàn)將詞、知識(shí)圖譜以及文檔轉(zhuǎn)換為高維向量。為了進(jìn)一步提升知識(shí)檢索和問(wèn)答的準(zhǔn)確性，本系統(tǒng)基于大語(yǔ)言模型（LLM）+知識(shí)召回（Knowledge Retrieval）的知識(shí)檢索增強(qiáng)生成（Retrieval-Augmented Generation，RAG）模式，將永定河流域文檔資料和知識(shí)圖譜進(jìn)行切片和向量化處理，基于向量檢索實(shí)現(xiàn)知識(shí)召回，將召回的知識(shí)作為上下文提供給大語(yǔ)言模型進(jìn)行歸納總結(jié)，然后以對(duì)話形式與用戶交互，從而提升生成結(jié)果的可解釋性、可控性和可更新性。具體技術(shù)路線，如圖3所示。

圖3 知識(shí)檢索增強(qiáng)生成技術(shù)路線

4 總結(jié)與展望

本文以數(shù)字孿生永定河系統(tǒng)已有數(shù)據(jù)為基礎(chǔ)，設(shè)計(jì)了數(shù)字孿生永定河流域知識(shí)平臺(tái)，主要建設(shè)內(nèi)容包括知識(shí)庫(kù)、知識(shí)圖譜、大語(yǔ)言模型、智能業(yè)務(wù)應(yīng)用等。其中，知識(shí)庫(kù)的建設(shè)是基礎(chǔ)，知識(shí)庫(kù)的規(guī)模和質(zhì)量決定了知識(shí)圖譜和大語(yǔ)言模型的能力以及知識(shí)應(yīng)用的成效；知識(shí)引擎是核心，其中大語(yǔ)言模型提供了強(qiáng)大的自然語(yǔ)言解析、語(yǔ)義理解和知識(shí)推理能力，知識(shí)圖譜和業(yè)務(wù)規(guī)則引擎提供精準(zhǔn)的知識(shí)查詢檢索和規(guī)則匹配能力，兩者的深度融合即基于大語(yǔ)言模型和知識(shí)圖譜的知識(shí)檢索增強(qiáng)生成技術(shù)是提升知識(shí)應(yīng)用質(zhì)量的基石；知識(shí)應(yīng)用是關(guān)鍵，只有將知識(shí)應(yīng)用于具體的業(yè)務(wù)場(chǎng)景中，才能對(duì)業(yè)務(wù)起到支撐作用。

大語(yǔ)言模型的訓(xùn)練、知識(shí)圖譜的構(gòu)建以及智能問(wèn)答的算法實(shí)現(xiàn)是知識(shí)平臺(tái)建設(shè)的技術(shù)難點(diǎn)，大語(yǔ)言模型的訓(xùn)練算法正在快速更新迭代演化，可不斷更新訓(xùn)練算法，訓(xùn)練出高度匹配永定河流域管理業(yè)務(wù)的大語(yǔ)言模型。基于大語(yǔ)言模型和知識(shí)圖譜的知識(shí)檢索增強(qiáng)生成技術(shù)的智能問(wèn)答應(yīng)用也能實(shí)現(xiàn)更加精準(zhǔn)的信息匹配和更高質(zhì)量的結(jié)果生成。