摘 要：城市交通樞紐的業(yè)務(wù)功能復(fù)雜，高效的信息服務(wù)對樞紐運營和旅客體驗十分重要。針對現(xiàn)有系統(tǒng)在處理復(fù)雜查詢方面的不足，本文研究融合知識圖譜推理的知識服務(wù)大模型。首先，收集數(shù)據(jù)構(gòu)建交通樞紐知識庫，并建立知識圖譜。其次，利用知識庫對大模型進(jìn)行領(lǐng)域微調(diào)，將大模型有效地適配于交通樞紐領(lǐng)域。最后，采用圖推理技術(shù)，大模型結(jié)合樞紐知識圖譜進(jìn)行檢索推理，提高查詢的準(zhǔn)確性。試驗結(jié)果顯示，該知識服務(wù)大模型能為復(fù)雜查詢提供精準(zhǔn)的回答和建議。該研究能夠提升樞紐用戶的知識獲取體驗，也為未來智能交通服務(wù)系統(tǒng)的發(fā)展提供了新思路。

關(guān)鍵詞：大模型；知識圖譜；交通樞紐

中圖分類號： TU 984 文獻(xiàn)標(biāo)志碼：A

隨著城市化進(jìn)程加速和交通需求日益增長，綜合交通樞紐逐漸成為城市交通網(wǎng)絡(luò)的關(guān)鍵節(jié)點[1]。樞紐通常涉及各類交通方式的銜接服務(wù)，對維持城市交通流暢和旅客出行安全至關(guān)重要。傳統(tǒng)樞紐的信息服務(wù)系統(tǒng)經(jīng)常出現(xiàn)孤島現(xiàn)象[2]，在理解自然語言查詢和提供精確回答方面存在局限性[3]。人工智能技術(shù)發(fā)展迅速，大語言模型（Large Language Models，LLM）在信息檢索和復(fù)雜查詢等領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力[4]，這也為交通樞紐知識服務(wù)大模型提供了新思路。然而，當(dāng)通用大模型直接應(yīng)用于垂直領(lǐng)域時，通常難以獲取領(lǐng)域內(nèi)最新知識，幻覺問題也會導(dǎo)致模型生成的回復(fù)與真實信息存在偏差[5]。知識圖譜（Knowledge Graph，KG）利用圖結(jié)構(gòu)來組織和管理大量結(jié)構(gòu)化信息[6]，可以幫助大模型減少推理偏差和獲取動態(tài)知識。鑒于此，本文基于大語言模型和知識圖譜技術(shù)，研究了一種交通樞紐知識服務(wù)大模型，通過構(gòu)建知識庫和領(lǐng)域微調(diào)策略，將大模型適配于樞紐領(lǐng)域，結(jié)合知識圖譜推理技術(shù)，為樞紐用戶提供精準(zhǔn)、有效的知識查詢響應(yīng)。

1 樞紐知識服務(wù)大模型

本研究針對交通樞紐領(lǐng)域的知識服務(wù)大模型，其構(gòu)建流程如圖1所示，主要包括3個部分：知識庫構(gòu)建、大模型微調(diào)和知識圖譜推理。首先，從多渠道收集交通樞紐相關(guān)源數(shù)據(jù)，整合成包括問答數(shù)據(jù)、偏好數(shù)據(jù)和知識圖譜的樞紐知識庫。其次，針對樞紐領(lǐng)域內(nèi)數(shù)據(jù)微調(diào)大模型，通過指令微調(diào)和直接偏好優(yōu)化技術(shù)對預(yù)訓(xùn)練大模型進(jìn)行領(lǐng)域調(diào)優(yōu)，以提高對交通樞紐相關(guān)查詢的理解和響應(yīng)能力。最后，融合知識圖譜推理策略對樞紐知識查詢進(jìn)行分析處理，幫助大模型生成準(zhǔn)確且可解釋的回答。

2 樞紐知識庫構(gòu)建

2.1 源數(shù)據(jù)收集與整合

為構(gòu)建一個全面的軌道交通樞紐知識庫，本研究選擇包括交通樞紐相關(guān)主題的專業(yè)文檔，以構(gòu)建領(lǐng)域數(shù)據(jù)集。具體涵蓋了樞紐歷史交通數(shù)據(jù)、樞紐常用客服用語、樞紐運維技術(shù)手冊、社交媒體內(nèi)容和公共交通數(shù)據(jù)庫等。此外，針對收集的大量領(lǐng)域內(nèi)數(shù)據(jù)，采取一系列數(shù)據(jù)處理技術(shù)，例如數(shù)據(jù)清洗、去重和格式化，以確保所收集數(shù)據(jù)的質(zhì)量，為訓(xùn)練模型和構(gòu)建知識圖譜提供數(shù)據(jù)基礎(chǔ)。

2.2 問答數(shù)據(jù)集構(gòu)建

為構(gòu)建適用于微調(diào)大語言模型的問答數(shù)據(jù)集，本研究首先通過分析用戶查詢?nèi)罩緛碜R別常見的查詢模式，涵蓋時刻表查詢、票價信息、站點設(shè)施及緊急情況響應(yīng)等需求?；谶@些分析結(jié)果，設(shè)計一系列大模型提示詞，以模擬真實用戶查詢場景，從而引導(dǎo)開源大模型生成問答數(shù)據(jù)集。如圖2所示，展示了問答數(shù)據(jù)集的構(gòu)建流程，這一方法使問答數(shù)據(jù)集的構(gòu)建更便捷，同時知識服務(wù)大模型能夠滿足用戶的實際查詢需求。

2.3 知識圖譜構(gòu)建

構(gòu)建軌道交通樞紐知識圖譜，采用與問答數(shù)據(jù)集構(gòu)建相似的方法，即利用開源大模型和精心設(shè)計的提示詞來提取源數(shù)據(jù)文本中的三元組信息。通過定義涵蓋車站布局、列車時刻、維護(hù)活動等方面的提示詞，引導(dǎo)大模型識別文本數(shù)據(jù)中隱含的實體和關(guān)系，形成結(jié)構(gòu)化的三元組信息，例如電扶梯故障、征兆、出現(xiàn)異常聲音等。大量三元組被用于構(gòu)建和豐富知識圖譜，其中每個實體轉(zhuǎn)化為圖中的節(jié)點，實體間的關(guān)系則通過邊來表示，并將其導(dǎo)入Neo4j（圖數(shù)據(jù)庫）。知識圖譜能夠反映軌道交通樞紐的運營和管理狀況，為用戶提供準(zhǔn)確全面的查詢響應(yīng)和決策支持。

3 大模型在交通樞紐領(lǐng)域的微調(diào)

3.1 指令微調(diào)

考慮開源預(yù)訓(xùn)練大模型在原始狀態(tài)下處理垂直領(lǐng)域查詢能力較差，本研究采用低秩自適應(yīng)（Low-Rank Adaptation，LoRA）微調(diào)技術(shù)來優(yōu)化模型在軌道交通樞紐對話場景中的性能。LoRA微調(diào)技術(shù)通過在預(yù)訓(xùn)練模型基礎(chǔ)上引入低秩矩陣對模型權(quán)重進(jìn)行調(diào)整，該方法能夠在不顯著增加參數(shù)量的情況下，提升模型在特定任務(wù)上的表現(xiàn)。

當(dāng)大模型在交通樞紐領(lǐng)域內(nèi)進(jìn)行指令微調(diào)時，將模型預(yù)訓(xùn)練權(quán)重凍結(jié)，使用低秩矩陣來近似每個權(quán)重矩陣的變化。變化矩陣可以分解為2個低秩矩陣的乘積，將可訓(xùn)練的低秩矩陣添加到每個變換器層中，從而減少需要更新的參數(shù)量。如圖 3 所示，預(yù)訓(xùn)練大模型權(quán)重矩陣W的維度為d×d，旁路低秩矩陣的秩為r，矩陣A的維度為d×r，矩陣B的維度為d×r，指令微調(diào)過程中僅對旁路矩陣A和B進(jìn)行調(diào)整，而預(yù)訓(xùn)練大模型的權(quán)重矩陣保持不變。指令微調(diào)階段數(shù)據(jù)集包括交通樞紐相關(guān)的實際指令對話數(shù)據(jù)，能夠覆蓋多種常見知識服務(wù)場景，大模型關(guān)鍵參數(shù)在微調(diào)過程中得到精細(xì)調(diào)整。

3.2 直接偏好優(yōu)化

為進(jìn)一步滿足用戶知識查詢的實際需求和偏好，本研究采用直接偏好優(yōu)化（DirectPreferenceOptimization，DPO）方法來優(yōu)化大模型知識服務(wù)大模型的交互質(zhì)量和提升用戶滿意度。DPO優(yōu)化方法通過收集用戶對回答的偏好反饋，直接調(diào)整模型，以生成更符合用戶期望的回答。本研究通過模擬樞紐用戶知識查詢來收集偏好數(shù)據(jù)，以表示樞紐用戶的偏好響應(yīng)，表示非偏好的響應(yīng)，這些數(shù)據(jù)用于進(jìn)一步優(yōu)化指令微調(diào)后的大語言模型，用戶偏好的獎勵函數(shù)和非偏好的獎勵函數(shù)公式（1）、公式（2）所示。

（1）

（2）

式中：x為用戶輸入的查詢；yw和yl分別為用戶偏好和非偏好的響應(yīng)；πref和πθ分別為優(yōu)化前和優(yōu)化后的策略模型。

在直接偏好優(yōu)化階段，為增加大模型生成樞紐用戶偏好回答的可能性，損失函數(shù)定義為用戶偏好回答得分之間的差異，該階段的偏好損失如公式（3）所示。

L（πθ；πref）=-E（x，yw，yl）∈D[logσ（βrw-βrl）] （3）式中：（x，yw，yl）為一個問答對數(shù)據(jù)；D為問答對的集合；πref和πθ分別為優(yōu)化前和優(yōu)化后的策略模型；rw和rl分別為用戶偏好和非偏好的獎勵函數(shù)；σ為Sigmoid激活函數(shù)；β為獎勵模型的縮放參數(shù)。

通過比較生成回復(fù)的偏好來優(yōu)化大模型，確保被偏好回答得分比不被偏好的回答高，大模型能夠?qū)W習(xí)生成更符合用戶偏好的回答。本研究采用直接偏好優(yōu)化策略，進(jìn)一步優(yōu)化樞紐領(lǐng)域大模型，生成更符合樞紐用戶需要的偏好響應(yīng)，提供更個性化的對話體驗。

4 知識圖譜推理機(jī)制

4.1 圖推理機(jī)制

在交通樞紐知識服務(wù)大模型中，知識圖譜推理機(jī)制是提升查詢準(zhǔn)確性的關(guān)鍵。知識圖譜作為軌道交通樞紐知識的事實庫，包括大量真實信息，例如車站布局、列車時刻表、運營狀態(tài)等，這些信息對提升模型回復(fù)的準(zhǔn)確度至關(guān)重要。為進(jìn)一步提升樞紐知識服務(wù)大模型在處理用戶復(fù)雜查詢時回復(fù)的準(zhǔn)確率，本研究設(shè)計了一種融合知識圖譜的推理策略。

該推理機(jī)制通過分析樞紐知識圖譜實體間的關(guān)系，確定連接查詢實體的最優(yōu)推理路徑。具體來說，樞紐知識圖譜由大量事實三元組構(gòu)成，將三元組的實體和關(guān)系分別表示為e和r，則樞紐知識圖譜可以表示為G={（e，r，e'）|e，e'∈E，r∈R}，E和R分別為樞紐事實庫涉及的實體集合和關(guān)系集合。以q表示用戶提交的查詢問題，大模型首先識別查詢中的關(guān)鍵實體e，并將此實體與知識圖譜中的相應(yīng)實體進(jìn)行匹配。隨后，大模型生成預(yù)定關(guān)系路徑作為推理規(guī)劃，并根據(jù)這些規(guī)劃在知識圖譜中進(jìn)行答案檢索。在此過程中，獲取最大化推理答案的概率如公式（4）所示。

Pθ（a|q，G）=∑z∈ZPθ（a|q，z，G）Pθ（z|q） （4）式中：G為樞紐知識圖譜；q為用戶查詢的問題；a為知識圖譜中檢索的答案；θ為大模型的參數(shù)；z為大模型生成的關(guān)系路徑；Z為關(guān)系路徑集合。

該機(jī)制不僅能夠利用知識圖譜的結(jié)構(gòu)化知識，而且還可以結(jié)合大模型的深層語義理解能力，從而提升推理過程的可解釋性和準(zhǔn)確度。

4.2 答案的構(gòu)建

在確定推理路徑之后，需要將推理結(jié)果轉(zhuǎn)化為用戶易于理解的自然語言回答。本研究采用提示詞方式，將從知識圖譜中檢索到的答案整合為提示詞，輸入大模型以生成查詢回復(fù)。在構(gòu)建回復(fù)過程中引入知識圖譜作為事實依據(jù)，并通過大模型整合知識圖譜推理結(jié)果，生成的回復(fù)更豐富、更準(zhǔn)確，從而提升用戶查詢的滿意度。

5 案例分析

為了評估本研究的有效性及準(zhǔn)確性，以下采用Llama2-7b模型在Ubuntu 20.04操作系統(tǒng)環(huán)境中進(jìn)行實踐驗證。試驗結(jié)果表明，交通樞紐知識服務(wù)大模型能夠為用戶提供知識查詢指導(dǎo)和幫助，在交通樞紐專業(yè)領(lǐng)域內(nèi)更具有優(yōu)勢。

本文研究的交通樞紐知識服務(wù)大模型，對預(yù)訓(xùn)練大模型進(jìn)行指令微調(diào)和直接偏好優(yōu)化，能更好地適應(yīng)樞紐領(lǐng)域知識查詢服務(wù)。樞紐知識圖譜能提供更真實全面的信息支持，結(jié)合圖推理策略能夠幫助大模型更準(zhǔn)確地回答用戶問題。此外，大模型展示出強(qiáng)大的對話能力，能夠快速準(zhǔn)確地識別用戶需求，并提供相關(guān)知識和解決方案。由此可見，樞紐知識服務(wù)大模型在專業(yè)領(lǐng)域內(nèi)極具應(yīng)用潛力，這不僅體現(xiàn)在其能夠理解復(fù)雜查詢并回應(yīng)專業(yè)術(shù)語，而且也包括其在提供決策支持和專業(yè)建議時的高準(zhǔn)確度。

6 結(jié)語

本文基于大語言模型和知識圖譜推理技術(shù)研究了交通樞紐的知識服務(wù)大模型。通過構(gòu)建領(lǐng)域內(nèi)知識庫提供全面的信息查詢支持，一系列微調(diào)策略使大模型能夠更好地適應(yīng)交通樞紐領(lǐng)域，而知識圖推理策略能夠進(jìn)一步提升模型回復(fù)的準(zhǔn)確性。未來的工作將繼續(xù)優(yōu)化知識圖譜的構(gòu)建過程、提高大模型的可擴(kuò)展性，以探索人工智能在交通系統(tǒng)中更廣泛的應(yīng)用。

參考文獻(xiàn)

[1]張欣.深圳市西麗綜合交通樞紐產(chǎn)站城一體化規(guī)劃設(shè)計探索[J].城市軌道交通研究，2023，26（12）：1-5，10.

[2]張濤，賈真，李天瑞，等.基于知識庫的開放領(lǐng)域問答系統(tǒng)[J].智能系統(tǒng)學(xué)報，2018，13（4）：557-563.

[3]趙京勝，宋夢雪，高祥，等.自然語言處理中的文本表示研究[J].軟件學(xué)報，2022，33（1）：102-128.

[4]王麗.基于ChatGPT4.0的人工智能藝術(shù)設(shè)計走向分析[J].中國新技術(shù)新產(chǎn)品，2023（19）：38-41.

[5]趙月，何錦雯，朱申辰，等.大語言模型安全現(xiàn)狀與挑戰(zhàn)[J].計算機(jī)科學(xué)，2024，51（1）：68-71.

[6]馬亞中，張聰聰，徐大鵬，等.城市大腦知識圖譜構(gòu)建及應(yīng)用研究[J].中文信息學(xué)報，2022，36（4）：48-56.