摘 要：

為了提高當(dāng)前大語言模型（large language model，LLM）在利用檢索文檔生成答案時(shí)的準(zhǔn)確性，提出一種基于領(lǐng)域知識的檢索增強(qiáng)生成（retrieval-augmented generation，RAG）方法。首先，在檢索過程中通過問題和領(lǐng)域知識進(jìn)行第1層的稀疏檢索，為后續(xù)的稠密檢索提供領(lǐng)域數(shù)據(jù)集；其次，在生成過程中采用零樣本學(xué)習(xí)的方法，將領(lǐng)域知識拼接在問題之前或之后，并與檢索文檔結(jié)合，輸入到大語言模型中；最后，在醫(yī)療領(lǐng)域和法律領(lǐng)域數(shù)據(jù)集上使用大語言模型ChatGLM2-6B、Baichuan2-7B-chat進(jìn)行多次實(shí)驗(yàn)，并進(jìn)行性能評估。結(jié)果表明：基于領(lǐng)域知識的檢索增強(qiáng)生成方法能夠有效提高大語言模型生成答案的領(lǐng)域相關(guān)度，并且零樣本學(xué)習(xí)方法相較于微調(diào)方法表現(xiàn)出更好的效果；采用零樣本學(xué)習(xí)方法時(shí)，融入領(lǐng)域知識的稀疏檢索和領(lǐng)域知識前置方法在ChatGLM2-6B上取得了最佳提升效果，與基線方法相比，ROUGE-1、ROUGE-2和ROUGE-L評分分別提高了3.82、1.68、4.32個(gè)百分點(diǎn)。所提方法能夠提升大語言模型生成答案的準(zhǔn)確性，為開放域問答的研究和應(yīng)用提供重要參考。

關(guān)鍵詞：

自然語言處理；開放域問答；檢索增強(qiáng)生成；大語言模型；零樣本學(xué)習(xí)；領(lǐng)域知識

中圖分類號：

TP391.1

文獻(xiàn)標(biāo)識碼：A

DOI： 10.7535/hbgykj.2025yx02001

A retrieval-augmented generation method based on domain knowledge

ZHANG Gaofei1， LI Huan1， CHI Yunxian1， ZHAO Qiaohong2， GOU Zhinan3， GAO Kai1

（1.School of Information Science and Engineering，Hebei University of Science and Technology， Shijiazhuang， Hebei 050018， China; 2.Hebei Vocational College of Rail Transportation ， Shijiazhuang， Hebei 050801， China; 3.School of Management Science and Information Engineering， Hebei University of Economics and Business， Shijiazhuang， Hebei 050061， China）

Abstract：

In order to enhance the accuracy of current large language model （LLM） in generating answers using retrieval documents， a retrieval-augmented generation method based on domain knowledge was proposed. Firstly， during the retrieval process， the first layer of sparse retrieval was conducted using both the question and domain knowledge， providing a domain-specific dataset for subsequent dense retrieval. Secondly， in the generation process， a zero-shot learning method was employed to concatenate domain knowledge before or after the question， and combined it with the retrieved documents to input into the large language model. Finally， extensive experiments were conducted on datasets in the medical and legal domains using ChatGLM2-6B and Baichuan2-7B-chat， and performance evaluations were conducted. The results indicate that the retrieval-augmented generation method based on domain knowledge can effectively improve the domain relevance of the answers generated by large language models， and the zero-shot learning method outperforms the fine-tuning method. When the zero-shot learning method is used， the sparse retrieval incorporating domain knowledge and the method of placing domain knowledge before the question achieve the best improvement on ChatGLM2-6B， with ROUGE-1， ROUGE-2 and ROUGE-L scores increasing by 3.82， 1.68 and 4.32 percentage points respectively compared to the baseline method. The proposed method can enhance the accuracy of the answers generated by large language models and provide an important reference for the research and application of open-domain question answering.

Keywords：

natural language processing;open-domain question answering; retrieval-augmented generation; large language model; zero-shot learning; domain knowledge

在開放域問答任務(wù)中，大語言模型［1-3］（large language model，LLM）利用檢索增強(qiáng)生成（retrieval-augmented generation，RAG）系統(tǒng)提供的檢索文檔能夠生成精確的答案［4-5］。盡管RAG方法展現(xiàn)出顯著的優(yōu)勢，但仍然存在一些問題，如LLM利用檢索文檔生成答案的準(zhǔn)確性不高，檢索文檔中可能會包含不相關(guān)的內(nèi)容［6-7］，這些問題都會導(dǎo)致LLM生成錯(cuò)誤的答案［8-9］。因此，如何提高LLM利用檢索文檔生成答案的準(zhǔn)確性成為一個(gè)亟待解決的問題。

現(xiàn)代開放域問答系統(tǒng)已普遍將傳統(tǒng)的檢索技術(shù)與神經(jīng)閱讀理解模型相結(jié)合［10］。檢索器［11-12］檢索文檔后，提取式或生成式閱讀器使用檢索文檔生成答案［13］。近年來，諸多研究大多數(shù)聚焦于RAG系統(tǒng)的魯棒性［14-17］。ASAI等［15］引入生成特定標(biāo)記的機(jī)制，使LLM能夠自我評估文檔與問題的相關(guān)性，從而自我檢查生成結(jié)果的準(zhǔn)確性。YORAN等［17］的研究要求LLM在生成答案前先評估文檔的相關(guān)性，該方法僅依賴稀疏的二進(jìn)制標(biāo)簽評估文檔的相關(guān)性，難以精確捕捉細(xì)粒度的關(guān)聯(lián)信息。ZHANG等［18］通過微調(diào)LLM，使其學(xué)習(xí)如何過濾干擾文檔，從而優(yōu)化特定領(lǐng)域的RAG系統(tǒng)，雖然效果顯著，但是微調(diào)LLM非常耗時(shí)且需要大量的算力資源。GLASS等［19］在檢索階段增加了重排器，對檢索到的文檔集進(jìn)行重排，從而提升檢索準(zhǔn)確性，但要實(shí)現(xiàn)這一效果，重排前的檢索文檔的質(zhì)量必須足夠高。KIM等［20］提出了新的RAG框架，該框架通過檢索相關(guān)文檔并生成摘要，進(jìn)而提升LLM生成答案的準(zhǔn)確性。盡管RAG領(lǐng)域已經(jīng)取得了一系列卓越的研究成果，但現(xiàn)有研究在整合領(lǐng)域知識方面仍有待加強(qiáng)，這種局限性阻礙了對檢索文檔中領(lǐng)域知識的深入挖掘，同時(shí)也影響了大語言模型利用檢索文檔生成答案的準(zhǔn)確性和可靠性。

針對上述問題，本文提出了一種基于領(lǐng)域知識的檢索增強(qiáng)生成方法。在檢索階段，通過融入領(lǐng)域知識向LLM提供問題所屬領(lǐng)域的相關(guān)檢索文檔；在生成階段，將領(lǐng)域知識拼接于問題之前或之后，并結(jié)合檢索階段的檢索文檔，以零樣本學(xué)習(xí)（zero-shot learning， ZSL）［21］方式輸入給LLM。該方法能夠增強(qiáng)LLM對專業(yè)領(lǐng)域知識文檔的理解，提升LLM對檢索文檔的適應(yīng)性和選擇性，提高LLM生成答案的準(zhǔn)確性。

1 基于領(lǐng)域知識的檢索增強(qiáng)生成方法提出

1.1 基本框架

在利用RAG方法解決開放域問答任務(wù)時(shí)，首先，針對給定查詢q，通過檢索器在檢索階段進(jìn)行稀疏檢索和稠密檢索，從文檔集中提取出前k個(gè)相關(guān)文檔（可選用重排器進(jìn)一步優(yōu)化結(jié)果）［22-23］；然后，將查詢q與檢索到的參考文檔D=diki=1一同輸入到閱讀器，由其生成一個(gè)答案A。

A=LLM（q，di）|di∈D。

（1）

本文提出一種基于領(lǐng)域知識的檢索增強(qiáng)生成方法，該方法在檢索和生成過程中融入領(lǐng)域知識，從而提升大語言模型生成答案的準(zhǔn)確性，其基本框架如圖1所示。

在檢索階段的稀疏檢索部分，通過問題與領(lǐng)域知識的聯(lián)合檢索，為稠密檢索提供訓(xùn)練數(shù)據(jù)集，從而更精準(zhǔn)地獲取高領(lǐng)域相關(guān)度的檢索文檔。在生成過程中，采用前置或后置拼接領(lǐng)域知識的方式，使LLM能夠更有效地選擇與問題領(lǐng)域相關(guān)度更高的檢索文檔，進(jìn)而提高答案的準(zhǔn)確性。

1.2 基于領(lǐng)域知識的檢索

在RAG方法中，通過第1層的稀疏檢索構(gòu)建的文檔集包含正樣本（包含1條黃金樣本和多條正樣本，黃金樣本與正確答案完全一致，而正樣本則為其他正確的答案）、負(fù)樣本（錯(cuò)誤的樣本）和強(qiáng)負(fù)樣本（強(qiáng)負(fù)樣本是指和黃金樣本非常相似但是依舊錯(cuò)誤的樣本）。

在稀疏檢索階段中融入領(lǐng)域（domain， Dmn）知識，不僅可以為第2層的稠密檢索器提供更好的訓(xùn)練集合，而且可以使檢索到的文檔和問題的領(lǐng)域相關(guān)度更加契合。在第1層檢索中，采用BM25［24］算法進(jìn)行聯(lián)合檢索，從而利用問題及其領(lǐng)域知識共同檢索相關(guān)內(nèi)容。具體公式如下

SCORE（Dmn+q，D）=∑ni=1IDF（Dmni+qi）×

f（Dmni+qi，D）×（k1+1）f（Dmni+qi，D）+k1×（1－b+b×dd），

（2）

式中：Dmn為領(lǐng)域信息；d表示檢索的文檔集；n表示查詢中包含的詞項(xiàng)數(shù)；f函數(shù)表示查詢詞項(xiàng)在樣本集中出現(xiàn)的頻率；b和k1是該算法的超參數(shù)；d表示文檔集d的長度；d表示所有文檔集平均長度。

通過第1層稀疏檢索獲得1個(gè)按照相關(guān)度排行的文檔集，用于為第2層的稠密檢索構(gòu)建訓(xùn)練文檔集。該文檔集正樣本（以第1條正樣本為黃金正樣本）、負(fù)樣本和強(qiáng)負(fù)樣本的比例按照稠密段落檢索（dense passage retriever，DPR）方法中的1∶2∶2設(shè)置［25］。負(fù)樣本的選擇借鑒了RocketQA的方法［26］，在其他文檔的黃金正樣本中隨機(jī)選取多個(gè)樣本，作為該文檔集的負(fù)樣本，這種方法有助于更好地區(qū)分正、負(fù)樣本。強(qiáng)負(fù)樣本是選取相關(guān)度排行文檔集中排名靠后的樣本。對檢索階段進(jìn)行領(lǐng)域知識的融入，保證檢索到的檢索文檔集都是在同一領(lǐng)域下的。

無論是在稀疏檢索還是稠密檢索階段，文檔集均基于訓(xùn)練集中的問答對構(gòu)建，且不包含任何測試集中的問題和答案。

1.3 基于領(lǐng)域知識的生成

在特定領(lǐng)域，準(zhǔn)確的領(lǐng)域知識對LLM處理檢索文檔起到了至關(guān)重要的作用。通過前置或后置方法，將領(lǐng)域知識融入到RAG的生成過程中，從而提升開放域問答任務(wù)的準(zhǔn)確性和專業(yè)性。

1）前置方法 通過前置方法，將問題與該問題所對應(yīng)的領(lǐng)域知識進(jìn)行前置拼接，這樣做的目的是，在問題理解階段為LLM提供直接且明確的語境指引，促進(jìn)LLM更快捕捉到問題的專業(yè)領(lǐng)域和特定背景，前置領(lǐng)域知識的方法可以使LLM給予領(lǐng)域知識更高的權(quán)重信息，提高生成文檔和問題的領(lǐng)域相關(guān)度。具體公式如下。

afront=LLM（Dmn+Q，D），

（3）

式中：afront為前置方法的大模型生成的答案；Q為查詢的問題。

2）后置方法 后置方法通過將檢索問題與其對應(yīng)領(lǐng)域知識后置拼接，作為背景提示貫穿模型處理問題的全過程，影響LLM對檢索文檔領(lǐng)域知識的判斷，并最終影響生成決策。具體公式如下。

arear=LLM（Q+Dmn，D），

（4）

式中：arear為后置方法的大模型生成的答案。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

2.1.1 數(shù)據(jù)集

本文基于醫(yī)療領(lǐng)域和法律領(lǐng)域2個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。

1）醫(yī)療數(shù)據(jù)集 針對開放域問答任務(wù)，實(shí)驗(yàn)采用了一個(gè)包含25萬條數(shù)據(jù)的數(shù)據(jù)集。該數(shù)據(jù)集是人工構(gòu)建的數(shù)據(jù)集，主要包括詳細(xì)的病人問題和醫(yī)生科室信息、治療建議，訓(xùn)練集和測試集的比例為8∶2。醫(yī)生所屬科室信息為領(lǐng)域知識，如表1所示。

2）法律數(shù)據(jù)集 采用LaWGPT［27］中的法律知識問答數(shù)據(jù)集，共2.3萬條法律問答數(shù)據(jù)。該數(shù)據(jù)集包括法律咨詢問題及其答案和該問題所屬的案件類型。案件類型包括房產(chǎn)糾紛、勞動(dòng)糾紛、債權(quán)債務(wù)、交通事故、婚姻家庭5種，案件類型是領(lǐng)域知識。訓(xùn)練集和測試集的比例為8∶2。數(shù)據(jù)集中案件類型的數(shù)量統(tǒng)計(jì)如表2所示。

2.1.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)使用基于64位Linux操作系統(tǒng)的環(huán)境，主機(jī)硬件配置如下：顯卡為NVIDIA RTX 4090（由英偉達(dá)公司提供）；內(nèi)存為24 GB（由金士頓科技公司提供）。采用Elasticsearch（ES）進(jìn)行稀疏檢索；采用DPR進(jìn)行稠密檢索。在生成階段選擇ChatGLM2-6B［28］和Baichuan2-7B-chat［29］大語言模型，初始參數(shù)使用LLM的默認(rèn)值。

2.2 基線方法和評估指標(biāo)

2.2.1 基線方法

本文通過2種基線方法驗(yàn)證領(lǐng)域知識和零樣本學(xué)習(xí)在開放域問答任務(wù)中的重要性。首先，通過未融入領(lǐng)域知識的RAG方法證明領(lǐng)域知識的重要性；其次，通過LoRA［30］微調(diào)的RAG方法證明利用零樣本學(xué)習(xí)的方式能更有效地利用檢索文檔，從而提升答案的準(zhǔn)確性。

1）未融入領(lǐng)域知識的RAG方法 在該方法中，使用常規(guī)的混合檢索，第1層檢索使用ES進(jìn)行稀疏檢索，第2層檢索使用訓(xùn)練好的DPR，采用檢索文檔集前k（取k=3）個(gè)樣本與測試集問題組成知識密集型數(shù)據(jù)集。將這種未融入領(lǐng)域知識的RAG方法標(biāo)記為no-Dmn，并將其作為基線方法。

2）LoRA微調(diào)的RAG方法 在檢索過程中將測試集檢索改為訓(xùn)練集檢索，并利用檢索文檔和訓(xùn)練集問題對ChatGLM2-6B、Baichuan2-7B-chat進(jìn)行LoRA微調(diào)。

2.2.2 評估指標(biāo)

開放域問答任務(wù)中，確保答案的準(zhǔn)確性和完整性至關(guān)重要。本文使用Rouge-N指標(biāo)（具體為Rouge-1和Rouge-2）評估生成文本的準(zhǔn)確性，使用Rouge-L通過最長公共子序列評估文本的完整性。

2.3 實(shí)驗(yàn)設(shè)計(jì)

通過5種實(shí)驗(yàn)設(shè)計(jì)，探究在檢索階段和生成階段融入領(lǐng)域知識的方法。

1）方法1 首先，在稀疏檢索階段添加領(lǐng)域知識的聯(lián)合檢索；然后，利用稠密檢索作為第2層檢索；最后，采用檢索文檔集前k個(gè)樣本和測試集的問題作為一個(gè)新的知識密集型數(shù)據(jù)集。該方法為融入領(lǐng)域知識的稀疏檢索方法（標(biāo)記為Dmn）。

2）方法2和方法3 首先，使用常規(guī)的稀疏檢索方法作為第1層檢索；然后，通過訓(xùn)練好的DPR模型對測試集中的問答對進(jìn)行第2層檢索。利用領(lǐng)域知識與測試集的問題進(jìn)行前置或者后置拼接，并與檢索文檔集的前k個(gè)樣本結(jié)合，得到2個(gè)新的知識密集型數(shù)據(jù)集。這2個(gè)方法分別為領(lǐng)域知識前置方法（標(biāo)記為ques-front）和領(lǐng)域知識后置方法（標(biāo)記為ques-rear）。

3）方法4和方法5 首先，在稀疏檢索階段添加領(lǐng)域知識的聯(lián)合檢索；然后，使用訓(xùn)練好的DPR模型在測試集上進(jìn)行檢索，得到檢索文檔集。將初始測試集中的問題與檢索文檔集中的前k個(gè)樣本相結(jié)合，同時(shí)將初始測試集中的領(lǐng)域知識字段添加到問題的開頭或結(jié)尾，得到2個(gè)新的知識密集型數(shù)據(jù)集。這2個(gè)方法分別為融入領(lǐng)域知識的稀疏檢索和領(lǐng)域知識前置方法（標(biāo)記為Dmn-ques-front）、融入領(lǐng)域知識的稀疏檢索和領(lǐng)域知識后置方法（標(biāo)記為Dmn-ques-rear）。

本文對所提出的方法在開放域問答任務(wù)上的表現(xiàn)進(jìn)行了評估。融入領(lǐng)域知識的稀疏檢索（Dmn）是為了證明在RAG中檢索階段提供的領(lǐng)域文檔的重要性；領(lǐng)域知識前置方法（ques-front）、領(lǐng)域知識后置方法（ques-rear）是為了證明RAG在生成階段中，領(lǐng)域知識對LLM提高檢索文檔的領(lǐng)域相關(guān)度識別的重要性；融入領(lǐng)域知識的稀疏檢索和領(lǐng)域知識前置方法（Dmn-ques-front）、融入領(lǐng)域知識的稀疏檢索和領(lǐng)域知識后置方法（Dmn-ques-rear）是為了證明在RAG中的2個(gè)階段同時(shí)融入領(lǐng)域知識對生成結(jié)果的影響。以上方法在生成過程中均采用ZSL策略，此外，通過將生成階段的ZSL策略替換為LoRA微調(diào)，驗(yàn)證了在ZSL條件下融入領(lǐng)域知識相比LoRA微調(diào)對生成答案準(zhǔn)確性的提升效果更顯著（相關(guān)源代碼已在GitHub開源，網(wǎng)址為https：//github.com/zgf1005/dpr-llm.git）。表3和表4分別展示了大語言模型ChatGLM2-6B、Baichun2-7B-chat在2個(gè)開放域問答任務(wù)上的實(shí)驗(yàn)結(jié)果。

首先，在ZSL方式下，于LLM的生成階段將領(lǐng)域知識融入RAG中，其效果優(yōu)于LoRa微調(diào)方法。這種優(yōu)勢在ROUGE-1、ROUGE-2和ROUGE-L等評估指標(biāo)上表現(xiàn)得尤為突出。

其次，在ZSL方式下，融入領(lǐng)域知識的稀疏檢索和前置融入領(lǐng)域知識（Dmn-ques-front），在ChatGLM2-6B模型上取得了最佳提升效果，與基線方法（no-Dmn）相比，ROUGE-1提高了3.82個(gè)百分點(diǎn)，ROUGE-2提高了1.68個(gè)百分點(diǎn)，ROUGE-L提升了4.32個(gè)百分點(diǎn)。其他融入了領(lǐng)域知識的方法同樣優(yōu)于基線方法。

綜上所述，基于領(lǐng)域知識的RAG方法普遍優(yōu)于基線方法，更適用于開放域問答任務(wù)。

2.4 參數(shù)調(diào)整實(shí)驗(yàn)

為了全面評估本文所提方法的性能，通過調(diào)整生成階段的參數(shù)配置，設(shè)計(jì)了一系列對比實(shí)驗(yàn)。在這些實(shí)驗(yàn)中，檢索階段的設(shè)置與之前保持一致，而生成階段則針對ChatGLM2-6B和Baichuan2-7B-Chat模型進(jìn)行了參數(shù)調(diào)整，主要涉及temperature和top_k參數(shù)值。通過調(diào)整這些參數(shù)值，并利用ROUGE-1和ROUGE-L指標(biāo)對生成結(jié)果進(jìn)行評估，以系統(tǒng)地分析不同參數(shù)配置對生成效果的影響。

1）在ChatGLM2-6B和Baichuan2-7B-chat中調(diào)整temperature參數(shù)，當(dāng)temperature值較高時(shí)，模型生成的文本會更加多樣，但也可能會包含更多不相關(guān)或不連貫的內(nèi)容；而較低的temperature值會使得模型更傾向于選擇概率最高的詞匯，從而生成更一致和連貫的文本，通過實(shí)驗(yàn)研究其在生成過程中的影響。如圖2和圖3所示，temperature取值在［0.20， 0.60］時(shí)，融入領(lǐng)域知識的方法生成的結(jié)果在完整性和準(zhǔn)確性上優(yōu)于未融入領(lǐng)域知識的方法。然而，隨著temperature值的增加，某些方法的精度會有所下降。盡管融入領(lǐng)域知識稀疏檢索的方法（Dmn）在temperature=0.4時(shí)的ROUGE-L效果不及基線方法，但總體而言，其他方法表現(xiàn)優(yōu)于基線方法。

2）在ChatGLM2-6B和Baichuan2-7B-chat中，通過調(diào)整采樣參數(shù)top_k來優(yōu)化生成效果。top_k取值越大，生成文本的多樣性越強(qiáng)；取值越小，生成文本多樣性越弱。由圖4和圖5可知，top_k取值在［20，40］時(shí)，融入領(lǐng)域知識的方法生成結(jié)果的完整性和準(zhǔn)確性優(yōu)于未融入領(lǐng)域知識的方法。盡管隨著top_k值的增加，某些方法的性能會下降，但總體上融入領(lǐng)域知識的方法始終優(yōu)于未融入領(lǐng)域知識的方法。

2.5 消融實(shí)驗(yàn)

為了驗(yàn)證各個(gè)模塊在本文方法中的貢獻(xiàn)，基于領(lǐng)域數(shù)據(jù)集設(shè)計(jì)了9個(gè)消融實(shí)驗(yàn)，分別對RAG框架的檢索階段中的稀疏檢索和稠密檢索2個(gè)模塊進(jìn)行了消融實(shí)驗(yàn)，實(shí)驗(yàn)設(shè)計(jì)組合包括：

1）ES 僅采用ES檢索；

2）ES+Dmn ES檢索與領(lǐng)域知識的聯(lián)合檢索；

3）ES（ques-front） ES檢索與前置領(lǐng)域知識；

4）ES（ques-rear） ES檢索與后置領(lǐng)域知識；

5）ES+Dmn（ques-front） ES與領(lǐng)域知識的聯(lián)合檢索與前置領(lǐng)域知識；

6）ES+Dmn（ques-rear） ES與領(lǐng)域知識的聯(lián)合檢索與后置領(lǐng)域知識；

7）DPR僅采用DPR檢索；

8）DPR（ques-front） DPR檢索與前置領(lǐng)域知識；

9）DPR（ques-rear） DPR檢索與后置領(lǐng)域知識。

DPR的訓(xùn)練過程需要使用訓(xùn)練數(shù)據(jù)集。在DPR訓(xùn)練數(shù)據(jù)集的設(shè)計(jì)中，正樣本為1條黃金正樣本；使用RocketQA的方法，取其他文檔的黃金樣本作為該文檔集的負(fù)樣本；強(qiáng)負(fù)樣本為空。通過訓(xùn)練數(shù)據(jù)集訓(xùn)練好DPR檢索器后，再進(jìn)行檢索，從檢索結(jié)果中獲取排行較高的前k個(gè)檢索文檔作為強(qiáng)負(fù)樣本，繼續(xù)訓(xùn)練DPR，找到一個(gè)最優(yōu)配置，以上操作均基于DPR方法展開。生成階段依舊是在ChatGLM2-6B和Baichuan2-7B-chat上利用ZSL進(jìn)行實(shí)驗(yàn)。使用大語言模型ChatGLM2-6B和Baichuan2-7B-chat進(jìn)行消融實(shí)驗(yàn)的結(jié)果分別如表5、表6所示。

在消融實(shí)驗(yàn)中，ES系列方法在2個(gè)模型上均表現(xiàn)優(yōu)越，特別是將問題前置或后置的策略（ES（ques-front）和ES（ques-rear））顯著提升了性能。ES+Dmn方法在2個(gè)模型上的表現(xiàn)略有提升，但效果有限。由于缺少ES提供的聯(lián)合檢索訓(xùn)練數(shù)據(jù)集系列方法，DPR系列方法在2個(gè)模型上的表現(xiàn)均低于ES，但將問題前置或后置（DPR（ques-front）和DPR（ques-rear））有助于提高性能。ChatGLM2-6B和Baichuan2-7B-Chat在不同方法上的表現(xiàn)趨勢相似，但ChatGLM2-6B提升差異更大。這表明，優(yōu)化檢索階段的方法以及領(lǐng)域知識前置或后置拼接的方法，能夠有效提升LLM利用檢索文檔生成答案的準(zhǔn)確性。

3 結(jié) 語

本文提出了一種基于領(lǐng)域知識的檢索增強(qiáng)生成方法，并在醫(yī)學(xué)領(lǐng)域和法律領(lǐng)域開放域問答任務(wù)中進(jìn)行了驗(yàn)證。該方法能夠顯著增強(qiáng)大語言模型對檢索文檔中領(lǐng)域知識的挖掘能力，從而提高開放域問答任務(wù)中答案的準(zhǔn)確性和領(lǐng)域相關(guān)度，為特定領(lǐng)域的問答系統(tǒng)提供了一種有效的解決方案。主要結(jié)論如下。

1）基于領(lǐng)域知識的檢索增強(qiáng)生成方法在生成階段無需額外訓(xùn)練，可以直接通過零樣本學(xué)習(xí)的方式生成高質(zhì)量的答案。與微調(diào)方法相比，零樣本學(xué)習(xí)方法在本研究中展現(xiàn)出了更好的效果。

2）采用零樣本學(xué)習(xí)方法時(shí)，融入領(lǐng)域知識的稀疏檢索和領(lǐng)域知識前置方法在ChatGLM2-6B上取得了最佳提升效果，與基線方法相比，ROUGE-1、ROUGE-2和ROUGE-L評分分別提高了3.82、1.68、4.32個(gè)百分點(diǎn)。此外，其他不同的融入領(lǐng)域知識的方法也均優(yōu)于基線方法，進(jìn)一步證明了領(lǐng)域知識的重要性。

3）調(diào)整不同的大語言模型生成參數(shù)（temperature和top_k），對生成結(jié)果有一定程度的影響，融入領(lǐng)域知識的方法均優(yōu)于不融入領(lǐng)域知識的基線方法。

4）融入領(lǐng)域知識的稀疏檢索提供的領(lǐng)域數(shù)據(jù)集對大型語言模型生成答案的準(zhǔn)確性影響顯著；融入領(lǐng)域知識的稀疏檢索和領(lǐng)域知識前置方法能夠有效提升大語言模型生成答案的準(zhǔn)確性。

本文所提方法雖然在當(dāng)前數(shù)據(jù)集上的預(yù)測效果有一定的提升，但是由于數(shù)據(jù)集結(jié)構(gòu)形式的局限，對于其他自然語言處理任務(wù)的效果還需要進(jìn)一步進(jìn)行驗(yàn)證。未來的工作將聚焦于將本文方法應(yīng)用到更細(xì)粒度（例如段落或句子級別）的數(shù)據(jù)處理，并探索該方法在其他知識密集型任務(wù)中的應(yīng)用。

參考文獻(xiàn)/References：

［1］

杜家駒，葉德銘，孫茂松.中文開放域問答系統(tǒng)數(shù)據(jù)增廣研究［J］.中文信息學(xué)報(bào)，2022，36（11）：121-130.

DU Jiaju，YE Deming，SUN Maosong.Data augmentation in Chinese open-domain question answering［J］.Journal of Chinese Information Processing，2022，36（11）：121-130.

［2］ BROWN T B.Language models are few-shot learners［J］.Advances in Neural Information Processing Systems，2020，33：1877-1901.

［3］ ZHAO W X，ZHOU Kun，LI Junyi，et al.A survey of large language models［J/OL］.（2024-10-13）［2025-01-19］.https：//arxiv.org/abs/2303.18223.

［4］ GAO Yunfan，XIONG Yun，GAO Xinyu，et al.Retrieval-augmented generation for large language models：A survey［J/OL］.（2024-03-27）［2025-01-19］.https：//arxiv.org/abs/2312.10997.

［5］ LEWIS P，PEREZ E，PIKTUS A，et al.Retrieval-augmented generation for knowledge-intensive NLP tasks［J］.Advances in Neural Information Processing Systems，2020，33：9459-9474.

［6］ LIU N F，LIN K，HEWITT J，et al.Lost in the middle：How language models use long contexts［J］.Transactions of the Association for Computational Linguistics，2024，12：157-173.

［7］ SHI F，CHEN Xinyun，MISRA K，et al.Large language models can be easily distracted by irrelevant context［C］//Proceedings of the 40th International Conference on Machine Learning.Honolulu：ICML，2023：31210-31227.

［8］ MALLEN A，ASAI A，ZHONG V，et al.When not to trust language models：Investigating effectiveness of parametric and non-parametric memories［C］//Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.Toronto：ACL，2023：9802-9822.

［9］ REN Ruiyang，WANG Yuhao，QU Yingqi，et al.Investigating the factual knowledge boundary of large language models with retrieval augmentation［C］//In Proceedings of the 31st International Conference on Computational Linguistics.Abu Dhabi：ACL，2025：3697-3715.

［10］CHEN Danqi，F(xiàn)ISCH A，WESTON J，et al.Reading wikipedia to answer open-domain questions［C］//Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics.Vancouver：ACL，2017：1870-1879.

［11］REN Ruiyang，LYU Shangwen，QU Yingqi，et al.PAIR：Leveraging passage-centric similarity relation for improving dense passage retrieval［C］//Findings of the Association for Computational Linguistics： ACL-IJCNLP 2021.Online：ACL，2021：2173-2183.

［12］ZHANG Hang，GONG Yeyun，SHEN Yelong，et al.Adversarial retriever-ranker for dense text retrieval［J/OL］.（2022-10-30）［2025-01-19］.https：//arxiv.org/abs/2110.03611.

［13］ZHU Fengbin，LEI Wenqiang，WANG Chao，et al.Retrieving and reading：A comprehensive survey on open-domain question answering［J/OL］.（2021-05-08）［2025-01-19］.https：//arxiv.org/abs/2101.00774.

［14］ZHAO Penghao，ZHANG Hailin，YU Qinhan，et al.Retrieval-augmented generation for AI-generated content：A survey［J/OL］.（2024-06-21）［2025-01-19］.https：//arxiv.org/abs/2402.19473.

［15］ASAI A，WU Zeqiu，WANG Yizhong，et al.Self-rag：Learning to retrieve，generate，and critique through self-reflection［J/OL］.（2023-10-17）［2025-01-19］.https：//arxiv.org/abs/2310.11511.

［16］LUO Hongyin，CHUANG Y S，GONG Yuan，et al.Sail：Search-augmented instruction learning［J/OL］.（2023-06-25）［2025-01-19］.https：//arxiv.org/abs/2305.15225.

［17］YORAN O，WOLFSON T，RAM O，et al.Making retrieval-augmented language models robust to irrelevant contex［J/OL］.（2024-05-05）［2025-01-19］.https：//arxiv.org/abs/2310.01558.

［18］ZHANG Tianjun，PATIL S G，JAIN N，et al.Raft：Adapting language model to domain specific rag［J/OL］.（2024-06-05）［2025-01-19］.https：//arxiv.org/abs/2403.10131.

［19］GLASS M，ROSSIELLO G，CHOWDHURY M F M，et al.Re2G：Retrieve，rerank，generate［C］//Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics. Seattle：ACL，2022：2701-2715.

［20］KIM J，NAM J，MO S，et al.SuRe：Summarizing retrievals using answer candidates for open-domain QA of LLMs［J/OL］.（2024-04-17）［2025-01-19］.https：//arxiv.org/abs/2404.13081.

［21］LIU Man，BAI Huihui，LI Feng，et al.Attend and enrich：Enhanced visual prompt for zero-shot learning［J/OL］.（2024-12-10）［2025-01-19］.https：//doi.org/10.48550/arXiv.2406.03032.

［22］HOFSTTTER S，CHEN Jiecao，RAMAN K，et al.Fid-light：Efficient and effective retrieval-augmented text generation［C］//Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval.Taipei：SIGIR，2023：1437-1447.

［23］XU Fangyuan，SHI Weijia，CHOI E.Recomp：Improving retrieval-augmented LMs with compression and selective augmentation［J/OL］.（2023-10-06）［2025-01-19］.https：//arxiv.org/abs/2310.04408.

［24］ROBERTSON S，ZARAGOZA H.The probabilistic relevance framework：BM25 and Beyond［J］.Foundations and Trends in Information Retrieval，2009，4（3）： 333-389.

［25］KARPUKHIN V，OGUZ B，MIN S，et al.Dense passage retrieval for open-domain question answering［C］//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing.Online：ACL，2020：6769-6781.

［26］QU Yingqi，DING Yuchen，LIU Jing，et al.RocketQA：An optimized training approach to dense passage retrieval for open-domain question answering［C］//Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Online：ACL，2021：5835-5847.

［27］ZHOU Zhi，SHI Jiangxin，SONG Pengxiao，et al.LawGPT：A Chinese legal knowledge-enhanced large language model［J/OL］.（2024-06-07）［2025-01-19］.https：//arxiv.org/abs/2406.04614.

［28］ZENG Aohan，LIU Xiao，DU Zhengxiao，et al.Glm-130b：An open bilingual pre-trained model［J/OL］.（2023-10-25）［2025-01-19］.https：//arxiv.org/abs/2210.02414.

［29］YANG Aiyuan，XIAO Bin，WANG Bingning，et al.Baichuan 2：Open large-scale language models［J/OL］.（2023-09-20）［2025-01-19］.https：//arxiv.org/abs/2309.10305.

［30］HU E J，SHEN Yelong，WALLIS P，et al.LoRA：Low-rank adaptation of large language models［J/OL］.（2021-10-16）［2025-01-19］.https：//arxiv.org/abs/2106.096855.

收稿日期：2024-11-08;修回日期：2025-01-19；責(zé)任編輯：丁軍苗

基金項(xiàng)目：河北省自然科學(xué)基金（F2022208006 ，F(xiàn)2023207003）；河北省高等學(xué)?？茖W(xué)技術(shù)研究項(xiàng)目（QN2024196）

第一作者簡介：

張高飛（2000—），男，河北邯鄲人，碩士研究生，主要從事自然語言處理方面的研究。

通信作者：

高凱教授。 E-mail：gaokai@hebust.edu.cn

張高飛，李歡，池云仙，等.

一種基于領(lǐng)域知識的檢索增強(qiáng)生成方法

［J］.河北工業(yè)科技，2025，42（2）：103-111.

ZHANG Gaofei，LI Huan，CHI Yunxian，et al.

A retrieval-augmented generation method based on domain knowledge

［J］. Hebei Journal of Industrial Science and Technology，2025，42（2）：103-111.