摘 要:文章簡述了國家圖書館交互式線上咨詢服務(wù)的發(fā)展歷程,在介紹大模型賦能的國家圖書館智能問答系統(tǒng)的兩大內(nèi)容支撐——FAQ語料庫與文檔語料庫的基礎(chǔ)上,重點闡述了FAQ語料庫內(nèi)容的建設(shè)實踐及管理與運營流程。針對系統(tǒng)上線運行半年多以來FAQ語料庫承接的問答式對話的日志和部分問題未命中的原因進行了統(tǒng)計分析,并從內(nèi)容優(yōu)化和來源拓展、建設(shè)標(biāo)準(zhǔn)的制訂、大模型智能化水平優(yōu)化、日常運維和多渠道復(fù)用、評價體系建設(shè)、團隊建設(shè)與人才培養(yǎng)等維度,提出FAQ語料庫建設(shè)的發(fā)展策略和建議,以期為大模型在圖書館智能問答等基礎(chǔ)服務(wù)中的應(yīng)用和發(fā)展提供參考。
關(guān)鍵詞:國家圖書館;智能問答;大模型;FAQ語料庫;咨詢服務(wù)
中圖分類號:G250.7""" 文獻標(biāo)識碼:A"" 文章編號:1003-7136(2025)02-0080-08
Practice and Reflection on the Construction of FAQ Corpus of Intelligent Question Answering System Empowered by Large Models: Case Study of the National Library of China
ZHAI Rong
Abstract:This paper briefly describes the development process of interactive online consulting services of the National Library of China.On the basis of introducing the two major content supports of the intelligent question answering system empowered by large models-FAQ corpus and document corpus, it focuses on the construction practice" of content, management and operation process of FAQ corpus.A statistical analysis was conducted on the logs and reasons for some of the missed questions in the Qamp;A dialogues undertaken by FAQ corpus since the system was launched and operated for more than half a year.From the perspectives of content optimization and source expansion, formulation of construction standards, optimization of the intelligence level of large models, daily operation and multi channel reuse, evaluation system construction, team building, and talent cultivation, development strategies and suggestions for the construction of FAQ corpus were proposed, in order to provide reference for the application and development of large models in basic services such as library intelligent question answering.
Keywords:National Library of China;intelligent question answering;large model;FAQ corpus;consulting service
0 引言
提供高質(zhì)量、便捷性的咨詢服務(wù),是圖書館向智能化和智慧化轉(zhuǎn)型的重要環(huán)節(jié)[1]。生成式人工智能(Artificial Intelligence Generated Content,AIGC)和大模型技術(shù)的引入迅速沖擊著各領(lǐng)域的交流互動模式,人工智能技術(shù)從“判別式”發(fā)展為“生成式”[2]。當(dāng)前,AIGC和大模型技術(shù)的引入,同樣影響著圖書館交互式線上咨詢服務(wù)的變革方向[3]。為實現(xiàn)智慧化轉(zhuǎn)型,國家圖書館對基于NLP1.0技術(shù)構(gòu)建的智能問答系統(tǒng)進行全面升級,推出了大模型賦能的國家圖書館智能問答系統(tǒng),拓展了智能問答服務(wù)的廣度和深度,優(yōu)化與完善了智能問答服務(wù)的綜合性能和服務(wù)效能。文章通過闡述大模型賦能的國家圖書館智能問答系統(tǒng)FAQ語料庫建設(shè)的實踐和思考,介紹了FAQ語料庫建設(shè)現(xiàn)狀和運行情況,以期為大模型在圖書館智能問答等基礎(chǔ)服務(wù)中的應(yīng)用和發(fā)展提供參考。
1 國家圖書館交互式線上咨詢服務(wù)的發(fā)展歷程
國家圖書館交互式線上咨詢服務(wù)歷經(jīng)了近20年的發(fā)展歷程,自2005年5月上線的虛擬參考咨詢服務(wù)系統(tǒng),至2023年上線的基于NLP1.0技術(shù)構(gòu)建的智能問答系統(tǒng),再到2024年4月23日上線的引入AIGC與大語言模型(Large Language Model,LLM)等構(gòu)建的國家圖書館智能問答系統(tǒng),實現(xiàn)了從人工到人工智能的轉(zhuǎn)變,拓展了交互式線上咨詢服務(wù)的時間維度和空間維度,提升了讀者咨詢服務(wù)的個性化、精準(zhǔn)化和滿意度,成為國家圖書館向智慧圖書館轉(zhuǎn)型的重要舉措之一[4]。
2005年5月正式上線的虛擬參考咨詢服務(wù)系統(tǒng),采用純?nèi)斯し?wù)的方式,具有實時咨詢和表單咨詢、文件推送、網(wǎng)頁推送、窗口共覽、咨詢館員對話、咨詢傳遞等功能[5]。為搭建一個更加高效的交互式線上咨詢服務(wù)平臺,國家圖書館自2022年底開始投入智能問答系統(tǒng)的建設(shè),該系統(tǒng)是基于NLP1.0技術(shù)構(gòu)建的以人工智能咨詢?yōu)橹鳌⑷斯ぷ稍優(yōu)檩o的在線咨詢平臺,于2023年4月23日上線,提供檢索和文獻輔導(dǎo)、讀者咨詢解答、讀者閱讀和深度參考咨詢導(dǎo)引等服務(wù),提升了面向讀者的快速咨詢服務(wù)能力,豐富和改善了讀者體驗,為實現(xiàn)對讀者綜合咨詢信息行為數(shù)據(jù)的收集和分析等方面提供了全新的應(yīng)用服務(wù)支撐,提升了國家圖書館讀者服務(wù)的智能化水平。
為適應(yīng)國家圖書館向智慧圖書館轉(zhuǎn)型的目標(biāo),進一步增強讀者咨詢服務(wù)的個性化、精準(zhǔn)化和精細化,國家圖書館與北京百度網(wǎng)訊科技有限公司合作,引入AIGC與LLM等,對原有智能問答系統(tǒng)進行了全面升級,升級后的系統(tǒng)于2024年4月23日上線運行,在國家圖書館官網(wǎng)首頁的“智能問答”和微信公眾號“國圖參考”中的“國圖咨詢”兩個端口提供服務(wù)。該問答系統(tǒng)是基于AIGC技術(shù)的交互式線上咨詢服務(wù)系統(tǒng),采用大模型賦能本地語料庫的形式,其語料支撐包括FAQ語料庫與文檔語料庫,同時對接館藏揭示平臺,并由大模型通識知識參與。其中,F(xiàn)AQ語料庫旨在確保讀者咨詢的國家圖書館相關(guān)資源和服務(wù)類問題能夠得到準(zhǔn)確答復(fù),其內(nèi)容覆蓋國家圖書館館情、資源、服務(wù)等常見問題及答案,如證卡辦理、閉架文獻預(yù)約方法及借書期限等。文檔語料庫除了包含一些服務(wù)政策和熱門活動的內(nèi)容,還包括圖情領(lǐng)域相關(guān)知識以及47家副省級公共圖書館的服務(wù)和資源方面的內(nèi)容。館藏揭示平臺則與全國圖書館聯(lián)合編目中心對接。該系統(tǒng)響應(yīng)機制采用多引擎方式,當(dāng)讀者提問時,系統(tǒng)首先將讀者咨詢問題與FAQ語料庫進行匹配;對于非高頻讀者問題,系統(tǒng)會啟動大模型賦能的文檔問答引擎,通過檢索自建文檔語料庫中的相關(guān)信息,生成準(zhǔn)確回答;若FAQ語料庫和文檔問答引擎均無法解答,大模型將判斷讀者是否有“檢索館藏”的意圖,如果識別到書名、作者等關(guān)鍵信息,系統(tǒng)將在國家圖書館館藏揭示平臺檢索,并整合檢索結(jié)果進行答復(fù);除上述之外的系統(tǒng)知識范圍內(nèi)的其他問題,則由大模型通識知識進行回復(fù);超出系統(tǒng)知識范圍的咨詢問題,將采用拒答話術(shù)進行回復(fù)。其中,采用通識知識的回復(fù)是依據(jù)互聯(lián)網(wǎng)搜索知識的回復(fù),拒答話術(shù)則是以固定話術(shù)告知讀者無法解答該問題。其邏輯流程見圖1。
2 大模型賦能的國家圖書館智能問答系統(tǒng)FAQ語料庫的建設(shè)實踐
FAQ語料庫作為大模型賦能的國家圖書館智能問答系統(tǒng)的兩大內(nèi)容支撐之一,發(fā)揮著重要作用。以下從內(nèi)容建設(shè)和管理與運營兩方面,介紹FAQ語料庫的建設(shè)實踐。
2.1 FAQ語料庫的內(nèi)容建設(shè)
FAQ語料庫內(nèi)容的來源渠道較為多元,包括國家圖書館官網(wǎng)主頁常見的讀者問題、虛擬咨詢服務(wù)系統(tǒng)中的讀者咨詢檔案,以及基于NLP1.0技術(shù)構(gòu)建的智能問答系統(tǒng)語料內(nèi)容和問答日志。其中,讀者咨詢檔案既收集了以綜合咨詢臺為主要服務(wù)形式的到館咨詢中的高頻問題,也包含了遠程咨詢服務(wù)中常見的咨詢問題。智能問答系統(tǒng)語料內(nèi)容和問答日志方面,除了充分參考和利用基于NLP1.0技術(shù)構(gòu)建的智能問答系統(tǒng)的語料內(nèi)容之外,項目團隊從該系統(tǒng)的3萬余條人工智能問答日志中,篩選出讀者服務(wù)相關(guān)的高頻問題作為補充。此外,還向全館各業(yè)務(wù)部門征集得到讀者服務(wù)高頻問題相關(guān)的FAQ語料167條,這項工作調(diào)動了全館力量共同參與,為語料庫建設(shè)擴容的同時,也為語料內(nèi)容的準(zhǔn)確性提供了保障。項目團隊對上述語料內(nèi)容進行問題和答案的拆分與精細化處理,得到4400余條問答對,再加上FAQ語料庫二期建設(shè)內(nèi)容中篩選出的6000余條問答對,這些原始語料構(gòu)成了FAQ語料庫的基礎(chǔ)內(nèi)容。語料內(nèi)容主要著眼于國家圖書館資源與服務(wù)相關(guān)的咨詢問題,同時兼顧國家圖書館業(yè)務(wù)規(guī)范、中圖法及圖書館標(biāo)準(zhǔn)等四個方面的圖情領(lǐng)域知識。
在FAQ語料庫內(nèi)容的建設(shè)標(biāo)準(zhǔn)方面,項目團隊對原始語料進行梳理、分類和整合,建立了標(biāo)準(zhǔn)問題、標(biāo)準(zhǔn)答案和相似問題,三者構(gòu)成了FAQ語料庫內(nèi)容的核心要素。在此過程中,項目團隊對三個核心要素的概念進行了初步界定。在技術(shù)或客服領(lǐng)域,標(biāo)準(zhǔn)問題主要指常見且有固定解決方案的問題,這些問題的答案通常是預(yù)先確定的,可以快速提供給用戶;標(biāo)準(zhǔn)答案是指對于標(biāo)準(zhǔn)問題的最佳實踐解決方案或官方推薦的答復(fù),這些答案經(jīng)過驗證,能夠解決大多數(shù)用戶遇到的問題;相似問題是具有標(biāo)準(zhǔn)問題中關(guān)鍵詞的替代詞或者以不同表達方式表達標(biāo)準(zhǔn)問題相同語義的問題,這些問題雖然在細節(jié)上有所不同,但它們的核心問題或解決方案是類似的,并且在標(biāo)準(zhǔn)問題對應(yīng)的標(biāo)準(zhǔn)答案中能夠找到對應(yīng)答案。相似問題與標(biāo)準(zhǔn)問題之間可以是平行的并列關(guān)系,也可以是集合關(guān)系。以標(biāo)準(zhǔn)問題“國家圖書館讀者卡的辦理方式”為例,其對應(yīng)的標(biāo)準(zhǔn)答案中不僅包含線上申辦電子卡和到館申辦實體卡兩種申辦方式,還詳細介紹了兩種方式的申辦年齡、證件要求和申辦流程等細則。該標(biāo)準(zhǔn)問題下,目前包含462個相似問題,包括“可以線上辦證嗎”“能遠程辦理讀者卡嗎”“如何辦理國家圖書館讀者卡”“外籍人士怎么辦卡”“辦理讀者證需要什么證件”“讀書證怎么辦”“外地用戶如何辦理讀者卡”等不同角度的不同問法。
項目團隊對同一問題的不同問法進行歸納,建立統(tǒng)一的標(biāo)準(zhǔn)問題,這些不同問法作為該標(biāo)準(zhǔn)問題下的相似問題,將同一問題的不同問法的答案進行統(tǒng)合,作為該標(biāo)準(zhǔn)問題所對應(yīng)的標(biāo)準(zhǔn)答案,梳理得到1049個標(biāo)準(zhǔn)問題和3000余個相似問題。隨后,項目團隊對標(biāo)準(zhǔn)問題進行多輪新增、修改、拆分或合并,對相似問題進行泛化、標(biāo)注和補充,以及修訂和優(yōu)化標(biāo)準(zhǔn)答案,最終得到1052個標(biāo)準(zhǔn)問題和對應(yīng)的標(biāo)準(zhǔn)答案,以及近45,000個相似問題。
在FAQ語料庫的內(nèi)容組織方面,前述四方面的語料內(nèi)容構(gòu)成了FAQ語料庫內(nèi)容架構(gòu)的一級類目。為了對FAQ語料庫的知識資源進行有效組織、管理和維護,建立較為適用的組織體系至關(guān)重要。項目團隊在國家圖書館綜合咨詢服務(wù)現(xiàn)有咨詢問題分類體系的基礎(chǔ)上,結(jié)合在線咨詢的服務(wù)特點,擬定了較詳細的FAQ語料庫的內(nèi)容組織體系框架(見表1)。其中,屬于讀者高頻咨詢內(nèi)容的一級類目“國家圖書館資源與服務(wù)”是FAQ語料庫內(nèi)容的主體部分,共包含627個標(biāo)準(zhǔn)問題和標(biāo)準(zhǔn)答案,包括方位指引等11個二級分類;一級類目“業(yè)務(wù)規(guī)范”主要針對國家圖書館各業(yè)務(wù)模塊相關(guān)的業(yè)務(wù)規(guī)范內(nèi)容,涵蓋324個標(biāo)準(zhǔn)問題,具體包括OPAC規(guī)范等7個二級分類;一級類目“圖書館法與圖書館標(biāo)準(zhǔn)”主要涵蓋圖書館法和相關(guān)標(biāo)準(zhǔn)規(guī)范的概況等內(nèi)容,包含69個標(biāo)準(zhǔn)問題;一級類目“中圖法”則涵蓋中圖分類法簡介類相關(guān)內(nèi)容。
同時,項目團隊對FAQ語料庫的資源內(nèi)容開展了細顆粒度的內(nèi)容標(biāo)引、關(guān)鍵知識點的標(biāo)簽和標(biāo)引,以及在存在總分關(guān)系的標(biāo)準(zhǔn)問題中添加引用功能,并在相互關(guān)聯(lián)程度較高的標(biāo)準(zhǔn)問題之間設(shè)置了關(guān)聯(lián)關(guān)系等。例如,針對國家圖書館古籍館維修改造情況,所有涉及古籍館服務(wù)點的FAQ語料均添加了“古籍館閉館”標(biāo)簽,便于今后依據(jù)情況變化開展修訂工作時能夠快速定位。在FAQ語料庫內(nèi)容的顆粒度方面,依據(jù)讀者咨詢服務(wù)具體情況,區(qū)分出高頻問題和長尾問題,將高頻問題拆分成較小的顆粒度,長尾問題則保持較大的顆粒度。
2.2 FAQ語料庫的管理與運營
FAQ語料庫在整合梳理及標(biāo)準(zhǔn)化之后,需要設(shè)置匹配置信度,進行語料清洗、相似問題的系統(tǒng)泛化生成和人工標(biāo)注篩選,同時建立多組測試集進行多輪模型訓(xùn)練和跑批測試,再借助自然語言理解分析功能對測試結(jié)果進行人工調(diào)優(yōu)[6]。其中,模型訓(xùn)練既包括FAQ問答式會話的單引擎調(diào)優(yōu),也包含F(xiàn)AQ語料庫與文檔語料庫的多引擎聯(lián)合調(diào)優(yōu)[7]。
第一,為了確保問答匹配的精準(zhǔn)度,系統(tǒng)針對FAQ語料庫承接的問答式會話設(shè)置了匹配的置信度。當(dāng)用戶咨詢問題與FAQ語料庫中某個標(biāo)準(zhǔn)問題或者相似問題的匹配程度達到該置信度時,系統(tǒng)會反饋該標(biāo)準(zhǔn)問題對應(yīng)的標(biāo)準(zhǔn)答案;反之,則無法匹配。關(guān)于置信度的設(shè)置標(biāo)準(zhǔn),如果置信度設(shè)置過高,本該由FAQ語料庫承接的讀者服務(wù)高頻問題,會因為置信度設(shè)置偏高而無法成功匹配,導(dǎo)致FAQ語料庫承接失敗。反之,如果置信度設(shè)置偏低,不同標(biāo)準(zhǔn)問題之間以及不同標(biāo)準(zhǔn)問題下對應(yīng)的相似問題之間會產(chǎn)生混淆,會大大增加后期人工解除纏繞和系統(tǒng)調(diào)優(yōu)的工作量,也會引發(fā)大量咨詢問題被FAQ語料庫過度攔截而無法漏給文檔承接的結(jié)果。
第二,進行相似問題的泛化和建立測試集。相似問題的泛化,通常從詞語即實體的不同說法和句子的語義相似度兩個層面進行[8]。項目團隊首先為每個標(biāo)準(zhǔn)問題建立6個相似問題,在此基礎(chǔ)上通過系統(tǒng)泛化工具為每個標(biāo)準(zhǔn)問題泛化生成100~130個相似問題,再由人工進行標(biāo)注和篩選,按照1∶30的比例為每個標(biāo)準(zhǔn)問題篩選出30個相似問題,用來進行FAQ問答模型訓(xùn)練。同時,人工按照1∶3的比例為每個標(biāo)準(zhǔn)問題標(biāo)注出3個相似問題,分別生成3組測試集。此外,為了保證測試問題與讀者真實問法最為接近,項目團隊從基于NLP1.0技術(shù)的智能問答系統(tǒng)中篩選出讀者服務(wù)類咨詢高頻問題相關(guān)的日志1000余條,在系統(tǒng)后臺進行標(biāo)準(zhǔn)問題的匹配,生成第4組測試集,以上4組測試集均被用來進行模型驗證。根據(jù)測試集跑批測試結(jié)果進行調(diào)優(yōu)。系統(tǒng)調(diào)優(yōu)是通過人工的方式,調(diào)整標(biāo)準(zhǔn)問題、相似問題與咨詢問題的匹配置信度,實現(xiàn)咨詢問題與FAQ語料庫中的標(biāo)準(zhǔn)問題或相似問題的匹配。在上線前的聯(lián)合測試和調(diào)優(yōu)階段,全館各部門參與聯(lián)合測試,反饋結(jié)果涉及問題承接范圍、匹配準(zhǔn)確度及敏感詞等方面,項目團隊進行針對性的人工調(diào)優(yōu)和二次測試,聯(lián)合測試階段的調(diào)優(yōu)工作包括添加相似問題和問題模板、修改相似問題、拆分細化標(biāo)準(zhǔn)問題以及按照少量必要的原則增加標(biāo)準(zhǔn)問題。
第三,F(xiàn)AQ語料庫需要根據(jù)服務(wù)政策等內(nèi)容的變化進行實時維護和更新。首先,國家圖書館服務(wù)政策調(diào)整或服務(wù)資源的任何變動,都會影響到標(biāo)準(zhǔn)問題、標(biāo)準(zhǔn)答案及相似問題,需要對FAQ語料庫進行實時維護。其次,國家圖書館自建和外購有260多個數(shù)據(jù)庫,數(shù)據(jù)庫訪問方式的變化或外購數(shù)據(jù)庫的增減,致使FAQ語料庫中的標(biāo)準(zhǔn)問題、標(biāo)準(zhǔn)答案及相似問題都需要進行實時維護和修訂。最后,標(biāo)準(zhǔn)答案也需要參考日志分析結(jié)果和運行情況不斷優(yōu)化,以及不斷擴充和調(diào)整相似問題,以期得到更精準(zhǔn)的咨詢解答和更優(yōu)的服務(wù)效果。
第四,F(xiàn)AQ語料庫的效果反饋和評價,覆蓋FAQ語料庫建設(shè)和運營的全過程。在FAQ語料庫建設(shè)階段,通過語義診斷可判斷出標(biāo)準(zhǔn)問題之間、不同標(biāo)準(zhǔn)問題對應(yīng)的相似問題之間存在的纏繞關(guān)系,從而進行調(diào)優(yōu)。在系統(tǒng)運營階段,一方面,問答式會話中用戶對咨詢問題解答后反饋的點“贊”和點“踩”,是語料庫建設(shè)效果的直接體現(xiàn),但由于用戶反饋在咨詢總量中占比較小,因此無法反映咨詢效果的全貌;另一方面,項目團隊通過對系統(tǒng)人工智能對話日志分析,全面掌握由FAQ語料庫承接的問答式會話的命中準(zhǔn)確率,從而對于命中錯誤或未命中的問題,進行系統(tǒng)分析和調(diào)優(yōu)。
3 大模型賦能的智能問答系統(tǒng)運行情況分析
3.1 日志分析概況
按照讀者問題的承接方式來劃分,智能問答系統(tǒng)人機交互問答日志主要分為FAQ語料庫承接的問答式會話日志和文檔融合大模型功能承接的會話日志兩類。智能問答系統(tǒng)自2024年4月23日上線,至10月31日已穩(wěn)定運行超過半年,按照導(dǎo)出日志數(shù)量統(tǒng)計和分析,系統(tǒng)接收問題共計87,739條。其中,問答式對話52,822條,約占日志總量的60.2%;文檔融合大模型功能承接的會話日志34,074條,約占日志總量的38.8%;涉及敏感詞事件、預(yù)置閑聊對話和歡迎語等其他類型咨詢843條,約占日志總量的1.0%。FAQ語料庫承接的問答式對話中,能夠準(zhǔn)確命中標(biāo)準(zhǔn)問題的數(shù)量是50,836條,約占FAQ語料庫承接量的96.2%。
FAQ語料庫承接的問答式會話中,“進入國家圖書館的證卡要求”“入館需要提前預(yù)約嗎”“國家圖書館讀者卡的辦理方式”三個標(biāo)準(zhǔn)問題,占咨詢量前三位。排在前十位的讀者咨詢熱點問題見表2。
3.2 FAQ語料庫命中情況的原因分析及調(diào)優(yōu)策略
借助自然語言理解分析FAQ語料庫承接的問答式會話部分命中錯誤的原因,并針對各類問題制定了有針對性的調(diào)優(yōu)策略。如果是因為應(yīng)匹配的標(biāo)準(zhǔn)問題下缺少與咨詢問題對應(yīng)的相似問題,則通過添加相似問題進行調(diào)優(yōu);如果因咨詢問題語義不明確、表達不完整或存在錯別字導(dǎo)致未能命中,則將讀者咨詢問題補充完整或修正錯別字后添加相似問題;如果因為不同的標(biāo)準(zhǔn)問題對應(yīng)的相似問題存在混淆,則通過調(diào)整對應(yīng)標(biāo)準(zhǔn)問題下的相似問題的置信度,達到解除纏繞的目的;如果FAQ語料庫中缺少與高頻咨詢問題匹配的標(biāo)準(zhǔn)問題,則根據(jù)慎重且少量的原則,添加相應(yīng)的標(biāo)準(zhǔn)問題、標(biāo)準(zhǔn)答案及相似問題來實現(xiàn)調(diào)優(yōu)。此外,因文檔語料庫包含47家副省級公共圖書館相關(guān)語料內(nèi)容,當(dāng)讀者咨詢問題未明確主語時,會出現(xiàn)命中其他公共圖書館相關(guān)標(biāo)準(zhǔn)問題的情況,則通過系統(tǒng)設(shè)定的方式解決,也就是當(dāng)咨詢問題缺失主語時,默認主語設(shè)定為國家圖書館。
除了針對具體幾類問題的調(diào)優(yōu)策略之外,項目團隊還對容易匹配錯誤的咨詢問題,按照類別進行了匯總和梳理,并針對每一類咨詢問題給出了應(yīng)統(tǒng)一匹配的標(biāo)準(zhǔn)問題,制定了《日志分析工作標(biāo)準(zhǔn)》,為項目團隊的日志分析和調(diào)優(yōu)提供了統(tǒng)一標(biāo)準(zhǔn),該標(biāo)準(zhǔn)根據(jù)日志分析的情況實時更新補充。例如,“注冊”統(tǒng)一指向的標(biāo)準(zhǔn)問題是遠程數(shù)字資源訪問入口中讀者門戶的賬戶注冊,而不是讀者卡過期注冊。
4 FAQ語料庫建設(shè)的發(fā)展策略
4.1 FAQ語料庫的內(nèi)容優(yōu)化和來源拓展
在FAQ語料庫建設(shè)的內(nèi)容優(yōu)化方面,后續(xù)應(yīng)結(jié)合將要實施的優(yōu)化綜合咨詢臺等服務(wù)策略進行調(diào)整,將線下讀者咨詢問題加入語料庫,以及對資源與服務(wù)導(dǎo)引類標(biāo)準(zhǔn)問題進行進一步細化和實時更新,同時完成上述語料的數(shù)字人個性化語料定制工作。在FAQ語料庫建設(shè)的來源方面,除了讀者咨詢檔案、系統(tǒng)問答日志和館內(nèi)征集語料等途徑之外,還可引入多維度、多渠道的來源[9]。為進一步提升語料庫建設(shè)效果和智能問答系統(tǒng)服務(wù)效果,國家圖書館與普世通公司合作建設(shè)國家圖書館網(wǎng)絡(luò)資源采集問答化服務(wù)平臺,該平臺是以國家圖書館官網(wǎng)豐富的資源為依托,借助互聯(lián)網(wǎng)采集技術(shù)與AIGC技術(shù),建立的準(zhǔn)確、高效的國家圖書館智能問答服務(wù)語料的采集、整理、加工、標(biāo)注、管理全流程服務(wù)平臺。同時,對平臺采集的內(nèi)容進行數(shù)據(jù)標(biāo)注整理工作,形成自有知識產(chǎn)權(quán)的語料標(biāo)注數(shù)據(jù)集,定義國家圖書館在知識問答領(lǐng)域的標(biāo)準(zhǔn)化標(biāo)注數(shù)據(jù)集,助力建設(shè)可信任的大模型生態(tài)。此外,還可引入眾籌機制,爭取借助圖書館行業(yè)專家和從業(yè)者的共同關(guān)注和支持,豐富和完善FAQ語料庫。在FAQ語料庫的內(nèi)容組織體系優(yōu)化方面,隨著FAQ語料庫內(nèi)容的不斷完善,其內(nèi)容組織體系方面更為系統(tǒng)化和精細化。宏觀層面可借助知識圖譜將FAQ語料庫的結(jié)構(gòu)化體系進行整體優(yōu)化。微觀方面可借助標(biāo)準(zhǔn)問題之間的引用功能和關(guān)聯(lián)問題功能,不斷調(diào)整和優(yōu)化標(biāo)準(zhǔn)問題的總體架構(gòu)和邏輯關(guān)系,補充和完善標(biāo)準(zhǔn)答案;可利用模板構(gòu)建的功能處理只有單一查詢條件等簡單問題的泛化工作,從而降低人工泛化相似問題的編輯成本。
4.2 FAQ語料庫建設(shè)標(biāo)準(zhǔn)的制訂
第一,在標(biāo)準(zhǔn)問題的界定和規(guī)范方面,從標(biāo)準(zhǔn)問題的顆粒度來說,雖然將高頻問題和長尾問題作為標(biāo)準(zhǔn)問題顆粒度的建設(shè)依據(jù),但對于同為高頻問題的標(biāo)準(zhǔn)問題或標(biāo)準(zhǔn)答案,尚不知其顆粒度如何細化以及細化到什么程度,從而既能確保問題命中的準(zhǔn)確度和靶向性,又能規(guī)避因標(biāo)準(zhǔn)問題或標(biāo)準(zhǔn)答案內(nèi)容涵蓋范圍過大或過小對讀者咨詢服務(wù)體驗產(chǎn)生的影響,故其建設(shè)標(biāo)準(zhǔn)還有待完善,且標(biāo)準(zhǔn)問題之間的邏輯結(jié)構(gòu)及文字表述也需要建立統(tǒng)一的規(guī)范。第二,在相似問題的界定和規(guī)范方面,需界定相似問題的語義范圍,規(guī)避相似問題的語義范圍擴大或者偏移等知識構(gòu)建方面的問題,確定相似問題泛化的標(biāo)準(zhǔn)和范圍,以及人工對泛化產(chǎn)生的相似問題進行標(biāo)注和篩選應(yīng)當(dāng)遵循什么標(biāo)準(zhǔn)。第三,用于解決纏繞的澄清功能與用于解決泛化并繞過語法解析脆弱性的模板功能等的建設(shè)標(biāo)準(zhǔn)和規(guī)范需要考慮,例如模板盡量限定較小范圍,避免因為大量添加模板引起標(biāo)準(zhǔn)問題之間的纏繞和混淆。第四,F(xiàn)AQ語料庫問答匹配置信度的參數(shù)設(shè)置有待進一步商榷。第五,針對同一個標(biāo)準(zhǔn)問題,設(shè)置詳細答案和簡明答案等多種答案以實現(xiàn)不同端口調(diào)用對應(yīng)答案類型的FAQ語料集的功能時,語料答案的簡化標(biāo)準(zhǔn)等也需要涉及。上述各方面內(nèi)容的標(biāo)準(zhǔn)和規(guī)范,都需要制定出國際化、通用化的建設(shè)標(biāo)準(zhǔn)和規(guī)范,并在系統(tǒng)運行實踐中不斷進行優(yōu)化[10]。
4.3 優(yōu)化大模型智能化水平,提升咨詢應(yīng)答能力
FAQ語料庫和大模型賦能的文檔語料庫,作為大模型賦能的國家圖書館智能問答系統(tǒng)兩大語料內(nèi)容來源和支撐,互為補充、協(xié)同發(fā)展,以不斷提升咨詢服務(wù)應(yīng)答準(zhǔn)確率和服務(wù)效果。大模型賦能的智能問答系統(tǒng)的應(yīng)用,顯著提升了問題解決速率,使得大量常見、簡單的問題能夠迅速得到準(zhǔn)確答復(fù),有效減輕了人工服務(wù)的壓力,也展現(xiàn)出大模型的語義理解和處理能力。但是,面對更為復(fù)雜多樣甚至廣泛、發(fā)散的咨詢需求,現(xiàn)有的問答匹配機制也存在定位錯誤、語義無法識別或錯誤理解等問題,這些都對大模型的廣泛知識覆蓋能力、理解復(fù)雜語境和精準(zhǔn)抽取答案的能力提出了更高要求[11],因此智能問答系統(tǒng)的性能需要不斷進行優(yōu)化。在底層技術(shù)架構(gòu)的優(yōu)化方面,須將智能問答服務(wù)底層的文心大模型的版本進行迭代升級,以期通過大模型在語義理解、上下文關(guān)聯(lián)等方面展現(xiàn)出的更強能力,使智能問答系統(tǒng)能夠更深入地洞察用戶意圖,提供更加精確、個性化的回答,從而極大提升系統(tǒng)的智能化水平和服務(wù)質(zhì)量,為用戶帶來更加卓越的問答體驗[12]。
4.4 FAQ語料庫的運維和多渠道復(fù)用
系統(tǒng)運維是個長期過程,F(xiàn)AQ語料庫同樣需要持續(xù)維護,不僅需要不斷豐富相似問題和持續(xù)進行系統(tǒng)調(diào)優(yōu)來擴大其承接范圍,還需根據(jù)服務(wù)策略調(diào)整或服務(wù)格局變動而實時進行更新維護和優(yōu)化完善,以確保語料內(nèi)容的準(zhǔn)確性和實時性。此外,需要推動FAQ語料庫的多模態(tài)融合和多渠道復(fù)用。未來的智能問答系統(tǒng)既不能局限于文本,又要融合圖像、音頻等多種模態(tài)的信息,提高系統(tǒng)的理解和回答能力。同時,通過用戶畫像和歷史交互記錄,智能問答系統(tǒng)需要能夠提供更加個性化的服務(wù)以及定制化的多場景復(fù)用,提升用戶體驗和服務(wù)效能[13-14]。FAQ語料建設(shè)是一項系統(tǒng)化且可持續(xù)性的工作,為FAQ語料庫的多模態(tài)融合和多渠道、多場景的復(fù)用提供了保障。例如國家圖書館115周年館慶推出的數(shù)字人小圖,其智能語音問詢的后臺語料支撐,就是在大模型賦能的國家圖書館智能問答系統(tǒng)的FAQ語料庫通用答案的基礎(chǔ)上,進行內(nèi)容簡化和網(wǎng)址鏈接、特殊符號替換和處理后,建設(shè)成匹配數(shù)字人語音播報場景的定制化特殊語料集。數(shù)字人的呈現(xiàn)形式也為語料庫建設(shè)賦予了更大的價值,使得語料庫得以更加充分、高效地被利用,進一步提升了智能問答系統(tǒng)的服務(wù)質(zhì)量和用戶體驗。再如,為實現(xiàn)系統(tǒng)建設(shè)的優(yōu)化與整合,在智能問答系統(tǒng)的后續(xù)建設(shè)中,國家圖書館擬將現(xiàn)有的呼叫中心語音電話服務(wù)咨詢平臺納入其中,實現(xiàn)電話接入咨詢、語音播報解答的服務(wù)形式,成為FAQ語料復(fù)用的又一個場景和渠道。今后,服務(wù)場景還可進一步拓展到智能導(dǎo)覽、虛擬講解員、閱讀推廣和特殊群體無障礙服務(wù)等方面[15]。
4.5 FAQ語料庫的評價體系建設(shè)
雖然目前系統(tǒng)提供“贊”“踩”功能,但是讀者參與度較低,反饋數(shù)量極少。因此,還需要進一步拓展評價獲取的廣度,除了前述的用戶反饋和日志分析匹配準(zhǔn)確率之外,還應(yīng)該在答案的精確度、完整性、用戶友好性及情感體驗等方面進行功能性評價[16]。此外,還可邀請業(yè)界專家和館員隊伍參與到FAQ語料庫的反饋和糾偏等評價工作中,例如日志分析過程中,館員可對匹配情況進行打分,對匹配錯誤的問題進行登記、反饋、干預(yù)和調(diào)優(yōu)糾偏,不斷提升用戶體驗。
4.6 FAQ語料庫的團隊建設(shè)與人才培養(yǎng)
基于大模型技術(shù)的智能問答系統(tǒng)的FAQ語料庫建設(shè)工作,無論是總體梳理和標(biāo)準(zhǔn)化,還是語義診斷及測試集調(diào)優(yōu)環(huán)節(jié),對項目人員全面掌握圖書館綜合咨詢服務(wù)規(guī)范和溝通話術(shù)等服務(wù)策略,及對其人工智能相關(guān)知識的快速學(xué)習(xí)和掌握能力,都提出了更高的要求[17]。現(xiàn)階段,圖書館行業(yè)中人工智能相關(guān)專業(yè)的人才還相對不足,尤其是缺乏同時掌握圖書館業(yè)務(wù)技能和人工智能技術(shù)的復(fù)合型人才,難以滿足圖書館向人工智能等技術(shù)應(yīng)用的智慧化轉(zhuǎn)型[18]。圖書館應(yīng)通過人才培養(yǎng)和業(yè)務(wù)培訓(xùn),逐步提升館員綜合素質(zhì),建立包括數(shù)據(jù)館員、人工智能標(biāo)注師、人工智能訓(xùn)練師、數(shù)據(jù)分析師等專業(yè)人才在內(nèi)的新型人才隊伍,為圖書館向智慧化轉(zhuǎn)型提供人才保障。
5 結(jié)語
大模型具備強大的語言理解和生成能力,其廣泛應(yīng)用為智能問答系統(tǒng)帶來了革命性的變化,顯著提升了問答系統(tǒng)的性能和用戶體驗。FAQ語料庫作為智能問答系統(tǒng)的重要語料支撐之一,具有答案可靠性和可控性的優(yōu)勢,在現(xiàn)階段智能問答系統(tǒng)語料建設(shè)中占據(jù)重要地位。今后,隨著大模型技術(shù)的不斷發(fā)展,系統(tǒng)的理解和生成能力不斷提升,生成式回答更加自然流暢,“幻覺”比率不斷下降,F(xiàn)AQ語料庫與大模型賦能的文檔語料庫不斷融合,實現(xiàn)圖書館各類服務(wù)系統(tǒng)的互聯(lián)互通。以智能問答系統(tǒng)為切入口,為用戶提供書目檢索結(jié)果反饋、圖書借閱及在借圖書查詢、復(fù)印服務(wù)請求、咨詢委托提交、展覽講座預(yù)約等各類讀者服務(wù)為一體的一站式服務(wù),實現(xiàn)以智能問答系統(tǒng)為代表的圖書館智慧化服務(wù)轉(zhuǎn)型,使得大模型和AIGC技術(shù)在圖書館這一垂直行業(yè)領(lǐng)域的應(yīng)用實現(xiàn)更深層次的發(fā)展,將為用戶提供更加優(yōu)質(zhì)的服務(wù)體驗[19]。
參考文獻:
[1]張煒,高馨.公共圖書館人工智能應(yīng)用現(xiàn)狀與發(fā)展策略研究[J].國家圖書館學(xué)刊,2023,32(5):75-83.
[2]李佳軒,儲節(jié)旺,杜秀秀.關(guān)聯(lián)、黑箱與賦能:AIGC驅(qū)動智慧圖書館的轉(zhuǎn)型路徑[J].圖書情報工作,2023,67(23):18-27.
[3]李書寧,劉一鳴.ChatGPT類智能對話工具興起對圖書館行業(yè)的機遇與挑戰(zhàn)[J].圖書館論壇,2023,43(5):104-110.
[4]曹寧,楊倩.面向智慧圖書館的參考咨詢服務(wù)發(fā)展思路初探[J].國家圖書館學(xué)刊,2022,31(3):22-28.
[5]王磊.新媒體環(huán)境下的圖書館參考咨詢服務(wù):以國家圖書館為例[J].國家圖書館學(xué)刊,2012,21(5):96-101.
[6]王靜靜,葉鷹,王婉茹.ChatGPT類AI GPT技術(shù)應(yīng)用對圖書館信息處理的變革探析[J].圖書館理論與實踐,2024(1):122-127,136.
[7]孫凱麗,羅旭東,羅有容.預(yù)訓(xùn)練語言模型的應(yīng)用綜述[J].計算機科學(xué),2023,50(1):176-184.
[8]王昊奮,漆桂林,陳華鈞.知識圖譜:方法、實踐與應(yīng)用[M].北京:電子工業(yè)出版社,2020:386-398.
[9]余望枝,劉芳.基于智能問答的圖書館參考咨詢服務(wù)設(shè)計及優(yōu)化[J].圖書館理論與實踐,2024(1):128-136.
[10]CHOW L,SAJONAS S.From UX study to UX service: using people centered research methods to improve the public library experience[J].Public library quarterly,2020,39(6):493-509.
[11]馮小桓.挑戰(zhàn)與前景:ChatGPT在圖書館智能客服系統(tǒng)中的效能和應(yīng)用[J].圖書館理論與實踐,2024(3):111-116.
[12]孫鵬,王宇,劉新勇.ChatGPT賦能圖書館:現(xiàn)實基礎(chǔ)、邏輯方向與應(yīng)用場景[J].情報資料工作,2024,45(5):100-106.
[13]趙楊,張雪,范圣悅.AIGC驅(qū)動的智慧圖書館轉(zhuǎn)型:框架、路徑與挑戰(zhàn)[J].情報理論與實踐,2023,46(7):9-16.
[14]張強,高穎,趙逸淳,等.ChatGPT在智慧圖書館建設(shè)中的機遇與挑戰(zhàn)[J].圖書館理論與實踐,2023(6):116-122.
[15]司莉,馬小景.元宇宙視角下虛擬數(shù)字人賦能圖書館用戶服務(wù)研究[J].圖書館建設(shè),2023(6):62-68.
[16]宋靈超,李紅鋼,靜發(fā)沖.基于服務(wù)反饋機制的圖書館智能咨詢系統(tǒng)的構(gòu)建和應(yīng)用:南開大學(xué)案例研究[J].圖書館雜志,2023,42(6):56-67.
[17]蔡迎春.賦能與重塑:智慧服務(wù)下館員培訓(xùn)體系再思考[J].國家圖書館學(xué)刊,2021,30(3):34-41.
[18]郭亞軍,龐義偉,周家華,等.ChatGPT賦能圖書館虛擬數(shù)字人:技術(shù)優(yōu)勢、應(yīng)用場景與實踐路徑[J].圖書館論壇,2024,44(8):69-79.
[19]劉煒.智慧圖書館十問[J].圖書館理論與實踐,2022(3):1-6.
作者簡介:
翟蓉(1981— ),女,碩士,副研究館員,國家圖書館參考咨詢部綜合咨詢服務(wù)組組長。研究方向:圖書館用戶與信息服務(wù)、智慧圖書館。