摘 要：在線醫(yī)學(xué)智能問答系統(tǒng)技術(shù)挑戰(zhàn)主要在于癥狀語義理解和用戶描述表示。本文提出了癥狀權(quán)重自適應(yīng)調(diào)整機(jī)制的注意力模型（SFA）。使得注意力權(quán)重可以根據(jù)歷史病例庫的更新而自適應(yīng)調(diào)整，集成了本文提出的問答模型的醫(yī)學(xué)領(lǐng)域的問答系統(tǒng)性能也得到了顯著的提升。

關(guān)鍵詞：問答系統(tǒng);注意力機(jī)制;權(quán)重自適應(yīng)調(diào)整機(jī)制

DOI：10.16640/j.cnki.37-1222/t.2019.04.202

1 引言

調(diào)查顯示，35%的人表示在去看臨床醫(yī)生之前他們會選擇上網(wǎng)來試圖找出他們或他人可能擁有的醫(yī)療狀況[1]。可見社區(qū)問答系統(tǒng)為患者和醫(yī)生提供了一個便利的方式去交流。然而，與搜索引擎相比，盡管傳統(tǒng)的社區(qū)問答能夠為用戶提供專業(yè)簡潔的遠(yuǎn)程醫(yī)療問診服務(wù)，但是由于平臺上的醫(yī)生大多利用業(yè)余時間參與問診工作，無法進(jìn)行實時回復(fù)。因此一個實時且高質(zhì)量的醫(yī)學(xué)領(lǐng)域智能問答系統(tǒng)對于用戶來說是必要的。

2 相關(guān)工作

隨著自然語言技術(shù)與深度學(xué)習(xí)的快速發(fā)展，對QA的研究已經(jīng)變得活躍而富有成效。智能問答系統(tǒng)作為一種便利的交互方式替代了人工已經(jīng)被應(yīng)用到各大領(lǐng)域，例如IBM研發(fā)的智能認(rèn)知系統(tǒng)Watson幫助一位在日本東京大學(xué)醫(yī)學(xué)院治療的60歲女性患者診斷出了罕見的白血病類型。商業(yè)的QA產(chǎn)品例如 Google Assistant， Apple Siri， Amazon Alexa， Facebook M， Microso Cortana， Xiaobing in Chinese， Rinna in Japanese， and MedWhat 已經(jīng)在過去幾年中發(fā)布[2]。

在QA系統(tǒng)中，關(guān)鍵步驟是如何表示和理解自然語言查詢[3]。 本文將針對詞匯差距和句子向量化代表的問題展開深入探討。主要有以下兩個方面的研究。（1）將基于中文詞林的近義詞主詞替換的機(jī)制應(yīng)用于核心詞和相應(yīng)主詞之間的映射。（2）對目前最先進(jìn)的注意力機(jī)制進(jìn)行優(yōu)化。采用自適應(yīng)權(quán)重分配技術(shù)，增強(qiáng)對疾病典型癥狀的關(guān)注，構(gòu)建基于癥狀頻率的注意力模型。

3 模型描述

3.1 基于核心詞-普通詞替換的語義歸一化

大多數(shù)以前的研究采用單詞或單詞嵌入（如word2vec）作為模型的輸入。 這些模型可以被視為“字級”語義模型。 然而，單詞級模型可能會導(dǎo)致語義損失，因為當(dāng)這些單詞組合為短語時，某些單詞具有不同的含義。為了解決“字級”無法全面理解語義的缺陷，研究者將語義模型擴(kuò)展到“短語級”。在這項研究中，我們以“短語級”語義模型為基礎(chǔ)，結(jié)合漢語語言特性，利用word2vec和語義詞林相結(jié)合的方法提出語義歸一化表示方法（領(lǐng)域核心詞和領(lǐng)域一般詞匯）。具體來說，我們將問答對中的所有詞按照語義進(jìn)行分組劃分，并在每一組中選取一個核心詞，其余詞為普通詞，提出核心詞與普通詞之間的語義映射機(jī)制，并用此語義映射機(jī)制將所有問答中的普通詞替換為語義核心詞，實現(xiàn)了語義表示的歸一化。同時，利用該機(jī)制建立了疾病和癥狀的模型，并確立疾病與癥狀之間的對應(yīng)關(guān)系。

3.2 模型構(gòu)建

我們所提出的醫(yī)學(xué)領(lǐng)域的智能問答系統(tǒng)（CQA），可以看作為（在線描述）-（歷史描述）-（歷史診斷）三元組的形式，分別表示用戶通過系統(tǒng)進(jìn)行的癥狀描述或提問，歷史病例中的用戶描述以及相應(yīng)的來自醫(yī)生的診斷結(jié)果?？蚣芊譃閮蓚€階段，第一階段利用傳統(tǒng)的注意力機(jī)制生成初始的新描述代表（rnd）、歷史病例描述代表（rhd）以及歷史病例診斷結(jié)果（rha）代表。第二階段利用我們提出的SFA生成最終的代表，分別為rnd， rhd， rha。為了有一個更好的比較，我們將基于傳統(tǒng)的注意力機(jī)制用來生成rhd。由于問答系統(tǒng)要求對用戶的提問做出快速的反應(yīng)，在保證效果的前提下，線上程序中盡可能使用相對快捷的算法。因此我們采用LSTM模型對用戶提交的新的癥狀描述句子建模，將訓(xùn)練好的詞嵌入作為輸入，并且生成隱含層的向量。

3.3 基于歷史病例的癥狀權(quán)重列表生成策略

在本小節(jié)中，我們將詳細(xì)介紹SFA模型。同時我們將說明提出的CQA系統(tǒng)的線下程序以及系統(tǒng)的問答匹配機(jī)制。

我們開發(fā)的CQA系統(tǒng)主要目的是對用戶提出的疾病癥狀描述做出準(zhǔn)確快速的診斷回答或診斷建議。我們提出了一個基于（在線描述）-（歷史描述）的兩階段匹配策略。

具體來說，第一階段為線下程序：（1）利用傳統(tǒng)的注意力機(jī)制得到歷史用戶描述和相應(yīng)的診斷答案的句子代表rhd，rha。其中rhd的注意力只關(guān)注癥狀名稱和疾病名稱，而rha的注意力只關(guān)注疾病名稱。（2）計算相似度，將具有相同rha的歷史病例分為一組。（3）統(tǒng)計并生成各組的癥狀單詞列表。（4）定位癥狀單詞在歷史描述句中的位置。（5）運用我們提出的位置感知影響的傳播策略來傳播癥狀單詞對其他單詞的影響（利用所在疾病組的癥狀列表）。（6）通過傳播影響生成每一個單詞的基于位置感知影響的向量。（7）將這些基于位置感知影響的向量與傳統(tǒng)的注意力機(jī)制相結(jié)合得到最終的歷史描述代表rhd。

第二階段為線上程序：（1）利用與rhd相同的注意力機(jī)制得到用戶提交的在線描述句子代表rnd。（2）計算rnd與rhd的相似度，從匹配分?jǐn)?shù)最高的疾病分組中獲得SFA。（3）利用與rhd相同的SFA機(jī)制得到最終的在線句子代表rnd。（4）計算rnd與匹配組中各rhd的相似度，分?jǐn)?shù)最高的rhd所對應(yīng)的rha即為最佳答案。

有很多的相似度函數(shù)可以被利用來測量句子之間的相關(guān)性，在這項研究中我們利用L1-范數(shù)的曼哈頓距離相似度函數(shù) （見公式1）， 它比其他替代方法（如余弦相似性）略勝一籌。

4 結(jié)論

在這篇論文中，我們提出了一個基于癥狀權(quán)重自適應(yīng)調(diào)整機(jī)制的注意力模型，該模型將癥狀單詞的位置上下文包含在用戶描述的注意力表示中;同時，通過將近義詞映射為主詞的近義詞主詞替換機(jī)制有效的為詞匯差距建立了橋梁。集成了本文提出的問答模型的醫(yī)學(xué)領(lǐng)域的問答系統(tǒng)性能也得到了顯著的提升。證明我們提出的SFA機(jī)制具有更高的性能比起那些傳統(tǒng)的注意力機(jī)制。在未來的研究中，我們想要在不同的任務(wù)中評估我們的模型并且試著去改善我們的模型。

參考文獻(xiàn)：

[1]Abacha A B，Zweigenbaum P.MEANS：A medical question-answering system combining NLP techniques and semantic Web technologies[J].Information Processing & Management，2015， 51（05）：570-594.

[2]Li H，Min M R，Ge Y，et al.A Context-aware Attention Network for Interactive Question Answering[J].2016.

[3]Yin J，Zhao W X，Li X M.Type-Aware Question Answering over Knowledge Base with Attention-Based Tree-Structured Neural Networks[J].Journal of Computer Science and Technology，2017，32（04）：805-813.

作者簡介：畢銘文（1994-），男，山東威海人，碩士研究生，主要研究方向：自然語言處理、人工智能。