陳 素， 楊 燕， 胡琴敏，2， 賀 樑， 陳成才

1(華東師范大學(xué) 計(jì)算機(jī)與軟件工程學(xué)院，上海 200062)

2(瑞爾森大學(xué) 計(jì)算機(jī)科學(xué)系，多倫多 ON M5B 2K3)

3(上海智臻智能網(wǎng)絡(luò)科技股份有限公司 小i機(jī)器人研究院，上海 201803)

文本檢索會(huì)議(TREC)臨床決策支持任務(wù)(CDS)的目的是構(gòu)建一個(gè)信息檢索系統(tǒng)以支持臨床決策. 系統(tǒng)接受由醫(yī)生從電子病歷(EMR)中總結(jié)的查詢，然后從在線的醫(yī)學(xué)文獻(xiàn)集合返回相關(guān)文獻(xiàn).

傳統(tǒng)的信息檢索系統(tǒng)是根據(jù)給定查詢中關(guān)鍵詞的統(tǒng)計(jì)量信息計(jì)算文章的相關(guān)性[1]. 根據(jù)文章的相關(guān)性得分從高到底進(jìn)行排序，相關(guān)性最高的作為結(jié)果返回. 作為提高信息檢索系統(tǒng)性能的有效方法之一，查詢擴(kuò)展是將包含信息的詞加入原始查詢，以便可以使用更多的統(tǒng)計(jì)信息來(lái)檢索相關(guān)文章[2-4]. 在TREC CDS任務(wù)中，大部分方法都是使用統(tǒng)計(jì)信息，例如單詞出現(xiàn)的次數(shù)，TF-IDF分?jǐn)?shù)等來(lái)進(jìn)行擴(kuò)展單詞選擇. 這種類型的方法不考慮在語(yǔ)義級(jí)別查詢和擴(kuò)展詞之間的關(guān)系，并且這類方法在選擇擴(kuò)展詞數(shù)量的時(shí)候都是使用固定的K 值，但是不同的查詢應(yīng)該使用不同的K值. 另一種方法便是利用資源庫(kù)對(duì)查詢進(jìn)行擴(kuò)展，例如Zhu[5]先找到查詢中的關(guān)鍵詞，再通過(guò)多個(gè)外部數(shù)據(jù)庫(kù)對(duì)查詢進(jìn)行擴(kuò)展. 國(guó)內(nèi)的哈工大同義詞林[6]，知網(wǎng)(HowNet)[7]，國(guó)外的WordNet[8]等也經(jīng)常應(yīng)用在查詢擴(kuò)展中. 但是在Guo[9]，Bacchin[10]的實(shí)驗(yàn)中發(fā)現(xiàn)，使用醫(yī)學(xué)知識(shí)進(jìn)行查詢擴(kuò)展幾乎沒(méi)有聲明改進(jìn)甚至損害了檢索性能. 矛盾的結(jié)果表明，對(duì)于醫(yī)療信息檢索而言，并非所有的醫(yī)學(xué)知識(shí)都適用于檢索. 因此，我們有動(dòng)力去研究CDS任務(wù)中合適的醫(yī)學(xué)知識(shí)對(duì)查詢進(jìn)行擴(kuò)展.

本文提出的方法不僅考慮了統(tǒng)計(jì)量信息，還考慮了查詢和擴(kuò)展詞之間的關(guān)系. 考慮到醫(yī)學(xué)文本注釋的難度和成本，我們使用非醫(yī)療數(shù)據(jù)集STS數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)句子和實(shí)體之間的關(guān)系. 我們選擇這些數(shù)據(jù)的原因是因?yàn)槲覀冋J(rèn)為學(xué)習(xí)句子和實(shí)體之間的關(guān)系對(duì)計(jì)算查詢和擴(kuò)展醫(yī)學(xué)實(shí)體之間的關(guān)系是有用的.此外，在測(cè)試部分，我們不僅僅考慮單個(gè)醫(yī)學(xué)實(shí)體作為擴(kuò)展的影響，還考慮了實(shí)體組合作為擴(kuò)展的影響. 所以我們解決了使用固定K的問(wèn)題. 因?yàn)長(zhǎng)STM能夠很好的處理序列問(wèn)題，所以我們使用LSTM獲得句子表征.在實(shí)體部分，我們使用注意力機(jī)制獲得實(shí)體組表示，因?yàn)樽⒁饬C(jī)制可以幫助模型集中于實(shí)體組中重要程度大的實(shí)體.

在本文，我們提供了一種查詢擴(kuò)展方式來(lái)支持醫(yī)學(xué)信息檢索中的臨床決策問(wèn)題. 具體來(lái)說(shuō)，我們提出了基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)來(lái)動(dòng)態(tài)選擇擴(kuò)展醫(yī)學(xué)實(shí)體.我們利用了遷移學(xué)習(xí)的思想，將在其他領(lǐng)域?qū)W習(xí)到的知識(shí)應(yīng)用于醫(yī)學(xué)領(lǐng)域，以此來(lái)解決醫(yī)學(xué)標(biāo)注成本高，標(biāo)注難得問(wèn)題. 此外，我們選擇最佳的醫(yī)學(xué)實(shí)體組合作為擴(kuò)展來(lái)解決固定K的問(wèn)題，并且能考慮到醫(yī)學(xué)實(shí)體之間的影響. 本文方法使用注意力機(jī)制得到實(shí)體組表征，能夠讓模型關(guān)注實(shí)體組中更重要的實(shí)體. 本文的其余安排如下：我們首先介紹相關(guān)工作. 然后再介紹了提出的方法. 之后說(shuō)明實(shí)驗(yàn)設(shè)置并展示和分析實(shí)驗(yàn)結(jié)果. 最后，我們給出結(jié)論和展望.

1 基于注意力機(jī)制網(wǎng)絡(luò)的查詢擴(kuò)展

本章將介紹在醫(yī)學(xué)領(lǐng)域中基于注意機(jī)制網(wǎng)絡(luò)的查詢擴(kuò)展方法. 該方法利用了遷移學(xué)習(xí)的思想，將在其他領(lǐng)域?qū)W習(xí)到的知識(shí)運(yùn)用到醫(yī)學(xué)領(lǐng)域，以此來(lái)解決醫(yī)學(xué)領(lǐng)域中標(biāo)注困難和成本高的問(wèn)題. 由于在模型的訓(xùn)練和測(cè)試部分我們使用的是不同的數(shù)據(jù)，所以我們將分兩部分介紹概念. 在訓(xùn)練過(guò)程中，S={w1,w2,···wn}用來(lái)表示STS數(shù)據(jù)集中的句子，wi代表S中第i個(gè)單詞.JE={je1,je2,···,jem}代表用TagMe工具進(jìn)行標(biāo)注的通用實(shí)體. 在測(cè)試過(guò)程中，Q={qw1,qw2,···,qwn}代表查詢，其中的qwi代表查詢中的第i個(gè)詞，ME={me1,me2,···,mem}是利用MeSH[11]詞表映射得到的醫(yī)學(xué)實(shí)體集合.本文方法的目的是為Q選擇合適的擴(kuò)展醫(yī)學(xué)實(shí)體. 在方法框架中，我們利用谷歌搜索引擎和MeSH[11]詞表得到候選擴(kuò)展實(shí)體集合. 為了在擴(kuò)展候選實(shí)體中選擇最佳的擴(kuò)展實(shí)體，我們不僅僅考慮到每個(gè)候選實(shí)體的得分，我們還考慮到候選實(shí)體組合的得分.圖1展示了本文方法的大體框架. 簡(jiǎn)單來(lái)說(shuō)，我們首先將原始查詢提交到搜索引擎中并且選擇前N個(gè)結(jié)果; 其次，我們利用選擇模型得到最佳的擴(kuò)展實(shí)體; 最后，我們將得到的最佳擴(kuò)展實(shí)體加入原始查詢中進(jìn)行檢索. 下面我們將分兩部分介紹本文的方法，一是如何得到候選擴(kuò)展實(shí)體集，二是如何選擇出最佳的實(shí)體組合.

1.1 擴(kuò)展候選醫(yī)學(xué)實(shí)體組合

我們是利用網(wǎng)絡(luò)資源和MeSH得到擴(kuò)展候選實(shí)體. 我們選擇使用網(wǎng)絡(luò)資源的原因是我們認(rèn)為搜索引擎返回給我們結(jié)果是和原始查詢相關(guān)的并且結(jié)果是按照與查詢的相關(guān)性從高到低進(jìn)行排序的. 在之前的工作[12，13]，我們可以發(fā)現(xiàn)醫(yī)學(xué)實(shí)體對(duì)醫(yī)學(xué)查詢有正向作用，所以我們利用MeSH對(duì)查詢進(jìn)行映射，得到擴(kuò)展醫(yī)學(xué)實(shí)體. MeSH[11]是一種廣泛使用的醫(yī)學(xué)本體數(shù)據(jù)庫(kù)，由16類醫(yī)學(xué)概念組成. 作為外部知識(shí)資源，如果醫(yī)學(xué)實(shí)體可以在前N個(gè)搜索結(jié)果中找到，我們就認(rèn)為醫(yī)學(xué)實(shí)體是候選擴(kuò)展醫(yī)學(xué)實(shí)體.

因?yàn)楹蜻x實(shí)體之間也是存在一定的聯(lián)系和影響，所以我們不僅僅考慮單個(gè)候選實(shí)體的影響，而且考慮候選實(shí)體組合的影響. 考慮到計(jì)算的時(shí)間復(fù)雜性和空間復(fù)雜性，我們只結(jié)合任何K≤5個(gè)候選擴(kuò)展醫(yī)學(xué)實(shí)體作為候選擴(kuò)展醫(yī)學(xué)實(shí)體組合，這是因?yàn)槿绻麑⑺械臄U(kuò)展醫(yī)學(xué)實(shí)體進(jìn)行全排序，則每個(gè)查詢需要計(jì)算2n，但是每個(gè)查詢的候選擴(kuò)展醫(yī)學(xué)實(shí)體的數(shù)量都超過(guò)10個(gè)，這樣，需要計(jì)算的實(shí)體組數(shù)量較大，測(cè)試的過(guò)程需要消耗更大的空間和更多的時(shí)間. 例如，我們有“chest pain，disease，fatigue，heart failure，hypertension，nausea”6候選擴(kuò)展醫(yī)學(xué)實(shí)體，那我們就會(huì)有個(gè)只包含1個(gè)醫(yī)學(xué)實(shí)體的擴(kuò)展組合，包含2個(gè)醫(yī)學(xué)實(shí)體的擴(kuò)展組合···個(gè)包含5個(gè)醫(yī)學(xué)實(shí)體的擴(kuò)展組合，其中代表排列組合. 接下來(lái)我們便要計(jì)算每一個(gè)候選實(shí)體組合的得分.

圖1 查詢擴(kuò)展方法框架

1.2 擴(kuò)展醫(yī)學(xué)實(shí)體組合的挑選

和之前只利用統(tǒng)計(jì)量信息不同，我們使用神經(jīng)網(wǎng)絡(luò)模型自動(dòng)的選擇最佳擴(kuò)展醫(yī)學(xué)組合. 考慮到人工標(biāo)注的困難和開銷，我們選擇其他領(lǐng)域的數(shù)據(jù)集來(lái)訓(xùn)練模型. 我們之所以選擇其他領(lǐng)域數(shù)據(jù)集訓(xùn)練模型是因?yàn)槲覀冋J(rèn)為實(shí)體是句子理解的重要組成部分，而醫(yī)學(xué)實(shí)體是理解醫(yī)學(xué)句子的重要組成部分，所以學(xué)習(xí)到的實(shí)體和句子之間的知識(shí)也是可以用到醫(yī)學(xué)實(shí)體和醫(yī)學(xué)句子中. 圖2顯示了神經(jīng)網(wǎng)絡(luò)選擇模型的結(jié)構(gòu)，包括了嵌入層(Embedding Layer)，LSTM層(LSTM Layer)，注意力層(Attention Layer)和預(yù)測(cè)層(Predict Layer). 從圖2我們可以看出，最重要的部分是得到句子和實(shí)體組的表示.

嵌入層：因?yàn)槲覀兪菍W(xué)習(xí)其他領(lǐng)域的知識(shí)并將其運(yùn)用到醫(yī)學(xué)領(lǐng)域中，所以只使用詞嵌入是不合理的.如果我們只使用了詞嵌入，則在模型訓(xùn)練期間無(wú)法訓(xùn)練醫(yī)學(xué)單詞，為了解決這個(gè)問(wèn)題，我們將詞嵌入和字符嵌入結(jié)合起來(lái)表示句子和實(shí)體. 和詞嵌入一樣，字符嵌入也是將每個(gè)單詞映射到高維向量空間，但是字符嵌入訓(xùn)練的是每個(gè)字符的向量. 我們利用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks)求得S(Q)，JE(ME)中每個(gè)詞的字符嵌入. 在字符嵌入層中，每個(gè)單詞都被表示成C∈Rwl×d，其中wl表示單詞長(zhǎng)度，d代表向量維度. 我們將線下訓(xùn)練完成的詞向量和字符向量結(jié)合，得到每個(gè)單詞的表示，公式如下：

其中C(wi)和W(wi)分別表示S(Q)和JE(ME)中每個(gè)單詞的字符嵌入和詞嵌入. [a,b]表示連接兩個(gè)向量表示.

LSTM層：我們使用LSTM生成具有語(yǔ)義構(gòu)成的句子表征. 眾所周知，LSTM是一種典型的遞歸神經(jīng)網(wǎng)絡(luò)變體，通過(guò)引入記憶細(xì)胞和門機(jī)制，已被廣泛用于長(zhǎng)文檔建模. 在每個(gè)位置t，隱藏狀態(tài)ht以及記憶細(xì)胞ct可以通過(guò)上一位置的隱藏狀態(tài)ht-1，記憶細(xì)胞ct-1以及當(dāng)前位置的輸入xt來(lái)更新它們的信息. 公式如下：

圖2 基于注意力機(jī)制的網(wǎng)絡(luò)模型

其中，σ表示Sigmoid函數(shù). it，ft，ot分別表示輸入門，遺忘門和輸出門. 這些門用來(lái)保護(hù)和控制輸入信息. 隱藏狀態(tài)ht表示當(dāng)前位置信息的表征，這個(gè)表征包含了當(dāng)前位置的上文信息. ?代表點(diǎn)乘.

注意力機(jī)制層：我們使用注意力機(jī)制來(lái)獲取實(shí)體組中比較重要的實(shí)體. 受到神經(jīng)機(jī)器翻譯的影響，注意力機(jī)制得到了廣泛的使用，因?yàn)樗梢詭椭Ｐ图凶⒁饬τ谳斎胄畔⒅斜容^重要的部分. 實(shí)體組的表征S是所有實(shí)體的加權(quán)求和，公式如下：

其中ei代表第i個(gè)實(shí)體的表示，αi表示第i個(gè)實(shí)體的注意力權(quán)重，這個(gè)權(quán)重衡量了ei在整個(gè)實(shí)體組中的重要性.αi的計(jì)算公式如下

其中，E表示分?jǐn)?shù)函數(shù)，用來(lái)計(jì)算實(shí)體組中每個(gè)實(shí)體的重要性，v 代表權(quán)重向量，vT代表v的轉(zhuǎn)置. Wh和Wa代表權(quán)重矩陣. FW代表查詢的句子表征.

預(yù)測(cè)層：在得到句子表征和實(shí)體組表征之后，我們將句子表征和實(shí)體表征點(diǎn)乘并與句子表征，實(shí)體表征拼接送入二層的深度神經(jīng)網(wǎng)絡(luò)，具體公式如下：

其中，SP表示句子表征，即LSTM層的輸出. EP表示實(shí)體組表征，?表示點(diǎn)乘，y表示實(shí)體組作為擴(kuò)展的得分.

2 實(shí)驗(yàn)設(shè)置

這一章主要介紹實(shí)驗(yàn)的配置，包括數(shù)據(jù)集、查詢、參數(shù)設(shè)置以及評(píng)測(cè)指標(biāo).

數(shù)據(jù)集：STS數(shù)據(jù)集包括了從2012年到2017年期間在SemEval中使用過(guò)的英文數(shù)據(jù)集的集合，一共有8628個(gè)句子對(duì). 表1顯示的是根據(jù)類型和訓(xùn)練-驗(yàn)證-評(píng)測(cè)的具體劃分情況. 在我們的方法中，我們將STS的訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集都作為訓(xùn)練數(shù)據(jù)集，STS的測(cè)試數(shù)據(jù)集作為驗(yàn)證數(shù)據(jù)集. 我們?cè)赥REC CDS 2014，2015和2016上檢驗(yàn)方法的效果. TREC CDS中的文章都是來(lái)自于Open Access Subset of PubMed Central(PMC). PMC是一個(gè)免費(fèi)在線生物醫(yī)學(xué)文章數(shù)據(jù)庫(kù)，所有的文章都是以NXML的形式呈現(xiàn).

表1 STS數(shù)據(jù)集結(jié)構(gòu)

所有的實(shí)體都是用TagMe[14]進(jìn)行注釋并且所有的注釋都被保留. 這是ClueWeb上最廣泛使用的基于實(shí)體的排名方法設(shè)置.

查詢：在TREC CDS中，查詢都是由專業(yè)查詢開發(fā)者從患者的實(shí)際醫(yī)療記錄中總結(jié)得到的自由文本. 檢索到的文章對(duì)于回答每個(gè)查詢的臨床問(wèn)題應(yīng)該是有用的，每一個(gè)TREC CDS任務(wù)都有30個(gè)查詢.

參數(shù)設(shè)置：我們使用5折交叉驗(yàn)證評(píng)估該方法.LSTM設(shè)置：隱藏狀態(tài)設(shè)置為100維. 句子部分用ReLU激活函數(shù). Batch大小在{32，64，128}中選擇，學(xué)習(xí)率在{0.0005，0.001，0.002}中選擇，迭代次數(shù)在{5，10，20}中選擇，醫(yī)療實(shí)體組合的個(gè)數(shù)從{1，2，3，4，5}中選擇. 另外，我們?yōu)槊總€(gè)查詢選擇的是谷歌檢索的前10個(gè)結(jié)果.

評(píng)測(cè)指標(biāo)：在這次實(shí)驗(yàn)中，我們選擇NDCG和P@10作為評(píng)測(cè)指標(biāo). 其中P@10表示前10個(gè)檢索結(jié)果的準(zhǔn)確率，NDCG則是衡量前10個(gè)檢索結(jié)果排序的評(píng)測(cè)指標(biāo).

3 實(shí)驗(yàn)結(jié)果與分析

在一章中，我們主要介紹比較方法和本文提出的方法在2014年，2015年，2016年數(shù)據(jù)集上的實(shí)驗(yàn)效果.因?yàn)樘幚頂?shù)據(jù)和建索引方法的不同，并且在TREC CDS數(shù)據(jù)集中未有神經(jīng)網(wǎng)絡(luò)方法的實(shí)驗(yàn)結(jié)果可做對(duì)比，為了驗(yàn)證本文方法的有效性，我們選擇了下面幾種對(duì)比方法.

BM25：只用原始query進(jìn)行檢索，沒(méi)有任何查詢擴(kuò)展. 檢索模型為BM25[15].

WebAssistance：所有在谷歌檢索結(jié)果中出現(xiàn)過(guò)的醫(yī)學(xué)詞都作為查詢擴(kuò)展.

WithoutCombination：只單單選擇前三個(gè)分?jǐn)?shù)高的醫(yī)學(xué)實(shí)體作為查詢擴(kuò)展. 該方法不考慮實(shí)體組合的效果.

LSTM+AdA：在得到實(shí)體表示部分，使用加權(quán)平均的方法獲得實(shí)體表示，并沒(méi)有使用注意力機(jī)制的方法.

3.1 與對(duì)比方法的比較

表2展示了本文方法和對(duì)比方法在TREC CDS 2014年，2015年以及2016年數(shù)據(jù)上的實(shí)驗(yàn)效果. 從表2中可以看出，和對(duì)比方法相比，本文提出的方法有很大的提升. 本文提出的方法在2014年數(shù)據(jù)集上，NDCG為0.2521，和BM25相比，有5.48%的提升，P@10值為0.3，和BM25相比，本文提出的方法有11.11%的提升. 在2016年數(shù)據(jù)集上，評(píng)測(cè)指標(biāo)NDCG的值為0.2172，P@10的值為0.2733，同時(shí)我們可以看出，和BM25相比，NDCG有9.42%的提升，P@10有15.46%的提升，這是很顯著的提升. 雖然在2015年數(shù)據(jù)集上的P@10的效果有所降低，但是總體來(lái)說(shuō)，本文提出的方法是對(duì)提升檢索的效果是有效的. 從表2中我們還可以看出，WebAssistance的實(shí)驗(yàn)效果比BM25的效果好，但是還是沒(méi)有本文提出的方法效果好，這是因?yàn)閃ebAssistance將所有的醫(yī)學(xué)實(shí)體都作為查詢擴(kuò)展詞，這樣會(huì)引入噪音，這也就可以解釋在2015年和2016年數(shù)據(jù)集上效果下降的現(xiàn)象. 同時(shí)，我們也可以從表中看出，考慮實(shí)體組合比只考慮單個(gè)實(shí)體的效果要好. 注意力機(jī)制也被驗(yàn)證是有效的，因?yàn)長(zhǎng)STM+AdA忽略了實(shí)體之間的影響.

表2 實(shí)驗(yàn)結(jié)果

3.2 參數(shù)學(xué)習(xí)

N是決定最大組合數(shù)量的參數(shù). 考慮到計(jì)算時(shí)間復(fù)雜度和空間復(fù)雜度，我們?cè)u(píng)測(cè)N從1到5，間隔為1對(duì)本文提出方法的性能影響. 根據(jù)實(shí)驗(yàn)結(jié)果，在2014年和2016年，N 最優(yōu)為4，在2015年N的最優(yōu)值為2. 為了探尋這個(gè)結(jié)果的原因，我們計(jì)算了2014年，2015年和2016年查詢的平均長(zhǎng)度(AL). 正如表3所顯示，我們發(fā)現(xiàn)2015年查詢的平均長(zhǎng)度是最短的，同時(shí)2015年N的最優(yōu)值為2，所以我們可以看出句子長(zhǎng)度對(duì)N的選擇是有影響的. 這是因?yàn)殚L(zhǎng)查詢需要更多的擴(kuò)展詞才能影響查詢的效果.

表3 各年份查詢平均長(zhǎng)度

3.3 詞嵌入和字符嵌入的比較

在本文中，我們同樣對(duì)詞嵌入和字符嵌入對(duì)遷移學(xué)習(xí)的影響做了實(shí)驗(yàn). 在這里，使用詞嵌入和使用字符嵌入的區(qū)別是在得到單詞表示上. 詞嵌入是一種向量訓(xùn)練，首先通過(guò)預(yù)訓(xùn)練獲得向量，然后隨著模型的訓(xùn)練進(jìn)一步訓(xùn)練. 字符嵌入的方法是隨機(jī)初始化字符向量，然后隨著模型的訓(xùn)練進(jìn)一步訓(xùn)練出字符向量，最后得到字符向量，對(duì)字符向量的進(jìn)一步操作才得到單詞表示. 從圖3，圖4和圖5中我們可以發(fā)現(xiàn)詞嵌入和字符嵌入在一定程度上都是有效的. 在2014年和2016年數(shù)據(jù)集中，使用詞嵌入的方法要比原始的方法效果好，使用字符嵌入的效果比使用詞嵌入的效果好. 在2014年中，只使用詞嵌入方法的NDCG值為0.2473，P@10為0.28，從圖6，圖7，圖8中我們可以看出和BM25方法相比，NDCG有3.47%的提升，P@10有3.70%的提升. 只使用字符嵌入方法的NDCG值為0.2501，P@10的值為0.29，和BM25相比，NDCG有4.64%的提升，P@10有7.41%的提升. 在2016年中，同樣可以發(fā)現(xiàn)，使用字符嵌入的效果比使用詞嵌入的效果要好. 這表明，當(dāng)我們將從其他領(lǐng)域?qū)W習(xí)到的知識(shí)應(yīng)用于醫(yī)學(xué)領(lǐng)域時(shí)，字符嵌入的性能優(yōu)于字嵌入. 這個(gè)結(jié)果是因?yàn)槲覀冎皇褂昧酸t(yī)學(xué)數(shù)據(jù)進(jìn)行測(cè)試，并沒(méi)有使用醫(yī)學(xué)數(shù)據(jù)進(jìn)行訓(xùn)練，所以在測(cè)試時(shí)會(huì)出現(xiàn)大量未列出的單詞，這也導(dǎo)致了詞嵌入性能不顯著. 但是無(wú)論是哪個(gè)領(lǐng)域，里面的單詞都是由字符組成，并且字符表示會(huì)隨著模型的優(yōu)化而更新，因此我們使用基于字符嵌入能獲得更好的單詞表示.

4 結(jié)論與展望

本文主要提出了一個(gè)基于知識(shí)的神經(jīng)網(wǎng)絡(luò)查詢擴(kuò)展模型以提高醫(yī)療信息檢索效果. 考慮到醫(yī)學(xué)文本注釋的難度和成本，我們將從其他領(lǐng)域?qū)W習(xí)到的知識(shí)應(yīng)用于醫(yī)學(xué)領(lǐng)域. 與以前的工作不同，我們解決了固定K 的問(wèn)題. 我們不再是選擇前K個(gè)擴(kuò)展醫(yī)學(xué)實(shí)體，而是選擇最佳的醫(yī)學(xué)實(shí)體組合，因此不同的查詢可能有不同數(shù)量的擴(kuò)展醫(yī)學(xué)實(shí)體. 在本文中，我們不僅展示了我們提出方法的有效性，而且還比較了詞嵌入和字符嵌入對(duì)遷移學(xué)習(xí)效果的影響. 在之后的研究中，我們可以嘗試使用不同的注意力機(jī)制得到實(shí)體組的表示以及不同的神經(jīng)網(wǎng)絡(luò)對(duì)查詢擴(kuò)展的影響.

圖3 2014年不同嵌入效果對(duì)比

圖5 2016年不同嵌入效果對(duì)比

圖6 2014年不同嵌入效果對(duì)比(rate)