袁剛 郭爽 唐琦 許入文 王金國(guó) 韓春曉* 溫圣軍* 張文通

（1.國(guó)家市場(chǎng)監(jiān)督管理總局信息中心 北京 100820；2.北京理工大學(xué)計(jì)算機(jī)學(xué)院）

0 引言

食品安全風(fēng)險(xiǎn)管理是當(dāng)前提升我國(guó)食品安全管理能力的重要內(nèi)容，《食品安全法》在總則中確定了一個(gè)重要原則，就是食品安全工作實(shí)行以預(yù)防為主、風(fēng)險(xiǎn)管理、全程控制、社會(huì)共治，建立科學(xué)、嚴(yán)格的監(jiān)管制度。 實(shí)際上就是強(qiáng)調(diào)對(duì)食品安全風(fēng)險(xiǎn)進(jìn)行全面管理的重要性。 當(dāng)前，風(fēng)險(xiǎn)管理主要來(lái)源于對(duì)數(shù)據(jù)的分析判斷，但食品安全鏈條長(zhǎng)、范圍廣、涉及的因素多，每天產(chǎn)生大量與食品安全相關(guān)的風(fēng)險(xiǎn)數(shù)據(jù)， 但對(duì)于龐大的數(shù)據(jù)體量和無(wú)規(guī)則的數(shù)據(jù)關(guān)系，利用技術(shù)進(jìn)行分析挖掘不夠，導(dǎo)致食品安全風(fēng)險(xiǎn)預(yù)警研判成為業(yè)界共同研究的課題。

知識(shí)圖譜技術(shù)蘊(yùn)含豐富的先驗(yàn)知識(shí)，具有重要的學(xué)術(shù)價(jià)值和廣泛的應(yīng)用前景。 知識(shí)圖譜分析推理作為知識(shí)圖譜領(lǐng)域的核心技術(shù)，能夠極大地?cái)U(kuò)展現(xiàn)有知識(shí)的邊界， 有力地輔助人類進(jìn)行智能決策。 因此，利用知識(shí)圖譜技術(shù)和食品安全監(jiān)管的海量數(shù)據(jù)，構(gòu)建食品安全風(fēng)險(xiǎn)知識(shí)圖譜， 建立食品各維度數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系， 為食品安全風(fēng)險(xiǎn)分析和預(yù)測(cè)提供技術(shù)手段。當(dāng)前，構(gòu)建食品安全風(fēng)險(xiǎn)知識(shí)圖譜需要面對(duì)一系列問題：（1） 信息數(shù)據(jù)量大， 難以人工處理；（2）信息來(lái)源多樣，難以挖掘數(shù)據(jù)間關(guān)聯(lián)；（3）信息維度多樣，難以統(tǒng)籌整合。 針對(duì)以上3 個(gè)問題，本文使用BiLSTM-CRF 神經(jīng)網(wǎng)絡(luò)構(gòu)建食品安全風(fēng)險(xiǎn)知識(shí)圖譜。

知識(shí)圖譜以“實(shí)體—關(guān)系—實(shí)體” 形式描述語(yǔ)義，進(jìn)而使用包含語(yǔ)義的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)組織知識(shí)，表示現(xiàn)實(shí)世界事物與事物之間各種各樣的聯(lián)系。 作為一種更適合于描述客觀世界實(shí)體與關(guān)系的信息載體，知識(shí)圖譜的研究掀起一股研究熱潮[1]。

早期主要是基于對(duì)啟發(fā)式規(guī)則的應(yīng)用，通過人工定義構(gòu)建模式，進(jìn)行文本匹配，從而實(shí)現(xiàn)信息抽取知識(shí)圖譜構(gòu)建。1991 年，RAU[2]結(jié)合人工編寫規(guī)則與啟發(fā)性算法，首次實(shí)現(xiàn)從文本中提取公司實(shí)體的原型系統(tǒng)。這些基于規(guī)則的實(shí)體識(shí)別系統(tǒng)的優(yōu)點(diǎn)在于可以在特定領(lǐng)域有良好的性能表現(xiàn)，但同時(shí)也有著巨大缺點(diǎn)，即需要花費(fèi)大量人工成本設(shè)計(jì)信息抽取規(guī)則。 這些規(guī)則通常是依托于場(chǎng)景的，因此在復(fù)用性上表現(xiàn)也比較差。

為解決這一問題， 研究者將自動(dòng)構(gòu)建與統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法相結(jié)合，分為幾個(gè)子任務(wù)：實(shí)體抽取、關(guān)系抽取、屬性抽取。將拆解出的子任務(wù)轉(zhuǎn)化為機(jī)器學(xué)習(xí)領(lǐng)域研究的序列標(biāo)注和分類問題， 進(jìn)而使用學(xué)習(xí)模型來(lái)解決，比如CRF 模型[3]、HMM 模型[4]、MEMM模型[5]、SVM 模型[6]、LSTM 模型[7]等。 其中，生成式模型如HMM 對(duì)數(shù)據(jù)量的需求往往較大， 而判別式模型如MEMM、CRF 對(duì)數(shù)據(jù)量的要求就要少許多。 SUTTON 等[8]分析了CRF、HMM 與MEMM 之間異同，與HMM 和MEMM 相比，CRF 模型更復(fù)雜， 計(jì)算復(fù)雜度更高，但是其特征設(shè)計(jì)更靈活。 LIU 等[9]利用KNN算法和CRF 模型，實(shí)現(xiàn)了基于Twitter 文本數(shù)據(jù)的實(shí)體識(shí)別任務(wù)。 LIN 等[10]使用MaxEnt 模型，結(jié)合字典輔助，在GENIA 數(shù)據(jù)集上取得了精確率（precision）與召回率（recall）均超過70%的優(yōu)秀結(jié)果。

隨后， 具有極強(qiáng)的非線性擬合能力的深度學(xué)習(xí)出現(xiàn)了， 該技術(shù)也被應(yīng)用于知識(shí)圖譜抽取任務(wù)中。COLLOBERT 等較早地使用了結(jié)構(gòu)形如NN/CNNCRF 的模型，來(lái)完成實(shí)體抽取圖譜構(gòu)建任務(wù)，并提出了基于窗口和基于句子的2 種模式。

而后學(xué)術(shù)界又提出一系列結(jié)構(gòu)形如RNN-CRF框架， 其中這類模型中RNN 層主要代表LSTM 模型。 LAMPLE 等提出BiLSTM-CRF 框架，并分別在詞和字的級(jí)別上給出應(yīng)用。 REI 等基于RNN-CRF模型改進(jìn)了詞編碼與字編碼的拼接步驟， 并引入注意力機(jī)制， 實(shí)現(xiàn)了詞編碼和字編碼中所包含信息的動(dòng)態(tài)學(xué)習(xí)。 BHARADWAJ 等將字編碼結(jié)果和音韻進(jìn)行拼接處理，并在字編碼上引入注意力機(jī)制。MA 等人提出了混合模型BiLSTM-CNNsCRF。 ZHANG 等提出Lattice LSTM 模型，引入字典機(jī)制，對(duì)輸入的字符序列和所有與詞典匹配的潛在詞匯進(jìn)行編碼，實(shí)現(xiàn)了零分詞錯(cuò)誤。 AKBIK 等訓(xùn)練語(yǔ)言模型內(nèi)部隱狀態(tài)，產(chǎn)生一種新的編碼模型。PETERS 等提出一種簡(jiǎn)單、通用的半監(jiān)督方法TagLM。YANG 等提出一種基于RNN 的轉(zhuǎn)移學(xué)習(xí)方法，并開發(fā)了用于3 種遷移學(xué)習(xí)架構(gòu)：T-A，T-B，T-C。 3 個(gè)結(jié)構(gòu)目前得到廣泛應(yīng)用，成為跨域、跨任務(wù)的一種baseline 模型。

1 BiLSTM-CRF 模型

在實(shí)體抽取的任務(wù)中， 某個(gè)詞語(yǔ)是否能被識(shí)別為一個(gè)人名、組織或者其他實(shí)體信息，很大程度上取決于上下文信息。例如：“鐘南山院士”、“本科畢業(yè)于北京協(xié)和醫(yī)學(xué)院醫(yī)療系”等文本中，“院士”并不是命名實(shí)體，但是對(duì)于識(shí)別“鐘南山”為人名實(shí)體有幫助；“本科畢業(yè)于”、“醫(yī)療系” 也不是需要識(shí)別的命名實(shí)體，但是有助于識(shí)別出機(jī)構(gòu)名“北京協(xié)和醫(yī)學(xué)院”。

1.1 BiLSTM 模型

深度學(xué)習(xí)中長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）正是利用這一上下文信息，通過在模型中引入遺忘門機(jī)制，使得模型可以存儲(chǔ)記憶序列化數(shù)據(jù)， 并將其量化表現(xiàn)為參數(shù)能力。 因此LSTM 非常適合處理依賴上下文信息的實(shí)體抽取任務(wù)。 LSTM 網(wǎng)絡(luò)可以在一定程度上使用上下文之間的一些關(guān)聯(lián)信息， 增強(qiáng)對(duì)字詞的語(yǔ)義理解。 但是傳統(tǒng)的單向LSTM 只能捕獲序列的歷史信息，沒用充分利用上下文信息。

不充分考慮上下文信息， 可能在進(jìn)行命名實(shí)體識(shí)別的任務(wù)中出現(xiàn)錯(cuò)誤，例如“武漢市長(zhǎng)江大橋位于中國(guó)湖北省武漢市”，如果不對(duì)下文信息“位于中國(guó)湖北省武漢市”加以利用，而只觀察到“武漢市長(zhǎng)江大橋”，則可能只看到“武漢市長(zhǎng)”信息，并將“江大橋”標(biāo)注為人名，這種情況是需要避免的。

BiLSTM，即雙向長(zhǎng)短期神經(jīng)網(wǎng)絡(luò)，通過特有門閥單元控制信息傳遞有選擇地保留上下文信息，實(shí)現(xiàn)對(duì)上下文信息利用和對(duì)有效文本的記憶功能。

對(duì)于BiLSTM 網(wǎng)絡(luò)，舉例網(wǎng)絡(luò)的輸入若為“鐘南山院士”，主要捕獲反向信息，“院士”為職稱，記憶單元因此可能學(xué)習(xí)到前面的詞大概率為人名或姓氏，因此預(yù)測(cè)“鐘南山”為人名。

BiLSTM 層在知識(shí)圖譜構(gòu)建模型框架中起著很重要作用， 由于具備能接受預(yù)訓(xùn)練得到的文本向量、可基于前后時(shí)序進(jìn)行建模捕捉文本中上下文信息、同時(shí)捕獲文本數(shù)據(jù)歷史信息和反向信息這幾個(gè)特點(diǎn)和優(yōu)勢(shì)，BiLSTM 模型具有優(yōu)于其他模型的實(shí)體識(shí)別效果。

1.2 BiLSTM-CRF 模型

對(duì)于中文知識(shí)抽取任務(wù)， 經(jīng)過BiLSTM 的輸出，文本中歷史信息和反向信息被捕捉和記憶，模型計(jì)算得到各個(gè)字的輸出表示。 BiLSTM 輸出的各個(gè)字之間沒有互相影響， 這不利于得到一個(gè)完整的中文實(shí)體。這樣的標(biāo)注顯然是不合理的，也無(wú)法獲得任何有效信息，用以構(gòu)建知識(shí)圖譜。 其原因在于，BiLSTM 模型將會(huì)輸出各個(gè)標(biāo)簽對(duì)應(yīng)得分張量矩陣，隨后會(huì)簡(jiǎn)單地選擇每個(gè)字對(duì)應(yīng)張量中得分最高標(biāo)簽類別， 作為當(dāng)前字的標(biāo)簽預(yù)測(cè)結(jié)果， 而得分最高的標(biāo)簽相互組合并不一定構(gòu)成完整實(shí)體，這種現(xiàn)象在中文數(shù)據(jù)中尤為明顯。

而上述問題可通過引入CRF 層來(lái)解決。CRF 模型是一種用于解決序列標(biāo)注問題的深度學(xué)習(xí)模型，該模型結(jié)合了HMM 模型與MaxEnt 模型優(yōu)點(diǎn)，具有表達(dá)長(zhǎng)距離依賴性和交疊性特征能力， 解決了最大熵馬爾可夫模型存在的標(biāo)記偏置問題， 通過將所有特征進(jìn)行全局歸一化，來(lái)求得全局最優(yōu)解。

CRF 模型側(cè)重考慮句子層面上，每個(gè)字標(biāo)注的tag 之間互相影響。作為BiLSTM 模型和CRF 模型的結(jié)合體，BiLSTM-CRF 模型先通過BiLSTM 層獲取歷史信息和反向信息， 輸出每個(gè)字對(duì)于各標(biāo)簽的權(quán)值矩陣， 再通過CRF 層學(xué)習(xí)標(biāo)簽間依賴性調(diào)整輸出，最終得到預(yù)測(cè)結(jié)果。

經(jīng)過CRF 層對(duì)最終輸出的約束， 相較于BiLSTM 網(wǎng)絡(luò)，BiLSTM-CRF 網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果不合理現(xiàn)象出現(xiàn)概率大大降低。

1.3 食品安全風(fēng)險(xiǎn)知識(shí)圖譜構(gòu)建

本文將以BiLSTM-CRF 神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，完成食品安全風(fēng)險(xiǎn)知識(shí)圖譜的自動(dòng)構(gòu)建。 將從數(shù)據(jù)預(yù)處理、基于BiLSTM-CRF 的知識(shí)圖譜構(gòu)建、效果及分析三小節(jié)對(duì)構(gòu)建過程進(jìn)行介紹。

1.3.1 數(shù)據(jù)預(yù)處理

目前基于食品安全監(jiān)管知識(shí)抽取數(shù)據(jù)集包括監(jiān)督檢查數(shù)據(jù)集、行政許可數(shù)據(jù)集、信用監(jiān)管數(shù)據(jù)集、行政處罰數(shù)據(jù)集、抽檢監(jiān)測(cè)數(shù)據(jù)集、投訴舉報(bào)數(shù)據(jù)集、登記注冊(cè)數(shù)據(jù)集、違法失信數(shù)據(jù)集等，如表1 所示。

表1 知識(shí)抽取數(shù)據(jù)集Table 1 Dataset for knowledge extraction

因此，經(jīng)過分析權(quán)衡，本文選取以上數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)。 提取2023 年1—5 月數(shù)據(jù)，形成訓(xùn)練集，2023 年6 月份數(shù)據(jù)作為測(cè)試集。 訓(xùn)練集與測(cè)試集數(shù)據(jù)量大致是5∶1，以此構(gòu)建模型訓(xùn)練使用的數(shù)據(jù)集。

1.3.2 基于BiLSTM-CRF 的知識(shí)抽取

深度學(xué)習(xí)中長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）利用上下文信息，通過在模型中引入遺忘門機(jī)制，使得模型可以存儲(chǔ)記憶序列化數(shù)據(jù)， 并將其量化表現(xiàn)為參數(shù)能力。 LSTM 記憶單元結(jié)構(gòu)如圖1 所示[32]。

圖1 LSTM 記憶單元Fig.1 A LSTM memory cell

LSTM 記憶單元中細(xì)胞狀態(tài)的保存和更新由輸入門、遺忘門、輸出門決定。 輸入門將新信息保存到記憶單元，遺忘門控制歷史記憶信息保留哪些，輸出門控制更新后的細(xì)胞狀態(tài)輸出哪些。 記憶單元依照下面一組公式執(zhí)行：

其中σ 是sigmoid 函數(shù)，i 是輸入門，f 是遺忘門，c 是記憶單元，o 是輸出門，h 是隱藏向量，Wxo代表輸入門（x）到輸出門（o）的權(quán)重矩陣，其他權(quán)重矩陣表示同理。

LSTM 網(wǎng)絡(luò)如圖2 所示， 其中淺藍(lán)色部分表示一個(gè)上述LSTM 記憶單元。

圖2 LSTM 網(wǎng)絡(luò)Fig.2 A LSTM network

BiLSTM，即雙向長(zhǎng)短期神經(jīng)網(wǎng)絡(luò)，通過LSTM 特有的記憶單元控制信息傳遞， 有選擇地保留來(lái)自前向和反向上下文信息， 進(jìn)而實(shí)現(xiàn)對(duì)上下文信息利用和對(duì)有效文本記憶功能。 BiLSTM 網(wǎng)絡(luò)如圖3 所示。

圖3 BiLSTM 網(wǎng)絡(luò)Fig.3 A BiLSTM network

CRF 模型具有表達(dá)長(zhǎng)距離依賴性和交疊性特征的能力，通過將輸入的所有特征進(jìn)行全局歸一化，進(jìn)而求得全局最優(yōu)解。

作為BiLSTM 模型和CRF 模型的結(jié)合體，BiLSTM-CRF 模型先通過BiLSTM 層獲取歷史信息和反向信息，輸出每個(gè)字對(duì)于各標(biāo)簽權(quán)值矩陣，再通過CRF 層學(xué)習(xí)標(biāo)簽間依賴性調(diào)整輸出，最終得到預(yù)測(cè)結(jié)果。 圖4 以“生產(chǎn)環(huán)境衛(wèi)生不合格導(dǎo)致食品安全風(fēng)險(xiǎn)”為例，展示了BiLSTM-CRF 網(wǎng)絡(luò)結(jié)構(gòu)及運(yùn)行結(jié)果。

圖4 BiLSTM-CRF 網(wǎng)絡(luò)結(jié)構(gòu)及實(shí)例Fig.4 A BiLSTM-CRF network and instance

在對(duì)BiLSTM-CRF 神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，本文采用當(dāng)前適用性最強(qiáng)，性能最優(yōu)的自適應(yīng)矩估計(jì)（Adam）優(yōu)化器；loss 函數(shù)使用最小負(fù)對(duì)數(shù)似然（NLL）。

本實(shí)驗(yàn)使用精確率 （Precision）、 召回率（Recall）、準(zhǔn)確率（Accuracy）、F1 值（F1-score）4 項(xiàng)作為評(píng)估指標(biāo)。 Precision 衡量模型僅返回所有檢索到的實(shí)例中相關(guān)實(shí)例的能力。 Recall 衡量模型檢索所有相關(guān)實(shí)例的能力。 Accuracy 評(píng)估模型在整個(gè)數(shù)據(jù)集中做出正確預(yù)測(cè)的百分比。 F1-score 是Precision 和Recall 的調(diào)和平均值， 它同時(shí)考慮了測(cè)試精度和召回率。 這4 個(gè)指標(biāo)一起可以對(duì)食品安全風(fēng)險(xiǎn)知識(shí)圖譜構(gòu)建模型進(jìn)行綜合評(píng)價(jià)。 公式如下所示。

模型訓(xùn)練主程序核心代碼如圖5 中偽代碼所示。

圖5 模型訓(xùn)練主程序核心偽代碼Fig.5 Pseudocode of model training program

深度學(xué)習(xí)模型BiLSTM-CRF 構(gòu)造函數(shù)的核心代碼如圖6 代碼塊所示。

圖6 BiLSTM-CRF 模型構(gòu)造函數(shù)偽代碼Fig.6 Pseudocode of BiLSTM-CRF model constructor

1.3.3 食品安全風(fēng)險(xiǎn)知識(shí)圖譜構(gòu)建效果

最初訓(xùn)練的版本模型效果欠佳，F(xiàn)1-score 并不理想，經(jīng)分析本文認(rèn)為可能來(lái)源于參數(shù)選擇不合理，本文采用預(yù)訓(xùn)練-微調(diào)方式和手工標(biāo)注部分平臺(tái)數(shù)據(jù)，使模型學(xué)到一些針對(duì)食品安全風(fēng)險(xiǎn)數(shù)據(jù)的特點(diǎn)，模型效果更適合食品安全風(fēng)險(xiǎn)結(jié)果。 后續(xù)實(shí)驗(yàn)嘗試了多組參數(shù)進(jìn)行對(duì)比分析，最終F1-score 可以達(dá)到較高水平。

本文在不同類型數(shù)據(jù)中， 隨機(jī)抽取一定數(shù)量數(shù)據(jù)項(xiàng)，人工判斷精確率、召回率、F1-score 的性能指標(biāo)，用以測(cè)試不同模型在數(shù)據(jù)中的表現(xiàn)，知識(shí)抽取性能如表2 所示。

表2 隨機(jī)抽取數(shù)據(jù)測(cè)試模型的性能Table 2 Performance for randomly extracted data

在不同分類（如：監(jiān)督檢查、信用監(jiān)管、投訴舉報(bào)等分類）下，系統(tǒng)對(duì)人才數(shù)據(jù)進(jìn)行知識(shí)抽取時(shí)表現(xiàn)出的效果也不盡相同。 教育經(jīng)歷分類下知識(shí)抽取性能如表3 所示；工作經(jīng)歷分類下知識(shí)抽取性能如表4 所示；社會(huì)網(wǎng)絡(luò)分類下知識(shí)抽取性能如表5 所示。

表3 監(jiān)督檢查方面的性能Table 3 Performance for supervision and inspection data

表4 信用監(jiān)管方面的性能Table 4 Performance for credit supervision data

表5 投訴舉報(bào)方面的性能Table 5 Performance for complaints and reports data

根據(jù)表3～5 分析可得，在不同的數(shù)據(jù)信息分類下，知識(shí)抽取算法表現(xiàn)差異較大，該結(jié)果需要根據(jù)數(shù)據(jù)特點(diǎn)進(jìn)行分析是否合理。

監(jiān)督檢查分類下數(shù)據(jù)信息， 一方面存在很多生僻和不規(guī)范數(shù)據(jù)，另一方面，通常這類數(shù)據(jù)不以完成的一句話錄入，模型無(wú)法利用到上下文信息，因此在此項(xiàng)中表現(xiàn)較差。

與之相反的投訴舉報(bào)分類下信息， 通常有較完整的上下文信息如“XX 人于XX 時(shí)間食用了XX 食品，感覺惡心，出現(xiàn)嘔吐”，本文訓(xùn)練出的模型對(duì)這類數(shù)據(jù)分類下信息的知識(shí)抽取效果很好。

基于所抽取原始數(shù)據(jù)的組織結(jié)構(gòu)， 本文將食品安全風(fēng)險(xiǎn)設(shè)置為知識(shí)圖譜的節(jié)點(diǎn)， 以因素間關(guān)聯(lián)關(guān)系作為知識(shí)圖譜的邊。 通過食品安全風(fēng)險(xiǎn)信息中抽取出實(shí)體，對(duì)各因素進(jìn)行關(guān)聯(lián)，再通過信息所在信息項(xiàng)判斷關(guān)聯(lián)關(guān)系。 因素A 在食源性風(fēng)險(xiǎn)信息中出現(xiàn)因素X，因素B 在輿情信息中出現(xiàn)因素X，則因素A與因素B 之間建立關(guān)聯(lián)關(guān)系。 如圖7 所示。

圖7 食品安全風(fēng)險(xiǎn)圖譜構(gòu)建效果展示Fig.7 Demonstration for constructing a food safety risk knowledge graph

為更始圖結(jié)構(gòu)清晰， 限制所展示節(jié)點(diǎn)和邊的總量，不同顏色節(jié)點(diǎn)代表食品安全風(fēng)險(xiǎn)因素，不同顏色的邊代表不同關(guān)聯(lián)關(guān)系。

2 結(jié)論

本文提出一種基于深度學(xué)習(xí)的知識(shí)抽取算法，自動(dòng)構(gòu)建食品安全風(fēng)險(xiǎn)知識(shí)圖譜。 在大數(shù)據(jù)時(shí)代提供了食品安全風(fēng)險(xiǎn)知識(shí)圖譜自動(dòng)抽取方案， 對(duì)于海量食品安全相關(guān)信息， 建立食品安全風(fēng)險(xiǎn)因素之間關(guān)聯(lián)關(guān)系， 為食品安全風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警提供了一種有效的技術(shù)方法。