汪榕 丁洪鑫 周維

摘要： 食品安全的風(fēng)險趨勢分析對于及時發(fā)現(xiàn)食品安全隱患具重要意義。針對食品安全監(jiān)管中數(shù)據(jù)零散、信息封閉、消息滯后所導(dǎo)致的效率難點(diǎn)問題，提出了結(jié)合多源異構(gòu)數(shù)據(jù)的食品質(zhì)量安全風(fēng)險模型。以多源數(shù)據(jù)采集匯集技術(shù)為基礎(chǔ)，利用數(shù)據(jù)治理方法，結(jié)合主題域模型、顯著性分析模型和綜合性評價分析模型，通過組合這三個模型，共同實(shí)現(xiàn)食品安全合規(guī)的自動預(yù)測，取得了良好的效果。

關(guān)鍵詞： 多源數(shù)據(jù)采集匯集； 數(shù)據(jù)治理方法； 主題域模型； 食品安全風(fēng)險模型

中圖分類號：TS201.6；TP391.1? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ? 文章編號：1006-8228（2023）04-106-06

Abstract： The risk trend analysis for food safety has a significant meaning in discovering potential danger of food safety in time. To solve the efficiency problems caused by fragmented data， closed and lagging information， a risk variation tendency analysis model for food safety based on multi-source heterogeneous data is proposed. By using multi-source data acquisition technique and standardized methods of data governance， we combined the subject model， significance analysis model and comprehensive evaluation model to implement the automatic prediction for food safety. Good results have been achieved.

Key words： multi-source data acquisition technique; standardized methods of data governance; subject model; risk variation tendency analysis model for food safety

0 引言

國家對食品安全問題十分重視，制定了食品安全指標(biāo)，但仍然存在零散性、封閉性和滯后性三個缺陷[1]。本研究結(jié)合多源數(shù)據(jù)采集匯集、數(shù)據(jù)標(biāo)準(zhǔn)化治理、數(shù)據(jù)融合分析、食品安全主題域模型、顯著性分析模型和綜合評價分析模型等技術(shù)，建立食品安全趨勢分析模型進(jìn)行風(fēng)險控制，實(shí)現(xiàn)了將食品安全監(jiān)管數(shù)據(jù)、食品安全輿情數(shù)據(jù)和新聞媒體報(bào)道數(shù)據(jù)的融合分析，使得食品安全的各領(lǐng)域質(zhì)檢人員直觀地獲得自己需要的食品安全風(fēng)險趨勢信息，提高食品安全風(fēng)險預(yù)警的準(zhǔn)確性和實(shí)效性，為食品流通階段的風(fēng)險控制創(chuàng)造有利條件。

1 大數(shù)據(jù)采集匯集與融合分析技術(shù)應(yīng)用

目前，大數(shù)據(jù)已基本應(yīng)用到我國食品安全領(lǐng)域的各個角落，采用互聯(lián)網(wǎng)采集技術(shù)、數(shù)據(jù)標(biāo)準(zhǔn)化治理技術(shù)和數(shù)據(jù)融合分析技術(shù)，可以解決食品安全數(shù)據(jù)的“采、治、管、存和用”的問題，實(shí)現(xiàn)對食品生產(chǎn)、加工、運(yùn)輸、包裝、存儲等方面質(zhì)量問題的監(jiān)管，理論上實(shí)現(xiàn)對食品全流通階段的全面風(fēng)險控制[2]。

根據(jù)圖1可知，本研究的多源異構(gòu)數(shù)據(jù)來源主要集中于食品安全監(jiān)管數(shù)據(jù)、微博食品輿情數(shù)據(jù)和新聞媒體報(bào)道數(shù)據(jù)。利用互聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)，去實(shí)時將各網(wǎng)站數(shù)據(jù)進(jìn)行采集和存儲到關(guān)系型數(shù)據(jù)庫中，再通過數(shù)據(jù)集成組件將關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)集成到大數(shù)據(jù)平臺的數(shù)據(jù)湖中，并結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)化治理的手段來進(jìn)行缺失值數(shù)據(jù)處理、錯誤數(shù)據(jù)處理、關(guān)聯(lián)性數(shù)據(jù)驗(yàn)證和不規(guī)范數(shù)據(jù)處理等，最終通過設(shè)計(jì)食品安全主題域模型、顯著性風(fēng)險模型和綜合分析模型去構(gòu)建完整的食品安全趨勢分析模型。

1.1 多源數(shù)據(jù)采集匯集方法

針對食品安全數(shù)據(jù)采集場景，除了常見的食品安全監(jiān)管局網(wǎng)站外，還有可能對微博數(shù)據(jù)開放平臺進(jìn)行接口采集，以及直接爬取各地方新聞媒體數(shù)據(jù)。因此，面對錯綜復(fù)雜的食品安全數(shù)據(jù)采集場景，針對不同數(shù)據(jù)源，選擇合適的數(shù)據(jù)采集技術(shù)是至關(guān)重要的，具體場景下的采集技術(shù)選型如表1所示。

結(jié)合食品安全風(fēng)險趨勢分析的數(shù)據(jù)源情況及數(shù)據(jù)需求，設(shè)計(jì)數(shù)據(jù)采集解決方案技術(shù)架構(gòu)如圖2所示。

通過多源數(shù)據(jù)采集架構(gòu)，完成數(shù)據(jù)采集、存儲和管理，為后續(xù)標(biāo)準(zhǔn)化數(shù)據(jù)治理做好準(zhǔn)備。

1.2 食品安全數(shù)據(jù)處理方法

食品安全多源數(shù)據(jù)采集完成后，接下來是食品安全數(shù)據(jù)的標(biāo)準(zhǔn)化處理[3]，主要是針對食品安全數(shù)據(jù)中存在的缺失值數(shù)據(jù)處理場景、錯誤數(shù)據(jù)處理場景、關(guān)聯(lián)性數(shù)據(jù)驗(yàn)證場景和不規(guī)范數(shù)據(jù)處理場景，具體的數(shù)據(jù)標(biāo)準(zhǔn)化處理流程圖如圖3所示。

對于具體的食品安全數(shù)據(jù)標(biāo)準(zhǔn)化處理規(guī)則，它是開展數(shù)據(jù)標(biāo)準(zhǔn)化治理工作前期的預(yù)判斷環(huán)節(jié)，通過預(yù)先配置的數(shù)據(jù)標(biāo)準(zhǔn)處理規(guī)則，一方面可以節(jié)省食品安全數(shù)據(jù)標(biāo)準(zhǔn)化處理的效率，另一方面可以評估食品安全原始數(shù)據(jù)源的數(shù)據(jù)質(zhì)量情況。

而對于食品安全數(shù)據(jù)存在的四種治理場景，具體處理方法如表2所示。

1.3 食品安全風(fēng)險主題域模型設(shè)計(jì)方法

在食品安全數(shù)據(jù)標(biāo)準(zhǔn)化治理完成后，需要先構(gòu)建食品安全風(fēng)險主題域模型?？紤]到食品領(lǐng)域的種類非常復(fù)雜，具體包括主食、肉類、蔬菜、水果、水、飲料、各種調(diào)味劑等，本研究的食品安全主題域模型設(shè)計(jì)是參考國際食品法典委員會（CAC）食品分類標(biāo)準(zhǔn)，將食品安全風(fēng)險主題域模型設(shè)計(jì)按照六個層次來分類，分別是生產(chǎn)地、檢測地、檢測時間、食品分類、檢測指標(biāo)和輿情監(jiān)控。這種分類方式有利于不同時期，不同地域，不同種類的食品安全風(fēng)險趨勢分析的相互轉(zhuǎn)換和組合，總體框如圖4所示。

加強(qiáng)食品安全風(fēng)險信息的管理，有助于實(shí)現(xiàn)食品安全問題的早發(fā)現(xiàn)、早研判、早預(yù)警和早處理。

2 食品安全風(fēng)險趨勢分析模型建立

2.1 食品安全顯著性分析模型建立

2.1.1 各類食品指標(biāo)的標(biāo)準(zhǔn)化方法

在上述研究的基礎(chǔ)上，要對不同食品種類的數(shù)據(jù)進(jìn)行比較，可先將它們分別標(biāo)準(zhǔn)化，轉(zhuǎn)化成無量綱的標(biāo)準(zhǔn)化數(shù)據(jù)，因而可以借助于標(biāo)準(zhǔn)化方法來消除數(shù)據(jù)量綱的影響。標(biāo)準(zhǔn)化公式為：

其中，[xi]指不同食品種類檢測的實(shí)際數(shù)據(jù)，[yi]指標(biāo)準(zhǔn)化后的檢測數(shù)據(jù)，而[x=1ni=1nxi]表示檢測指標(biāo)的求和平均值，[s=1n-1i=1n（xi-x）2]表示檢測指標(biāo)的標(biāo)準(zhǔn)差。因此指標(biāo)實(shí)際值與評價值的最終關(guān)系如圖5所示。

可以看出，無論指標(biāo)的實(shí)際值如何，指標(biāo)的評價值總是分布在零的兩側(cè)。指標(biāo)實(shí)際值比平均值大的，其評價值為正，反之為負(fù)。為了更符合習(xí)慣，我們可以將食品種類的合格率轉(zhuǎn)化為百分?jǐn)?shù)形式，比如用公式：

均值轉(zhuǎn)化為60，超過均值的轉(zhuǎn)化為60以上，反之則在60以下。這種“百分?jǐn)?shù)”還不同于一般的百分?jǐn)?shù)，因?yàn)閭€別極端數(shù)值的轉(zhuǎn)化只可能超過[0，100]區(qū)間。

2.1.2 顯著性分析模型建立的準(zhǔn)備

可信度（reliability），可以定義為統(tǒng)計(jì)測量的響應(yīng)中可變性的比例。根據(jù)樣本個數(shù)的不同，最初的可信度評價等級已經(jīng)不能很好的詮釋多樣本下的指標(biāo)權(quán)重比例，因此本文在原來的基礎(chǔ)上做了如下改進(jìn)：

其中，[ni]為每個樣本數(shù)，公式中求其總數(shù)值。[ω]為標(biāo)準(zhǔn)權(quán)重水平，[ωi]為樣本指標(biāo)的權(quán)重值，[ωi]為改進(jìn)后的劃分權(quán)重值。

為了對可信度進(jìn)行等級劃分，利用式⑶和式⑷，表5給出了主觀可信度的等級劃分：

因此，從主觀可信度矩陣可以看出，在給出可信度時，僅需給出主觀可信度矩陣的上（或者下）二角的元素即可，由于主觀可信度矩陣C與判斷矩陣A的元素一一對應(yīng)，對矩陣C作列和歸一化操作，即可得到每一列判斷的主觀可信度權(quán)重，即

2.2 食品安全綜合性分析模型建立

通過上述的求解結(jié)果，結(jié)合食品安全數(shù)據(jù)的分析，本文通過將不合格比率進(jìn)行劃分，從而確定每次抽檢各類食品安全指標(biāo)不合格的程度。

根據(jù)安全指標(biāo)處理后的數(shù)據(jù)特點(diǎn)，我們結(jié)合Liker等級分類原理進(jìn)行等級劃分，其區(qū)間劃分如表4。

在綜合評價時，如果遇到定性的指標(biāo)，這些指標(biāo)必須經(jīng)過處理才能與其他量化指標(biāo)一起運(yùn)用。因此，我們結(jié)合食品種類的風(fēng)險監(jiān)測指標(biāo)進(jìn)行變化趨勢分析。

2.3 食品安全風(fēng)險趨勢分析模型建立

在上述步驟之后，挑選不同的食品種類，分析其食品安全風(fēng)險趨勢最大的影響因子，并通過Python對其變化趨勢進(jìn)行深入分析，最終決定選擇指數(shù)平滑的時間序列算法作為食品安全風(fēng)險趨勢分析的技術(shù)實(shí)現(xiàn)[4]，模型的建立具體如下。

3 實(shí)驗(yàn)與測評

3.1 數(shù)據(jù)準(zhǔn)備

本論文以市場監(jiān)督管理局網(wǎng)站的食品安全監(jiān)管數(shù)據(jù)、微博食品輿情數(shù)據(jù)和新聞媒體報(bào)道數(shù)據(jù)[5]為研究對象，其數(shù)據(jù)范圍覆蓋了豆制品、熟肉制品、調(diào)味品、蔬菜、蛋制品、休閑食品和酒水類等食品種類的抽樣檢測數(shù)據(jù)。原始數(shù)據(jù)共包含了23552條數(shù)據(jù)，每條數(shù)據(jù)包含了生產(chǎn)地、檢測地、檢測時間、食品分類、檢測指標(biāo)和輿情監(jiān)控等字段。針對食品安全風(fēng)險趨勢分析的預(yù)測需求，我們從原始數(shù)據(jù)中提取了所有字段用于構(gòu)建數(shù)據(jù)集[6]。

我們對原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化數(shù)據(jù)治理，在大數(shù)據(jù)平臺中構(gòu)建了原始區(qū)、標(biāo)準(zhǔn)區(qū)、主題區(qū)和專題區(qū)，其中原始區(qū)構(gòu)建目的是存儲源數(shù)據(jù)，保持貼源1：1原則。標(biāo)準(zhǔn)區(qū)構(gòu)建目的是為了針對原始數(shù)據(jù)開展標(biāo)準(zhǔn)化數(shù)據(jù)治理工作，提升食品安全數(shù)據(jù)質(zhì)量。主題區(qū)構(gòu)建目的是為了圍繞食品安全對象去設(shè)計(jì)主題域模型，解決食品安全多源數(shù)據(jù)融合分析的問題。專題區(qū)構(gòu)建的目的是為了支撐食品安全風(fēng)險趨勢分析模型的建立，提供數(shù)據(jù)服務(wù)支撐。

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 顯著性分析模型求解

在此基礎(chǔ)上，為了支撐最終模型的構(gòu)建，我們首先對各類食品檢測指標(biāo)數(shù)據(jù)進(jìn)行了無量綱化處理，得到豆制品（A）、熟肉制品（B）、調(diào)味品（C）、蔬菜（D）、蛋制品（E）、休閑食品（F）和酒水類（G）等食品種類在最近三年不合格率的風(fēng)險得分矩陣，再結(jié)合變量相關(guān)性模型公式（5）求解得到分類食品所占的權(quán)重比，最終篩選出顯著性食品種類進(jìn)行指標(biāo)變化趨勢分析[7]。

通過如上的表格，利用公式⑸計(jì)算出豆制品、熟肉制品、調(diào)味品、蔬菜、蛋制品、休閑食品和酒水類的權(quán)重如下所示：

（0.0944，0.0179，0.4549，-0.0093，0.0320，0.1599，0.1075）

通過分析所劃分后的權(quán)重值大小，我們得到在食物種類的豆制品，調(diào)味品，休閑食品和酒水類樣本中，他們的可靠性評估標(biāo)準(zhǔn)為非常有把握和完全有把握，因此本文接下來將對這四類食物種類進(jìn)行風(fēng)險趨勢變化分析。

3.2.2 綜合性分析模型求解

通過上述的求解結(jié)果，我們將挑選四類食品的風(fēng)險指標(biāo)在最近三年內(nèi)的不合格比例統(tǒng)計(jì)出來，再結(jié)合采用Liker四級量表，將食品指標(biāo)的合格程度分成四級，分別是：第I類、第II類、第III類和第IV類，相應(yīng)賦值為4、3、2、1。在綜合評價時，這些定性指標(biāo)的信息必須經(jīng)過處理才能一起使用，因此我們利用上述定性指標(biāo)的量化公式⑹進(jìn)行處理[8]，最終得到安全指標(biāo)在剩余四類食品所影響的風(fēng)險趨勢得分如下所示：

通過上述表所給的信息，我們可以得到在豆制品，調(diào)味品，蛋制品和酒水類食物中，其顯著指標(biāo)分別為微生物、食品添加劑、抗生素和微生物，因此，我們結(jié)合所篩選出來的指標(biāo)進(jìn)行變化趨勢分析。

3.2.3 風(fēng)險趨勢分析模型求解

結(jié)合上述步驟并考慮求解過程的一致性，我們這里只針對酒水類進(jìn)行求解，對酒水類中所給的風(fēng)險趨勢指標(biāo)數(shù)據(jù)進(jìn)行曲線擬合[9]，考慮到數(shù)據(jù)的正負(fù)號，首先通過公式⑵進(jìn)行負(fù)向指標(biāo)正向化處理，最后再利用Python求解結(jié)果如下所示：

由圖6可知，預(yù)測的檢測指標(biāo)合格變化趨勢呈現(xiàn)緩慢增長，基本與實(shí)際情況相吻合。反推可知食品安全不合格率的趨勢變化情況，為食品安全流通各環(huán)節(jié)提供有力的監(jiān)管支撐[10]。

4 結(jié)束語

本文采用多源數(shù)據(jù)采集匯集技術(shù)、數(shù)據(jù)治理方法、食品安全顯著性分析模型和食品綜合性分析模型結(jié)合的方法實(shí)現(xiàn)食品安全風(fēng)險趨勢分析的自動預(yù)測。其中多源數(shù)據(jù)采集匯集技術(shù)和數(shù)據(jù)治理方法是本文研究的核心，通過對多源異構(gòu)數(shù)據(jù)進(jìn)行采集、匯集、治理和融合處理，保障了數(shù)據(jù)處理的實(shí)效性以及數(shù)據(jù)質(zhì)量的可靠性。同時在模型構(gòu)建的環(huán)節(jié)，本研究沒有使用單一的模型對問題進(jìn)行分析求解，而是綜合運(yùn)用了多種數(shù)學(xué)模型，并增加了一定的檢驗(yàn)環(huán)節(jié)，提高了數(shù)據(jù)的合理性，同時也增加了研究的價值。實(shí)驗(yàn)表明，本文提出的多源數(shù)據(jù)采集融合的食品安全風(fēng)險模型在合格率預(yù)測中表現(xiàn)較好，即本文模型對食品安全監(jiān)測達(dá)到良好的分類效果。但經(jīng)擴(kuò)展后的數(shù)據(jù)與真實(shí)數(shù)據(jù)仍存在差異，這也是后期模型待解決的問題，后續(xù)我們將工作重點(diǎn)投入到有效的數(shù)據(jù)擴(kuò)展中，提高預(yù)測的準(zhǔn)確率。

參考文獻(xiàn)（References）：

[1] 郝記明，馬麗艷，李景明.食品安全問題及其控制食品安全的措施[J].食品與發(fā)酵工業(yè)，2004，30（12）：63-66

[2] 肖輝，任鵬程，肖革新，等.食品安全健康大數(shù)據(jù)平臺構(gòu)建[J].醫(yī)學(xué)信息學(xué)雜志，2016，37（5）：28-31

[3] 郭曙超，龔方，昃向君，等.食品安全檢測數(shù)據(jù)倉庫技術(shù)的應(yīng)用于研究[J].食品研究與開發(fā)，2013，34（17）：125-127

[4] 王雅潔，楊冰，羅艷，等.大數(shù)據(jù)挖掘在食品安全風(fēng)險預(yù)警領(lǐng)域的應(yīng)用[J].安徽農(nóng)業(yè)科學(xué)，2015，43（8）：332-334

[5] 張曉勇，李剛，張莉.中國消費(fèi)者對食品安全的關(guān)切——對天津消費(fèi)者的調(diào)查與分析[J].中國農(nóng)村觀察，2004，9（1）：14-21

[6] MITCHELL R.Web scraping with python：collecting more data from the modern web[M].2nded.Sebastopol：O'Reilly，2018：122-125

[7] MAATEN L，HINTONG.Visualizing data using t-SNE[J].Journal of Machine Learning Research，2008，9（86）：2579-2605

[8] KRAWCZYK B.Learning from imbalanced data：open challenges and future directions[J].Progress in Artificial Intelligence，2016，5（4）：221-232

[9] ETHEM A.Machinelearning：the new AI[M].[s.l.]：MitPress，2016：1-30

[10] Yongming Han. Food quality and safety risk assessment using a novel HMM method based on GRA[J]. Food Control，2019（105）：180-189

*基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目（U20B2069）

作者簡介：汪榕（1993-），男，貴州安順人，學(xué)士，工程師，主要研究方向：大數(shù)據(jù)技術(shù)、數(shù)據(jù)挖掘、數(shù)據(jù)治理。