馬蘭芳 薛怡蓉

(1. 北京郵電大學(xué)醫(yī)院院長辦公室，北京 100876；2. 北京郵電大學(xué)人工智能學(xué)院，北京 100876)

慢性病是嚴(yán)重威脅我國居民健康的一類疾病，已成為影響國家經(jīng)濟社會發(fā)展的重大公共衛(wèi)生問題[1]。隨著我國工業(yè)化、人口老齡化進程不斷加快，居民生活方式對健康的影響逐步顯現(xiàn)，慢性病患病及死亡人數(shù)不斷增加，群眾慢性病疾病負(fù)擔(dān)日益加重，這也給我國的醫(yī)療體系帶來沉重的壓力。不健康的飲食習(xí)慣是心血管疾病、糖尿病等一系列慢性病發(fā)生和發(fā)展的主要危險因素[2]，而合理飲食與營養(yǎng)干預(yù)是治療慢性病的重要手段。一方面，營養(yǎng)干預(yù)投入的經(jīng)濟和醫(yī)療資源都相對較少，患者易于接受，另一方面，也能有效降低多種慢性病并發(fā)癥的發(fā)生率和病死率，延長患者生存時間。

臨床常見的膳食調(diào)查方法有24 h膳食回顧法和食物頻率問卷法[3]，營養(yǎng)師將通過患者每天記錄的攝入食物數(shù)量及種類，估算食物熱量及蛋白質(zhì)總量，并進行膳食攝入情況的評估。此類方法操作簡單，但高度依賴于患者的有效合作與營養(yǎng)師的專業(yè)知識及經(jīng)驗，且較為耗時，難以進行及時反饋。

由于手機等移動端設(shè)備的普及，食物圖像的獲取更為方便，這為智能營養(yǎng)評估提供了數(shù)據(jù)支持[4-5]。而隨著人工智能(artificial intelligence，AI)技術(shù)的發(fā)展，深度學(xué)習(xí)技術(shù)在食物圖像的識別分類與檢測領(lǐng)域取得了較大進展[6-8]，使得膳食評估的智能化成為可能。

因此本研究基于慢性病患者每日攝入食物的圖像信息，使用深度學(xué)習(xí)技術(shù)與圖像分割算法，建立智能營養(yǎng)評估系統(tǒng)?；颊呖呻S時隨地上傳每日攝入食物的圖片，即可獲得食物的食譜、食材種類及對應(yīng)的能量、蛋白質(zhì)等營養(yǎng)素信息。整個過程方便快捷，且大大節(jié)省了評估時間。該系統(tǒng)能夠給予患者及時高效的反饋，一定程度上減輕了營養(yǎng)師的工作壓力，也可提高患者的依從性，方便患者進行每日膳食攝入的自我監(jiān)督，有利于病情的改善。

1 資料與方法

1.1 數(shù)據(jù)來源

本研究使用目前業(yè)界公認(rèn)的中餐基準(zhǔn)食譜數(shù)據(jù)集Vireo Food-172[9]，進行食譜與食材的分析和識別；采用“美食天下”網(wǎng)站(https://home.meishichina. com/recipe.html)上的食譜數(shù)據(jù)并對其進行處理，用于構(gòu)建質(zhì)量參考庫；查詢《中國食物成分表》[10]中的食材信息，建立營養(yǎng)成分表，以上數(shù)據(jù)均可公開獲取。

1.2 數(shù)據(jù)集構(gòu)建

Vireo Food-172數(shù)據(jù)集：是由香港城市大學(xué)陳晶晶團隊公開發(fā)布的食譜數(shù)據(jù)集，包含172種常見的中餐食譜及353種食材，共有110 241張食物圖片，尺寸均為256×256像素，平均每張圖片包含3種食材。該數(shù)據(jù)集已劃分好訓(xùn)練集、驗證集與測試集，分別對應(yīng)66 071張、11 016張與33 154張食物圖像，測試集可直接用于驗證本文模型在食譜與食材分類上的性能。

質(zhì)量參考庫：處理“美食天下”網(wǎng)站上的食譜信息，得到與Vireo Food-172數(shù)據(jù)集中172類食譜相關(guān)的數(shù)據(jù)，具體包含食譜圖片、食材種類及質(zhì)量；利用超像素分割算法計算每張食譜圖像的食物與餐盤面積比Ratio0，該數(shù)值用于后續(xù)的食材質(zhì)量計算，接著將每類食譜中的圖片包含的食材種類、質(zhì)量以及面積比取均值，得到172類食譜的食材質(zhì)量參考值。具體示例如表1所示。

表1 質(zhì)量參考庫示例Tab.1 Example of weight reference table

營養(yǎng)成分表：查詢《中國食物成分表》[10]的食材營養(yǎng)成分?jǐn)?shù)據(jù)，獲取Vireo Food-172數(shù)據(jù)集中353種食材對應(yīng)的營養(yǎng)素信息，建立營養(yǎng)成分表。具體示例如表2所示，表格中的數(shù)據(jù)表示100 g食材對應(yīng)的營養(yǎng)素信息，Portion為食材的生物利用度，該數(shù)值用于計算食材的可食用質(zhì)量，如100g排骨中僅有68 g可供人們食用。

表2 營養(yǎng)成分表示例

1.3 數(shù)據(jù)增強

為增加訓(xùn)練樣本的數(shù)量及多樣性，提升模型魯棒性，本文模型針對食譜圖像實現(xiàn)數(shù)據(jù)增強，具體包括隨機長寬比例裁剪、隨機水平翻轉(zhuǎn)。模型的輸入圖像尺寸大小應(yīng)一致，依據(jù)常見分類網(wǎng)絡(luò)的數(shù)據(jù)增強策略[11]，原始食譜的圖像分辨率為256×256，將其隨機裁剪為224×224，此時一張圖可擴充為32×32張圖片，從而達到擴充樣本的目的。隨機水平翻轉(zhuǎn)是將原始圖像像素在位置空間上進行變換，從而增加樣本的多樣性。

1.4 模型算法

基于深度學(xué)習(xí)技術(shù)與圖像處理方法，構(gòu)建針對慢性病患者的智能膳食評估系統(tǒng)。該系統(tǒng)將采用移動終端拍攝的食物圖像作為研究對象，首先采用卷積神經(jīng)網(wǎng)絡(luò)對食譜及食材種類進行預(yù)測，得到圖像的食譜及食材信息，接著借助超像素分割方法與質(zhì)量參考庫，計算出食材質(zhì)量；最后查詢營養(yǎng)成分表，得到食譜的營養(yǎng)素信息，從而模擬出營養(yǎng)師對食物的營養(yǎng)素計算過程。具體流程如圖1所示。

圖1 智能營養(yǎng)評估系統(tǒng)框架圖Fig.1 Architecture of nutrient assessment systemDB：database.

該系統(tǒng)主要分為四大模塊：食譜與食材分類、食物分割、食材質(zhì)量生成與營養(yǎng)估算。

食譜與食材分類模塊：本文采用高分辨率的卷積神經(jīng)網(wǎng)絡(luò)[12](high-resolution network, HRNet)，通過并行連接高低分辨率的子網(wǎng)絡(luò)保持圖像的高分辨率，同時采用重復(fù)的多尺度特征融合得到食物圖像豐富的多尺度特征，最終使用兩個獨立的全連接層分別進行食譜與食材的分類預(yù)測。

食物分割模塊：基于線性迭代聚類算法(simple linear iterative clustering，SLIC)對食物圖像進行超像素分割[13]，利用圖像像素之間紋理、顏色、亮度等特征的相似性將像素分組，得到食物與餐盤的二值化圖像，圖2A表示食物原圖；圖2B圖為經(jīng)過超像素分割提取到的食物部分，其中白色部分為食物；圖2C中的白色部分則為未被食物覆蓋的餐盤部分。

圖2 超像素分割示例Fig.2 Example of super-pixel segmentationA: original image of food； B: region of food (white part) extracted by simple linear iterative clustering algorithm; C: region of plate (white part) extracted by simple linear iterative clustering algorithm.

食材質(zhì)量生成模塊：依據(jù)公式(1)計算食物分割模塊提取的食物圖(Food)與餐盤圖(Plate)面積之比(Ratio)；查詢質(zhì)量參考庫，獲取預(yù)測食譜種類對應(yīng)的標(biāo)準(zhǔn)(Ratio0)與質(zhì)量參考值(Weightrefk)，依據(jù)公式(2)計算出預(yù)測的食材質(zhì)量；其中k為預(yù)測的食材種類。

(1)

其中Foodi,j表示二值化食物圖Food坐標(biāo)為(i,j)位置對應(yīng)的像素值，非0即1。

(2)

營養(yǎng)估算模塊：考慮到排骨、玉米等食材的不可食用部分不必計入營養(yǎng)素的計算中，本模塊首先依據(jù)公式(3)計算食材的可食用部分質(zhì)量(Weighteatk)；接著查詢營養(yǎng)成分表，得到100 g食材的營養(yǎng)素信息(Nutrition0)，即可計算出食材對應(yīng)的營養(yǎng)素(Nutritionk)，最終對所有食材的各個營養(yǎng)素進行累加，得到慢性病患者日常飲食中各種食材對應(yīng)的營養(yǎng)素信息。

(3)

針對模型預(yù)測的食材種類及質(zhì)量，慢性病患者可默認(rèn)選擇系統(tǒng)自動生成的質(zhì)量；而當(dāng)患者認(rèn)為食材種類與質(zhì)量不夠準(zhǔn)確時，系統(tǒng)也預(yù)留了修正接口，允許患者對結(jié)果進行增加、修改與刪除操作，使?fàn)I養(yǎng)素的估計更加精準(zhǔn)。

1.5 統(tǒng)計學(xué)方法與結(jié)果評價

為更加準(zhǔn)確和全面地評估模型，本文將基于Python 3.7語言，使用深度學(xué)習(xí)分類評估方法與統(tǒng)計學(xué)的分位數(shù)統(tǒng)計方法對系統(tǒng)的食譜及食材分類結(jié)果、營養(yǎng)素評估結(jié)果進行評價。

1.5.1 食譜及食材分類評估

采用Top1、Top5準(zhǔn)確率作為食譜分類的評估指標(biāo)，其中Top1準(zhǔn)確率是指對一張圖片，若預(yù)測概率最大的類別與圖片的真實類別一致，則認(rèn)為分類正確；同理，Top5準(zhǔn)確率是指對一張圖片，若預(yù)測概率前五名的類別中包含圖片的真實類別，則認(rèn)為分類正確，目前Top1、Top5準(zhǔn)確率也是圖像分類模型的常用評估指標(biāo)。

在多標(biāo)簽分類任務(wù)中，采用Micro-F1與Macro-F1作為食材分類的評估指標(biāo)[9]，其中Micro-F1表示所有食材類別的預(yù)測準(zhǔn)確率，Macro-F1則單獨考慮每類食材的分類準(zhǔn)確率，再進行加權(quán)平均。

Micro-F1計算公式如下：

(4)

其中micro-P表示所有圖像在食材分類任務(wù)中的精準(zhǔn)率，micro-R表示所有圖像在食材分類任務(wù)中的召回率，二者的計算公式如下：

(5)

Macro-F1計算公式如下：

(6)

其中macro-P表示所有類別的精準(zhǔn)率，macro-R表示所有類別的召回率，二者的計算公式如下：

(7)

1.5.2 營養(yǎng)素評估

由于Vireo Food-172數(shù)據(jù)集中的食物圖片未包含食材的質(zhì)量信息，即無法得到食譜營養(yǎng)素的真實值，則難以對其評估結(jié)果進行客觀的量化。為解決該難題，本文則選取“美食天下”食物圖片作為測試樣本，平均每類食譜包含7張測試圖片，共計1 227張，依據(jù)圖片對應(yīng)的真實食材種類及質(zhì)量進行營養(yǎng)素的計算，并將其作為食物圖像的營養(yǎng)素真實值。針對系統(tǒng)最終輸出的營養(yǎng)素估算結(jié)果，計算估計值與真實值之間的絕對誤差，采用中位數(shù)(Median)和四分位數(shù)間距(interquartile range，IQR)進行評估。

1.6 模型訓(xùn)練與測試

采用Python 3.7、OpenCV數(shù)字圖像處理庫與PyTorch深度學(xué)習(xí)框架進行模型訓(xùn)練與測試。依據(jù)以上算法，建立針對慢性病患者的智能膳食評估模型；將經(jīng)過數(shù)據(jù)增強后的圖像進行多輪迭代訓(xùn)練，對不同參數(shù)進行調(diào)整測試，得到最優(yōu)模型。

2 結(jié)果

2.1 食譜及食材分類預(yù)測

基于HRNet模型進行建模訓(xùn)練并測試，將預(yù)測結(jié)果與測試集中的真實數(shù)據(jù)進行比較，最終得到模型分類性能評價。食譜分類Top1準(zhǔn)確率達到89.72%，Top5分類準(zhǔn)確率達到98.08%。 食材分類指標(biāo)Micro-F1達到79.06%、Macro-F1達到64.28%，取得了目前最佳性能。

計算353種食材所對應(yīng)的F1值，取F1值最高的前3類食材進行顯示，統(tǒng)計結(jié)果如表3所示。其中饅頭、螃蟹與小龍蝦的指標(biāo)性能最好，精準(zhǔn)率Pi與召回率Ri均達到97%以上，以上3種食材的形態(tài)相對固定，且顏色、形狀等特征較為明顯，樣本量也相對豐富，因此網(wǎng)絡(luò)對它們的識別能力較強。

表3 食材預(yù)測結(jié)果統(tǒng)計Tab.3 The statistical results of ingredients prediction

圖3 圖像分類結(jié)果可視化Fig.3 Visualized image classification A: true; B: predict.

為了說明模型的可解釋性，可視化模型中間結(jié)果如圖3所示。原圖像為圖3A，可視化特征圖如圖3B所示，紅色部分表示網(wǎng)絡(luò)特別關(guān)注的區(qū)域及特征，可以看出，食物部分對最終分類結(jié)果的“貢獻度”最高，說明網(wǎng)絡(luò)可以較好地提取食物的圖像特征，從而進行食譜與食材分類。圖3B下方為網(wǎng)絡(luò)預(yù)測的食譜與食材類別，均與圖像3A下方真實值一致，食材名稱右側(cè)為網(wǎng)絡(luò)預(yù)測的食材概率，概率值越大，說明網(wǎng)絡(luò)預(yù)測為該食材的可能性越大，也越接近真實標(biāo)簽，即模型預(yù)測能力較好。

2.2 營養(yǎng)估計

依據(jù)2.1中模型預(yù)測的食譜及食材類別以及食物與餐盤面積比，對食物圖像進行營養(yǎng)素估算，統(tǒng)計模型估計結(jié)果與真實值之間的誤差，評估模型的營養(yǎng)素預(yù)測性能。詳見表4。

表4 各類營養(yǎng)素的誤差分布Tab.4 The error distribution of nutrients

結(jié)果顯示，系統(tǒng)對脂肪、蛋白質(zhì)與碳水化合物的評估能力較好，這三者的絕對誤差相對較低，誤差中位數(shù)均小于10 g，而由于能量的度量單位與以上三者不同，其度量值也較大，導(dǎo)致能量的絕對誤差值較高；能量真實值的均值為439.35 Kcal，誤差中位數(shù)與該均值的比值為0.38，說明系統(tǒng)對能量的預(yù)測仍處于合理的范圍內(nèi)。

3 討論

根據(jù)《中國居民營養(yǎng)與慢性病狀況報告》[14]顯示，高血壓、糖尿病、心腦血管病等慢性病的患病率在逐年上升，吸煙、過量飲酒、身體活動不足和高鹽、高脂等不健康飲食是慢性病發(fā)生、發(fā)展的主要行為危險因素，而對居民的營養(yǎng)改善是遏制慢性病高發(fā)態(tài)勢的重要手段之一。

對于病情較輕的慢性病患者來說，一般謹(jǐn)遵醫(yī)囑即可有效緩解慢性病的發(fā)展態(tài)勢，但由于營養(yǎng)學(xué)知識的匱乏，患者對營養(yǎng)師的建議理解可能存在偏差，往往會出現(xiàn)過度控制飲食以致出現(xiàn)營養(yǎng)不良等狀況；而對于病情較重的慢性病患者來說，一般則需要營養(yǎng)師對患者進行更為詳細(xì)和頻繁地指導(dǎo)，但目前高水平的營養(yǎng)師資源較為缺乏，患者難以得到有效的指導(dǎo)和監(jiān)督[15]，并且在這個過程當(dāng)中，患者需親自記錄每日飲食攝入情況并不定期去醫(yī)院復(fù)查，與專業(yè)營養(yǎng)師進行溝通交流，整個過程較為繁瑣、耗時。

本研究建立的針對慢性病患者的智能膳食評估系統(tǒng)，則可以在一定程度上緩解患者營養(yǎng)學(xué)知識較為匱乏、營養(yǎng)師資源較為短缺的情況。一方面，本系統(tǒng)將食物圖片與營養(yǎng)學(xué)知識結(jié)合在一起，利用深度學(xué)習(xí)技術(shù)完成食物的膳食智能評估，提供患者每日飲食攝入的營養(yǎng)素參考信息，方便患者進行營養(yǎng)的合理搭配，從而緩解其營養(yǎng)不良或過剩的狀況；針對系統(tǒng)評估結(jié)果，本系統(tǒng)食譜準(zhǔn)確率達到89.72%，食材分類評估指標(biāo)Micro-F1相較于目前性能[9]提升了23.66%，Macro-F1提升了29.35%，以較高的準(zhǔn)確率完成食譜與食材的預(yù)測，從而為食物營養(yǎng)素的智能評估奠定了基礎(chǔ)，最終的評估結(jié)果表明，脂肪、蛋白質(zhì)與碳水化合物的預(yù)測值與真實值的絕對誤差較低，能量的誤差相對偏高，但仍處于合理的范圍內(nèi)。另一方面，用戶隨時隨地拍攝食物圖像并將其上傳至系統(tǒng)，本系統(tǒng)即可在幾秒內(nèi)完成食物的營養(yǎng)評估，整個過程方便快捷，且操作簡單，大大節(jié)省了評估時間與成本；營養(yǎng)素的評估信息也可上傳至云端，供營養(yǎng)師訪問與查看，方便營養(yǎng)師對患者日常飲食狀況進行監(jiān)督及評估，隨時隨地給出膳食建議，降低對患者的反饋時間；雙方溝通時間的縮短能進一步增加營養(yǎng)師可管理的患者數(shù)量，隨著管理患者數(shù)量的增加，營養(yǎng)師仍可依據(jù)患者的病情與癥狀對患者進行分類管理，提升工作效率。

由于中餐食譜數(shù)據(jù)集的制作存在較大挑戰(zhàn)，如食譜類別難以劃分，不同食材組成的食譜可能誤分為同一類食譜，目前尚未有較完善的大規(guī)模中餐食譜數(shù)據(jù)集發(fā)布，因此本系統(tǒng)所采用的食譜數(shù)據(jù)集種類及圖片數(shù)量有限，仍需在更多食譜數(shù)據(jù)集上進行測試與驗證。在實際使用過程當(dāng)中，系統(tǒng)可以以一種在線的方式收集用戶拍攝的大量食物圖像與用戶的反饋信息，從而擴充食譜訓(xùn)練數(shù)據(jù)集，增強模型的泛化能力，使其識別得更為廣泛、精確。而對于食材質(zhì)量預(yù)測來說，其準(zhǔn)確性受質(zhì)量參考庫的影響，而質(zhì)量參考庫的建立需大量食譜的圖片、食材種類及質(zhì)量等信息，目前這部分信息仍有待完善，導(dǎo)致營養(yǎng)素評估結(jié)果穩(wěn)定性欠佳，因此后續(xù)仍需繼續(xù)擴充食譜數(shù)據(jù)量，完善質(zhì)量參考庫，以期得到性能穩(wěn)定的營養(yǎng)評估系統(tǒng)。

綜上所述，本研究提出了針對慢性病患者的高效便捷的智能膳食評估系統(tǒng)。該系統(tǒng)同樣適用于需合理控制每日飲食攝入的健康人群，可為他們提供及時的食物營養(yǎng)信息反饋，方便用戶依據(jù)營養(yǎng)素信息對食物攝入進行相應(yīng)的調(diào)整，達到飲食攝入的每日監(jiān)控目的，從而有效預(yù)防糖尿病、心血管疾病等慢性病的發(fā)生。后續(xù)隨著與專業(yè)營養(yǎng)師的進一步合作，本系統(tǒng)將基于患者的基礎(chǔ)信息、食物營養(yǎng)素信息以及營養(yǎng)師的專業(yè)知識智能給出膳食建議以及風(fēng)險評估，進一步緩解營養(yǎng)師資源緊缺問題，改善慢性病患者的診療體驗，提高其健康水平。