李仕超 高梓成 郭 浩 鄧志揚(yáng) 馬 瑞 雷 杰 張 昊

(1.中國(guó)農(nóng)業(yè)大學(xué) 土地科學(xué)與技術(shù)學(xué)院，北京 100083； 2.中國(guó)農(nóng)業(yè)大學(xué) 信息與電氣工程學(xué)院，北京 100083； 3.中國(guó)農(nóng)業(yè)大學(xué) 食品科學(xué)與營(yíng)養(yǎng)工程學(xué)院，北京 100083)

不合理膳食導(dǎo)致的健康風(fēng)險(xiǎn)是當(dāng)今社會(huì)重點(diǎn)關(guān)注的問(wèn)題[1-3]，及時(shí)有效的膳食調(diào)查方法可以記錄和評(píng)價(jià)被調(diào)查對(duì)象在一定時(shí)間內(nèi)能量和營(yíng)養(yǎng)素的攝入情況，幫助個(gè)人和群體實(shí)現(xiàn)營(yíng)養(yǎng)干預(yù)，降低不合理膳食導(dǎo)致的肥胖、高血壓、糖尿病和心臟病等健康風(fēng)險(xiǎn)[4-5]。

目前，膳食調(diào)查中常用的方法主要有24 h膳食回顧法、化學(xué)分析法、稱重記賬法、食物頻率法等經(jīng)典方法[6-9]。針對(duì)回顧性膳食調(diào)查，王之頊等[10]根據(jù)食物外形和份量構(gòu)建了包含13大類195種食物和5種餐具等共659張三維參照的食物或餐圖的食物圖譜來(lái)提高回顧法的準(zhǔn)確性。另外，采用標(biāo)準(zhǔn)化食物餐具和電子食物秤同樣可以提高參與者對(duì)日常攝入食物分量的掌握程度[11]。膳食調(diào)查中的統(tǒng)計(jì)分析同樣十分重要，目前關(guān)于營(yíng)養(yǎng)素?cái)z入量分析的軟件大多需要參與者手動(dòng)輸入食物的種類和攝入量，并通過(guò)食物營(yíng)養(yǎng)成分?jǐn)?shù)據(jù)和中國(guó)營(yíng)養(yǎng)學(xué)會(huì)發(fā)布的中國(guó)居民膳食營(yíng)養(yǎng)素參考攝入量進(jìn)行營(yíng)養(yǎng)素?cái)z入量分析[12-13]。然而以上方法大多需要參與者的配合，對(duì)食物攝入量的評(píng)估可能不夠準(zhǔn)確，同時(shí)由于其使用過(guò)程繁瑣，也不適用于大樣本的群體膳食調(diào)查。

本研究充分利用深度圖像所具有的三維信息優(yōu)勢(shì)，實(shí)現(xiàn)對(duì)RGB-D食物彩色圖像的語(yǔ)義分割[14]，同時(shí)利用采集的人體單視角深度圖像序列擬合人體三維模型[15]，在滿足目前膳食調(diào)查關(guān)鍵環(huán)節(jié)的基礎(chǔ)上擬建立一種更加完善的膳食調(diào)查系統(tǒng)，以期為營(yíng)養(yǎng)干預(yù)提供依據(jù)。

1 材料與方法

1.1 材料

材料選擇某大學(xué)食堂內(nèi)所經(jīng)營(yíng)的各類單份食用餐食。為了減少外在因素對(duì)食物體積計(jì)算的影響，本研究選擇食物形狀較為規(guī)則，并且餐具容器對(duì)體積影響較小的食物類別作為計(jì)算樣本，食物主要是面條、米飯、粥和湯等各類主食，用于采集食物彩色圖像以及深度圖像，構(gòu)建某大學(xué)食物樣本數(shù)據(jù)集和測(cè)試集。

1.2 系統(tǒng)結(jié)構(gòu)及功能

1.2.1系統(tǒng)平臺(tái)搭建

本系統(tǒng)主要由硬件和軟件組成。硬件部分主要包括食物信息采集器、光照箱、人體信息采集器以及計(jì)算主機(jī)4個(gè)組成部分。英特爾公司研發(fā)的RealSense深度相機(jī)作為食物信息采集器，型號(hào)為D435，其彩色圖像分辨率為1 920像素×1 080像素，深度圖像分辨率為1 280像素×720像素。食物信息采集器搭配光照箱作為食物信息采集平臺(tái)，為避免因鏡面反射在需要采集圖像的物體表面產(chǎn)生光斑，光照箱內(nèi)外部分均使用噴漆噴為黑色，內(nèi)部頂端設(shè)有白熾燈為采集環(huán)境提供光照。另外一個(gè)RealSence深度相機(jī)作為人體信息采集器，用于獲取人體RGB-D圖像序列。計(jì)算主機(jī)主要利用軟件控制各傳感器進(jìn)行數(shù)據(jù)采集和處理任務(wù)。軟件部分基于Linux操作系統(tǒng)，在python環(huán)境下使用PyQT進(jìn)行開(kāi)發(fā)實(shí)現(xiàn)。

1.2.2系統(tǒng)功能與操作

本系統(tǒng)主要通過(guò)主機(jī)端軟件實(shí)現(xiàn)食物和人體的信息采集，食物營(yíng)養(yǎng)素計(jì)算和人體參數(shù)計(jì)算。系統(tǒng)工作流程見(jiàn)圖1。具體操作如下：

1)當(dāng)開(kāi)啟系統(tǒng)后，首次使用需要輸入試驗(yàn)者性別、年齡和體重等基本信息，同時(shí)將本次在食堂購(gòu)買的食物菜品放置在光照箱中，使得食物信息采集器可以正好對(duì)準(zhǔn)食物，同時(shí)實(shí)驗(yàn)者如果選擇了中心性肥胖估計(jì)功能，需要站在軟件提示的指定位置，人體信息采集器和食物信息采集器開(kāi)始同步采集數(shù)據(jù)。人體信息采集器獲取人體深度圖像序列數(shù)據(jù)，食物信息采集器獲取食物RGB-D圖像數(shù)據(jù)。

2)計(jì)算主機(jī)處理數(shù)據(jù)，首先進(jìn)行食物分割。之后利用對(duì)應(yīng)的深度圖像計(jì)算出該類別食物的體積，同時(shí)根據(jù)采集到的實(shí)驗(yàn)者人體深度圖像序列和體重信息擬合三維人體模型，計(jì)算出實(shí)驗(yàn)者的身高、腰圍、臀圍以及BMI和WHR值。

3)根據(jù)采集的食物體積和類別信息，上傳至云端服務(wù)器后通過(guò)食物營(yíng)養(yǎng)素?cái)?shù)據(jù)庫(kù)計(jì)算出實(shí)驗(yàn)者在本次就餐中攝入的營(yíng)養(yǎng)素含量和能量。該數(shù)據(jù)后續(xù)為營(yíng)養(yǎng)師提供膳食調(diào)查基礎(chǔ)數(shù)據(jù)。

圖1 膳食調(diào)查系統(tǒng)工作流程Fig.1 Workflow of dietary survey system

1.3 方法

1.3.1食物語(yǔ)義分割

通過(guò)傳感器獲取的RGB圖像作為原始輸入數(shù)據(jù)，對(duì)輸入的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)方法包括：圖片旋轉(zhuǎn)，尺寸縮放，中心裁剪以及數(shù)據(jù)標(biāo)準(zhǔn)化等[16]。通過(guò)數(shù)據(jù)增強(qiáng)可以極大限度提高數(shù)據(jù)的多樣性和復(fù)雜程度，幫助模型盡可能避免過(guò)擬合現(xiàn)象的出現(xiàn)并能夠增強(qiáng)模型的泛化能力。

DeepLabv3+作為語(yǔ)義分割領(lǐng)域的主流算法之一，其算法的速度與預(yù)測(cè)效果已經(jīng)達(dá)到了實(shí)際應(yīng)用的標(biāo)準(zhǔn)。通過(guò)結(jié)合當(dāng)下算法中的深度可分離卷積、空洞卷積以及ASPP模塊，對(duì)卷積網(wǎng)絡(luò)進(jìn)行改進(jìn)創(chuàng)新，并在特征解碼部分進(jìn)行特征融合改進(jìn)，極大地提高了特征提取效果和算法的預(yù)測(cè)速度和精度。因此，本研究系統(tǒng)采用DeepLabv3+網(wǎng)絡(luò)作為食物圖像的語(yǔ)義分割算法，通過(guò)DeepLabv3+網(wǎng)絡(luò)對(duì)食物圖像進(jìn)行語(yǔ)義解析，將圖像中的食物語(yǔ)義和位置信息提取出來(lái)。其中特征提取網(wǎng)絡(luò)可以采用Xception[17]或者ResNet101[18]，為使能夠最大化的利用算法的優(yōu)勢(shì)和設(shè)備的性能，本系統(tǒng)選擇Xception作為特征提取網(wǎng)絡(luò)。以特征提取網(wǎng)絡(luò)的輸出作為輸入，將輸入的特征進(jìn)行解碼，轉(zhuǎn)化為像素的語(yǔ)義信息并根據(jù)交叉熵?fù)p失函數(shù)進(jìn)行網(wǎng)絡(luò)權(quán)重更新。將原始RGB圖像數(shù)據(jù)輸入訓(xùn)練完成的模型后即可獲取圖像中的食物類別信息和像素級(jí)的位置信息。

多分類的交叉熵?fù)p失函數(shù)公式[19]為：

(1)

式中：N為所需預(yù)測(cè)的像素個(gè)數(shù);M為類別的數(shù)量；yic為樣本i的類別,取值為0或1，0代表預(yù)測(cè)結(jié)果與真實(shí)結(jié)果不同，1代表預(yù)測(cè)結(jié)果與真實(shí)結(jié)果相同;pic為預(yù)測(cè)樣本i屬于類別c的預(yù)測(cè)概率。

1.3.2食物體積計(jì)算

根據(jù)食物信息采集器采集的深度圖像計(jì)算食物的體積：首先根據(jù)設(shè)備擺放的形態(tài)設(shè)置初始平面P，使得初始平面P的平面法向量Np與Z軸平行；將食物深度圖轉(zhuǎn)化為點(diǎn)云并將其所在平面與初始平面P配準(zhǔn)，使得放置食物的平面與初始平面P重合；利用1.3.1節(jié)中的算法將食物分割出來(lái)，再將拍攝的食物圖像與通過(guò)分割算法分割后的食物圖像對(duì)照(圖2(a)和(b))；將二維食物分割結(jié)果映射到三維空間，從二維映射成三維的對(duì)照(圖2(c))。

將二維像素坐標(biāo)輸入式(2)[20]：

(2)

式中：Z為攝像頭離食物的距離；u、v為某個(gè)食物像素點(diǎn)在像素坐標(biāo)系中的X、Y軸坐標(biāo)；X、Y、Z為食物在世界坐標(biāo)系中的三維坐標(biāo)；fx、fy為相應(yīng)方向上焦點(diǎn)的長(zhǎng)度；u0、v0為像素坐標(biāo)系中的光心；R為旋轉(zhuǎn)矩陣，T為轉(zhuǎn)換平移向量。計(jì)算得出三維空間坐標(biāo)。

將食物點(diǎn)云近似看做為一上曲面，上曲面定義為F，初始平面P為下平面，根據(jù)式(3)計(jì)算出三維空間體積，具體運(yùn)算公式為：

(3)

式中：pz為初始平面的縱坐標(biāo)，pz∈P；fz為食物點(diǎn)云中點(diǎn)的縱坐標(biāo)，fz∈F；S為XOY平面上積分時(shí)的單位面積，其中S=1 mm2；Hi為上曲面F某點(diǎn)與初始平面P即下平面對(duì)應(yīng)點(diǎn)的Z軸方向距離；V為最終計(jì)算出的食物三維空間體積。

圖2 食物圖像分割結(jié)果及三維映射Fig.2 Food image segmentation results and three-dimensional mapping

1.3.3食物營(yíng)養(yǎng)素計(jì)算

根據(jù)食物的種類和體積，結(jié)合食物的營(yíng)養(yǎng)素?cái)?shù)據(jù)庫(kù)計(jì)算獲得被拍攝食物的各種營(yíng)養(yǎng)素的含量，計(jì)算公式為：

C=v×k

(4)

式中：C為食物中某營(yíng)養(yǎng)物質(zhì)的含量；v為食物的體積；k為食物單位體積中某種營(yíng)養(yǎng)素的含量。根據(jù)食堂提供的食物配料表以及《中國(guó)食物成分表》[21]構(gòu)建食物營(yíng)養(yǎng)素?cái)?shù)據(jù)庫(kù)，包括不同食物中各種營(yíng)養(yǎng)素含量的數(shù)據(jù)庫(kù)，表1為部分食物能量及營(yíng)養(yǎng)素含量參考表。

表1 食物能量及營(yíng)養(yǎng)素含量參考表(部分)Table 1 ReferenceTable of energy and nutrient content of food (part)

1.3.4人體參數(shù)計(jì)算

為了獲得人的身體質(zhì)量等級(jí)需要測(cè)量的人體參數(shù)包括身高、腰圍和臀圍，本研究設(shè)計(jì)了一種利用單視角深度圖像快速便捷地測(cè)量人體參數(shù)的系統(tǒng)：通過(guò)計(jì)算SMPL參數(shù)化人體模型的體型參數(shù)和位姿參數(shù)來(lái)擬合實(shí)驗(yàn)者三維模型，根據(jù)模型點(diǎn)云數(shù)據(jù)來(lái)獲得人體參數(shù)信息。SMPL[15]參數(shù)化模型是由大量真實(shí)人體數(shù)據(jù)中學(xué)習(xí)得到的基于頂點(diǎn)的線性人體模型，有6 980個(gè)頂點(diǎn)，13 776個(gè)三角面片，并包括一個(gè)擁有24個(gè)關(guān)節(jié)點(diǎn)的人體模型，模型驅(qū)動(dòng)公式[15]為：

M(β,θ)=W(Tp(β,θ),J(β),θ,ω)

(5)

式中：β為長(zhǎng)度為10的向量，控制模型的形狀；θ為模型23個(gè)關(guān)節(jié)點(diǎn)相對(duì)旋轉(zhuǎn)弧度值和原點(diǎn)坐標(biāo)組成的長(zhǎng)度為75的向量；Tp(β,θ)為在β和θ的作用下網(wǎng)格頂點(diǎn)的坐標(biāo)計(jì)算公式；J(β)為在β作用下人體關(guān)節(jié)點(diǎn)計(jì)算公式；ω表示各個(gè)關(guān)節(jié)的混合權(quán)重；W表示進(jìn)行骨骼蒙皮并生成人體模型。

計(jì)算體型參數(shù)和位姿參數(shù)時(shí)，對(duì)單張人體深度圖像進(jìn)行背景去除得到分割后的人體深度圖像，利用文獻(xiàn)[22]的方法采用隨機(jī)森林對(duì)人體深度圖像人體骨架的關(guān)節(jié)點(diǎn)位置進(jìn)行預(yù)測(cè)，從而得到骨架關(guān)節(jié)點(diǎn)和人體各組件點(diǎn)云數(shù)據(jù)，之后根據(jù)人體點(diǎn)云與SMPL模型點(diǎn)云迭代優(yōu)化參數(shù)β和θ，構(gòu)造能量函數(shù)使其最?。?/p>

E(β,θ)=Ed(β,θ)+α1Eθ(θ)+α2Eβ(β)

(6)

式中:Ed為人體點(diǎn)云與SMPL模型對(duì)應(yīng)點(diǎn)距離d誤差項(xiàng)，分別構(gòu)建人體點(diǎn)云和SMPL模型點(diǎn)云對(duì)應(yīng)組件的kd-tree來(lái)尋找對(duì)應(yīng)點(diǎn)對(duì)，通過(guò)β和θ參數(shù)驅(qū)動(dòng)SMPL模型使得對(duì)應(yīng)點(diǎn)歐氏距離之和最??；Eθ為姿態(tài)約束項(xiàng)，通過(guò)高斯混合模型先驗(yàn)來(lái)約束參數(shù)θ避免出現(xiàn)不正常的姿態(tài)；Eβ為體型約束項(xiàng)，通過(guò)計(jì)算當(dāng)前模型與原SMPL模型的差異來(lái)避免產(chǎn)生極端體型；α1和α2為權(quán)重參數(shù)。

本研究通過(guò)計(jì)算得到的體型參數(shù)和姿態(tài)參數(shù)驅(qū)動(dòng)SMPL模型擬合出最佳的人體模型。由于所有擬合的人體模型具有拓?fù)湟恢碌奶攸c(diǎn)，可以通過(guò)預(yù)先定義的兩個(gè)點(diǎn)集來(lái)表示腰圍和臀圍。以脊柱關(guān)節(jié)點(diǎn)為例，尋找擬合后的模型點(diǎn)云中滿足脊柱關(guān)節(jié)點(diǎn)Z坐標(biāo)增減3 cm范圍內(nèi)，且能構(gòu)成一個(gè)近似封閉圓環(huán)的點(diǎn)集來(lái)表示腰圍，并儲(chǔ)存該點(diǎn)集內(nèi)各點(diǎn)在模型上的索引，計(jì)算相鄰點(diǎn)距離和作為最終腰圍的計(jì)算值。臀圍參數(shù)值測(cè)量方法同理，共預(yù)定義腰圍點(diǎn)40個(gè)，臀圍點(diǎn)32個(gè)(圖3)。人體高度同樣采用預(yù)定義Z坐標(biāo)最大和最小點(diǎn)的取值來(lái)計(jì)算。由于采集的人體數(shù)據(jù)為RGB-D圖像序列，因此各項(xiàng)人體參數(shù)的最終結(jié)果為各單幀測(cè)量結(jié)果總和的平均值。

身體質(zhì)量指數(shù)(BMI)[23]是評(píng)估人體肥胖程度的一個(gè)常用指標(biāo)，設(shè)人體身體質(zhì)量為M，身高為H，則身體質(zhì)量指數(shù)的計(jì)算公式為：

(7)

中國(guó)肥胖問(wèn)題工作組確定適宜我國(guó)成人超重和肥胖的BMI界限[24]為：BMI<18.5 kg/m2為偏瘦，18.5 kg/m2≤BMI<23.9 kg/m2為正常，24.0 kg/m2≤BMI<27.9 kg/m2為超重， BMI≥28 kg/m2為肥胖。

腰臀比(WHR)[23]是判定中心性肥胖的重要指標(biāo)，能夠反映身體脂肪分布情況。設(shè)腰圍為W，臀圍為H，則腰臀比計(jì)算公式為：

圖3 SMPL模型關(guān)節(jié)點(diǎn)和腰圍、臀圍預(yù)定義示意圖Fig.3 Schematic diagram of SMPL model joint points and predefined waist and hip circumference

(8)

中國(guó)肥胖問(wèn)題工作組建議我國(guó)成人腹型肥胖的標(biāo)準(zhǔn)為：男性WHR≥0.90，女性WHR≥0.85。

2 模型訓(xùn)練與結(jié)果分析

2.1 食物圖像識(shí)別模型性能

首先將采集的食物RGB圖像根據(jù)大體類別進(jìn)行劃分，可分為如面條、饅頭和粥類等類別，并制作數(shù)據(jù)集1 900張和測(cè)試集200張，共包含19個(gè)大類，其中2個(gè)食物大類中的部分圖像數(shù)據(jù)見(jiàn)圖4。

圖4 食物圖像分類示例Fig.4 Examples of food image classification

基于DeepLabv3+模型進(jìn)行建模訓(xùn)練并測(cè)試，將預(yù)測(cè)結(jié)果與測(cè)試集中的真實(shí)數(shù)據(jù)進(jìn)行比較最終得到模型的分類性能評(píng)價(jià)。在訓(xùn)練過(guò)程中，本研究將訓(xùn)練集與測(cè)試集比例設(shè)置為9∶1，并在原有的模型基礎(chǔ)上進(jìn)行微調(diào)(fine-tuning)，對(duì)模型的主干部分先進(jìn)行凍結(jié)訓(xùn)練50個(gè)周期，然后解凍訓(xùn)練50個(gè)周期。凍結(jié)訓(xùn)練的批量大小(batch size)為4，解凍后降低batch size為2，優(yōu)化器為Adam。對(duì)模型進(jìn)行訓(xùn)練并測(cè)試和評(píng)價(jià)。

本研究采用圖像語(yǔ)義分割基本評(píng)價(jià)指標(biāo)[25]進(jìn)行評(píng)價(jià)，指標(biāo)包括像素準(zhǔn)確率(PA，Pixel accuracy)、像素準(zhǔn)確率平均值(MPA，Mean pixel accuracy)和平均交并比(MioU，Mean intersection over union)。

PA為正確像素與整個(gè)圖像總像素的比例：

(9)

式中：k表示類別，假定一定有(k+1)類(包括k個(gè)目標(biāo)類和1個(gè)背景類)，pii表示真實(shí)正例像素?cái)?shù)，pij表示屬于i類被分為j類的像素?cái)?shù)。

MPA為每個(gè)類別分類正確的像素?cái)?shù)與該類別的總像素的比例然后求平均：

(10)

MIoU為平均交并比，計(jì)算的是2個(gè)集合的交集與并集的重合比例，在語(yǔ)義分割中，計(jì)算的是真實(shí)分割與系統(tǒng)預(yù)測(cè)的分割間的交并比：

(11)

模型評(píng)價(jià)結(jié)果見(jiàn)表2，食物圖像識(shí)別模型分割樣例見(jiàn)圖5。

表2 食物圖像識(shí)別模型性能評(píng)價(jià)Table 2 Performance evaluation of food image recognition model

圖5 食物圖像識(shí)別模型分割示例Fig.5 Examples of food image recognition model segmentation

2.2 食物體積計(jì)算方法分析

對(duì)膳食調(diào)查系統(tǒng)中的體積計(jì)算方法進(jìn)行誤差分析。首先通過(guò)相機(jī)從正上方拍攝某個(gè)邊長(zhǎng)為10 cm的規(guī)則立方體，利用1.3.2節(jié)體積計(jì)算方法對(duì)該規(guī)則立方體深度圖進(jìn)行體積計(jì)算，最終得到的體積計(jì)算系統(tǒng)誤差小于3%。本研究是在深度學(xué)習(xí)模型圖像分割結(jié)果的基礎(chǔ)上，進(jìn)一步計(jì)算得到每種食物類別中各食物體積的估計(jì)值，再以人工標(biāo)注的食物圖片計(jì)算得到的食物體積為真實(shí)值進(jìn)行對(duì)比。為了避免碗裝類食物在進(jìn)行體積計(jì)算時(shí)由于乘裝容器形狀造成的誤差，在測(cè)試集中只選擇分割后非碗裝類食物，選擇其中8類共計(jì)106個(gè)樣本進(jìn)行測(cè)試，每種食物樣本大于5個(gè)。計(jì)算它們的體積并與真實(shí)值比較，體積計(jì)算的評(píng)價(jià)標(biāo)準(zhǔn)為平均絕對(duì)誤差(Mean absolute error，MAE)[26]：

(12)

2.3 人體參數(shù)計(jì)算結(jié)果分析

本研究選取男女各10名真實(shí)人體樣本，測(cè)量時(shí)均身穿較為緊身的衣服，利用皮尺分別測(cè)量出樣本人體的身高、腰圍和臀圍，并計(jì)算出各自的腰臀比，作為真實(shí)值。

圖6 食物體積計(jì)算平均絕對(duì)誤差Fig.6 Mean absolute error of food volume calculation

自動(dòng)計(jì)算人體參數(shù)時(shí)，利用本研究1.3.4節(jié)的方法，計(jì)算采集數(shù)據(jù)中10幀圖像結(jié)果總和的平均值作為最終計(jì)算結(jié)果，每幀計(jì)算時(shí)間約為1.5 s。本研究1位男性人體樣本在某一幀動(dòng)作下三維擬合SMPL模型的重建結(jié)果見(jiàn)圖7。

圖7 男性人體樣本三維擬合SMPL模型示例Fig.7 Example of a three-dimensional fitting SMPL model for male human sample

將本研究計(jì)算結(jié)果與皮尺測(cè)量結(jié)果進(jìn)行比較，采用平均絕對(duì)百分比誤差(Mean absolute percentage error，MAPE)[26]進(jìn)行評(píng)定：

(13)

女性腰圍測(cè)量結(jié)果與真實(shí)值偏離最大，平均偏離為8.5%，其余測(cè)量類別與真實(shí)值偏離值均小于7%；身高測(cè)量值的測(cè)量精度最高，男性和女性的測(cè)量精度均小于3%；腰圍測(cè)量值精度最低。最終計(jì)算得到的腰臀比偏離程度均小于4%，結(jié)果見(jiàn)表4。

表4 人體三維測(cè)量參數(shù)平均絕對(duì)百分比誤差Table 4 Mean absolute percentage error of human body three-dimensional measurement parameters %

3 結(jié) 論

本研究利用DeepLabv3+網(wǎng)絡(luò)模型對(duì)RGB-D食物彩色圖像進(jìn)行語(yǔ)義分割，通過(guò)二維像素到深度圖的映射得到食物點(diǎn)云計(jì)算食物的體積，并根據(jù)收集的食物配料信息及營(yíng)養(yǎng)成分表計(jì)算蛋白質(zhì)、脂肪和碳水化合物等含量；同時(shí)利用采集的人體單視角深度圖像序列計(jì)算SMPL參數(shù)擬合人體三維模型，計(jì)算腰臀比和身體質(zhì)量指數(shù)，初步判定人體體重狀況以及中心性肥胖程度。營(yíng)養(yǎng)素?cái)z入結(jié)合人體健康狀況分析更有利于接下的營(yíng)養(yǎng)干預(yù)，從而降低因不合理膳食導(dǎo)致的各類慢性疾病的發(fā)生率。研究結(jié)果表明：1)本系統(tǒng)在食物圖像分割中的像素準(zhǔn)確率為72.1%，像素準(zhǔn)確率平均值為97.13%，平均交并比為82.03%；2)在食物體積計(jì)算中的平均絕對(duì)誤差均小于40 cm3；3)所有人體樣本計(jì)算的腰臀比與真實(shí)值偏離程度均小于4%，驗(yàn)證了膳食調(diào)查系統(tǒng)對(duì)食物營(yíng)養(yǎng)素和人體健康狀況進(jìn)行分析的實(shí)際可行性。下一步將繼續(xù)擴(kuò)充數(shù)據(jù)集的數(shù)量和類別，以提高食物分割精度和人體參數(shù)計(jì)算精度。