萬(wàn) 治，鄒 遜，張家齊，李紋婷，韋月鮮

（桂林電子科技大學(xué)，廣西 桂林 541004）

1 背景

隨著人工智能成為學(xué)術(shù)界的熱門研究課題，將智能巧妙地融入生活變得更加重要。同時(shí)，人們對(duì)皮膚在醫(yī)學(xué)檢測(cè)和日常護(hù)理方面的關(guān)注日益提升。因此，我們啟動(dòng)了關(guān)于基于視覺(jué)和深度學(xué)習(xí)的智能化中醫(yī)檢測(cè)系統(tǒng)的研究項(xiàng)目，它是將圖像識(shí)別和深度學(xué)習(xí)與傳統(tǒng)中醫(yī)相結(jié)合的系統(tǒng)，可以搭載在多種處理設(shè)備上，為用戶提供實(shí)用的人臉健康檢測(cè)和狀態(tài)監(jiān)測(cè)。

人們?cè)谑褂弥悄芟到y(tǒng)的時(shí)候，可通過(guò)其檢測(cè)自己的容貌，并自我判斷精神狀態(tài)和狀態(tài)，還可以通過(guò)智能系統(tǒng)獲取面部圖像，如拍照或錄取視頻等，來(lái)實(shí)現(xiàn)一些便利性功能和應(yīng)用[1]。

在實(shí)現(xiàn)本系統(tǒng)過(guò)程中，發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問(wèn)題。

在使用智能鏡子的過(guò)程中，盡管用戶能夠?qū)ψ晕覡顟B(tài)進(jìn)行一個(gè)初步評(píng)估，但由于無(wú)法與之前自我狀態(tài)進(jìn)行比較，以及缺乏相應(yīng)的健康知識(shí)，用戶并不能較準(zhǔn)確地獲知自己的身體健康狀態(tài)。因此，如何使用戶在照鏡子或采集面部圖像的同時(shí)，能夠較準(zhǔn)確地獲知自身健康狀態(tài)，是需要解決的問(wèn)題。

2 系統(tǒng)的總體設(shè)計(jì)

系統(tǒng)整體模塊層次圖，如圖1所示。首先通過(guò)攝像頭和部分傳感器對(duì)數(shù)據(jù)進(jìn)行采集，將采集到的人臉等數(shù)據(jù)傳入人臉識(shí)別模塊得到使用者的的相關(guān)歷史數(shù)據(jù)，然后通過(guò)膚質(zhì)檢測(cè)模塊、膚色檢測(cè)模塊和中醫(yī)辯證模塊對(duì)采集的數(shù)據(jù)進(jìn)行分析得到本次健康檢測(cè)的結(jié)果，然后將實(shí)時(shí)監(jiān)測(cè)當(dāng)前的精神狀態(tài)，并與上述的健康檢測(cè)結(jié)果一起進(jìn)行實(shí)時(shí)顯示[2]。

圖1 系統(tǒng)模塊層次圖

3 系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)

3.1 人臉識(shí)別模塊

我們首先使用人臉錄入模塊將用戶的人臉圖像進(jìn)行采集與保存，然后自動(dòng)為用戶在云端創(chuàng)建新的用戶賬戶，將采集到的相關(guān)數(shù)據(jù)進(jìn)行保存。

接著設(shè)備會(huì)先對(duì)用戶進(jìn)行人臉識(shí)別從而對(duì)用戶的身份進(jìn)行確定，以實(shí)現(xiàn)對(duì)用戶的健康跟蹤，在人臉識(shí)別的過(guò)程中，使用的方法是基于不同圖片的特征向量的比對(duì)的方法，該系統(tǒng)將本次需要檢測(cè)的人臉的圖片特征向量與云端保存和本地保存的圖片的特征向量進(jìn)行依次的比對(duì)，計(jì)算不同圖片之間的二范數(shù)的大小作為兩張圖片之間的相似度，通過(guò)多次實(shí)驗(yàn)得到一個(gè)較為準(zhǔn)確的相似度閾值作為人臉識(shí)別的判斷條件。

3.2 健康檢測(cè)模塊

3.2.1 膚質(zhì)檢測(cè)模塊

皮膚痤瘡可以在一定程度上反映一個(gè)人的當(dāng)前健

康狀況，其生成的原因包括局部細(xì)菌感染、營(yíng)養(yǎng)不良、內(nèi)分泌失調(diào)等。面部痤瘡數(shù)量越多，則表示當(dāng)前皮膚狀況越差、相應(yīng)的健康狀況更需要進(jìn)行關(guān)注；

膚質(zhì)監(jiān)測(cè)模塊主要以人臉上的痤瘡的數(shù)量以及痤瘡的分布位置作為膚質(zhì)狀態(tài)的評(píng)判標(biāo)準(zhǔn)。

該模塊采用yolov5進(jìn)行檢測(cè)臉部痤瘡的數(shù)量并且定位，但是如果直接使用yolov5模型進(jìn)行檢測(cè)會(huì)因環(huán)境的干擾而導(dǎo)致檢測(cè)結(jié)果不準(zhǔn)確的情況，故我們?cè)谠撃K中使用使用face_recognition.face_locateion對(duì)人臉進(jìn)行定位，然后采取face_recognition.face_endings對(duì)獲取圖像文件中的面部進(jìn)行編碼，先以此來(lái)判斷是否存在人臉以及對(duì)人臉的位置進(jìn)行定位，然后將系統(tǒng)采集到的圖像裁剪為只有人臉的圖像，再使用yolov5進(jìn)行檢測(cè)，以提高檢測(cè)的準(zhǔn)確度[3]。

3.2.2 膚色檢測(cè)模塊

根據(jù)中醫(yī)理論，可將各區(qū)域的膚色分為青、黃、白、赤、黑五種，并將每種再分為亮色和暗色兩級(jí)，即形成了亮青、亮白、暗赤等十個(gè)等級(jí)，將每個(gè)等級(jí)可以做一個(gè)量化打分，例如從0～9。根據(jù)每個(gè)區(qū)域的分值，即可判定當(dāng)前ROI區(qū)域所對(duì)應(yīng)的器官的健康狀況，例如是否存在濕熱、血瘀等癥候[4]。

在該系統(tǒng)中使用的是改進(jìn)alexnet模型[5]，首先將采集到的圖像進(jìn)行預(yù)處理[6]，其過(guò)程具體為將用戶的臉劃分為不同的感興趣區(qū)域（ROI）[7]，主要通過(guò)模型對(duì)人臉的各個(gè)器官進(jìn)行定位標(biāo)記得到坐標(biāo)，然后使用圖片分割的方法來(lái)對(duì)各個(gè)確定的ROI區(qū)域進(jìn)行分割，然后將ROI輸入到alexnet模型中使用得到不同區(qū)域的人臉識(shí)別的顏色結(jié)果。該功能工作流程如圖2所示。

圖2 膚色檢測(cè)模塊

3.2.3 中醫(yī)辯證模塊

這種設(shè)計(jì)可以記錄痤瘡的數(shù)量和不同ROI區(qū)域的面貌，并結(jié)合用戶長(zhǎng)期積累的數(shù)據(jù)，利用基于中醫(yī)思想的辯證思維算法做出分析。最后，獲得身體不同部位的健康跟蹤結(jié)果，并給出相應(yīng)建議，并將所有這些結(jié)果顯示在屏幕上，反饋給用戶。

在中醫(yī)辯證模塊中主要使用的是層次分析法（AHP）作為該系統(tǒng)的主要分析方法。層次分析法具體過(guò)程如下。

（1）概述。具體過(guò)程概述如下，先訂立全面評(píng)價(jià)一位用戶的幾條準(zhǔn)則，如面色、臉部痤瘡情況、用戶歷史數(shù)據(jù)等，并且確定各準(zhǔn)則在給出中醫(yī)合理化建議這個(gè)總目標(biāo)中所占的權(quán)重，然后按照每一個(gè)準(zhǔn)則對(duì)每位用戶進(jìn)行比較和判別，最后將準(zhǔn)則的權(quán)重與比較、判別的結(jié)果加以綜合，得到每個(gè)方案的最終排序，作為系統(tǒng)給出用戶的建議。

（2）建立層次結(jié)構(gòu)圖。將該問(wèn)題自上而下地分為目標(biāo)、準(zhǔn)則、方案3個(gè)層次，并用一個(gè)層次結(jié)構(gòu)圖表示。該功能工作流程如圖3所示。

圖3 層次分析圖

（3）準(zhǔn)則層對(duì)目標(biāo)層的相對(duì)權(quán)重向量。

確定以上3個(gè)準(zhǔn)則臉部痤瘡情況X1、面色X2、用戶歷史數(shù)據(jù)X3對(duì)目標(biāo)（基于中醫(yī)學(xué)和保健建議）的權(quán)重時(shí)，需將X1、X2、X3兩兩進(jìn)行比較，按表1尺度寫出準(zhǔn)則層對(duì)目標(biāo)層的兩兩比較矩陣假設(shè)為

表1 各標(biāo)度的含義

基于矩陣A使用特征根法求出A的最大特征根。求出最大特征根后，可求相應(yīng)的特征向量，接著通過(guò)一致性檢驗(yàn)判斷此特征向量能不能作為準(zhǔn)則層對(duì)目標(biāo)層的比較矩陣，具體做法如下。

（1）一致性指標(biāo)。

（2）隨機(jī)一致性指標(biāo)RI，通常由實(shí)際經(jīng)驗(yàn)給定，如圖4。

圖4 RI的取值表

（3）隨機(jī)一致性指標(biāo)結(jié)果。

當(dāng)CR〈0.1時(shí)，認(rèn)為判定矩陣的一致性是可以接受的。

通過(guò)一致性檢驗(yàn)后，將特征向量對(duì)應(yīng)的特征值進(jìn)行歸一化，得到準(zhǔn)則層對(duì)目標(biāo)層的權(quán)重向量w1。假設(shè)w1=(0.141, 0.530,0.329)，即可說(shuō)明面色最重要。

（4）綜合權(quán)重向量及排序結(jié)果。用兩兩比較矩陣得到第2層3個(gè)準(zhǔn)則對(duì)第1層目標(biāo)的權(quán)重w之后，用同樣的方法確定第3層的多種癥狀對(duì)第二層每一準(zhǔn)則的權(quán)重。同樣計(jì)算出每一個(gè)矩陣Bi（i=1,2,3,…,n）的特征根并進(jìn)行一致性檢驗(yàn)，最終確定對(duì)第二層的權(quán)重向量w2。

最終將每一個(gè)矩陣Bi得到的權(quán)重向量的每一個(gè)指標(biāo)與w1對(duì)應(yīng)的相乘再求和，即可得到方案n對(duì)目標(biāo)的權(quán)重。最后再通過(guò)用戶的癥狀是否達(dá)到閾值來(lái)確定用戶癥狀，從而選出最佳中醫(yī)保健建議并反饋給用戶。

3.3 疲勞監(jiān)測(cè)模塊

當(dāng)人在疲勞狀態(tài)下，眼睛的形態(tài)會(huì)發(fā)生變化，會(huì)不自覺(jué)的發(fā)生“瞇眼”的動(dòng)作，從而使眼睛左右角點(diǎn)間距離變長(zhǎng)、同時(shí)使眼睛上下眼瞼間距變小，即眼長(zhǎng)與眼寬的比值變大。通過(guò)對(duì)當(dāng)前圖像的分析，確定出人眼的長(zhǎng)寬比，并且通過(guò)與預(yù)存的標(biāo)準(zhǔn)圖像中（即正常狀態(tài)下）的長(zhǎng)寬比進(jìn)行比較，來(lái)判斷當(dāng)前用戶是否為疲勞狀態(tài)。當(dāng)這種長(zhǎng)寬比的變化超過(guò)設(shè)定閾值時(shí)，即可認(rèn)定當(dāng)前用戶處于疲勞狀態(tài)，并及時(shí)地以聲音、圖像等警告方式通知用戶[8]。若用戶處于非疲勞狀態(tài)，也可通過(guò)顯示裝置告知用戶。

為了準(zhǔn)確的對(duì)用戶實(shí)時(shí)的眼睛長(zhǎng)寬比進(jìn)行疲勞狀態(tài)與非疲勞狀態(tài)兩種狀態(tài)的劃分，可以進(jìn)行多次圖像采集，并結(jié)合多次檢測(cè)結(jié)果的加權(quán)作為結(jié)果，計(jì)算用戶單位時(shí)間的精神狀態(tài)。

具體的方法是，通過(guò)對(duì)人臉的眼睛的位置的定位，將眼睛用多個(gè)點(diǎn)來(lái)進(jìn)行定位，然后通過(guò)測(cè)定不同的點(diǎn)與點(diǎn)之間的距離關(guān)系對(duì)人眼的長(zhǎng)寬比進(jìn)行確定。

在此系統(tǒng)采用的對(duì)實(shí)時(shí)圖像的多次采集中，當(dāng)采集到的圖像達(dá)到指定的數(shù)目時(shí)作為一次實(shí)時(shí)的眼眶比數(shù)據(jù)，然后通過(guò)實(shí)時(shí)的大量的不斷的眼眶比數(shù)據(jù)計(jì)算得到單位時(shí)間的眼眶比數(shù)據(jù)，然后與正常的眼眶比數(shù)據(jù)區(qū)間進(jìn)行比較來(lái)進(jìn)行判斷用戶所處的精神狀態(tài)。

4 結(jié)束語(yǔ)

本文提出了一種基于視覺(jué)和深度學(xué)習(xí)的中醫(yī)智能檢測(cè)系統(tǒng)，討論了此種檢測(cè)系統(tǒng)的在日常生活中應(yīng)用的前景，將系統(tǒng)具體功能的實(shí)現(xiàn)做了細(xì)致的闡述，并巧妙的將中醫(yī)思想中的望診思想與計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)等新型技術(shù)有效的結(jié)合起來(lái)，且達(dá)到了預(yù)期的目標(biāo)，如對(duì)輸入信息的采集和處理、相關(guān)數(shù)據(jù)的交互、中醫(yī)辨證算法的實(shí)現(xiàn)、不同設(shè)備上的數(shù)據(jù)輸出與展示。

在未來(lái)的工作中，我們將繼續(xù)擴(kuò)大數(shù)據(jù)庫(kù)，完善模型準(zhǔn)確度，并不斷優(yōu)化中醫(yī)辯證算法，與經(jīng)驗(yàn)豐富的中醫(yī)進(jìn)行交流，使系統(tǒng)的功能更加完善和準(zhǔn)確，更好地實(shí)現(xiàn)人性化和智能化，為人們的健康做出貢獻(xiàn)?！?/p>