丁上上，鄭田莉，姚 康，張賀童，裴融浩，付威威

1.中國科學(xué)技術(shù)大學(xué) 生物醫(yī)學(xué)工程學(xué)院（蘇州）生命科學(xué)與醫(yī)學(xué)部，江蘇 蘇州 215000

2.中國科學(xué)院 蘇州生物醫(yī)學(xué)工程技術(shù)研究所，江蘇 蘇州 215000

屈光不正的早期檢測在近視防控中起到了至關(guān)重要的作用，若能及時發(fā)現(xiàn)屈光異常并采取措施進(jìn)行干預(yù)與控制，就可以阻止近視的發(fā)展并減輕視力的受損[1]。因此，美國兒科學(xué)會（AAP）、美國小兒眼科與斜視協(xié)會（AAPOS）和歐洲斜視協(xié)會（ESA）推薦早期的屈光篩查[2]。

目前攝影驗(yàn)光方法被廣泛應(yīng)用于屈光篩查。攝影驗(yàn)光是一種通過攝影手段來測量眼睛屈光度的客觀方法，其基本原理是采用攝影技術(shù)拍攝視網(wǎng)膜反射出的光線，因屈光狀態(tài)不同，瞳孔區(qū)會出現(xiàn)不同的光影，從而可測出被檢者的屈光度。1974年美國學(xué)者Howland根據(jù)視網(wǎng)膜檢影法的基本原理提出了正交攝影驗(yàn)光法[3]，這標(biāo)志著攝影驗(yàn)光的開始。1979年芬蘭科學(xué)家Kaakinen根據(jù)正交攝影驗(yàn)光法的原理提出了對角膜和眼底反光同時攝影的偏心攝影驗(yàn)光法[4]。在此之后，中國學(xué)者瞿佳[5]、加拿大學(xué)者Roorda[6]、德國學(xué)者Kusel[7]、中國學(xué)者葉宏偉等人[8]先后對攝影驗(yàn)光技術(shù)進(jìn)行了研究與改進(jìn)，使得此屈光檢測方法的精度與準(zhǔn)確度得到了提高。

攝影驗(yàn)光采用非接觸的方法進(jìn)行屈光檢測，不需固定被測者頭部，降低了對被測者的配合要求，比其他驗(yàn)光方法更適用于嬰幼兒、青少年兒童等難以長時間配合執(zhí)行規(guī)范檢測流程的特殊群體，效率較高，適合大規(guī)模的屈光篩查。但是，使用攝影驗(yàn)光的方法進(jìn)行屈光篩查，目前還主要面臨著兩個問題：屈光檢測的準(zhǔn)確度相對于其他檢測方法較低；對被測者的測量位置有較高的要求，影響檢測效率。

目前市面上使用攝影驗(yàn)光原理的屈光檢測設(shè)備的柱鏡精確度和球鏡精確度一般為±0.50D或±1.00D，此精度與其他驗(yàn)光方法相比，相對偏低。這是因?yàn)槭褂脭z影驗(yàn)光原理進(jìn)行屈光檢測的方法，主要有兩種，一種是根據(jù)瞳孔圖像中新月形亮暗區(qū)域高度關(guān)系計(jì)算屈光度，另一種則是根據(jù)瞳孔圖像內(nèi)光影的亮暗變化規(guī)律進(jìn)行屈光度的計(jì)算。第一種方法，使用圖像處理技術(shù)尋找瞳孔圖像中的亮暗區(qū)域邊界，并將亮暗區(qū)域進(jìn)行分割，再計(jì)算亮暗區(qū)域的高度，從而得到被測眼的屈光度。然而，瞳孔圖像中的亮暗變化是漸變的，使用圖像處理的方法很難準(zhǔn)確獲取亮暗區(qū)域的邊界，在此過程中，會引入較大誤差，很難得到準(zhǔn)確的屈光度結(jié)果。另一種方法則不需要獲取亮暗區(qū)域邊界，而是使用由光源在視網(wǎng)膜上反射圖像的照度斜率來判斷屈光狀態(tài)，即以瞳孔圖像中心為中點(diǎn)，沿光源布置方向取若干個像素點(diǎn)的灰度值，將此組灰度值擬合成一條直線，根據(jù)此直線的斜率確定被測眼的屈光狀態(tài)。使用此方法對圖像分辨率有較高要求，若圖像分辨率較低，則無法獲取合適數(shù)量的像素點(diǎn)灰度值，導(dǎo)致計(jì)算精度較低。另外，此方法需要將計(jì)算得到的斜率與真實(shí)屈光度進(jìn)行擬合，此過程需要較多數(shù)據(jù)，且計(jì)算相對復(fù)雜，會造成較大誤差，使屈光檢測準(zhǔn)確度很難進(jìn)一步提高。

攝影驗(yàn)光采用非接觸的方式進(jìn)行屈光檢測，與其他驗(yàn)光方式相比，降低了被測者的配合度要求。但是，此種方法對被測者的位置要求依舊較高，當(dāng)被測者瞳孔偏離圖像中央?yún)^(qū)域較多時，屈光檢測結(jié)果將會受到較大影響。這是因?yàn)楫?dāng)被測者位置改變時，圖像特征會隨之而產(chǎn)生變化，影響圖像處理的結(jié)果。目前的解決辦法主要是通過對不同位置狀態(tài)下的檢測結(jié)果與真實(shí)屈光度進(jìn)行標(biāo)定，但整個過程較復(fù)雜，在標(biāo)定的過程中會引入較多因素，使得檢測結(jié)果的準(zhǔn)確度受限。因此，在實(shí)際驗(yàn)光過程中，設(shè)備操作人員要花費(fèi)較長時間調(diào)整與被測者的相對位置，使被測者眼部區(qū)域位于圖像中央?yún)^(qū)域附近，這將降低屈光篩查效率，使攝影驗(yàn)光的優(yōu)勢得不到充分發(fā)揮。

為了解決現(xiàn)有攝影驗(yàn)光方法存在的幾個問題，本文提出一種基于深度學(xué)習(xí)的屈光檢測方法，此方法利用偏心攝影驗(yàn)光的光學(xué)原理，獲取被測者人臉面部近紅外圖像，使用圖像處理技術(shù)對面部近紅外圖像進(jìn)行處理，得到左右瞳孔圖像和瞳孔位置信息，使用混合數(shù)據(jù)多輸入神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練與屈光度的預(yù)測。深度學(xué)習(xí)是一種對大量數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法，其自動提取特征，具有非常強(qiáng)的學(xué)習(xí)能力和適應(yīng)能力，且由數(shù)據(jù)驅(qū)動，上限高。與傳統(tǒng)偏心攝影驗(yàn)光原理的屈光檢測方法相比，此方法可以隨著數(shù)據(jù)集的擴(kuò)增而達(dá)到更高的準(zhǔn)確度，并且此方法將瞳孔位置信息作為模型的輸入，有希望解決傳統(tǒng)算法對被測者配合度要求較高的問題。

此方法作為對新式屈光檢測方法的一種有益探索，有利于屈光篩查更便利地進(jìn)行，提高大規(guī)模屈光篩查的效率。未來，嘗試將此方法應(yīng)用于終端設(shè)備上，探索自助式屈光檢測的可行性，從而使屈光檢測高頻率、常態(tài)化地進(jìn)行，便于青少年兒童近視的防控。

1 偏心攝影圖像獲取

1.1 偏心攝影驗(yàn)光原理

偏心攝影驗(yàn)光法是一種利用攝影獲得的瞳孔圖像來判斷患者眼瞳屈光狀態(tài)的方法[9]，拍攝經(jīng)過視網(wǎng)膜反射出的光線在瞳孔區(qū)域因屈光狀態(tài)不同而表現(xiàn)出的不同光影，從而檢測患者的屈光狀態(tài)，其光學(xué)原理如圖1所示（以近視眼為例）。

圖1 偏心攝影驗(yàn)光原理圖Fig.1 Schematic diagram of eccentric photography optometry

1.2 圖像采集系統(tǒng)設(shè)計(jì)

偏心攝影圖像采集系統(tǒng)硬件組成如圖2所示。

圖2 圖像采集系統(tǒng)硬件組成示意圖Fig.2 Image acquisition system hardware schematic

光源模塊發(fā)射的850 nm波段近紅外光線，經(jīng)過半透半反鏡后進(jìn)入人眼，人眼屈光系統(tǒng)反射回來的光線再通過半透半反鏡到達(dá)圖像采集模塊前，經(jīng)過圖像采集模塊鏡頭前的850 nm窄帶濾光片后，最終在圖像采集模塊傳感器上成像。光源模塊中心與圖像采集模塊的光軸在同一中軸線上，通過光源模塊上的偏心光源實(shí)現(xiàn)對眼瞳的偏心攝影。

光源模塊由光源電路板和LED陣列組成，LED陣列排布方式如圖3所示。

圖3 光源模塊LED陣列Fig.3 LED light source array module

LED陣列由23個850 nm近紅外LED組成，包含1個同心近紅外光源和22個偏心近紅外光源。同心近紅外光源的作用是照亮瞳孔整體區(qū)域，為使用圖像處理技術(shù)進(jìn)行瞳孔定位以及提取提供了有利條件。偏心近紅外光源為攝影驗(yàn)光提供偏心光源，根據(jù)偏心攝影驗(yàn)光原理，光源位置與圖像采集模塊光軸之間存在一定偏心距，不同偏心距下獲取到的瞳孔圖像對屈光狀態(tài)程度反應(yīng)不同，從而可以控制LED陣列中不同LED組合而成的亮燈模式，獲取到可以反應(yīng)被測眼不同方位和屈光程度的偏心攝影圖像。

2 基于深度學(xué)習(xí)的屈光檢測方法

為了解決現(xiàn)有攝影驗(yàn)光技術(shù)屈光檢測準(zhǔn)確度較低，且對被測者位置配合度要求較高的問題，本文提出一種基于深度學(xué)習(xí)的屈光檢測方法，方案如圖4所示。首先通過偏心攝影圖像采集系統(tǒng)采集被測者近紅外面部圖像，使用圖像處理技術(shù)，從被測者面部圖像中分別提取左右瞳孔圖像以及左右瞳孔在圖像中的相對位置信息。其次將提取到的瞳孔圖像和瞳孔相對位置，兩種數(shù)據(jù)作為深度學(xué)習(xí)的輸入，一起送入混合數(shù)據(jù)多輸入神經(jīng)網(wǎng)絡(luò)模型中。最后經(jīng)過模型的計(jì)算預(yù)測，同時得到球鏡度與柱鏡度結(jié)果。

圖4 基于深度學(xué)習(xí)的屈光檢測方法Fig.4 Refractive detection method based on deep learning

2.1 自制數(shù)據(jù)集

使用深度學(xué)習(xí)的方法進(jìn)行屈光檢測，其中一個關(guān)鍵前提是要對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，這需要大量的數(shù)據(jù)，此數(shù)據(jù)包括被測者瞳孔圖像以及瞳孔位置信息。然而，目前還沒有公開的包含以上兩種數(shù)據(jù)的用于屈光檢測的數(shù)據(jù)集，因此，需要自制數(shù)據(jù)集。

本研究所采集的數(shù)據(jù)包括：近紅外偏心攝影面部圖像、球鏡和柱鏡。其中，近紅外偏心攝影面部圖像是通過第1章中所述的圖像采集系統(tǒng)，在環(huán)境相對穩(wěn)定的室內(nèi)所采集獲取的，共采集了1 517組面部圖像（3 034組瞳孔圖像），每組圖像由22幅在不同光源下所拍攝的圖像組成，并且為避免拍攝過程中位置移動影響，控制相機(jī)以每秒30幀的速度拍攝；球鏡度和柱鏡度由專業(yè)持證驗(yàn)光師對被測者進(jìn)行多次驗(yàn)光，并取平均值而得。

2.1.1 圖像預(yù)處理

基于第1章中的偏心攝影驗(yàn)光原理和圖像采集系統(tǒng)，獲取近紅外面部圖像，圖像如圖5所示。本文所提出的屈光檢測方法，需要使用瞳孔圖像以及瞳孔位置信息作為輸入，因此，在整幅近紅外面部圖像中，僅對瞳孔區(qū)域感興趣。

圖5 近紅外面部圖像Fig.5 Near infrared facial image

為了從面部圖像中獲取瞳孔區(qū)域圖像以及瞳孔位置信息，需要使用圖像處理技術(shù)對面部圖像進(jìn)行處理，步驟如圖6所示。

圖6 預(yù)處理流程圖Fig.6 Preprocessing flow chart

首先，使用模板匹配[10]的方法分別對左右眼區(qū)域進(jìn)行定位，并根據(jù)匹配結(jié)果的坐標(biāo)判斷左眼與右眼。模板匹配方法采用歸一化平方差匹配法（TM_SQDIFF_NORMED），當(dāng)模板與目標(biāo)區(qū)域完全匹配時，計(jì)算數(shù)值為0，兩者匹配度越低，計(jì)算數(shù)值越大。其形式如下所示：

為了降低計(jì)算量，避免對面部非眼部區(qū)域進(jìn)行無意義的處理，所以根據(jù)模板匹配結(jié)果提取眼部區(qū)域圖像，對非感興趣區(qū)域進(jìn)行舍棄，如圖7（a）所示。在得到眼部區(qū)域圖像后，需對圖像進(jìn)行二值化處理，為了準(zhǔn)確提取目標(biāo)，找到合適的閾值尤為重要。此處采用局部自適應(yīng)閾值法進(jìn)行二值化[11]，利用圖像的局部閾值代替全局閾值進(jìn)行分割，根據(jù)圖像不同區(qū)域像素點(diǎn)的灰度值分布計(jì)算局部閾值，實(shí)現(xiàn)不同區(qū)域采用不同閾值分割的效果。多次實(shí)驗(yàn)結(jié)果表明，采用75×75大小的模板進(jìn)行高斯加權(quán)平均值運(yùn)算，可以實(shí)現(xiàn)較理想的效果，對眼部區(qū)域圖像采用局部自適應(yīng)閾值二值化，結(jié)果如圖7（b）所示，中間的白色圓形區(qū)域即為瞳孔區(qū)域。

圖7 瞳孔區(qū)域提取過程Fig.7 Pupil region extraction process

由經(jīng)過二值化后的眼部圖像可以看出，圖像中不僅包含了瞳孔區(qū)域，還包含其他眼部干擾信息，瞳孔區(qū)域與干擾信息間具有較明顯的分界，遂使用區(qū)域生長法對瞳孔區(qū)域進(jìn)行提取[12]。區(qū)域生長法是一種可以精確地將具有某種特征的像素點(diǎn)區(qū)域提取出來的算法，其基本原理是判斷相鄰的像素元素是否具有相同特征，并將具有相同特征且能夠連通的像素點(diǎn)合并為生長區(qū)域。提取結(jié)果如圖7（c）所示。

提取瞳孔區(qū)域后，其邊緣并不平滑，這將有可能導(dǎo)致部分有效信息缺失，因此對瞳孔區(qū)域進(jìn)行形態(tài)學(xué)濾波，填補(bǔ)瞳孔邊緣較小空洞，并去除邊緣毛刺。對一組圖像進(jìn)行上述預(yù)處理步驟，得到22幅不同偏心光照狀態(tài)下的瞳孔圖像，每幅圖像尺寸均為128×128，如圖8所示，這將作為本文屈光檢測方法的輸入圖像。

圖8 一組預(yù)處理后的瞳孔圖像Fig.8 A set of preprocessed pupil images

2.1.2 數(shù)據(jù)集制作

本文采用監(jiān)督學(xué)習(xí)的方法進(jìn)行屈光檢測，數(shù)據(jù)集包含特征與標(biāo)簽，其中特征又由混合數(shù)據(jù)組成，包括圖像數(shù)據(jù)與數(shù)值數(shù)據(jù)。數(shù)據(jù)集的組成如圖9所示。本研究一共獲取了3 034組數(shù)據(jù)樣本，其中80%用于訓(xùn)練屈光檢測神經(jīng)網(wǎng)絡(luò)，20%用于測試。采用深度學(xué)習(xí)框架Keras，一 個NVIDIA GeForce GTX 1060 GPU與16 GB內(nèi)存用于訓(xùn)練和測試。

圖9 數(shù)據(jù)集組成Fig.9 Composition of data set

2.2 提出SE-mini-Xception網(wǎng)絡(luò)

數(shù)據(jù)集中每一組數(shù)據(jù)樣本中都包含了22幅單通道瞳孔圖像，這22幅圖像是通過偏心攝影原理獲取的，每幅圖像在采集使所使用的光源不同，即每幅圖像所呈現(xiàn)出的特征及信息都因光源的方位以及偏心距的不同而不同，各圖像中所包含的屈光信息將由22幅獨(dú)立的圖像綜合而決定。

為了更方便地將多幅圖像輸入到神經(jīng)網(wǎng)絡(luò)中，在訓(xùn)練前將每組數(shù)據(jù)樣本中的22幅單通道瞳孔圖像進(jìn)行通道的合成，即以一個22通道數(shù)據(jù)的形式輸入到網(wǎng)絡(luò)中，其尺寸為128×128×22。考慮到上述偏心攝影圖像的特點(diǎn)，一組數(shù)據(jù)中的每幅圖像在相同區(qū)域下所呈現(xiàn)的特征和代表的信息都是不一樣的，可以這樣理解，雖然同一組圖像中的某個相同區(qū)域所代表的都是瞳孔的某個特定區(qū)域，但此特定區(qū)域中瞳孔圖像的明暗分布是不同的，即其包含的屈光信息是不同的。這將導(dǎo)致，合成后的22維數(shù)據(jù)，其在相同區(qū)域內(nèi)的各通道信息具有一定的獨(dú)立性，意味著若想更好地獲取屈光特征，需要將通道與區(qū)域進(jìn)行解耦。因此，本研究在網(wǎng)絡(luò)中使用了深度可分離卷積[13]，用于將通道與區(qū)域分開考慮，從而更好地提取屈光信息特征。

標(biāo)準(zhǔn)的卷積過程，對應(yīng)圖像區(qū)域中的所有通道均被同時考慮，深度可分離卷積提出了一種新思路：對于不同的輸入通道采取不同的卷積核進(jìn)行卷積。它將普通的卷積操作分解為了兩個過程：深度卷積和逐點(diǎn)卷積。采用深度卷積對不同的輸入通道分別進(jìn)行卷積，然后將得到的特征圖進(jìn)行第二次卷積，將上面的輸出進(jìn)行結(jié)合，這里的卷積都是1×1的逐點(diǎn)卷積。使用深度可分離卷積可將通道與空間區(qū)域分開考慮，并可大幅降低計(jì)算量和模型參數(shù)量。以三通道輸入為例，其卷積過程如圖10所示，多通道與之類似。

圖10 深度可分離卷積過程Fig.10 Process of depthwise separable convolution

由于22幅圖像是在多個不同偏心距的光源下進(jìn)行采集的，數(shù)據(jù)中的每個通道都包含了屈光信息，但根據(jù)偏心攝影驗(yàn)光原理，不同偏心距對圖像中亮暗陰影呈現(xiàn)是不同的，即各通道所包含的屈光信息的重要程度是不一樣的。因此，本研究中引入特征重標(biāo)定卷積（SE模塊）[14-15]，通過學(xué)習(xí)的方式自動獲取到每個特征通道的重要程度，然后依照此重要程度去提升有益特征并抑制對當(dāng)前任務(wù)用處不大的特征。SE模塊如圖11所示。

圖11 SE模塊Fig.11 Squeeze-and-Excitation module

SE模塊主要包括三個步驟：壓縮（Squeeze）、激勵（Excitation）、重標(biāo)定（Reweight）。首先進(jìn)行壓縮（Squeeze）操作，順著空間維度來進(jìn)行特征壓縮，將每個二維的特征通道壓縮為一個實(shí)數(shù)，此實(shí)數(shù)某種程度上具有全局的感受野，并且輸出的維度和輸入的特征通道相匹配，如公式（2）所示。式中下標(biāo)c表示第c個通道。

其次是激勵（Excitation）操作，為每個特征通道生成權(quán)重。如公式（3）所示，其過程可以分為三步，首先經(jīng)過一個全連接層，將特征維度進(jìn)行降維，然后經(jīng)過ReLu函數(shù)激活后再通過一個全連接層將維度恢復(fù)，最后經(jīng)過Sigmoid函數(shù)獲得0～1之間歸一化的權(quán)重。此處的s即為通過前面的全連接層和非線性層學(xué)習(xí)而得到的權(quán)重。

最后是重標(biāo)定（Reweight）操作，將激勵操作后輸出的權(quán)重作為經(jīng)過特征選擇后的每個特征通道的重要性，逐通道加權(quán)到先前的特征上，完成在通道維度上的對原始特征的重標(biāo)定，如公式（4）所示：

我國廉政總署可以考慮就以下若干方面的權(quán)力作出法律規(guī)定:一、接受舉報(bào)權(quán);二、調(diào)查權(quán);三、逮捕權(quán);四、搜查權(quán);五、限制轉(zhuǎn)讓(處置)財(cái)產(chǎn)權(quán);六、預(yù)審、審問、登記權(quán);七、要求交出(收繳)旅游證件權(quán);八、建議解除公職權(quán);九、采取預(yù)防措施權(quán);十、起訴權(quán);十一、審判權(quán)，等等。

綜合考慮基于偏心攝影驗(yàn)光原理所獲得的圖像以上兩個特征，提出了結(jié)合深度可分離卷積與SE模塊的新型神經(jīng)網(wǎng)絡(luò)SE-mini-Xception，網(wǎng)絡(luò)結(jié)構(gòu)如圖12所示。

圖12 SE-mini-Xception網(wǎng)絡(luò)結(jié)構(gòu)Fig.12 Structure of SE-mini-Xception

Xception[13]是谷歌公司繼Inception后，提出的InceptionV3[16]的一種改進(jìn)模型，Xception的一個很重要的工作是提出用深度可分離卷積代替過去的標(biāo)準(zhǔn)卷積。本文所提出的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參考了Xception網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)，經(jīng)過對原有結(jié)構(gòu)進(jìn)行層數(shù)修剪以及修改，并且加入了SE模塊為模型增加了注意力，因此將其命名為SE-mini-Xception。

SE-mini-Xception由輸入流、中間流和輸出流組成。其中輸入流由兩個深度可分離卷積層組成，實(shí)現(xiàn)對22通道圖像信息的輸入提?。恢虚g流由4個結(jié)合了SE模塊與殘差模塊的基礎(chǔ)模塊組成，基礎(chǔ)模塊結(jié)構(gòu)組成如圖13所示，每個基礎(chǔ)模塊中都使用了深度可分離卷積，并結(jié)合SE模塊對各特征通道進(jìn)行特征重標(biāo)定，使用殘差模塊在降低計(jì)算量的同時起到防止神經(jīng)元退化問題的發(fā)生，有利于網(wǎng)絡(luò)更好地訓(xùn)練學(xué)習(xí)；輸出流經(jīng)過一個卷積層和池化層，并通過全連接層將SE-mini-Xception網(wǎng)絡(luò)計(jì)算結(jié)果輸出為一個一維張量。

圖13 基礎(chǔ)模塊結(jié)構(gòu)Fig.13 Structure of basic block

上述所提出的SE-mini-Xception卷積神經(jīng)網(wǎng)絡(luò)將用于處理圖像信息，即本文中的22通道圖像數(shù)據(jù)。此網(wǎng)絡(luò)對每個多通道圖像數(shù)據(jù)進(jìn)行計(jì)算，返回一個一維張量，用于后續(xù)的屈光度預(yù)測。因此，在本文中，SE-mini-Xception卷積神經(jīng)網(wǎng)絡(luò)將作為混合數(shù)據(jù)多輸入神經(jīng)網(wǎng)絡(luò)的一條核心分支使用。

2.3 混合數(shù)據(jù)多輸入神經(jīng)網(wǎng)絡(luò)

本文所提方法基于偏心攝影驗(yàn)光原理進(jìn)行屈光檢測，并且在圖像采集過程中不嚴(yán)格要求被測者與圖像采集系統(tǒng)光軸對齊，而是允許被測者在一定范圍內(nèi)可產(chǎn)生位移，本文將瞳孔位置信息以及瞳孔圖像信息相結(jié)合，從而解決屈光檢測過程中的位置適應(yīng)性問題?；谝陨夏康?，提出混合數(shù)據(jù)多輸入神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖14所示。

圖14 混合數(shù)據(jù)多輸入網(wǎng)絡(luò)Fig.14 Mixed data and multiple input network

此混合數(shù)據(jù)多輸入神經(jīng)網(wǎng)絡(luò)模型由兩個分支組成，分別為數(shù)值分支和圖像分支。其中，數(shù)值分支較簡單，數(shù)值數(shù)據(jù)經(jīng)過不使用激活函數(shù)的單層感知機(jī)計(jì)算，輸出一個一維張量，記為T1。由于此處的數(shù)值數(shù)據(jù)僅用到了瞳孔位置信息，且不使用激活函數(shù)，因此此處的單層感知機(jī)相當(dāng)于僅對位置數(shù)值做簡單的線性變換。圖像分支如2.2節(jié)所述，輸入一組22通道圖像數(shù)據(jù)，經(jīng)過SE-mini-Xception卷積神經(jīng)網(wǎng)絡(luò)的處理，輸出一個一維張量，記為T2。

上述兩分支僅用于提取特征信息，并不進(jìn)行屈光度結(jié)果的回歸計(jì)算，回歸計(jì)算放于兩分支連接后進(jìn)行。將數(shù)值分支和圖像分支所輸出的兩個一維張量T1、T2進(jìn)行連接組合，形成一個新的一維張量T3，并使用以“tanh函數(shù)”為激活函數(shù)的全連接層進(jìn)行回歸計(jì)算，從而得到屈光度預(yù)測結(jié)果，此處屈光度結(jié)果包含柱鏡度和球鏡度。

2.4 網(wǎng)絡(luò)訓(xùn)練

本文使用均方誤差（MSE）作為損失函數(shù)，如式（5）所示，其指參數(shù)估計(jì)值與參數(shù)真實(shí)值之差平方的期望值。

使用決定系數(shù)（R2_score）作為評價(jià)指標(biāo)，如式（6）所示，決定系數(shù)反應(yīng)因變量的波動，可以用來判斷模型對數(shù)據(jù)的擬合能力，決定系數(shù)越高，則模型對數(shù)據(jù)的擬合能力越好。

并使用隨機(jī)梯度下降法訓(xùn)練模型，設(shè)置batch size為16，epochs為70，初始學(xué)習(xí)率為0.000 1；設(shè)置自適應(yīng)學(xué)習(xí)率下降，val_loss五次不下降便將學(xué)習(xí)率修改為原來的二分之一；訓(xùn)練過程中保留驗(yàn)證集中決定系數(shù)最大的模型。訓(xùn)練結(jié)果如圖15所示。圖中，本文的混合數(shù)據(jù)多輸入神經(jīng)網(wǎng)絡(luò)的R2_score為99.17%。

圖15 網(wǎng)絡(luò)訓(xùn)練過程評價(jià)Fig.15 Network training process evaluation

3 實(shí)驗(yàn)與分析

3.1 屈光度準(zhǔn)確性實(shí)驗(yàn)

本文用于測試的樣本共有613個，球鏡度分布范圍為-8.0D～2.75D，柱鏡度分布范圍為-2.5D～0D。使用上述所提出的神經(jīng)網(wǎng)絡(luò)模型對所有測試樣本進(jìn)行屈光度預(yù)測。

為了更直觀地看出屈光度預(yù)測結(jié)果，從測試樣本中隨機(jī)選取100個樣本，將此100個樣本的球鏡度和柱鏡度的標(biāo)簽值與預(yù)測值進(jìn)行對比，得出如圖16和圖17所示結(jié)果。

圖16 球鏡度預(yù)測Fig.16 Spherical diopter prediction

由圖16、圖17結(jié)果顯示，球鏡度與柱鏡度預(yù)測結(jié)果均與標(biāo)簽值接近，隨著標(biāo)簽值單調(diào)遞增的過程而單調(diào)遞增。因此，可以得出結(jié)論，使用本文中所提出的深度學(xué)習(xí)屈光檢測模型，能夠?qū)崿F(xiàn)屈光度的計(jì)算，且與標(biāo)簽值變化趨勢基本一致。

圖17 柱鏡度預(yù)測Fig.17 Cylinder diopter prediction

為了更清楚地分析屈光度預(yù)測結(jié)果，驗(yàn)證本方法在不同球鏡度和柱鏡度范圍內(nèi)的適用性，在此處將屈光度范圍進(jìn)行分級，并分別對每級的預(yù)測結(jié)果進(jìn)行準(zhǔn)確度分析。由于目前市面上的多數(shù)視力篩查儀的球鏡度與柱鏡度的精度為±0.50D，因此將此處的預(yù)測準(zhǔn)確定義為預(yù)測值與標(biāo)簽值的差的絕對值在0.50D以內(nèi)。

如表1所示，將球鏡度范圍分為9類，將-8D到0D范圍內(nèi)的球鏡度按1D的間隔進(jìn)行分類，將大于0D的球鏡度單獨(dú)作為一類。結(jié)果顯示，613例測試樣本中預(yù)測準(zhǔn)確的樣本數(shù)共計(jì)536例，準(zhǔn)確率達(dá)87.44%，高于韓國學(xué)者Chun于2019年做的相關(guān)研究[17]，其以2.0D和2.5D為間隔對-5.0D到5.0D的球鏡度對進(jìn)行分級，并進(jìn)行分類預(yù)測，準(zhǔn)確率為81.6%。

表1 球鏡度預(yù)測結(jié)果Table 1 Result of spherical diopter prediction

表1中結(jié)果顯示，各類球鏡度范圍的預(yù)測準(zhǔn)確率均在總體準(zhǔn)確率87.44%上下波動，且波動范圍較穩(wěn)定。其中S＞0D的預(yù)測準(zhǔn)確率稍低，這是由于遠(yuǎn)視樣本較少，且樣本分布不均，因此預(yù)測準(zhǔn)確率較低?？梢缘贸鼋Y(jié)論，本文所提出的屈光檢測方法對于-8.0D到0D范圍內(nèi)的球鏡度均適用。

如表2所示，將柱鏡度范圍共分為了5類，將-2.0D到0D范圍內(nèi)的柱鏡度以0.5D的間隔進(jìn)行分類，將小于-2.0D的柱鏡度單獨(dú)作為一類。結(jié)果顯示，613個測試樣本，其中預(yù)測準(zhǔn)確樣本數(shù)為566個，準(zhǔn)確率達(dá)92.33%。表中結(jié)果顯示，在柱鏡度小于-2.0D以及在-2.0D到-1.5D范圍內(nèi)，柱鏡度預(yù)測準(zhǔn)確率較低，這是由于散光程度較嚴(yán)重的樣本較少，且分布不均，模型對這部分樣本特征未能較好地學(xué)習(xí)，因此預(yù)測準(zhǔn)確率偏低。不過，表2所示結(jié)果，可以得出結(jié)論，該模型在-1.5D到0D范圍內(nèi)的柱鏡度預(yù)測較準(zhǔn)確，均在95%左右。

表2 柱鏡度預(yù)測結(jié)果Table 2 Result of cylinder diopter prediction

綜上所述，本文所提出的基于深度學(xué)習(xí)的屈光度預(yù)測算法，適用于絕大多數(shù)范圍的屈光度預(yù)測，并且可以同時實(shí)現(xiàn)球鏡度和柱鏡度的預(yù)測，準(zhǔn)確率分別達(dá)到87.44%與92.33%，超過了現(xiàn)有的基于深度學(xué)習(xí)的屈光度預(yù)測方法。

3.2 位置適應(yīng)性實(shí)驗(yàn)

本文所提方法不需要嚴(yán)格要求被測者對準(zhǔn)圖像采集系統(tǒng)光軸，給被測者提供了一定的位移范圍，具有位置適應(yīng)性的功能。因此，在本節(jié)中，對該方法的位置適應(yīng)性進(jìn)行實(shí)驗(yàn)分析。

以圖像中心點(diǎn)為原點(diǎn)，計(jì)算每個瞳孔圖像質(zhì)心與圖像中點(diǎn)的距離，即瞳孔偏心距，此處偏心距的單位為像素。正常人的瞳距約為58 mm到75 mm，根據(jù)圖像傳感器分辨率（1 280×1 024）、像元尺寸（4.8 μm×4.8 μm）、拍攝距離為1 000 mm、鏡頭焦距為50 mm，計(jì)算而得，在要求被測者對準(zhǔn)圖像采集系統(tǒng)光軸時，正常人的瞳孔偏心距在此圖像中的對應(yīng)范圍約為302到390之間。

為驗(yàn)證本方法對瞳孔不同位置狀態(tài)的適應(yīng)性，對瞳孔偏心距進(jìn)行分級。如表3所示，將測試樣本的瞳孔偏心距進(jìn)行劃分，共分為七類，250到500范圍內(nèi)以50為間隔劃分為五類，大于500和小于250的偏心距各單獨(dú)為一類。表中結(jié)果顯示，隨著偏心距的改變，球鏡度和柱鏡度的預(yù)測準(zhǔn)確度并沒有劇烈波動，球鏡度預(yù)測準(zhǔn)確度保持在80%以上，柱鏡度預(yù)測準(zhǔn)確度也在90%左右。其中，在偏心距小于250時，球鏡度與柱鏡度的預(yù)測準(zhǔn)確率均較低，此處由于樣本量較少，深度學(xué)習(xí)模型對特征學(xué)習(xí)不充分，導(dǎo)致預(yù)測準(zhǔn)確率較低。

由表3結(jié)果，可以得出結(jié)論，本文所提出的屈光度預(yù)測算法，具有位置適應(yīng)性的特點(diǎn)。

表3 位置適應(yīng)性結(jié)果Table 3 Result of location adaptability experiment

4 結(jié)束語

本文提出了一種基于深度學(xué)習(xí)的屈光檢測算法，作為對未來自助式屈光檢測算法的一種探索嘗試。在該方法中，首先進(jìn)行了圖像采集系統(tǒng)的搭建，使用搭建好的圖像采集系統(tǒng)進(jìn)行基于偏心攝影驗(yàn)光原理的近紅外人臉圖像的采集；然后使用圖像處理技術(shù)對人臉圖像進(jìn)行預(yù)處理，得到瞳孔圖像和瞳孔位置信息；最后使用預(yù)先訓(xùn)練好的具有數(shù)值分支和圖像分支的混合數(shù)據(jù)多輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行屈光度的預(yù)測，其中圖像分支使用了針對圖像數(shù)據(jù)集特點(diǎn)特地設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)。

本文提出的端到端的神經(jīng)網(wǎng)絡(luò)模型，可以同時預(yù)測出球鏡度和柱鏡度結(jié)果，在測試樣本中，球鏡度準(zhǔn)確率為87.44%，柱鏡度準(zhǔn)確率為92.33%，較大地超過了目前的基于深度學(xué)習(xí)的屈光檢測方法，且隨著數(shù)據(jù)集的積累，準(zhǔn)確率將進(jìn)一步提高。同時該方法將瞳孔位置信息作為神經(jīng)網(wǎng)絡(luò)模型的輸入，有效地解決了傳統(tǒng)屈光檢測方法對被測者位置要求較高的問題，有望實(shí)現(xiàn)自助式的屈光篩查。

該方法目前還存在一些不足，有待進(jìn)一步研究。目前數(shù)據(jù)集較小，模型準(zhǔn)確率和位置適應(yīng)性還存在很大的優(yōu)化進(jìn)步空間；模型不夠精簡，運(yùn)行速度還有待提高；該方法目前僅考慮了瞳孔圖像和位置信息，隨著數(shù)據(jù)的積累，未來將結(jié)合被測者相關(guān)個人信息，如BMI、性別、父母近似情況等與近似相關(guān)的因素，進(jìn)一步提高準(zhǔn)確率；模型目前可以同時預(yù)測出球鏡度和柱鏡度，未來將進(jìn)行球鏡、柱鏡、軸位三個信息的同時預(yù)測研究。