葉樺杉,李 翔
(文山學(xué)院 人工智能學(xué)院,云南 文山 663099)
美國醫(yī)學(xué)會(huì)曾對(duì)200多例嬰兒猝死綜合癥病例進(jìn)行過研究,結(jié)果發(fā)現(xiàn),大約有30%的嬰兒因睡沙發(fā)床堵住口或鼻造成窒息[1]。睡姿不當(dāng)是嬰兒在熟睡中窒息的一大誘因,不具備自主翻身能力的嬰兒極易因?yàn)樵趥?cè)臥過程中頭部向某一側(cè)的偏轉(zhuǎn)程度過大,致使臥具上柔軟的被褥或枕頭堵住口鼻而存在窒息的風(fēng)險(xiǎn)。而嬰兒頭部的偏轉(zhuǎn)程度又直接反映在正俯視圖像中近耳側(cè)眼角與鼻骨凹點(diǎn)處距離的大小關(guān)系上。因此,可以采用在圖像上檢測(cè)嬰兒近耳側(cè)眼角與鼻骨凹點(diǎn)處的距離同預(yù)設(shè)值的進(jìn)行比較的方法,實(shí)現(xiàn)對(duì)嬰兒因睡眠姿態(tài)不當(dāng)而產(chǎn)生窒息風(fēng)險(xiǎn)的預(yù)判。
本方法首先進(jìn)行圖像預(yù)處理和耳部圖像提取。隨后將耳部圖像按比例分割后進(jìn)行部位判斷與耳部特征點(diǎn)查找。最后借助歐幾里得距離計(jì)算公式進(jìn)行近耳側(cè)眼角坐標(biāo)推算、鼻骨凹點(diǎn)查找和近耳側(cè)眼角與鼻骨凹點(diǎn)距離計(jì)算,通過實(shí)測(cè)值與預(yù)設(shè)值的比對(duì),對(duì)嬰兒當(dāng)前睡眠姿態(tài)有無窒息風(fēng)險(xiǎn)進(jìn)行判斷。方法單次實(shí)現(xiàn)流程圖如圖1所示。
圖 1 單次實(shí)現(xiàn)流程圖
由于本方法主要應(yīng)用于夜間,獲取的圖像整體偏暗,對(duì)比度較低,且圖像尺寸不盡相同,因此首先對(duì)圖像進(jìn)行預(yù)處理。預(yù)處理階段輸出的圖像將作為后續(xù)運(yùn)算操作的輸入圖像。
首先對(duì)圖像進(jìn)行尺寸歸一化處理,使捕獲的圖像統(tǒng)一變?yōu)閄×Y尺寸的圖像,這有利于后續(xù)進(jìn)行圖像分割及各項(xiàng)坐標(biāo)值運(yùn)算的正常進(jìn)行。接著將尺寸歸一化后的圖像灰度化,并通過直方圖均衡化的方式,提高圖像對(duì)比度,處理結(jié)果如圖2所示。
圖 2 直方圖均衡化處理
最后使用Sobel算子[2]對(duì)圖像中被檢測(cè)對(duì)象主體的邊緣進(jìn)行提取并去除部分無關(guān)區(qū)域,提取效果如圖3所示。
圖 3 二值化邊緣提取
圖像預(yù)處理階段的輸出圖像是一幅尺寸為X×Y、由像素值為0或1的像素點(diǎn)構(gòu)成的二值化邊緣提取圖像。P(i,j)為圖像矩陣中第i行第j列的的像素值。
對(duì)于同一個(gè)被檢測(cè)對(duì)象,在二值化邊緣提取圖像中各部位的像素值和基本不變,且耳部只位于圖像的上半部分。根據(jù)此特點(diǎn)提出一種基于像素值匹配的耳部提取方法。
在二值化邊緣提取圖像上,令一尺寸為x×y、特征點(diǎn)為(M,N)的矩形選框從P(1, 1)處開始以特定步長d對(duì)圖像上半部分進(jìn)行遍歷,同時(shí)計(jì)算選區(qū)內(nèi)的像素值和在誤差D允許的范圍內(nèi),當(dāng)S(p)達(dá)到某一預(yù)設(shè)值S(p0)時(shí),即|S(p)-S(p0)|≤D,便可認(rèn)為耳部存在于此選區(qū)之中,提取效果如圖4所示。
圖 4 尺寸為x×y的耳部圖像選區(qū)
為快速確定耳部特征點(diǎn)、減少運(yùn)算資源浪費(fèi)、提升運(yùn)算結(jié)果的精準(zhǔn)度,故將2.2小節(jié)所得耳部圖像進(jìn)行橫向四等分、縱向六等分處理。結(jié)果如圖5所示。
圖 5 左耳與右耳的判別依據(jù)
從耳部圖像比例分割的結(jié)果來看,耳朵上部、下部特征點(diǎn)在耳部提取圖像中所處的位置相對(duì)固定,據(jù)此可在特定區(qū)域內(nèi)通過提取元數(shù)組求和的方式來確定耳部特征點(diǎn)。由于不同部位特征點(diǎn)在耳部提取圖像中的相對(duì)位置不同,因此必須先借助獲取上步運(yùn)算過程中賦予圖像的特征值來選擇恰當(dāng)?shù)倪\(yùn)算方式。
3.2.1 左側(cè)
設(shè)左耳上部、下部特征點(diǎn)坐標(biāo)分別為:(xl1,yl1)和(xl2,yl2)、對(duì)應(yīng)選框特征點(diǎn)坐標(biāo)為:(Ml,Nl)。則此兩點(diǎn)在2.2小節(jié)所得圖像中的坐標(biāo)值具有如下特點(diǎn):
對(duì)于左耳上部特征點(diǎn),采用在上述約束條件確定的區(qū)域內(nèi),從下向上逐行取出元數(shù)組進(jìn)行求和的方式進(jìn)行查找。當(dāng)發(fā)現(xiàn)某行所在的元數(shù)組值之和不為零時(shí),讀取該行行號(hào)作為左耳上部特征點(diǎn)縱坐標(biāo)yl1,并讀取該行元數(shù)組中最左端的非零元素的列號(hào)作為左耳上部特征點(diǎn)橫坐標(biāo)xl1。綜上可得左耳上部特征點(diǎn)在2.1節(jié)所得二值圖像中的坐標(biāo)為:(Ml+xl1-1,Nl+yl1-1)。
對(duì)于左耳下部特征點(diǎn),則從左到右逐列取出元數(shù)組進(jìn)行求和,當(dāng)發(fā)現(xiàn)某列所在的元數(shù)組值之和不為零時(shí),讀取該列列號(hào)作為左耳下部特征點(diǎn)橫坐標(biāo)xl2,并在該列元數(shù)組中讀取最下端非零元素的行號(hào)作為耳朵下部特征點(diǎn)縱坐標(biāo)yl2??傻米蠖虏刻卣鼽c(diǎn)在二值圖像中的坐標(biāo)為:(Ml+xl2-1,Nl+yl2-1)
3.2.2 右側(cè)
設(shè)右耳上部、下部特征點(diǎn)坐標(biāo)分別為:(xr1,yr1)和(xr2,yr2)、對(duì)應(yīng)選框特征點(diǎn)坐標(biāo)為:(Mr,Nr)。則此兩點(diǎn)在所得圖像中的坐標(biāo)值具有如下特點(diǎn):
對(duì)于右耳上部特征點(diǎn),采用在上述約束條件確定的區(qū)域內(nèi),從下向上逐行取出元數(shù)組進(jìn)行求和的方式進(jìn)行查找。當(dāng)發(fā)現(xiàn)某行所在的元數(shù)組值之和不為零時(shí),讀取該行行號(hào)作耳朵上部特征點(diǎn)縱坐標(biāo)yr1,并讀取該行元數(shù)組中最右側(cè)非零元素的列號(hào)作為耳朵上部特征點(diǎn)橫坐標(biāo)xr1。綜上可得右耳上部特征點(diǎn)在2.1節(jié)所得二值圖像中的坐標(biāo)為:(Mr+xr1-1,Nr+yr1-1)。
對(duì)于右耳下部特征點(diǎn),則從右到左逐列取出元數(shù)組進(jìn)行求和,當(dāng)發(fā)現(xiàn)某列所在的元數(shù)組值之和不為零時(shí),讀取該列列號(hào)作為右下部特征點(diǎn)橫坐標(biāo)xr2,并讀取該列元數(shù)最下端非零元素的行號(hào)作為右耳下部特征點(diǎn)縱坐標(biāo)yr2,可得右耳耳朵下部在二值圖中的坐標(biāo)為:(Mr+xr2-1,Nr+yr2-1)。
在二維平面上,任意兩點(diǎn)(xm,ym)和(xn,yn)間的距離L可用歐氏距離來度量,即[3]
由幾何學(xué)公理可知,圓心到圓周上的距離處處相等[4]。若設(shè)耳朵上部、下部在二值化邊緣提取圖像中的坐標(biāo)為(x1,y1)、(x2,y2),它們到近耳側(cè)眼角坐標(biāo)的距離分別為R1和R2,并分別以(x1,y1)和(x2,y2)為圓心,R1和R2為半徑作圓。在誤差允許的范圍內(nèi),兩圓的交點(diǎn)之一恰是眼角坐標(biāo)。因此,可借助此原理聯(lián)立方程組,并根據(jù)實(shí)際情況選取恰當(dāng)?shù)慕?,求出近耳?cè)眼角坐標(biāo)(xe,ye)。
設(shè)左耳上部、下部特征點(diǎn)到左眼近耳側(cè)眼角的距離分別為Rl1和Rl2。則由式(1)可求得左眼近耳側(cè)眼角坐標(biāo)為(xle,yle),如圖6所示。
圖 6 面部左側(cè)特征點(diǎn)歐氏距離
設(shè)右耳上部、下部特征點(diǎn)到右眼近耳側(cè)眼角的距離分別為Rr1和Rr2。則由式(2)可求得右眼近耳側(cè)眼角坐標(biāo)為(xre,yre),如圖7所示。
圖 7 面部右側(cè)特征點(diǎn)歐氏距離
若嬰兒在睡覺時(shí),口鼻一側(cè)緊貼臥具,則存在窒息風(fēng)險(xiǎn)。而嬰兒口鼻緊貼臥具時(shí),其近耳側(cè)眼角與鼻骨凹點(diǎn)處的距離同正常側(cè)臥時(shí)相比較小??赏ㄟ^計(jì)算近耳側(cè)眼角與鼻骨最凹點(diǎn)處的距離與對(duì)應(yīng)預(yù)設(shè)值相比較,從而判斷嬰兒睡姿有無窒息風(fēng)險(xiǎn)。
在二值化邊緣提取圖像中,采用延拓法通過眼角坐標(biāo)構(gòu)建包含鼻骨最凹點(diǎn)的選區(qū),并根據(jù)圖像特征值在此選區(qū)中進(jìn)行鼻骨凹點(diǎn)的查找。
依據(jù) 4.1、4.2 計(jì)算值得出近耳側(cè)眼角坐標(biāo)值,在該點(diǎn)處進(jìn)行橫向延伸。當(dāng)找到其對(duì)應(yīng)邊界區(qū)中第一個(gè)非零值像素點(diǎn)時(shí),將此兩點(diǎn)確定的直線縱向拓展30個(gè)像素,將兩點(diǎn)的運(yùn)動(dòng)軌跡及二直線包含的區(qū)域作為下步計(jì)算區(qū)域。
以此區(qū)域橫向邊界的中垂線為界,再次對(duì)選區(qū)進(jìn)行分割。以該區(qū)域中垂線為下界,以近邊緣側(cè)界線為上界,在此范圍內(nèi)逐列求和,當(dāng)某列元數(shù)組求和之值不為零時(shí),讀取該列數(shù)組中最上端非零值像素點(diǎn)的橫縱坐標(biāo),加以幾何變換,便可得到鼻骨凹點(diǎn)在二值化邊緣提取圖像中的坐標(biāo)值,再計(jì)算該點(diǎn)與眼角坐標(biāo)點(diǎn)的歐氏距離得到實(shí)測(cè)距離L,如圖8中a、b所示。
圖 8 延拓法提取鼻梁處區(qū)域
令實(shí)測(cè)距離L與預(yù)設(shè)距離L0相比較,當(dāng)L<L0時(shí),則說明當(dāng)前睡姿可能存在窒息風(fēng)險(xiǎn),可向外界發(fā)出警報(bào),反之則說明當(dāng)前睡姿無窒息風(fēng)險(xiǎn)。
由于不同被檢測(cè)對(duì)象個(gè)體間存在差異,因此,相關(guān)參數(shù)應(yīng)根據(jù)被檢測(cè)對(duì)象的實(shí)際情況做出相應(yīng)調(diào)整。使用仿真娃娃在適合的預(yù)設(shè)參數(shù)下對(duì)其左側(cè)臥姿態(tài)進(jìn)行檢測(cè),以驗(yàn)證本方法的可行性。測(cè)試所用預(yù)設(shè)值如表1所示;左側(cè)實(shí)測(cè)用圖、判據(jù)如表2所示;測(cè)試過程GUI界面如圖9.1、圖9.2所示。
表1 仿真測(cè)試預(yù)設(shè)值
表2 測(cè)試圖及閾值設(shè)定
圖 9.1 左側(cè)實(shí)測(cè)·狀態(tài)正常
圖 9.2 左側(cè)實(shí)測(cè)·窒息風(fēng)險(xiǎn)
從仿真實(shí)驗(yàn)結(jié)果來看,使用單張圖像測(cè)試時(shí),實(shí)測(cè)結(jié)果與期望結(jié)果一致。能夠?qū)雰核耸欠翊嬖谥舷L(fēng)險(xiǎn)進(jìn)行判斷。但本方法目前只能對(duì)單幅圖像進(jìn)行檢測(cè),圖片導(dǎo)入需要通過手動(dòng)操作實(shí)現(xiàn)。可行性仍然停留在理論層面上。
在日后的提升與優(yōu)化中,將考慮把本方法與從視頻流分幀提取得到時(shí)序圖像組的方法相結(jié)合,實(shí)現(xiàn)通過視頻流直接獲取圖像并檢測(cè)的功能,對(duì)被檢測(cè)對(duì)象進(jìn)行連續(xù)監(jiān)測(cè),提高本方法的實(shí)用性。