摘 要:為了加強(qiáng)對(duì)兒童的管理,AI兒童成長(zhǎng)系統(tǒng)以平安家庭、智慧陪伴為切入點(diǎn),通過搭建YOLOv5神經(jīng)網(wǎng)絡(luò)模型來捕獲兒童居家的微表情與動(dòng)作,利用人體姿態(tài)識(shí)別與人臉活體檢測(cè)算法對(duì)家庭進(jìn)行實(shí)時(shí)檢測(cè),促進(jìn)兒童養(yǎng)成良好習(xí)慣,若發(fā)現(xiàn)有可疑人員則及時(shí)進(jìn)行報(bào)警處理。集智慧陪伴、家庭安全于一體的智能管理系統(tǒng)能夠?yàn)榧彝ヌ峁┒鄬哟?、全方位的智能化服?wù)。不僅能夠有效解決幼童玩耍后玩具雜亂和收納困難等問題,還能夠?qū)崿F(xiàn)幼童的智能化輔助看管,具有監(jiān)控、識(shí)別、報(bào)警、記錄等功能。
關(guān)鍵詞:人臉識(shí)別;視頻圖像處理技術(shù);大數(shù)據(jù)分析;云服務(wù);人機(jī)交互;YOLOv5神經(jīng)網(wǎng)絡(luò)
中圖分類號(hào):TP273;TP242 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2095-1302(2024)03-00-03
0 引 言
隨著經(jīng)濟(jì)的不斷發(fā)展,人口年齡結(jié)構(gòu)急劇變化,使得孩子常常得不到周到的照料。深入市場(chǎng)調(diào)查后我們發(fā)現(xiàn)一部分家長(zhǎng)會(huì)在市面上專門購(gòu)買一些兒童收納箱來收納孩子們的玩具。但比較后發(fā)現(xiàn),市面上的收納箱大同小異,收納裝置功能單一,缺乏趣味,缺少細(xì)節(jié)的分類,仍然是雜亂無章地將玩具收納在收納箱之中,一定程度上增加了玩具的損傷率[1-3]。
在上述背景下,本項(xiàng)目致力于設(shè)計(jì)一個(gè)集智慧陪伴和安全防護(hù)于一體的兒童成長(zhǎng)系統(tǒng)。該智慧型兒童成長(zhǎng)系統(tǒng)不僅能夠有效解決幼童玩耍后玩具雜亂和收納困難等問題,還能夠?qū)崿F(xiàn)幼童的智能化輔助看管,具有監(jiān)控、識(shí)別、報(bào)警、記錄等功能。相比于傳統(tǒng)收納柜,本項(xiàng)目可緩解家長(zhǎng)收拾玩具的壓力,幫助引導(dǎo)孩子有序排放玩具,同時(shí)解決現(xiàn)有兒童安全、教育、學(xué)習(xí)等問題,記錄兒童成長(zhǎng)瞬間。更重要的是,該系統(tǒng)收納柜通過人機(jī)語音交互子系統(tǒng)進(jìn)行健康提醒,定時(shí)提醒孩子活動(dòng)身體、休息飲水等,以便養(yǎng)成健康小習(xí)慣,還能夠通過題庫作答情況進(jìn)行大數(shù)據(jù)分析,了解孩子的興趣愛好。除此之外,還具有監(jiān)控孩子周圍環(huán)境和安全的功能,可以將識(shí)別到的陌生面孔遠(yuǎn)程傳輸?shù)郊议L(zhǎng)手機(jī)APP上,進(jìn)一步保障兒童的安全。
1 系統(tǒng)總體設(shè)計(jì)
本系統(tǒng)框架設(shè)計(jì)如圖1所示。系統(tǒng)選用STM32和樹莓派4B雙主控作為核心控制,二者共同協(xié)作控制系統(tǒng)。STM32是目前最流行的嵌入式控制處理器之一,擁有超高的處理速度和運(yùn)行速度;樹莓派4B具有完整的程序框架支持,內(nèi)存容量能夠同時(shí)運(yùn)行多種不同的網(wǎng)絡(luò),并且能將復(fù)雜的計(jì)算機(jī)視覺算法應(yīng)用在各種復(fù)雜的模型中[4-7]。智慧型兒童成長(zhǎng)系統(tǒng)的功能模塊主要有:題庫積分系統(tǒng)、大數(shù)據(jù)分析系統(tǒng)、WiFi通信模塊、語音識(shí)別模塊、人臉活體檢測(cè)、自控開關(guān)門、人機(jī)交互界面等。語音識(shí)別模塊和攝像頭模塊作為智慧型兒童成長(zhǎng)系統(tǒng)的識(shí)別部分;繼電器、電機(jī)、電子鎖作為兒童成長(zhǎng)系統(tǒng)的控制部分;管理端APP和可視化QT界面構(gòu)成交互體驗(yàn)系統(tǒng)。各個(gè)部分相互級(jí)聯(lián)、相互作用、相互協(xié)作。
2 硬件設(shè)計(jì)
2.1 控制系統(tǒng)的硬件設(shè)計(jì)
針對(duì)本項(xiàng)目,需設(shè)計(jì)并且制作一臺(tái)體積約為(50×50×76)cm3的集智慧陪伴與安全防護(hù)于一體的兒童成長(zhǎng)系統(tǒng)。裝置結(jié)構(gòu)如圖2所示。圖2為設(shè)計(jì)的三維模型,其中①為3D視覺傳感器Kinect攝像頭模塊;②為語音識(shí)別四陣列麥克風(fēng);③為交互體驗(yàn)系統(tǒng)的可視化QT界面;④為體積為(18×48×11)cm3的固定儲(chǔ)物格;⑤為柜子背部散熱裝置;⑥為控制電路,用于控制智慧型兒童成長(zhǎng)系統(tǒng)的諸多功能;⑦為可移動(dòng)巡航部分,便于搬運(yùn)移動(dòng);⑧為以樹莓派為主的控制電路主控板。
2.2 控制系統(tǒng)的硬件電路設(shè)計(jì)與制作
在設(shè)備的控制上,需要設(shè)計(jì)一套可以嵌入智慧型兒童成長(zhǎng)系統(tǒng)的電路系統(tǒng),用于控制各個(gè)模塊的運(yùn)行以及與交互部分的通信。選用STM32、樹莓派4B作為系統(tǒng)的雙主控,外設(shè)搭建攝像頭模塊、繼電器、電機(jī)模塊、顯示屏及其他輔助模塊。通過STM32和樹莓派4B驅(qū)動(dòng)每一個(gè)模塊并結(jié)合起來,構(gòu)成控制電路系統(tǒng)。本系統(tǒng)選用STM32搭建各種外設(shè)模塊,選用樹莓派搭建QT界面、人臉活體檢測(cè)與各子系統(tǒng)之間的關(guān)系算法,共同運(yùn)營(yíng)測(cè)試。
3 軟件設(shè)計(jì)
3.1 大數(shù)據(jù)分析部分
將孩子所做題目類型,通過題庫采集記錄,以實(shí)時(shí)或批量的方式匯聚到HDFS文件系統(tǒng)中,再通過mapreduce程序?qū)Σ杉降狞c(diǎn)擊流數(shù)據(jù)進(jìn)行預(yù)處理,通過數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)提取、數(shù)據(jù)計(jì)算四個(gè)流程濾除臟數(shù)據(jù),提取有用數(shù)據(jù)等。接著將預(yù)處理之后的數(shù)據(jù)導(dǎo)入到HIVE倉(cāng)庫的相應(yīng)庫和表中存儲(chǔ)起來。對(duì)數(shù)據(jù)進(jìn)行分析,根據(jù)需求開發(fā)ETL分析語句,運(yùn)用高效的數(shù)據(jù)算法處理海量結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)得出各種統(tǒng)計(jì)結(jié)果。最后,將分析數(shù)據(jù)可視化,用戶可通過APP或者UI選擇列表、條形圖、環(huán)形圖等多種方式呈現(xiàn)孩子的興趣愛好。
3.2 人臉活體檢測(cè)部分
系統(tǒng)基于優(yōu)化的LBPH算法和Kinect v2傳感器的人臉識(shí)別算法。由實(shí)驗(yàn)結(jié)果可知,人臉識(shí)別率為98%,可行性較大;在活體識(shí)別方面,考慮到多線程的任務(wù)和樹莓派的機(jī)能限制,為保證程序的穩(wěn)定性,我們使用了百度云活體識(shí)別API,將處理好的圖片信息上傳至百度云的平臺(tái)上獲取活體檢測(cè)的對(duì)比度來實(shí)現(xiàn)此功能,這樣也減少了程序的運(yùn)算量,降低處理器的功耗,在嵌入式設(shè)備上也更加節(jié)省電量。
3.3 人機(jī)語音交互部分
基于樹莓派,通過接入U(xiǎn)SB聲卡和麥克風(fēng),輕松實(shí)現(xiàn)語音識(shí)別/人機(jī)交互功能。通過用戶自定義的時(shí)間,可合理控制孩子的娛樂時(shí)間;到達(dá)指定時(shí)間時(shí),智能語音助手便會(huì)提示孩子把玩具合理安排收納到收納柜中。此外,還可以詢問孩子們感興趣的事物,通過對(duì)話數(shù)據(jù)分析孩子們的興趣愛好,家長(zhǎng)們可以通過APP自定義來設(shè)計(jì)知識(shí)問答、音樂播放、故事講解等。語音交互流程如圖3所示。
3.4 云服務(wù)器部分
互聯(lián)網(wǎng)服務(wù)作為兒童成長(zhǎng)系統(tǒng)與APP端的傳輸中介,起著橋梁的作用[8-10]。集智慧陪伴與安全防護(hù)于一體的兒童成長(zhǎng)系統(tǒng)通過WiFi模塊/4G模塊聯(lián)網(wǎng),接入云服務(wù)端,從而實(shí)現(xiàn)不斷地與APP端進(jìn)行數(shù)據(jù)交換,達(dá)到兒童成長(zhǎng)系統(tǒng)接收APP控制指令和APP端接收兒童成長(zhǎng)系統(tǒng)發(fā)送信息的目的。數(shù)據(jù)通信結(jié)構(gòu)如圖4所示。
3.5 交互體驗(yàn)系統(tǒng)
交互體驗(yàn)系統(tǒng)是用戶與兒童成長(zhǎng)系統(tǒng)進(jìn)行交互體驗(yàn)的主要部分,主要由可視化QT界面和管理端APP組成。流程如圖5所示。
使用Python中的PyQt5庫來設(shè)計(jì)一個(gè)用戶界面,通過QT界面的功能模塊,家長(zhǎng)可以選擇特定的功能。此外,家長(zhǎng)可以智能操控語音識(shí)別庫,輸入自定義語音指令,在孩子玩耍與學(xué)習(xí)時(shí)定時(shí)健康提醒。界面還具備人臉識(shí)別功能,通過將管理員與使用者的人臉錄入,有效避免除使用者外的人員打開智慧型兒童成長(zhǎng)系統(tǒng),同時(shí)將非使用者人臉記錄后發(fā)送到家長(zhǎng)手機(jī)APP中。
使用管理端APP可以與智慧型兒童成長(zhǎng)系統(tǒng)互通數(shù)據(jù),家長(zhǎng)可以錄入自定義的語音命令,配合健康提醒系統(tǒng)在孩子玩耍與學(xué)習(xí)時(shí)定時(shí)健康提醒,且當(dāng)系統(tǒng)識(shí)別到陌生面孔時(shí),啟動(dòng)警報(bào),并將面孔圖像發(fā)送至家長(zhǎng)手機(jī)APP中。
4 結(jié) 語
集智慧陪伴與安全防護(hù)于一體的兒童成長(zhǎng)系統(tǒng),基于深度學(xué)習(xí)的模型訓(xùn)練與OpenCV庫實(shí)現(xiàn)了對(duì)孩童居家狀態(tài)的識(shí)別分析,能夠?qū)崟r(shí)監(jiān)測(cè)孩童的居家情況以及家庭安全情況。在人機(jī)交互界面的設(shè)計(jì)上選擇了開發(fā)效率高、可移植性強(qiáng)的Python的PyQt5庫;以樹莓派作為核心控制板,樹莓派與顯示屏、STM32的搭建使得后期可以擴(kuò)展更多的功能。經(jīng)過多次的測(cè)試證明,系統(tǒng)的設(shè)計(jì)具有很強(qiáng)的魯棒性,該設(shè)計(jì)增加了家庭陪伴與安全防護(hù)功能,同時(shí)實(shí)現(xiàn)了轉(zhuǎn)型升級(jí)和可持續(xù)發(fā)展的可能。
參考文獻(xiàn)
[1]王栿棟,鄒華勇.六由度并聯(lián)機(jī)器人位姿控制分析與仿真[J].科技創(chuàng)新與應(yīng)用,2014,4(21):37-39.
[2]鄧衛(wèi)斌,余一萌.兒童益智玩具設(shè)計(jì)原則與要素的研究[J].大眾文藝,2019,64(2):68.
[3]薛曼齡,張玉花.互動(dòng)性益智兒童玩具設(shè)計(jì)探究[J].工業(yè)設(shè)計(jì),2018,14(11):43-44.
[4]賴志耀,唐海波,楊子彥.紅外快速檢測(cè)人體溫度裝置的設(shè)計(jì)與研制[J].中國(guó)設(shè)備工程,2020,36(18):103-104.
[5]張理?xiàng)?,王延?基于單片機(jī)的智能亮度調(diào)節(jié)系統(tǒng)的研究與設(shè)計(jì)[J].科學(xué)技術(shù)創(chuàng)新,2020,24(22):31-32.
[6]羅啟強(qiáng). 基于PHP+MySQL的高校教務(wù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].長(zhǎng)春:吉林大學(xué),2016.
[7]阮永超,劉武發(fā),鄭鵬.一種智能傳感器系統(tǒng)的設(shè)計(jì)[J].工程設(shè)計(jì)學(xué)報(bào),2020,27(3):398-406.
[8]沈旭,胡煒健,孟巍.智慧校園APP設(shè)計(jì)與實(shí)現(xiàn)[J].智能計(jì)算機(jī)與應(yīng)用,2019,9(1):224-228.
[9]閆繼正,張雷,張海濤.基于MySQL的空管設(shè)備集中監(jiān)控系統(tǒng)數(shù)據(jù)庫設(shè)計(jì)[J].微處理機(jī),2021,42(6):47-51.
[10]蔡志濤,晁松杰.基于單片機(jī)平臺(tái)語音識(shí)別技術(shù)的實(shí)現(xiàn)[J].電腦迷,2017,15(10):29.
作者簡(jiǎn)介:蘇立武(2001—),男,廣東汕頭人,本科在讀,主要研究方向?yàn)樽詣?dòng)化技術(shù)和嵌入式系統(tǒng)。