陸貝瑤,張鐵成(通訊作者),宋楊,黃自正,文沖,彭渤繁,何其先
(大連大學,遼寧大連,116622)
患者或者陪護人員在醫(yī)院飲食非常不方便,經常有附近餐館人員在醫(yī)院病房現(xiàn)場發(fā)傳單,醫(yī)院訂餐服務人員到各病房逐一詢問訂餐、通過網(wǎng)絡訂餐等方式來滿足部分長時間在醫(yī)院臨時生活人群的飲食需求,部分醫(yī)院因患者多、后勤服務不足,未能滿足老年人等人群的訂餐需求。隨著智能技術的發(fā)展,服務機器人在各個領域具有廣泛的應用,醫(yī)療服務機器人的開發(fā)也具有廣闊的市場發(fā)展空間,可彌補現(xiàn)有醫(yī)院訂艙方式的不足,通過訂餐機器人也可提高醫(yī)院的形象。
醫(yī)療訂餐服務服務機器人采用可聯(lián)網(wǎng)的NVIDIA Jetson Nano作為其控制中心,底部安裝了配置懸掛系統(tǒng)的麥克納姆輪,可實現(xiàn)全向運動,也可在不平的路面上進行行走,通過搭載的導航系統(tǒng)、視覺識別系統(tǒng)及內置的路徑軌跡規(guī)劃,可在一定空間范圍內自動行走,使用具有觸摸功能的串口屏來顯示醫(yī)院情況及訂餐過程的界面,也具有聲音播放等功能,如圖1所示。
圖1 醫(yī)院訂餐機器人系統(tǒng)圖
醫(yī)療機器人的控制系統(tǒng)采用以NVIDIA Jetson Nano為控制中心的開發(fā)套件,如圖2所示,該套件是一種功能強大的小型計算機,搭載四核Cortex–A57處理器,128核Maxwell GPU及4GB LPDDR內存,具有較高計算性能、超低功率、尺寸小巧等特點,可讓圖像分類、目標檢測、分割和語音處理等應用中并行運行多個神經網(wǎng)絡。全部工作都可在這一簡單易用的平臺上完成。Jetson Nano 提供 472 GFLOP,用于快速運行現(xiàn)代 AI 算法,可以并行運行多個神經網(wǎng)絡,同時處理多個高分辨率傳感器,非常適合入門級網(wǎng)絡
圖2 Jetson Nano開發(fā)套件
硬盤錄像機 (NVR)、家用機器人以及具備全面分析功能的智能網(wǎng)關等應用,可體驗功能強大且高效的 AI、計算機視覺和高性能計算,功耗僅為 5 至 10 瓦,Jetson Nano 模組僅有 70 x 45 毫米,是體積非常小巧的 Jetson 設備是一款基于 AI 的產品進行原型設計并將其快速推向市場的理想解決方案。
醫(yī)院訂餐機器人的全向移動模塊主要由JGB37–520減速馬達、麥克納姆輪、底盤和懸掛系統(tǒng)組成。麥克納姆輪具有運動靈活性和多樣性等特點,可以實現(xiàn)前行、橫移、斜行、旋轉及其組合等運動方式,非常適合轉運空間有限、作業(yè)通道狹窄的等環(huán)境使用。麥克納姆輪常通過擺臂式懸掛系統(tǒng)與車身相連接,可在一定程度上解決由于地面的不平整性,運行時每個麥克納姆輪的著地力不均勻,著地性較差,容易打滑,未能按照預定軌跡平穩(wěn)的運行的問題。配置的懸掛系統(tǒng)可實現(xiàn)本機器人在不平整的路面上,最大限度的使每個麥克納姆輪能夠有效著地,保證整個移動裝備的平穩(wěn)性及水平性,能夠更安全的移動。
圖3 麥克娜姆輪及底盤
圖4 安裝在底盤上的懸掛系統(tǒng)
醫(yī)院訂餐機器人配置了800W像素的雙目攝像頭(IMX219模組)及激光測距系統(tǒng)。攝像頭及激光測距傳感器與機器人的控制中心Jetson nano連接,Jetson nano是帶有GPU的微型電腦,具有運行并且訓練神經網(wǎng)絡的功能,Jetson擁有的神經網(wǎng)絡可以順利識別攝像頭中的許多物體,利用yolo,ssd等成熟的模型可以完成這類工作。通過對人臉的識別及與人距離的判斷,讓訂餐機器人自動停在需要訂餐的顧客旁邊,完成訂餐任務后繼續(xù)在指定的空間或固定地點自主移動。
圖5 IMX219雙目攝像頭
機器人的運動模式設置了自主運動及固定不動兩種模式,根據(jù)該機器人周邊人群的多少,可自動切換運動模式,以免人群過多干擾運動方向的判斷,干擾訂餐過程。在機器人底部安裝了八個激光測距傳感器,按照每隔45度角分布在機器人底部的周圍,可檢測周圍八個方向上物體與機器人的距離,同時結合機器人頂部的雙目攝像頭判斷周邊環(huán)境,實現(xiàn)自主避障功能。
根據(jù)系統(tǒng)內置的運動規(guī)劃路線,同時結合Jetson利用雙目攝像頭和激光雷達構建環(huán)境地圖,實現(xiàn)按照預定的軌跡在指定區(qū)域內行走,自主避障及自動導航。
通過機器人搭載的麥克風陣列,使用Jetson Nano強大的深度學習功能進行自然語言處理,實現(xiàn)語言的識別,根據(jù)識別的語音控制機器人的實現(xiàn)點餐等功能,減少人群與機器人觸屏的交互次數(shù),避免交叉感染。
機器人的顯示屏使用10.1英寸的X5系列電容觸摸USART HMI串口屏,該串口屏由顯示驅動板、外殼、LCD液晶顯示屏三部分構成,為一套集成了由運算能力比較強的單片機或PLC帶控制器的顯示方案,顯示方案中的通訊部分由串口通訊,USART串口或者SPI串口等;通過串口協(xié)議與機器人主控板NVIDIA Jetson Nano進行通訊,從而對屏幕進行交互控制,實現(xiàn)觸控等信息輸入功能功能。使用該串口屏搭配的PC端圖形化開發(fā)界面USART HMI,制作交互界面效果,將界面下載到串口屏,將屏幕的圖形圖像設計與系統(tǒng)控制進行分離,便于程序的測試及調整,降低開發(fā)難度及成本。
圖6 USART HMI串口屏
機器人配置了雙模無線網(wǎng)卡AC8265,與Jetson Nano相連,可實現(xiàn)高速WIFI上網(wǎng),連接藍牙設備,通信穩(wěn)定,低延遲,將訂餐信息發(fā)送到信息收集終端,信息收集終端將訂餐信息發(fā)送到廚房管理系統(tǒng)或者周邊的餐飲服務商,便于后續(xù)食物的加工及點餐的配送。
醫(yī)院訂餐機器人的軟件設計是在硬件系統(tǒng)的基礎上通過軟件程序的設計,實現(xiàn)訂餐機器人的自主移動、環(huán)境數(shù)據(jù)檢測、圖像信息采集與傳輸以及訂餐信息的收集與發(fā)送等功能。系統(tǒng)軟件的設計包括訂餐機器人控制系統(tǒng)程序設計、訂餐后臺管理系統(tǒng)以及串口屏交互界面設計三部分內容,分別實現(xiàn)訂餐機器人的智能控制、訂餐信息的收集及處理、通過串口屏進行人機交互的設計。訂餐機器人的硬件控制中心使用的是Jetson Nano,已經預裝了Python。通過Python來實現(xiàn)攝像頭數(shù)據(jù)的采集、激光傳感器數(shù)據(jù)采集、人像的識別、通過控制電機驅動板實現(xiàn)麥克納姆輪的運轉,實現(xiàn)機器人的自主移動。
圖7 軟件設計流程圖
醫(yī)院訂餐機器人使用串口屏作為圖形圖像信息的交互媒介,通過USART HMI串口屏開發(fā)程序,完成圖形界面及簡單視頻的轉換,串口屏以串口的方式與Jetson Nano控制進行通訊,實現(xiàn)訂餐的信息收集及數(shù)據(jù)的發(fā)送。
采用易于開發(fā)、運算速度高的Jetson Nano作為控制中心的訂餐機器人可作為醫(yī)院發(fā)布日常生活信息的綜合性平臺,可通過訂餐機器人樹立醫(yī)院的形象,在功能上和造型上可根據(jù)醫(yī)院的要求進行定制,實現(xiàn)差異化。采用串口屏將界面設計與控制中心的硬件作為分體式設計,具有便于調試、便于修改的特點,可隨時更新交互顯示內容。采用搭載懸掛系統(tǒng)的麥克納姆輪,可滿足在偶爾不平整的地面上穩(wěn)定行走的需求,其全向運動方式,使機器人的運動控制更加穩(wěn)定和靈活。該機器人功能比較完善,基本上滿足預期人群的使用需求,給住院人群的生活帶來方便。