楊志東，丁佳銘，徐佑宇，申 騰

（武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072）

基于SOPC的智能輔助飲食系統(tǒng)設(shè)計(jì)

楊志東，丁佳銘，徐佑宇，申 騰

（武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072）

該文基于無(wú)臂殘疾人無(wú)法進(jìn)行自主飲食，設(shè)計(jì)了一套智能輔助無(wú)臂殘疾人飲食的嵌入式系統(tǒng)。該系統(tǒng)由CCD相機(jī)得到臉部圖像，通過(guò)FPGA的二值化處理和Nios II的圖像分析，定位出嘴部位置，再由FPGA產(chǎn)生持續(xù)PWM波控制機(jī)械臂的運(yùn)動(dòng)，將飲品送到使用者嘴邊進(jìn)行飲用。該系統(tǒng)具有語(yǔ)音識(shí)別功能，全程通過(guò)語(yǔ)音進(jìn)行人機(jī)交互，并具有自動(dòng)添加飲品功能和水溫異常報(bào)警功能。

嵌入式系統(tǒng)；定位；機(jī)械臂；語(yǔ)音識(shí)別

隨著科技的發(fā)展，多自由度機(jī)械手臂廣泛應(yīng)用于生活、半導(dǎo)體制造、工業(yè)、醫(yī)療、軍事以及太空探索等領(lǐng)域。機(jī)械手臂能夠接受指令，精確地定位到三維（或二維）空間上的某一點(diǎn)進(jìn)行作業(yè)。

另外電子技術(shù)的發(fā)展也日新月異，已經(jīng)融入生活各個(gè)方面，智能化已經(jīng)成為一種趨勢(shì)。其中SOPC是一種新的可編程系統(tǒng)，具有靈活的設(shè)計(jì)方式，可裁減、可擴(kuò)充、可升級(jí)，并具備軟硬件在系統(tǒng)可編程的功能。

本文基于這一特點(diǎn)設(shè)計(jì)了一個(gè)基于SOPC的智能輔助飲食系統(tǒng)，該系統(tǒng)能夠輔助行動(dòng)不便的人進(jìn)行飲食。通過(guò)對(duì)使用者面部的圖像分析得到嘴部具體位置，系統(tǒng)給舵機(jī)發(fā)送相應(yīng)PWM波使舵機(jī)完成抓取并移動(dòng)水杯至使用者嘴部，放回水杯等一系列操作。該系統(tǒng)還具有智能添水，水溫異常報(bào)警的功能。

1 系統(tǒng)功能概述

本系統(tǒng)利用D5M相機(jī)擷取使用者面部影像后進(jìn)行圖像處理，找到嘴部位置，將嘴部坐標(biāo)存儲(chǔ)起來(lái)，在DE2－115構(gòu)建的Nios II中對(duì)各個(gè)模塊進(jìn)行控制，實(shí)現(xiàn)輔助行動(dòng)不便人士飲食的作用。系統(tǒng)各功能概述如下。

1）語(yǔ)音識(shí)別：通過(guò)對(duì)使用者語(yǔ)音的采集與識(shí)別，來(lái)了解使用者的需求，從而系統(tǒng)根據(jù)使用者意愿完成相應(yīng)操作。

2）圖像處理：本系統(tǒng)通過(guò)總線連接攝像頭獲取圖像信息，通過(guò)對(duì)采集的圖像進(jìn)行一系列算法實(shí)現(xiàn)人臉識(shí)別，最后得到使用者嘴部的位置坐標(biāo)。

3）機(jī)械臂控制：編寫Verilog語(yǔ)言，通過(guò)FPGA控制的有6個(gè)自由度機(jī)械臂上的舵機(jī)工作，從而使機(jī)械臂完成指定動(dòng)作。

4）SD卡播放：播放SD卡中預(yù)先存儲(chǔ)好的人聲和音樂(lè)，實(shí)現(xiàn)系統(tǒng)與使用者的交互。

5）智能續(xù)杯：測(cè)量水杯的整體重量，判斷是否需要加水，通過(guò)繼電器控制電磁水閥的通斷，實(shí)現(xiàn)續(xù)杯功能。

2 系統(tǒng)總體結(jié)構(gòu)

2.1 硬件設(shè)計(jì)

本系統(tǒng)使用Altera公司生產(chǎn)的DE2－115開(kāi)發(fā)板，內(nèi)置Cyclone?IV 4CE115 FPGA芯片，2 MB SRAM，2片64 MB SDRAM，VGA輸出接口，40引腳擴(kuò)展接口，帶二極管保護(hù)電路，24 bit CD品質(zhì)CODEC芯片等。利用Quartus建立Nios II軟核處理器，該處理器是Altera的第二代FPGA嵌入式處理器，其性能超過(guò)200DMIPS。Nios II軟核處理器對(duì)由攝像頭傳進(jìn)來(lái)的數(shù)據(jù)進(jìn)行算法分析，以及對(duì)各種I／O口進(jìn)行軟件控制。硬件結(jié)構(gòu)分為輸入、輸出、信息處理3部分，如圖1所示。

2.2 軟件設(shè)計(jì)

軟件流程主要是對(duì)語(yǔ)音、圖像、溫度以及機(jī)械臂等的時(shí)序控制以及條件判斷。本文采用Nios II軟核進(jìn)行軟件編寫。軟件流程圖如圖2所示。

2.3 機(jī)械平臺(tái)設(shè)計(jì)

機(jī)械平臺(tái)最下面是一個(gè)步進(jìn)電機(jī)，用于控制平臺(tái)的旋轉(zhuǎn)，第一層放置4個(gè)杯子，分別裝有不同的飲品，根據(jù)使用者的意愿，對(duì)應(yīng)飲品的杯子會(huì)旋轉(zhuǎn)至機(jī)械臂正前方，此外每個(gè)杯子底部裝有壓力傳感器；第二層是4個(gè)水罐，分別位于4個(gè)杯子的正上方，并且杯中裝有相應(yīng)飲品，水罐上裝有電磁閥以及溫度傳感器。機(jī)械平臺(tái)3D圖如圖3所示。

3 圖像擷取處理模組設(shè)計(jì)

圖像擷取處理模塊由圖像拍攝存儲(chǔ)模塊和圖像處理模塊組成。

3.1 圖像拍攝存儲(chǔ)模塊

使用者影像經(jīng)D5M相機(jī)拍攝后，進(jìn)入CCD_ Caputer module并經(jīng)過(guò)RAW2RGB module將圖片轉(zhuǎn)為RGB格式，然后對(duì)RGB格式的圖片作灰度處理，再對(duì)灰度圖片進(jìn)行二值化處理。圖片需要在VGA顯示出來(lái)并存儲(chǔ)在Nios II中進(jìn)行嘴部定位算法分析，本文自定義了一個(gè)SRAM controll module模塊，該模塊通過(guò)控制讀寫時(shí)序?qū)崿F(xiàn)了VGA和Nios II的讀寫操作，省去了SDRAM較繁瑣的讀寫操作。

3.2 圖像處理模塊

3.2.1 RAW2RGB算法

D5M CMOS攝像頭（加了一個(gè)偏振片來(lái)消除反光干擾）拍攝得到的是RAW格式，奇數(shù)行包括green和red顏色的像素，偶數(shù)行包括blue和green顏色的像素。奇數(shù)列包括green和blue顏色的像素，偶數(shù)列包括red和green顏色的像素。為了方便圖像處理，先進(jìn)行RAW2RGB的操作。

圖2 軟件流程圖

圖3 機(jī)械平臺(tái)3D圖

1）調(diào)用altshift_taps的megafunction，altshift_ taps可以作為數(shù)據(jù)移動(dòng)寄存器組，經(jīng)常在圖像處理程序中被用到。采集一系列像素點(diǎn)數(shù)據(jù)，需要同時(shí)對(duì)2行像素點(diǎn)同時(shí)進(jìn)行處理時(shí)，就可以用altshift_ taps.共2個(gè)taps，每個(gè)taps數(shù)據(jù)寬度為圖像每行像素點(diǎn)的個(gè)數(shù)（1 280）。

2）在格式轉(zhuǎn)換時(shí)，用到以下4個(gè)參量。

mDATA_0：第M行第N列的像素。

mDATAd_0：第M行第N-1列的像素。

mDATA_1：第M＋1行第N列的像素。

mDATAd_1：第M＋1行第N-1列的像素。

3）4個(gè)參量組成一個(gè)以mDATA_0（位于左上角）為核心的模板。模板中必定包含一個(gè)R、一個(gè)B、2個(gè)G像素點(diǎn)，那么R作為當(dāng)前像素mDATA_ 0的R值，B作為當(dāng)前像素mDATA_0的B值，取2個(gè)G的平均值作為當(dāng)前像素mDATA_0的G值（通過(guò)取G的高10位，舍去最后一位來(lái)實(shí)現(xiàn)）。每個(gè)RGB點(diǎn)相當(dāng)于圖中4個(gè)像素點(diǎn)中的交點(diǎn)，因此根據(jù)坐標(biāo)位置有4種像素排列情況，根據(jù)周圍4個(gè)R、G1、G2、B像素點(diǎn)的值得到對(duì)應(yīng)點(diǎn)的RGB值。

mDATA_0 mDATAd_0 mDATA_1 mDATAd_1

3.2.2 RGB轉(zhuǎn)灰度圖以及二值化算法

對(duì)于彩色轉(zhuǎn)灰度，通用公式為：

Gray＝R×0.299＋G×0.587＋B×0.114

但在FPGA中為了避免低速的浮點(diǎn)運(yùn)算，需要整數(shù)算法，整數(shù)算法可進(jìn)一步轉(zhuǎn)化為移位算法，最終得到Gray＝（R×38＋G×75＋B×15）＞＞7，該式運(yùn)算速度快，精度較高，比較適合。

1）二值化處理：為了找出嘴部位置，在進(jìn)行計(jì)算前先將灰度圖作二值化處理，即將圖像的像素點(diǎn)的灰度值設(shè)置為0或255，也就是將整個(gè)圖像呈現(xiàn)出明顯的黑白效果，將256個(gè)亮度等級(jí)的灰度圖像通過(guò)適當(dāng)?shù)拈撝颠x取而獲得仍然可以反映圖像整體和局部特征的二值化圖像，所有灰度大于或等于閾值的像素被判定為屬于特定物體，其灰度值表示為255，否則這些像素點(diǎn)被排除在物體區(qū)域以外，灰度值為0，表示背景或者例外的物體區(qū)域。本系統(tǒng)中閾值可以調(diào)節(jié)，以適應(yīng)各種環(huán)境。

2）嘴部定位算法：采用本文自定義的算法，該算法采取逐次減小掃描區(qū)域面積，最后得到嘴部中心坐標(biāo)。算法如圖4所示。嘴部定位算法對(duì)二值化得到的600×800個(gè)像素點(diǎn)進(jìn)行掃描計(jì)算，具體有以下6個(gè)步驟。

①對(duì)得到的像素點(diǎn)從上至下逐行掃描，當(dāng)找到某一行像素點(diǎn)灰度值為0的個(gè)數(shù)占本行總個(gè)數(shù)的30以上，記錄該行行數(shù)為k。

②對(duì)第k行像素點(diǎn)進(jìn)行掃描，先從左向右掃描，掃描到某一點(diǎn)以及其后連續(xù)10點(diǎn)灰度值都為0，記錄這點(diǎn)坐標(biāo)為（k，m）。同理再?gòu)挠蚁蜃髵呙?，掃描到某一點(diǎn)以及其后連續(xù)10點(diǎn)灰度值都為0，記錄下這點(diǎn)坐標(biāo)為（k，n）。將嘴部掃描區(qū)域縮小在這兩點(diǎn)形成的矩形內(nèi)。

③對(duì)（k，m）和（k，n）點(diǎn)形成的矩形局域進(jìn)行掃描，從k行開(kāi)始掃描，當(dāng)掃描到某一行像素點(diǎn)灰度值為255的個(gè)數(shù)占本行總個(gè)數(shù)的70以上，記錄下該行行數(shù)為a。

④對(duì)第a行像素點(diǎn)進(jìn)行掃描，先從左向右掃描，掃描到某一點(diǎn)以及其后連續(xù)10點(diǎn)灰度值都為255，記錄下這點(diǎn)坐標(biāo)為（a，b）。同理再?gòu)挠蚁蜃髵呙?，掃描到某一點(diǎn)以及其后連續(xù)10點(diǎn)灰度值都為255便記錄下這點(diǎn)坐標(biāo)為（a，c）。將嘴部掃描區(qū)域再縮小在這兩點(diǎn)形成的矩形內(nèi)。

⑤對(duì)（a，c）和（a，b）點(diǎn)形成的矩形區(qū)域進(jìn)行掃描，從a行開(kāi)始掃描，當(dāng)掃描到某一行像素點(diǎn)灰度值為0的個(gè)數(shù)占本行總個(gè)數(shù)的60以上，記錄下該行行數(shù)為d。

⑥對(duì)第d行像素點(diǎn)進(jìn)行掃描，先從左向右掃描，掃描到某一點(diǎn)以及其后連續(xù)10點(diǎn)灰度值都為0，記錄下這點(diǎn)坐標(biāo)為（d，e）。同理再?gòu)挠蚁蜃髵呙?，掃描到某一點(diǎn)以及其之后連續(xù)10點(diǎn)灰度值都為0便記錄下這點(diǎn)坐標(biāo)為（d，f）。根據(jù)人臉比例可得嘴部坐標(biāo)（f-e＋d，（f＋e）／2）。

4 語(yǔ)音交互模塊設(shè)計(jì)

語(yǔ)音交互模塊由語(yǔ)音采集識(shí)別模塊和audio player模塊組成。

圖4 人臉嘴部定位算法示意圖

4.1 語(yǔ)音采集識(shí)別模塊

模塊由LD3320語(yǔ)音識(shí)別芯片和STC單片機(jī)芯片組成。LD3320芯片是一款“語(yǔ)音識(shí)別”專用芯片。該芯片集成了語(yǔ)音識(shí)別處理器和一些外部電路，包括A／D、D／A轉(zhuǎn)換器，麥克風(fēng)接口和聲音輸出接口等。在該模塊中拾音器采集到音頻后，通過(guò)語(yǔ)音識(shí)別芯片判斷是否為MCU單片機(jī)預(yù)先設(shè)定的詞，如果是，再由I／O輸出特定的信號(hào)傳給DE2開(kāi)發(fā)板，Nios II處理核心通過(guò)判斷信號(hào)來(lái)識(shí)別用戶的請(qǐng)求，從而做出相應(yīng)的操作。

4.2 audio player模塊

在DE2－115上實(shí)現(xiàn)一個(gè)SD卡音樂(lè)播放器，它讀取存儲(chǔ)在SD卡里面的音頻文件，并通過(guò)CD品質(zhì)的音頻DAC芯片播放出來(lái)。設(shè)計(jì)使用Nios II處理器讀取音樂(lè)數(shù)據(jù)并用Wolfson WM8731音頻CODEC芯片完成播放工作。當(dāng)語(yǔ)音采集識(shí)別到用戶語(yǔ)音時(shí)，通過(guò)Nios II控制播放相應(yīng)音頻文件，從而實(shí)現(xiàn)語(yǔ)音交互的功能。

5 機(jī)械臂控制模塊設(shè)計(jì)

本系統(tǒng)采用了有6個(gè)自由度的機(jī)械臂，由6個(gè)舵機(jī)來(lái)控制它的運(yùn)動(dòng)軌跡。通過(guò)Verilog語(yǔ)言編寫PWM模塊，輸出6個(gè)占空比可調(diào)PWM波，將模塊與外部電路連接，按照Avalon總線協(xié)議與Nios II核連接，從而實(shí)現(xiàn)在Nios II中控制輸出PWM波的占空比的功能，選擇用FPGA產(chǎn)生PWM波可以緩解軟件工作壓力，提高系統(tǒng)整體運(yùn)行速度。在圖像處理完后可獲得嘴部的坐標(biāo)，但這個(gè)坐標(biāo)是在VGA中的坐標(biāo)，要將這個(gè)坐標(biāo)換算到實(shí)際空間中，可調(diào)整攝像頭和人臉的距離使VGA顯示和實(shí)際圖像成1∶1，然后將機(jī)械臂放置在頭部左側(cè)，將三維問(wèn)題轉(zhuǎn)化為二維問(wèn)題來(lái)解決，所以只需要對(duì)二自由度機(jī)械臂的運(yùn)動(dòng)做算法分析，就可以達(dá)到控制機(jī)械臂將杯子放到使用者嘴部位置的功能。

6 系統(tǒng)測(cè)試結(jié)果

圖5為二值化后的圖像，以此左上方為原點(diǎn)建立坐標(biāo)系。實(shí)際效果如圖6所示，誤差范圍在1 cm以內(nèi)，如表1所示。

Design of an Intelligent Auxiliary Dieting System

YING Zhidong，DING Jiaming，XU Youyu，SHEN Teng
（College of Electronic Information，Wuhan University，Wuhan 430072，China）

Based on the phenomenon that disabled people without arms are not convenient to eat and drink，an embedded system for arm less disabled to eat and drink is designed.The system receives the image of face from CCD camera and locates the mouth via binary image process of FPGA and image analyze of Nios II.Using Pulse Width Modulation power，this system can control its mechanical arm to send the drink in front of disabled people＇s mouth.Since this system has speech recognition，disabled people can just talk to the system to make an order.Moreover，the system has the function of filling up the drinking automatically and alarm for abnormal drinking temperature.

embedded system；location；mechanical arm；speech recognition

圖5 二值化效果圖

O341；G642.423

A

10.3969／j.issn.1672－4550.2016.06.010

2016－01－12；修改日期：2016－03－14

武漢大學(xué)設(shè)備處自主式開(kāi)放實(shí)驗(yàn)項(xiàng)目基金（WHU－2016SKFSY－3）。

作者介紹：楊志東（1974－），男，碩士，主要從事大學(xué)生實(shí)踐教學(xué)、學(xué)科競(jìng)賽組織與管理工作。