向宇濤 陳錦 苗靖 林凡強(qiáng)

摘? 要：隨著城市生活節(jié)奏的加快，人們對(duì)于自動(dòng)化設(shè)備和智能家居的需求越來(lái)越多。如智能掃地機(jī)器人[1]，智能家居化空調(diào)[2]，洗鞋機(jī)[3-4]。傳統(tǒng)的洗鞋機(jī)僅從清洗和消毒的角度考慮了洗鞋機(jī)的實(shí)用性，并沒(méi)有考慮鞋的材質(zhì)，有些鞋子需精細(xì)護(hù)理，若對(duì)所有鞋子進(jìn)行相同方式的清洗，可能會(huì)對(duì)做工精細(xì)的鞋子形成磨損。本文以Jetson嵌入式系統(tǒng)為核心，基于OpenCV、TensorFlow的組合式框架，并結(jié)合多軸機(jī)器臂，設(shè)計(jì)了一種可以識(shí)別鞋子材質(zhì)類型，并根據(jù)這些類型使用指定的方式清洗保養(yǎng)的洗鞋機(jī)。

關(guān)鍵詞：洗鞋機(jī);OpenCV;圖像處理;神經(jīng)網(wǎng)絡(luò);算法

1. Jetson簡(jiǎn)介

Jetson是一款由Nvidia設(shè)計(jì)的新型SoC，它的GPU計(jì)算能力強(qiáng)大，功耗較低，擁有Wi-Fi、攝像頭接口和GPIO輸出接口，最新版的還有兩個(gè)攝像頭接口?，F(xiàn)有的洗鞋機(jī)中大多使用80C51和STM32系列的芯片進(jìn)行控制[5]，若需實(shí)現(xiàn)分類和識(shí)別部分，使用Jetson Nano嵌入式系統(tǒng)不僅可以控制機(jī)械臂，還可以在本地端識(shí)別鞋子的類型，并能根據(jù)新添加進(jìn)來(lái)的鞋子訓(xùn)練神經(jīng)網(wǎng)絡(luò)，生成更多材質(zhì)的鞋子類型，進(jìn)而使用合適的方案清洗，實(shí)現(xiàn)所設(shè)計(jì)的功能。

2. 設(shè)計(jì)部分

機(jī)器設(shè)計(jì)部分參考了文獻(xiàn)[6]的部分設(shè)計(jì)，整個(gè)洗鞋機(jī)包括：Jetson嵌入式及配備的攝像頭模塊、Jetson與外設(shè)的通信模塊、電機(jī)模塊和外設(shè)模塊、伸縮支架、多種類洗滌劑、烘干風(fēng)扇、多種類毛刷、清洗倉(cāng)。

洗鞋機(jī)可進(jìn)行上傳云端功能、清洗烘干并存放在存儲(chǔ)箱中等待客戶取走等流程。若洗鞋機(jī)檢測(cè)到物品不屬于認(rèn)識(shí)的任一類鞋子，洗鞋機(jī)會(huì)判斷是否為鞋子，若不是則會(huì)把鞋子退返，否則洗鞋機(jī)會(huì)把鞋子的材質(zhì)上報(bào)云端，待云端發(fā)送指令或根據(jù)洗鞋方式執(zhí)行一個(gè)最佳的清洗流程。完成流程后，洗鞋機(jī)詢問(wèn)云端或機(jī)主是否需要待機(jī)。若不需待機(jī)，洗鞋機(jī)繼續(xù)工作。在需要節(jié)省功耗時(shí)，洗鞋機(jī)會(huì)進(jìn)入待機(jī)模式，只有洗鞋機(jī)收到需要工作、啟動(dòng)的指令才會(huì)被喚醒。

3.識(shí)別算法

在本文的識(shí)別部分里使用開源的OpenCV庫(kù)來(lái)識(shí)別鞋子的基本類型，OpenCV庫(kù)可以調(diào)用Jetson的攝像頭模塊拍攝鞋子圖像，并用相關(guān)算法判斷鞋子類型，不同材質(zhì)的灰度分布特性不同，可使用不同模板檢測(cè)鞋子材質(zhì)、類型相關(guān)度。

3.1 余弦灰度相似度算法

余弦灰度相似度算法利用灰度間相似性判斷圖像相似性[7]，借助直方圖灰度分布相似性確定鞋子類別，將測(cè)試集和模板集的余弦灰度相似算法記作下式：

（1）

式中 是模板灰度級(jí)向量， 是測(cè)試鞋子灰度級(jí)向量，當(dāng) 和 的圖像材質(zhì)較為相似的時(shí)候， 將趨近于1，θ將趨近于0°。否則， 將趨近于0，而θ將趨近于90°?；谝陨戏治?，定義以下的準(zhǔn)則以判斷鞋子材質(zhì)分類。

（2）

（3）

當(dāng)測(cè)試材質(zhì) 對(duì)應(yīng)模板材質(zhì) 的余弦相似度大于閾值t時(shí)，材質(zhì) 被歸為材質(zhì) 類，后續(xù)部分加入了神經(jīng)網(wǎng)絡(luò)部分來(lái)輔助判別鞋子的信息。對(duì)于材質(zhì)不相似，灰度相似的圖片，該算法可以進(jìn)行較精確的分類，只要合理地設(shè)置閾值，洗鞋機(jī)就能正確地進(jìn)行分類。

3.2 TensorFlow分類算法

當(dāng)OpenCV識(shí)別結(jié)果與所有類別鞋子不相似時(shí)，使用基于TensorFlow的Shoe Classifier[8]神經(jīng)網(wǎng)絡(luò)識(shí)別，此方式依賴Jetson的GPU模塊，功耗較高，若使用余弦灰度相似度算法，設(shè)定洗鞋機(jī)盡可能不使用TensorFlow。在實(shí)際訓(xùn)練中[8]，訓(xùn)練次數(shù)達(dá)到25000次后，精確度已達(dá)到90%左右。因此，洗鞋機(jī)只需要在云端訓(xùn)練好權(quán)重，將這個(gè)權(quán)重文件輸入給Jetson核心板即可識(shí)別。

4. 結(jié)論

相比于傳統(tǒng)洗鞋機(jī)使用的單片機(jī)和STM32系統(tǒng)，基于Jetson嵌入式處理器方案具有很多性能上的優(yōu)勢(shì)。但是Jetson嵌入式系統(tǒng)的成本相對(duì)較高，在后續(xù)的工作中，需要考慮成本和性能的權(quán)衡問(wèn)題。

參考文獻(xiàn)

[1]? 薛慧心. 智能家庭掃地機(jī)器人設(shè)計(jì)原理研究與分析[J]. 信息技術(shù)，2014（11）：204-206.

[2]? 周慶和. 智能家居空調(diào)控制系統(tǒng)的設(shè)計(jì)[J]. 江西建材，2016（15）：9-10.

[3]? 張麗. 一種新型洗鞋機(jī)的設(shè)計(jì)[J]. 裝備制造技術(shù)，2011，000（012）：159-160.

[4]? 李國(guó)銘，劉任，雷佩紅，等. 新型洗鞋機(jī)：CN.

[5]? 謝嘉誠(chéng)，安小雪，梁逸波，等. 一種新型自動(dòng)布鞋洗鞋機(jī)的設(shè)計(jì)與制作[J]. 科技視界，2018，000（008）：262-263.

[6]? 張敏，王亮，謝永召，等. 小型洗鞋機(jī)的機(jī)械機(jī)構(gòu)設(shè)計(jì)[C]，全國(guó)機(jī)械設(shè)計(jì)年會(huì). 2009.

[7]? 劉英偉，秦永彬. 基于余弦相似性的m-類分類器設(shè)計(jì)與算法實(shí)現(xiàn)[J]. 計(jì)算機(jī)與數(shù)字工程，2014，042（003）：351-354.

[8]? Deverall J，Lee J，Ayala M. Using generative adversarial networks to design shoes：the preliminary steps[J]. CS231n in Stanford，2017.

基金項(xiàng)目：本文系四川省教育廳2019年規(guī)劃課題《2019年四川省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練項(xiàng)目》（課題批準(zhǔn)號(hào)：30800-2019DCXM134）的系列研究成果之一

作者簡(jiǎn)介：向宇濤（1999.7）男，漢族，四川南充人，成都理工大學(xué)本科生 研究方向：人工智能、地質(zhì)勘探;

陳錦（2002.10）女，漢族，廣東惠州人，成都理工大學(xué)本科生 研究方向：通信工程、信號(hào)處理;

苗靖（1999.6）男，漢族，山西太原人，成都理工大學(xué)本科生 研究方向：嵌入式系統(tǒng)、圖像處理;

林凡強(qiáng)（1978.5）男，漢族，江蘇連云港人，成都理工大學(xué)博士，成都理工大學(xué)，副教授，研究方向：人工智能，地質(zhì)勘探。