張仕遠(yuǎn) 盧彪 楊晨 倪冰倩

摘 要：整個(gè)系統(tǒng)的協(xié)調(diào)需要有一套完整又優(yōu)良的程序支撐。需要做到，既能實(shí)現(xiàn)相應(yīng)的單個(gè)功能，又要?jiǎng)?chuàng)新將各個(gè)功能進(jìn)行聯(lián)系而不僅限于實(shí)現(xiàn)。各模塊相互協(xié)調(diào)，功能的實(shí)現(xiàn)與優(yōu)化存在多方面的依賴。系統(tǒng)的完整性、穩(wěn)定性、交互性都是開發(fā)時(shí)需要考慮的重點(diǎn)。

關(guān)鍵詞：人工智能;機(jī)械臂;交互;YOLO

一、引言

當(dāng)前人工智能領(lǐng)域正在不如我們的日常生活，人工智能領(lǐng)域的研究為人們的生活帶來了極大的改變。除此之外，應(yīng)用于商業(yè)的人工智能研究也在不斷進(jìn)步。對(duì)于當(dāng)前的人工智能領(lǐng)域的研究，重點(diǎn)之一是模式識(shí)別。說起模式識(shí)別，一些主流的算法為設(shè)計(jì)者搭建自己的項(xiàng)目也提供了一些方便，同時(shí)讓更多人更容易參與其中的開發(fā)，也就為更多人工智能領(lǐng)域的作品能夠應(yīng)運(yùn)而生。特別是對(duì)于一些還在使用人力的單調(diào)工作，為了解決此類問題，智能化的機(jī)械臂代替人工操作也就由此開始研究、開發(fā)。

二、項(xiàng)目架構(gòu)

Python人工智能視語(yǔ)雙聯(lián)合交互臂的研究針對(duì)于大多數(shù)產(chǎn)業(yè)及一些其他普通工作的智能自動(dòng)化。項(xiàng)目采用了Python語(yǔ)言設(shè)計(jì)，內(nèi)部嵌入式環(huán)境為L(zhǎng)inux衍生的Ubuntu系統(tǒng)。項(xiàng)目開發(fā)之所以采用嵌入式，原因在于該方式可以極大程度上降低項(xiàng)目的開發(fā)周期，同時(shí)能夠在項(xiàng)目開發(fā)過程中出現(xiàn)問題時(shí)便于調(diào)試。

YOLOv5在圖像識(shí)別方面采用多方面圖像處理算法。在圖像處理上，通過卷積神經(jīng)網(wǎng)絡(luò)來對(duì)開發(fā)人員的數(shù)據(jù)集進(jìn)行訓(xùn)練。反復(fù)訓(xùn)練能夠提高對(duì)于同樣一個(gè)模型的角度的準(zhǔn)確率。模型訓(xùn)練過程中能夠自適應(yīng)圖像的位置，能夠?qū)τ谝R(shí)別物體的特征進(jìn)行分析，同時(shí)屏蔽掉一些干擾，識(shí)別中通過調(diào)整對(duì)目標(biāo)檢測(cè)的相似度來保證得到的訓(xùn)練結(jié)果能夠更加精確。

模型檢測(cè)中，在視頻輸入流下，對(duì)于攝像模塊的適配需要注意。視頻流的目標(biāo)檢測(cè)是通過對(duì)于視頻中的每一幀進(jìn)行單獨(dú)檢測(cè)輸出到屏幕從而實(shí)現(xiàn)視頻流檢測(cè)功能。如果視頻的刷新率為25Hz，那么就要求程序在檢測(cè)時(shí)，需要保證在一秒內(nèi)能夠?qū)α髦凶x取到的幀檢測(cè)能力超過25次，由此可見，對(duì)于目標(biāo)的檢測(cè)時(shí)間必須要保證在較短的時(shí)間里把一張圖像的檢測(cè)結(jié)果分析處理，否則就無法流暢地進(jìn)行視頻流目標(biāo)檢測(cè)，用戶也就無法有更好的體驗(yàn)。

視頻流帶寬需要滿足：帶寬≥刷新頻率×視頻尺寸×視頻灰度等級(jí)

語(yǔ)言功能開發(fā)包括兩個(gè)方面：一是需要對(duì)外界的語(yǔ)音進(jìn)行識(shí)別。二是能夠把需要輸出的文字轉(zhuǎn)化為音頻輸出。語(yǔ)音的交互能力是機(jī)器走向智能化的趨向，當(dāng)機(jī)器能夠通過自然語(yǔ)言把欲表達(dá)的信息能夠通過語(yǔ)音輸出模塊輸出為音頻后能夠友好地與人匯報(bào)時(shí)，對(duì)于人機(jī)交互的實(shí)現(xiàn)就成功了一半。另一半是能夠?qū)⑷祟愓Z(yǔ)言能夠通過一定的算法，轉(zhuǎn)化為一個(gè)參數(shù)從而能夠被機(jī)器理解，通過一定的處理后做出合理的動(dòng)作，此時(shí)的人機(jī)語(yǔ)音交互能力就提升了一大臺(tái)階。

語(yǔ)言的應(yīng)用目前十分熱門，其開發(fā)熱度不亞于圖像處理。語(yǔ)言的處理不僅僅停留于將自然語(yǔ)言轉(zhuǎn)化為相應(yīng)的文字即可，也不是對(duì)于同樣的文字執(zhí)行固定的指令，而是執(zhí)行相應(yīng)的指令。這里的“相應(yīng)的指令”是指在不同的環(huán)境下能夠通過同樣的一句話做出不同的動(dòng)作并且達(dá)到交互者預(yù)期的動(dòng)作。

三、程序設(shè)計(jì)

Python人工智能視語(yǔ)雙聯(lián)合交互臂的視覺開發(fā)主要依賴于cv2及numpy等主流圖像處理庫(kù)。開發(fā)中要盡量只導(dǎo)入工程開發(fā)需要的函數(shù)，整個(gè)工程中過多地導(dǎo)入冗余函數(shù)會(huì)使得工程過大，運(yùn)行速度也會(huì)受到影響。

client = AipBodyAnalysis（APP_ID， API_KEY， SECRET_KEY）

調(diào)用百度官方API實(shí)現(xiàn)機(jī)械臂的手勢(shì)識(shí)別，同時(shí)也可以通過模型訓(xùn)練實(shí)現(xiàn)無需API即可識(shí)別使用者手勢(shì)。通過手勢(shì)的識(shí)別，為多種返回的識(shí)別結(jié)果進(jìn)行定義，以此實(shí)現(xiàn)機(jī)械臂的簡(jiǎn)單視覺交互功能。對(duì)于較完善的視覺交互還需要一定地深度學(xué)習(xí)。通過長(zhǎng)期地訓(xùn)練得到更加智能化的人機(jī)交互。

人臉采用PID算法過濾：

import cv2 as cv

import PID

import Arm_Lib

人臉識(shí)別的人機(jī)交互能夠?qū)崿F(xiàn)對(duì)于不同的人，機(jī)械臂得到同樣一個(gè)參數(shù)時(shí)做出的不同反映。程序結(jié)果在可控情況下的多樣性是機(jī)械臂往人工智能方向發(fā)展的一大進(jìn)步。

在人機(jī)交互上，如果要實(shí)現(xiàn)語(yǔ)音方面的人機(jī)交互，對(duì)于機(jī)械臂的自動(dòng)協(xié)調(diào)能力要有較高的能力。在不同的人說出不同的語(yǔ)言時(shí)通過機(jī)械臂的自動(dòng)化智能識(shí)別，需要根據(jù)用戶的語(yǔ)言判斷語(yǔ)種，從而做出準(zhǔn)確判斷。其形成初期是需要用戶在切換語(yǔ)種時(shí)需要事先傳達(dá)切換指令，但是在成熟時(shí)期，就需要作品能夠自我協(xié)調(diào)，能夠有識(shí)別出語(yǔ)種切換的能力。

四、開發(fā)導(dǎo)引

智能交互臂的開發(fā)進(jìn)步具體的算法實(shí)現(xiàn)還有很大的提升空間。例如，當(dāng)我們進(jìn)行人機(jī)交互時(shí)，對(duì)于每一次的交互結(jié)果進(jìn)行函數(shù)計(jì)算，動(dòng)態(tài)更新判斷資料庫(kù)，對(duì)于偏差較大的值能夠忽略，達(dá)到優(yōu)則用，劣則棄的目的。語(yǔ)言上的學(xué)習(xí)和視覺上的學(xué)習(xí)是能夠進(jìn)行聯(lián)合分析進(jìn)步的，兩者雖然在人工智能領(lǐng)域上各自獨(dú)占一方，但是在人工智能方向的發(fā)展兩者密不可分。

人機(jī)交互的結(jié)果能夠通過定制機(jī)器語(yǔ)言字典，結(jié)合一定的隨機(jī)性算法，構(gòu)建出獨(dú)特的機(jī)器神經(jīng)網(wǎng)絡(luò)，機(jī)器獨(dú)立裁決及機(jī)器提疑答疑。

五、結(jié)語(yǔ)

Python人工智能視語(yǔ)雙聯(lián)合交互臂的定義是：在Python環(huán)境下為開發(fā)者提供了更便捷快速的開發(fā)環(huán)境。

人機(jī)交互是讓人工智能走向平民化的一大研究，其研究重要程度不可忽視。即人工智能的研究的最終目的不是局限于相關(guān)專業(yè)人員，也不是部份工廠，而是能夠與普通的人民群眾進(jìn)行“友好相處”。

參考文獻(xiàn)：

[1] 薛廣月， 任雪梅. 基于任務(wù)空間的無標(biāo)定視覺機(jī)械臂自適應(yīng)跟蹤控制[J]. 控制與決策， 2013， 28（7）：5.

[2] 許建剛， 任萱， 包磊，等. 基于視覺機(jī)械臂的變電房高壓柜旋轉(zhuǎn)機(jī)構(gòu)操作[J]. 高電壓技術(shù)， 2018， 44（zk）.

[3] 蘇萌韜. 面向運(yùn)動(dòng)物品的視覺機(jī)械臂自動(dòng)抓取方法與系統(tǒng)：， CN112518748A[P]. 2021.

[4] 譚盛江， 曹暉， 郭書超. 基于ROS視覺機(jī)械臂的目標(biāo)抓取研究[J].? 2021.

[5] 薛廣月， 任雪梅. 參數(shù)不確定的視覺機(jī)械臂自適應(yīng)逆動(dòng)力學(xué)跟蹤控制[C]// 中國(guó)多智能體系統(tǒng)與控制會(huì)議. 中國(guó)人工智能學(xué)會(huì)， 2011.

[6] 張建民，許志輝，龍佳樂，陳富健，羅順祺，羅鑫春，林根源，李鴻彬. 三維立體視覺機(jī)械臂智能抓取分類系統(tǒng)的開發(fā)[J]. 計(jì)算機(jī)工程與應(yīng)用（235-240）.

[7] 譚盛江， 曹暉， 郭書超. 基于ROS視覺機(jī)械臂的目標(biāo)抓取研究[J]. 中國(guó)寬帶， 2021（6）：1.