劉建杰 馬 帥 程訓(xùn)聰 賀 沅 郭東旭

(黑龍江科技大學(xué) 機(jī)械工程學(xué)院，黑龍江 哈爾濱 150000)

寫字機(jī)器人的技術(shù)涉及到了單片機(jī)的使用，多種傳感器相互協(xié)調(diào)，機(jī)械結(jié)構(gòu)傳動控制等，目前的寫字機(jī)器人產(chǎn)品還存在這很多的問題和缺陷，應(yīng)用場景因此受到很大限制，使用者的體驗(yàn)效果也有很大限制。本文所述的寫字機(jī)器人是為了設(shè)計(jì)一種能夠增加設(shè)備使用便捷性以及能夠完善寫字機(jī)器人系統(tǒng)功能，從而達(dá)到對寫字機(jī)器人起到一定的推廣作用。使其在教學(xué)、語言學(xué)習(xí)等相關(guān)領(lǐng)域起到幫助性作用。

另外，隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，人工智能與物聯(lián)網(wǎng)技術(shù)的結(jié)合更加適合于市場的發(fā)展方向，本文所述的寫字機(jī)器人項(xiàng)目在市場上原有寫字機(jī)器人功能的基礎(chǔ)上向著人機(jī)交互以及視覺處理方面研發(fā)，通過視覺處理可以實(shí)現(xiàn)文字、書法、書畫的模仿。理論上只要能夠建立相應(yīng)的字體庫就能夠?qū)崿F(xiàn)上述功能。另外在人機(jī)交互系統(tǒng)的運(yùn)作下，系統(tǒng)能夠更簡便的完成簡單的使用指令，使寫字機(jī)器人向著更加智能化、功能化方向前進(jìn)。

1 現(xiàn)狀分析設(shè)計(jì)

隨著技術(shù)的發(fā)展，寫字機(jī)器人被應(yīng)用在辦公、語言學(xué)習(xí)等多個領(lǐng)域。目前在日常生活以及辦公領(lǐng)域還尚未普及，在技術(shù)的現(xiàn)實(shí)上，國內(nèi)市場的寫字機(jī)器人僅僅達(dá)到了能夠?qū)懽值墓δ?，距離真正的生產(chǎn)實(shí)際應(yīng)用還有很大的差距。國內(nèi)對于寫字機(jī)器人的研究主要在于機(jī)器人自由度算法以及矢量化算法和字體書寫軌跡的運(yùn)算以及轉(zhuǎn)化。對于智能化和功能化方面還有很大的進(jìn)步空間，通過對于計(jì)算機(jī)視覺技術(shù)、語音識別技術(shù)的應(yīng)用完善寫字機(jī)器人的智能化。

2 系統(tǒng)總體設(shè)計(jì)

系統(tǒng)是基于語音識別以及視覺處理設(shè)計(jì)的，本系統(tǒng)主要以raspberry 作為中心處理器，是整個系統(tǒng)的核心。中心處理器主要實(shí)現(xiàn)對圖像的識別以及內(nèi)部包含多種文字庫，可以通過實(shí)現(xiàn)不同字體調(diào)用不同的文字庫。本文所述系統(tǒng)的機(jī)械結(jié)構(gòu)控制主要通過stm32 單片機(jī)進(jìn)行移動，可以實(shí)現(xiàn)x,y 軸的移動、筆的起落控制、人機(jī)交互裝置的轉(zhuǎn)動。本文所述系統(tǒng)還帶有由k210 實(shí)現(xiàn)的語音識別功能、面部追蹤功能。(圖1)

圖1 系統(tǒng)總體設(shè)計(jì)圖

3 寫字機(jī)器人功能實(shí)現(xiàn)及算法

3.1 實(shí)現(xiàn)功能

3.1.1 掃描原理：(7)攝像頭與中心處理器直接相連，將所拍攝的圖片傳輸至中心處理器，中心處理器中通過計(jì)算機(jī)視覺處理，將識別出的文字?jǐn)?shù)據(jù)整理傳給下位機(jī)stm32 端，通過下位機(jī)實(shí)現(xiàn)書寫功能。

3.1.2 常規(guī)書寫功能：通過輸入文件形式，將文件的內(nèi)容通過數(shù)據(jù)傳輸給下位機(jī)，下位機(jī)實(shí)現(xiàn)書寫功能，機(jī)器人完成寫字效果如圖2。

圖2 寫字效果圖

3.1.3 人機(jī)交互：人機(jī)交互裝置通過k210 開發(fā)板直接控制，(22)攝像頭與k210 直接相連接，使用者可以通過語音進(jìn)行簡單啟動指令，切換文件指令，并可以通過語音識別實(shí)現(xiàn)臨時文字打印。攝像頭在使用者使用人機(jī)交互裝置同時啟動，攝像頭會進(jìn)行人臉定位，操控舵機(jī)轉(zhuǎn)動使機(jī)器人頭部顯示面板面向使用者。

3.2 結(jié)構(gòu)設(shè)計(jì)(圖3)

圖3 裝置設(shè)計(jì)圖

3.3 視覺算法

3.3.1 實(shí)現(xiàn)流程(圖4)

圖4 文字提取流程圖

3.3.2 實(shí)現(xiàn)原理

(1)通過閾值化和腐蝕處理：可以將文字大致提取出來，在經(jīng)過去噪處理可將圖片中存在的噪聲像素去除。

閾值處理(threshold)：按照灰度級，對圖像的像素點(diǎn)進(jìn)行劃分。得到的子集形成與實(shí)景相對的區(qū)域，保證各個區(qū)域內(nèi)部屬性是一致的，與周圍區(qū)域?qū)傩苑謩e開。

●Dst:輸出圖像

●Thresh：設(shè)定閾值

●Maxval：最大值

●Src：原圖像

腐蝕處理(getStructuringElement)：在圖像處理中腐蝕屬于形態(tài)學(xué)操作，其含義就是將圖片變“瘦”，通常用來處理毛刺問題。

(2)區(qū)域檢測：采用檢測連通區(qū)域，再根據(jù)連通區(qū)域計(jì)算邊框從而進(jìn)行檢測。需說明的是本文涉及到的區(qū)域檢測使用的是種子填充法。

(3)字體邊框計(jì)算：通過連通區(qū)域的像素點(diǎn)，得到一個連通區(qū)域坐標(biāo)點(diǎn)的集合list,檢測時每次棧一個點(diǎn)，就將這個點(diǎn)加入到這個坐標(biāo)點(diǎn)集合中去，得到集合列表texts。這樣就可以得到文字框架。

最終問題識別效果圖，見圖5。

圖5 文字識別效果圖

3.4 語音控制原理

語音識別技術(shù)主要運(yùn)行流程：首先處理設(shè)備會將收集到的語音波形進(jìn)行特征提取，信號的分析處理，此過程中會出去雜質(zhì)信息，并將分析處理好的信息進(jìn)行關(guān)鍵信息的特征提取。由于提取到的特征一般是多維向量形式，所以就要通過聲學(xué)模型中的算法對收取到的特征進(jìn)行進(jìn)一步處理；最后就是進(jìn)行解碼階段，在這一階段計(jì)算機(jī)會按照語言模型以及詞匯表對處理完成的信息進(jìn)行按序分析識別，最后根據(jù)關(guān)鍵意思進(jìn)行排列。

4 結(jié)論

本項(xiàng)目設(shè)計(jì)的基于人機(jī)交互的智能寫字機(jī)器人，在智能性、服務(wù)性、移動位移的精確性、使用壽命以及系統(tǒng)的可更新性方面相較于市面上的產(chǎn)品由相對的提高。通過智能化的寫字機(jī)器人能夠更加適用于當(dāng)下物聯(lián)網(wǎng)- 人工智能的時代。本項(xiàng)目有很大研究性，今后在機(jī)器人中加入神經(jīng)網(wǎng)絡(luò)，將會更加適用于當(dāng)下人們的學(xué)習(xí)生活。結(jié)果表明，本項(xiàng)目具有深入研究的意義。