西北民族大學(xué)電氣工程學(xué)院 劉宇辰 陳 杰 姚 奧 張佳慧

隨著嵌入式控制技術(shù)的飛速發(fā)展，機(jī)器人的使用已經(jīng)滲透到了各個(gè)方面，移動(dòng)機(jī)器人成為其中重要的一部分。尤其是在生活中，機(jī)器人的智能應(yīng)用已經(jīng)越來(lái)越有利于生活。但市場(chǎng)上目前很少有自動(dòng)跟拍機(jī)器人這一方面的研究。目前的拍攝設(shè)備無(wú)論是手持拍攝還是固定點(diǎn)攝像機(jī)拍攝，由于拍攝目標(biāo)位置不佳或拍攝目標(biāo)移動(dòng)而導(dǎo)致拍攝不清或者拍攝效果不佳，其存在的缺點(diǎn)就是耗費(fèi)了大量的人力和物力，也浪費(fèi)了時(shí)間。特別是在軍事、醫(yī)學(xué)等記錄方面，傳統(tǒng)的拍攝記錄方法制作的視頻可能因?yàn)槠D(zhuǎn)、調(diào)焦等問(wèn)題，對(duì)捕捉、記錄的對(duì)象不能做到準(zhǔn)確的記錄，出現(xiàn)記錄的目標(biāo)不在視頻中心或者拍攝模糊等問(wèn)題。

為了解決這個(gè)問(wèn)題，本課題擬設(shè)計(jì)一種可以自動(dòng)捕捉識(shí)別拍攝目標(biāo)且可以跟隨目標(biāo)移動(dòng)的機(jī)器人，它還可以根據(jù)目標(biāo)的手勢(shì)進(jìn)行拍照、暫停等功能，達(dá)到更加自由拍攝的目的。該機(jī)器人是一種新型的智能拍照機(jī)器人，可以嘗試以此開辟新的商業(yè)市場(chǎng)需求領(lǐng)域，其可以運(yùn)用到醫(yī)學(xué)拍攝、課堂記錄、會(huì)議記錄、軍事捕捉等多個(gè)場(chǎng)所。

1 控制系統(tǒng)總體設(shè)計(jì)方案

基于樹莓派和OpenCV的自跟隨手勢(shì)調(diào)焦拍攝機(jī)器人主要包括如下幾部分：視頻傳輸模塊、手勢(shì)識(shí)別模塊、拍攝控制模塊、智能控制模塊等，其核心模塊是智能控制模塊。樹莓派是一款基于ARM的微型電腦主板，以SD/MicroSD卡為內(nèi)存硬盤，卡片主板周圍有1/2/4個(gè)USB接口和一個(gè)10/100 以太網(wǎng)接口，可連接鍵盤、鼠標(biāo)和網(wǎng)線；同時(shí)，其擁有視頻模擬信號(hào)的電視輸出接口和HDMI高清視頻輸出接口，能執(zhí)行如電子表格、文字處理、玩游戲、播放高清視頻等諸多功能。OpenCV是一個(gè)基于BSD許可（開源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù)，其實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺(jué)方面的很多通用算法。

1.1 視頻傳輸模塊

使用Raspberry pi開發(fā)板連接USB攝像頭和USB無(wú)線網(wǎng)卡組成的視頻監(jiān)控系統(tǒng)的硬件平臺(tái)，并進(jìn)行交叉編譯環(huán)境的安裝和設(shè)置以及測(cè)試環(huán)境的配置；采用了Video for Linux two技術(shù)進(jìn)行視頻圖像的采集；將采集到的視頻圖像的格式統(tǒng)一轉(zhuǎn)換為YUV420格式，使用H.264編碼技術(shù)對(duì)采集到的視頻數(shù)據(jù)進(jìn)行編碼；采取了基于IP/UDP/RTP協(xié)議的視頻傳輸技術(shù)，通過(guò)WIFI無(wú)線網(wǎng)絡(luò)搭建了Raspberry pi開發(fā)平臺(tái)與PC機(jī)之間的Socket通信，確保視頻采集平臺(tái)和PC端在同一個(gè)局域網(wǎng)絡(luò)中，實(shí)現(xiàn)了兩者之間視頻的實(shí)時(shí)傳輸；在PC端通過(guò)VLC流媒體播放器來(lái)實(shí)時(shí)接收和播放開發(fā)平臺(tái)上所獲取到的視頻圖像信息，實(shí)現(xiàn)了無(wú)線網(wǎng)絡(luò)視頻傳輸?shù)南到y(tǒng)模型。

1.2 手勢(shì)識(shí)別模塊

視頻錄制可以根據(jù)錄制人的手勢(shì)進(jìn)行拍照特寫、暫停錄制、固定點(diǎn)特寫錄制等功能，給使用者以良好的使用體驗(yàn)。其中，其主要運(yùn)用OpenCV來(lái)采集圖像，進(jìn)而基于膚色對(duì)手勢(shì)記性分割，繼而用卡爾曼濾波算法對(duì)采集到的圖像進(jìn)行處理，提取手勢(shì)特征后將信息反饋給系統(tǒng)。

1.3 拍攝控制模塊

拍攝設(shè)備位置的微調(diào)控制主要包括：攝影機(jī)左、右、上、下旋轉(zhuǎn)、攝影機(jī)前后伸縮。這些調(diào)控都屬于小范圍動(dòng)作，所以驅(qū)動(dòng)電機(jī)選擇舵機(jī)。其功能的變化主要依據(jù)于圖像處理得到的信息，轉(zhuǎn)動(dòng)方向由系統(tǒng)I/O口傳輸而來(lái)的PWM波控制。

1.4 智能控制模塊

智能控制模塊是整個(gè)跟拍系統(tǒng)的核心部分，它有兩個(gè)功能：一方面通過(guò)傳感和運(yùn)算實(shí)現(xiàn)識(shí)別拍攝對(duì)象的移動(dòng)，從而控制拍攝設(shè)備移動(dòng)實(shí)現(xiàn)跟隨；另一方面通過(guò)控制拍攝功能實(shí)現(xiàn)自動(dòng)縮放、自動(dòng)定焦、超越拍攝范圍自動(dòng)調(diào)節(jié)以及拍照特寫圖片等相關(guān)動(dòng)作，其采用的基礎(chǔ)是視覺(jué)識(shí)別。視覺(jué)識(shí)別是最近才興起的新技術(shù)，它在智能時(shí)代可稱得上是機(jī)器的眼睛，其可以代替?zhèn)鹘y(tǒng)傳感器的應(yīng)用，實(shí)現(xiàn)類似人腦及眼睛的功能，它被科學(xué)家稱為智能化時(shí)代以及工業(yè)4.0時(shí)代最具備時(shí)代標(biāo)志的創(chuàng)新技術(shù)。這種識(shí)別技術(shù)早已普遍運(yùn)用在各行各業(yè)，這些年形狀和顏色等方面的視覺(jué)識(shí)別在精度要求不高的場(chǎng)所也得到了推廣和應(yīng)用。其無(wú)需要高精度小尺度的識(shí)別效果，只需要識(shí)別展示過(guò)程中的指定形狀、顏色或固定姿態(tài)。采用視覺(jué)識(shí)別無(wú)需安裝任何傳感器，只需要一個(gè)攝像頭就可以實(shí)現(xiàn)，其安裝和調(diào)試要求大大降低；并且，其編程語(yǔ)言為Python，圖像處理部分為C++，這樣可使其具有變通性、靈活性，更具適用性。

圖1 硬件結(jié)構(gòu)及信號(hào)流程

對(duì)硬件進(jìn)行搭建并進(jìn)行各種環(huán)境的測(cè)評(píng)分析、對(duì)軟件構(gòu)寫并測(cè)試多種環(huán)境魯棒性硬件設(shè)計(jì)參照?qǐng)D1。本項(xiàng)目為了達(dá)到可自由調(diào)焦的目的，使用opencv類似的可自動(dòng)調(diào)焦攝像頭，并在此基礎(chǔ)上進(jìn)行提取達(dá)到圖像處理以及應(yīng)對(duì)反應(yīng)的目的。對(duì)于連接的樹莓派進(jìn)行編程，使其達(dá)到錄制的目的并將處理結(jié)果反饋給舵機(jī)和攝像頭。由于舵機(jī)會(huì)根據(jù)目標(biāo)而轉(zhuǎn)動(dòng)，攝像頭的底盤要足夠重而不會(huì)對(duì)拍攝造成抖動(dòng)，并且質(zhì)量要在便于攜帶的范圍之內(nèi)。本項(xiàng)目中使用到了很多模塊，不同模塊用到了不同的通訊協(xié)議，所以在電路設(shè)計(jì)上要根據(jù)不同IO口所具有的硬件資源將不同模塊接在合適的IO口上，以實(shí)現(xiàn)硬件資源的合理使用。

攝像頭、樹莓派、舵機(jī)等要對(duì)應(yīng)輸入不同的電壓，所以要引入多種穩(wěn)壓模塊達(dá)到電路正常運(yùn)行的目的。

對(duì)軟件及程序設(shè)計(jì)，本項(xiàng)目編程的計(jì)算機(jī)語(yǔ)言主要是C++和python，先對(duì)視屏畫面分析之后再使用樹莓派控制舵機(jī)轉(zhuǎn)向。軟件設(shè)計(jì)是本項(xiàng)目的核心，要通過(guò)編程對(duì)圖像進(jìn)行最大程度的抖動(dòng)消除。目前所采用的處理方式要考慮到所捕捉物體的運(yùn)動(dòng)狀態(tài)、形狀而采取更靈敏的追蹤方式，在追蹤的同時(shí)也要時(shí)刻檢測(cè)是否有所期望的手勢(shì)出現(xiàn)，并及時(shí)作出反應(yīng)。其中，圖像處理部分為了達(dá)到更好的識(shí)別和反映效果，查閱資料后將用卡爾曼濾波算法以及粒子處理對(duì)圖像進(jìn)行處理，將得到的信息整合之后以PWM波的形式傳送給舵機(jī)轉(zhuǎn)動(dòng)。程序編寫時(shí)使用模塊化編程，把不同模塊的初始化及驅(qū)動(dòng)過(guò)程封裝在不同的文件中，在main文件中只實(shí)現(xiàn)調(diào)用的過(guò)程，不同文件中函數(shù)的調(diào)用通過(guò)對(duì)相應(yīng).h文件的引用來(lái)實(shí)現(xiàn)。模塊化編程最大的好處就是程序的可閱讀力比較強(qiáng)，編程思路更加清晰，對(duì)于程序的分模塊調(diào)試以及程序修改也非常方便。

2 項(xiàng)目研究中遇到的部分問(wèn)題及應(yīng)對(duì)措施

由于舵機(jī)的驅(qū)動(dòng)電壓有明確的要求，在USB供電狀態(tài)下只能為芯片供電使其正常運(yùn)行，無(wú)法驅(qū)動(dòng)舵機(jī)運(yùn)作。使用USB進(jìn)行對(duì)代碼的調(diào)試，在調(diào)試完畢之后，接入11.1V的電池查看調(diào)試情況，在11.1V電池供電狀態(tài)下就可以完成對(duì)舵機(jī)的供電。在調(diào)試過(guò)程中，由于有項(xiàng)目組成員對(duì)芯片并不是很熟悉，誤刪了很多庫(kù)文件和已經(jīng)調(diào)試好的源文件，導(dǎo)致了項(xiàng)目制作進(jìn)度的緩慢，后期及時(shí)進(jìn)行了調(diào)整。讓項(xiàng)目組成員去學(xué)習(xí)一些樹莓派和TensorFlow的相關(guān)入門書籍，對(duì)芯片有更深層次的了解，在之后的調(diào)試和磨合中會(huì)更加容易。

總結(jié)與展望：隨著科技的不斷進(jìn)步，自動(dòng)與智能的應(yīng)用越來(lái)越受到大家的關(guān)注，如無(wú)人飛機(jī)、智能音箱、無(wú)人酒店等。因此，本項(xiàng)目采用基于樹莓派和OpenCV設(shè)計(jì)的自動(dòng)跟隨拍照機(jī)器人來(lái)為大眾提供更方便的拍照方式，提升大家的拍照體驗(yàn)。本設(shè)計(jì)打破傳統(tǒng)的人工手機(jī)拍照和相機(jī)拍照，為大家提供更方便的拍照方式。