李旭東，陸朝銓，桂　彥，張建明

（長沙理工大學計算機與通信工程學院，湖南 長沙　410114）

基于樹莓派的穿戴式智能眼鏡系統設計與實現

李旭東，陸朝銓，桂彥，張建明

（長沙理工大學計算機與通信工程學院，湖南 長沙410114）

穿戴式技術在國際計算機學術界和工業(yè)界一直都備受關注，隨著移動互聯網的發(fā)展和高性能低功耗處理芯片的推出，穿戴式智能設備已經從幻想走進現實，它們的出現將改變現代人的生活方式。只不過由于造價高和技術復雜，很多相關設備僅僅停留在概念層面。本文著眼于結合軟硬件系統，實現智能眼鏡中樹莓派主機系統與交互系統。在設計智能眼鏡交互控制系統的過程中，考慮到智能眼鏡顯示器的局限性，我們采用實體按鈕+全屏式圖標，實現對智能眼鏡的人性化交互控制，很好地擴大智能眼鏡的可用性。本文的研究內容主要包括以下兩個方面：（1）主機端相應功能的實現。（2）交互驅動的實現。通過外置的按鈕來操控使用可視化的系統界面，可以進行拍攝圖像、視頻播放、圖片顯示、音樂播放、地圖、上網、文本閱讀、天氣顯示等多媒體功能。實現了基于樹莓派的穿戴式智能眼鏡系統。

樹莓派；智能眼鏡；穿戴式設備

本文著錄格式：李旭東，陸朝銓，桂彥，等. 基于樹莓派的穿戴式智能眼鏡系統設計與實現[J]. 軟件，2016，37（8）：37-40

1　引言

穿戴式智能設備是探索人和科技的全新交互方式[1]，為每個人提供專屬的個性化服務[2]。設備的計算方式要以本地化計算為主，準確定位和感知每個用戶的個性化、非結構化數據，形成每個人隨身移動設備上獨一無二的專屬數據計算結果，并以此找準用戶內心真正有意義的需求，最終通過中心計算的觸發(fā)規(guī)則來獲得各種具體的針對性服務。而廣義的穿戴式智能設備包括功能全、尺寸大、可不依賴智能手機實現完整或者部分的功能，例如智能手表或智能眼鏡等；以及只專注于某一類應用功能，需要和其它設備如智能手機配合使用，如各類進行體征監(jiān)測的智能手環(huán)、智能首飾等。隨著技術的進步以及用戶需求的變遷，可穿戴式智能設備的形態(tài)與應用熱點也在不斷的變化。智能眼鏡包含了很多新技術，包括藍牙、揚聲器、照相機、麥克風等，所有的設計都非常貼近使用，而且不會影響我們的日常生活。我們不僅可以照相，還可以實時攝像，不干擾欣賞比賽的激動時刻。用戶使用智能眼鏡可以隨時連接到移動互聯網，添加視頻和圖片，不必拿出手機。擁有車輛和行人導航功能，用戶不會再迷路，讓你感覺猶如來到未來。

許多IT廠商已經注意到谷歌眼鏡價格太高[3]，出現了一些模仿者。如果自己動手，花大約800元人民幣就可以DIY出一副自己的智能眼鏡[4]。樹莓派是一種體積很小的迷你電腦，很便攜，功耗低，因此我們計劃研究開發(fā)出廉價的樹莓派智能眼鏡產品，相信智能眼鏡將會在未來廣泛地應用于更為復雜的場合。

2　系統架構

2.1整體架構圖

[5]中的架構組成，基于樹莓派的可穿戴式智能眼鏡系統在總體上分為兩個子系統，分別為由樹莓派和攝像頭組成的主機系統，按鍵與顯示器組成交互系統兩部分如圖2.1所示。

圖2.1　整體架構圖

2.2模塊功能說明

基于樹莓派的可穿戴式智能眼鏡系統的系統功能解釋如表2.1、2.2所示。

表2.1　主機系統功能描述表

表2.2　交互模塊功能描述表

2.3主要硬件及條件限制

2.3.1主機端

本項目使用的是Raspberry Pi B型[6]，具體參數[7]：

SoC：Broadcom BCM2837芯片

CPU：ARM Cortex-A53 1.2 GHz 64-bit

GPU：Broadcom VideoCore IV雙核

內存：SDRAM，1 GB

USB 2.0接口個數：4（支持USB hub擴展）

基于樹莓派的CPU處理頻率不高，只有1.2 GHz，內存容量有限，只有1 GB，這樣的配置給系統的運行、按鍵的操控以及圖像處理都加大了困難。

當播放視頻時，會加載一部分視頻到內存中，對內存造成極大的占有率，使得執(zhí)行效率變低。

當進行人臉的識別時，當把模板庫加載到內存之中時，復雜度過高的算法容易造成樹莓派的很大壓力，再加上人臉識別的局限性，尋求復雜度相對不高的，處理相對比較快速的算法，使我們目前所要重點攻克的技術難點。

2.3.2顯示器端

本項目使用的顯示器為單目FPV視頻眼鏡[8]，具體參數：

工作電壓：3.3—5V

分辨率：QVGA320X240全彩色。

顯示面板有效面積：4.05X3.02 mm

顯示面板對角線：5 mm(0.20”)

顯示像素大小：13.5 um

像素填充率：94%

色彩飽和度(Color depth)：4200000色

對比度：80：1"

由于使用的顯示器為便攜式可穿戴型單目FPV視頻眼鏡，工作電壓偏高，使得整個系統在運行時是處于高負荷的狀態(tài)下的，容易造成運行卡頓、供電不足等情況。而且由于此顯示器的分辨率為QVGA 320X240全彩色，顯示圖像不是很清晰。同時，由于此顯示器視頻輸入口與樹莓派上視頻輸出口不匹配，導致我們需要使用HDMI高清視頻輸出轉AV視頻輸出，然后才能和顯示器連接顯示圖像。這回造成硬件繁多冗余，不太便于攜帶，在項目初期，我們并沒有很好的解決這個問題，但是在接下來的研究中，我們會著力解決這個問題。這也是本系統最大的一個限制。

3　主機主要功能模塊設計及實現

3.1程序總體工作流程圖

基于樹莓派的可穿戴式智能眼鏡系統接通電源后自動啟動，進入主界面，本系統有一個總界面，用于顯示功能圖標，通過左右鍵切換不同的功能。當按下確定鍵的時候，就是選中該功能，從而進入該功能的應用界面；按退出鍵可以退出當前模塊，回到主界面。工作流程如圖3.1所示。

圖3.1　工作流程圖

3.2拍攝顯示模塊設計思路

通過打開攝像頭，獲取攝像頭圖片數據，將自己感興趣的圖片幀保存下來，完成照片的拍攝。

通過圖像幀保存成視頻格式，將攝像頭的圖片幀保存為以時間格式命名的視頻文件，完成視頻的錄制，本模塊主要調用了OpenCV這個開源庫。

顯示圖片模塊設計為兩種模式，一種是普通模式，另一種是識別人臉模式[9-10]。對于普通模式，首先讀取圖片，然后將該圖片轉換為QT控件QLabel顯示時所需的圖片格式，壓縮[11]之后就可以顯示該圖片了。對于人臉識別模式，先讀取圖片，再通過OpenCV開源庫的人臉識別函數進行對圖片處理，將識別的結果以圓圈的形式畫到圖片上，再將該圖片轉為QT控件QLabel顯示所需的格式，最后通過QLabel顯示出來。

顯示文本模塊提供了文字顯示和分頁，翻頁功能。先設定每頁的字符數，對文本數據進行分頁，每次讀取文件數據位置是（每頁字符數）*（第幾頁-1），這樣就可以按分形式讀取到文件數據。通過頁數的自加和自減實現翻頁功能。文字顯示是將讀取大小為每頁字符數的文本數據顯示在MyPlainText Edit控件上。該控件是繼承QT庫中QPlainTextEdit控件。

3.3播放模塊設計思路

MPlayer[12]是一款開源多媒體播放器，以GNU通用公共許可證發(fā)布。此款軟件可在各主流操作系統使用。MPlayer建基于命令行界面，在各操作系統也可選擇安裝不同的圖形界面。MPlayer的另一個大的特色是廣泛的輸出設備支持。

通過在后臺調用MPlayer,重定向視頻幀的窗口位置，就可以實現在特定窗口顯示視頻圖像信息。

通過向后臺的MPlayer發(fā)送命令，就可以實現控制視頻播放的位置，也就是視頻的快進和快退功能，同時也可以控制音量的大小，再加以壓縮[13]，顯示出流暢的視頻。

通過后臺調用MPlayer對音樂文件進行播放。

3.4上網模塊設計思路

Epiphany基于Mozilla的Gecko排版引擎。主要功能包括、cookie管理、分頁瀏覽等，它能像其他主流瀏覽器一樣快的瀏覽網頁。通過安裝Epiphany和程序內部調用Epiphany的形式，實現網頁上網。

天氣預報API是一個針對當前天氣編寫的一個API調用接口，通過此接口可以獲取一個城市的溫度、氣候、紫外線等信息，從而應用自己編寫的程序中。百度天氣接口，以GET形式提交，返回JSON或XML。只要通過http請求方式就可以獲取所在城市的天氣情況。

通過調用http://map.baidu.com/網址，實現當前地理位置的網頁返回。

4　交互模塊設計及實現

4.1圖像顯示模塊設計思路

圖像顯示模塊是用戶眼中最為重要的交互環(huán)節(jié)，樹莓派主機所產生的界面信息都會在此顯示出來，供用戶觀看。需要把相應的視頻輸入輸出接口匹配，才能傳輸數據。

4.2按鈕模塊

4.2.1按鈕模塊設計思路

本系統一共設計了5個按鈕，分別為前進鍵、后退鍵、退出鍵、確認鍵和刪除鍵。用這5個功能操控按鍵可以完全的操控本系統。參考文獻[14]，我們將該模塊利用樹莓派的GPIO接口輸入高電平，來觸發(fā)對應事件，模擬系統中的鍵值來達到控制目的。

4.2.2按鈕模塊硬件接線圖

外部按鈕接線示意圖如圖4.1所示。

圖4.1　接線示意圖

5　基于樹莓派的穿戴式智能眼鏡系統測試

我們研發(fā)的基于樹莓派的可穿戴式智能眼鏡系統，通過樹莓派作為主機系統，提供服務支持，用戶通過外置的五個按鈕來操控整個系統，并且將交互界面顯示在屏幕上，如圖5.1。用戶可以實現拍照、錄像、照片瀏覽、視頻播放、音樂播放、網頁上網、文本閱讀、天氣顯示等多媒體功能，如圖5.2~5.5（由于單目FPV顯示器分辨率不高，且拍攝設備限制，我們外接顯示器進行拍攝；由于版面限制，暫時展示主要功能圖）。本系統通電源時，系統自動啟動，進入可視化的智能眼鏡系統。本系統是一個娛樂輔助工具，具有較高的輔助價值。

圖5.1　總體圖

圖5.2　拍照圖標

圖5.3　錄像圖標

圖5.4　圖庫圖標　

圖5.5　文本閱讀

6　結論

利用上述的硬件設計與系統設計自行組裝完成的智能眼鏡，將按鈕驅動加載到樹莓派上，通過外置的按鈕來操控使用可視化的系統界面，調試拍攝圖像、視頻播放、圖片顯示、音樂播放、地圖、上網、文本閱讀、天氣顯示等多媒體功能。經過多次代碼調試、驅動修改和界面美化，上述功能都能實現，達到設計目標。當然本智能眼鏡系統的軟硬件方面還是需要繼續(xù)優(yōu)化的，比如精簡按鈕數量，實現多種操作；實現生理體征監(jiān)測；語音交互的實現等。由于不是用于生產，所以以上方面考慮的不是很全面，只是簡單的實現了智能眼鏡的各項基本功能，我們將在以后的研究中繼續(xù)優(yōu)化改進。

[1] 天極網. 智能眼鏡項目應用外科手術中http://wearable. yesky.com/ProjectGlass/365/48592365.shtml

[2] 極客以折騰不息的樹莓派玩法http://www.geekpark.net/ topics/186573/

[3] 太平洋電腦網Google Glass谷歌眼鏡官方詳細參數http://pcedu. pconline.com.cn/325/3259055.html

[4] 愛范兒網開源的智能眼鏡http://www.ifanr.com/447320.

[5] 程衛(wèi)軍, 艾中良. 一種基于智能手機的可穿戴設備安全架構[J]. 軟件, 2015, 36(11): 105-107.

[6] 維基百科. 樹莓派https://zh.wikipedia.org/wiki/%E6%A0% 91%E8%8E%93%E6%B4%BE

[7] 樹莓派官網http://www.raspberrypi.org/

[8] 深圳市遠創(chuàng)光電科技有限公司http://yctvdopec.cn.china.cn

[9] 全雪峰. 基于奇異熵和隨機森林的人臉識別[J].軟件，2016, 37(02): 35-38.

[10] 安大海, 蔣硯軍. 基于BP 神經網絡的人臉識別系統[J].軟件, 2015, 36(12): 76-79.

[11] 陳慧, 龍飛, 段智云. 一種基于小波零樹編碼和K-mean聚類的圖像壓縮的實現[J]. 軟件, 2016, 37(02): 33-34.

[12] 維基百科MPlayerhttps://zh.wikipedia.org/wiki/MPlayer

[13] 何銳, 張剛, 田甜. 基于TMS320DM6446的嵌入式視頻系統硬件設計及算法優(yōu)化[J]. 新型工業(yè)化, 2011, 1(2):13-19.

[14] 吳文輝, 任毅. 輕量級鍵盤鼠標模擬腳本引擎實現[J]. 軟件, 2013, 34(8): 56-57.

Design and Implementation of Wearables Smart Eyeglasses Systems Based on Raspberry Pi

LI Xu-dong, LU Chao-quan, GUI Yan, ZHANG Jian-ming
(School of Computer and Communication Engineering, Changsha University of Science and Technology, Changsha 410114, China)

Wearable technology in the computer academia and industry has always been paid attention [1], with the development of mobile Internet and high performance, low-power processing chip launch, wearable intelligent equipment has from fantasy into reality, they will change the way of life of modern people. Only because of high cost and technical complexity, a lot of related equipment just stay at the conceptual level. This paper focuses on the combination of software and hardware system, realize the raspberry pie host system and interactive system in smart glasses. In the process of interactive design of intelligent glasses control system, considering the limitations of smart glasses display, we adopt physical button + full screen icon, realization of smart glasses human interaction control, to expand the availability of smart glasses. The research content of this paper mainly includes the following two aspects: (1) the realization of the corresponding function of the host. (2) the realization of interactive drive. Through an external button to control the use of visual system interface, can shoot video images, play, show pictures, play music, maps, Internet, text reading, weather display multimedia function. Accomplished the wearable smart glasses system based on Raspberry Pi.

Raspberry Pi; Smart glasses; Wearable devices

TP37

A

10.3969/j.issn.1003-6970.2016.08.008

2015年度湖南省大學生研究性學習和創(chuàng)新性實驗計劃項目（湘教通[2015]269號-132）；2016年長沙理工大學大學生研究性學習和創(chuàng)新性實驗計劃項目(長理工大教[2016]7號-133)。

李旭東(1995-)，男，本科生，主要研究方向：嵌入式系統

通訊聯系人： 桂彥，博士、講師、碩士生導師，主要研究方向：圖像處理、模式識別