沈頌龍 陳杰 李郎尼

【摘? 要】本文開發(fā)一款投影式空調(diào)面板開關(guān)，利用投影儀將界面的內(nèi)容投射到物體表面，結(jié)合攝像頭的卷積神經(jīng)網(wǎng)絡(luò)視覺檢測，可直接完成界面操作，實現(xiàn)功能交互。本投影開關(guān)具有很強(qiáng)的適配性，可在多種物體表面成像，具有使得內(nèi)飾簡約和科技感強(qiáng)等特點。

【關(guān)鍵詞】機(jī)器視覺；投影界面；卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號：U463.851? ? 文獻(xiàn)標(biāo)志碼：A? ? 文章編號：1003-8639（ 2023 ）04-0041-04

【Abstract】This paper develops a projection air conditioning panel switch based on the traditional image algorithm of vision. The content of the interface is projected onto the surface of the object by the projector. Combined with the visual detection of the camera，the interface operation can be directly completed to achieve functional interaction.? Projection switch has strong adaptability，can be in a variety of object surface imaging，with the interior simple and strong sense of science and technology.

【Key words】computer vision；projection interface；convolutional neural network

1? 背景描述

本投影開關(guān)主要由投影儀、攝像頭、視頻轉(zhuǎn)接板、核心處理板等組成。投影區(qū)域尺寸與投影角度有關(guān)，需按投影區(qū)域尺寸選擇合適的投影模組以及投影安裝距離；操作界面通過投影模組投射至內(nèi)飾表面。投影開關(guān)如圖1所示。

與傳統(tǒng)面板開關(guān)相比，具備以下優(yōu)點。

1）極簡化：投影開關(guān)為隱藏式安裝，在投影開關(guān)未工作時，無開關(guān)式樣，內(nèi)飾簡約。

2）高度集成化：投影開關(guān)可以根據(jù)整車需求，切換各種產(chǎn)品的功能界面，使得功能產(chǎn)品集成化。

3）成本優(yōu)化和輕量化：集成整車內(nèi)飾開關(guān)功能，精簡整車開關(guān)，成本下降，整車開關(guān)質(zhì)量下降。

4）升級簡約化：無需重新開內(nèi)飾開關(guān)，只需要根據(jù)需求，更新投影組件的內(nèi)存信息和軟件部分即可完成產(chǎn)品迭代。

與智能表面相比，具備以下優(yōu)點：①適配性強(qiáng)，成像在內(nèi)飾表面，可以適配大多數(shù)的內(nèi)飾材料；②功能豐富，投影功能豐富，可根據(jù)整車需要，除了作為普通內(nèi)飾開關(guān)使用之外，亦可進(jìn)行視頻播放、游戲投屏等影音娛樂。

2? 系統(tǒng)框架描述

2.1? 硬件架構(gòu)描述

硬件描述框圖如圖2所示，其主要硬件模塊介紹如下。

1）樹莓派：樹莓派是一款基于ARM的單板卡片式電腦，以SD卡為內(nèi)存硬盤，卡片主板周圍有USB接口和網(wǎng)口，擁有視頻模擬信號的電視輸出接口、HDMI高清輸出接口以及無線網(wǎng)卡，支持Linux系統(tǒng)，擁有活躍的開源社區(qū)。本投影開關(guān)利用樹莓派進(jìn)行圖像采集處理和完成界面交互功能等任務(wù)。

2）ICN6211：一款MIPI-DSI視頻信號轉(zhuǎn)RGB888視頻信號轉(zhuǎn)換芯片，需要在樹莓派中適配對應(yīng)的設(shè)備驅(qū)動才能使用。

3）投影儀：型號OPD2x，是720P TRP系列光機(jī)，可通過I2C命令進(jìn)行配置投影亮度、投影區(qū)域矯正等。

4）攝像頭：為雙目攝像頭，可多角度拍攝手勢姿態(tài)，畫面具有自適應(yīng)白平衡等功能。

運行流程如下：①樹莓派運行空調(diào)界面程序，通過ICN6211芯片，將MIPI-DSI信號轉(zhuǎn)換為RGB888視頻輸出信號，最后由投影儀接收并進(jìn)行實時投屏顯示；②雙目攝像頭捕獲投屏畫面，經(jīng)樹莓派對數(shù)字圖像進(jìn)行處理，后臺程序提取出交互操作信息，控制界面程序完成功能顯示；③樹莓派將當(dāng)前界面狀態(tài)通過UART反饋到MCU端，然后由CAN信號轉(zhuǎn)發(fā)出去，同時MCU也會控制投影儀電機(jī)的轉(zhuǎn)動實現(xiàn)對焦功能。

2.2? 軟件架構(gòu)描述

軟件描述框圖如圖3所示，其中包含幾類開源庫，比如Qt、OpenCV、Eigen、Linux、DRM等。

Qt是基于C++跨平臺的應(yīng)用程序開發(fā)框架，擁有豐富的API，既可以開發(fā)GUI程序，也可用于開發(fā)非GUI程序。QML（Qt Meta-Object Languaage，Qt元對象語言）是一種用于描述應(yīng)用程序用戶界面的聲明式編程語言，其使用一些可視組件以及這些組件之間的交互來描述用戶界面。QML是一種高可讀性的語言，可以使組件以動態(tài)方式進(jìn)行交互，并且允許組件在用戶界面中很容易實現(xiàn)復(fù)用和自定義。新版本的Qt加強(qiáng)了JavaScript和QML的功能。目前，Qt的主流開發(fā)方式是：界面采用QML和JavaScript進(jìn)行開發(fā)，后臺業(yè)務(wù)邏輯采用C++開發(fā)，這種混合編程方式可以極大拓展腳本語言的便利和C++語言的高效性。

OpenCV（Open Source Computer Vision Library）是一個基于開源發(fā)行的跨平臺計算機(jī)視覺庫，可實現(xiàn)圖像處理和計算機(jī)視覺方面的很多通用算法，底層采用C和C++編寫，可以在各種主流平臺上運行。本文利用OpenCV庫進(jìn)行圖像處理和分析。

ONNX Runtime：ONNX Runtime是微軟推出的一款推理框架，用戶可以非常便利地用其運行一個ONNX模型。ONNX Runtime支持多種運行后端，包括CPU、GPU、TensorRT、DML等。

Linux DRM（Direct Rending Manger）表示直接渲染管理器，是目前Linux下主流的顯示框架。DRM框架涉及到的元素很多，本文主要是使用了MIPI DSI接口用于顯示輸出，需要DRM驅(qū)動支持。

3? 投影界面

投影界面的設(shè)計框架是：QML負(fù)責(zé)界面設(shè)計（布局、顯示效果），JavaScript負(fù)責(zé)界面邏輯（按鍵觸發(fā)、長短按等），C++負(fù)責(zé)后臺邏輯（網(wǎng)絡(luò)通信）。

3.1? 基于QML的界面設(shè)計

圖4是設(shè)計的空調(diào)界面，包含POWER按鍵、溫度+/-按鍵、風(fēng)量+/-按鍵、AUTO按鍵和模式按鍵。溫度和風(fēng)量按鍵包含長短按功能，為了便于投影交互，當(dāng)按鍵觸發(fā)時，對應(yīng)的字符圖標(biāo)會隱藏，而松開按鍵會顯示字符。溫度按鍵、風(fēng)量按鍵以及模式按鍵包含擋位顯示，POWER按鍵和AUTO按鍵包含指示燈顯示。

3.2? 擴(kuò)展QML功能

QML對于界面的設(shè)計比較方便，有專門設(shè)計好的組件可以使用，但對于網(wǎng)絡(luò)、文件處理等較為底層的功能則需要通過C++自定義組件來完成。例如界面程序需要一個服務(wù)端網(wǎng)絡(luò)進(jìn)行通信，那么接口部分只需要定義幾個主要的元素即可，如服務(wù)端Port口、接收和發(fā)送的數(shù)據(jù)流以及是否對重復(fù)接收數(shù)據(jù)進(jìn)行過濾等，先通過C++完成這個ServiceNetwork類的編寫，然后注冊進(jìn)QML系統(tǒng)中使用。

qmlRegisterType（"ServiceNetwork"，1，0，"ServiceNetwork"）；

在QML中通過如下方式聲明一個ServiceNetwork對象，端口號為8000，允許重復(fù)接收相同的數(shù)據(jù)，并對接收到的數(shù)據(jù)進(jìn)行處理。當(dāng)有客戶端成功連接后，就可以進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)收發(fā)。

import ServiceNetwork 1.0

ServiceNetwork{

id：net

port：8000

repeat：true

onRecvArrayChanged：{

doSomething（）；

}

}

界面啟動后獲得的投影界面效果如圖5所示。

4? 指尖搜索模型介紹

由于本模型被部署在嵌入式設(shè)備上，整機(jī)算力十分緊張，無法支撐大型模型的實時運算，所以本文無法直接使用手勢姿態(tài)檢測模型，而是使用了2個小型的指尖檢測模型。通過將2個小模型級聯(lián)使用，降低整體計算量，提高整體判斷準(zhǔn)確度。

4.1? 訓(xùn)練平臺

本文使用的訓(xùn)練平臺如下：①軟件，PyTorch 1.11，CUDA 10.4；②硬件，CPU Intel i5，GPU Nvdia 1050TI。

4.2? 模型結(jié)構(gòu)

4.2.1? 指尖判斷器

模型1為指尖判斷器，判斷目標(biāo)區(qū)域內(nèi)是否有指尖。輸入原始RGB圖像，輸出值為一個0～1之間的浮點數(shù)，代表目標(biāo)區(qū)域指尖的概率，輸出值為0代表有指尖概率為0%，輸出值為1代表有指尖概率為100%。

指尖判斷器模型結(jié)構(gòu)如圖6所示。輸入圖像，先經(jīng)過一次步長為2的卷積模塊，尺寸會縮小一半，然后經(jīng)過一個殘差模塊，再經(jīng)過池化，尺寸再次縮小一半，最后經(jīng)過全連接層輸出的是手指的概率。

4.2.2? 姿態(tài)判斷器

模型2為姿態(tài)判斷器，用于精細(xì)檢測指尖的具體位置。其輸出值為一張熱力圖，圖中每個點都為一個0～1的浮點數(shù)，代表指尖出現(xiàn)在該位置的概率。

姿態(tài)判斷器的模型結(jié)構(gòu)圖7所示。輸入原始RBG數(shù)據(jù)后，首先經(jīng)過一個卷積層，然后經(jīng)過一個沙漏模塊，再經(jīng)過一個卷積層，得到最終的熱力圖。其中沙漏模塊是由多個不同尺度的殘差模塊堆疊而成，可以從多個分辨率尺度上預(yù)測指尖位置。

4.3? 訓(xùn)練流程

深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程比較類似?；玖鞒倘缦拢孩賹⒃紨?shù)據(jù)集分成測試集和訓(xùn)練集；②初始化網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)略參數(shù)；③定義損失函數(shù)，預(yù)測函數(shù)，學(xué)習(xí)率；④在訓(xùn)練集上，計算損失；⑤使用梯度下降算法更新網(wǎng)絡(luò)參數(shù)；⑥在測試集上計算預(yù)測正確率；⑦重復(fù)步驟④～⑥，直到正確率不再提升。

4.4? 模型部署與推理

4.4.1? 模型部署流程

本文采用ONNX（Open Neural Network Exchange）開放神經(jīng)網(wǎng)絡(luò)交換格式作為中間表示，ONNX Runtime作為最終運行框架。

1）ONNX：ONNX是一種針對機(jī)器學(xué)習(xí)所設(shè)計的開放式的文件格式，用于存儲訓(xùn)練好的模型。它使得不同的人工智能框架（如Pytorch、MXNet）可以采用相同格式存儲模型數(shù)據(jù)并交互。ONNX的規(guī)范及代碼主要由微軟、亞馬遜、Facebook和IBM等公司共同開發(fā)，以開放源代碼的方式托管在Github上。

2）ONNX Runtime：ONNX Runtime是微軟推出的一款推理框架，用戶可以非常便利地用其運行一個ONNX模型。ONNX Runtime支持多種運行后端包括CPU、GPU、TensorRT、DML等?？梢哉fONNX Runtime是對ONNX模型最原生的支持。

4.4.2? 推理流程

實踐中，推理流程如圖8所示。實際使用中，首先使用指尖判斷器，對所有按鍵區(qū)域進(jìn)行一次初篩，將存在指尖概率高的圖像輸入姿態(tài)判斷器進(jìn)行細(xì)化分析，姿態(tài)判斷器的輸出結(jié)果是熱力圖，從中既可以得到指尖位置信息，也可以得到指尖概率信息。實際判斷按鍵按下，需要同時滿足指尖判斷器概率高于閾值、姿態(tài)判斷其概率高于閾值、指尖停留在目標(biāo)位置超過100ms3個指標(biāo)，才認(rèn)為按鍵確實被按下。

由于2個判斷器均為計算量很小的小型判斷器，各自的判斷準(zhǔn)確率均為95%左右，并不算高，但將2個判斷器級聯(lián)使用后，判斷召回率有所降低，但是精確度提升到了99.75%。換句話說，級聯(lián)2個判斷器后會略降低靈敏度，漏掉一些手指，但是一旦被判定為手指，準(zhǔn)確率接近100%。如此設(shè)計，可以有效降低誤觸。另外，在實際使用時，可以靈活調(diào)節(jié)2個判斷器的閾值，調(diào)節(jié)準(zhǔn)確率和靈敏度之間的平衡，并且由于只有經(jīng)過指尖判斷器的初篩圖像，才會送入姿態(tài)判斷器，大大降低了整機(jī)的計算量。

推理效果如圖9所示。圖中，綠色方框為目標(biāo)按鍵區(qū)域，緊貼方框上方的數(shù)字代表指尖判斷器輸出的概率，右下角存在指尖的按鍵框內(nèi)的紅色代表指尖的概率高，藍(lán)色代表指尖的概率低，第2排數(shù)字代表姿態(tài)判斷器輸出的熱力圖的最大值。

5? 總結(jié)與展望

應(yīng)用了卷積神經(jīng)網(wǎng)絡(luò)后的投影開關(guān)效果如圖10所示，整體按鍵操作效果已經(jīng)十分接近觸摸按鍵面板。同時又能適應(yīng)各種材質(zhì)的界面，自由擴(kuò)展操作內(nèi)容，做到傳統(tǒng)觸摸面板無法做到的高自由度。

由于時間和工作環(huán)境限制，本文在數(shù)據(jù)集準(zhǔn)備時，缺乏白人、黑人、老人、小孩等的數(shù)據(jù)，需要在后續(xù)繼續(xù)采集和添加相應(yīng)的數(shù)據(jù)。另外對于美甲、手套等非裸手的情況，也未進(jìn)行有效支持，是后續(xù)進(jìn)一步改進(jìn)的一個方向。

參考文獻(xiàn)：

[1] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2016：770-778.

[2] NEWELL A，YANG K，DENG J. Stacked hourglass networks for human pose estimation[C]//European conference on com-puter vision，2016：483-499.

（編輯? 凌? 波）