趙泓屹 盧健

摘? 要：文章針對大多數(shù)筆記本電腦不提供觸控交互方式的現(xiàn)狀，提出了一種低成本的指尖觸控系統(tǒng)，使普通筆記本電腦屏幕也能滿足用戶觸控交互的需要，其僅需筆記本電腦的自帶攝像頭通過平面鏡的反射完成觸屏檢測，具有人機(jī)距離限制小和硬件成本低等諸多優(yōu)點。利用手指會在屏幕上產(chǎn)生倒影的特性，通過識別手指與手指倒影間的距離，實現(xiàn)手指觸屏的識別。文章提出了一種結(jié)合閾值和圖論的手指自動分割算法。此算法通過閾值提取獲取手指和倒影的種子像素，并結(jié)合圖論算法進(jìn)行手指和倒影分割。實驗結(jié)果表明，該交互系統(tǒng)在不同實驗環(huán)境下有較好的表現(xiàn)，能夠完成手指觸控識別，滿足用戶的交互需求。

關(guān)鍵詞：人機(jī)交互；圖像分割；觸控識別

中圖分類號：TP391.4? 文獻(xiàn)標(biāo)識碼：A? 文章編號：2096-4706（2023）15-0001-06

A Low-cost Fingertip Touch Control System Based on Graph Cuts Algorithm

ZHAO Hongyi， LU Jian

（School of Information Engineering， Dalian University， Dalian? 116622， China）

Abstract： This paper addresses the current situation that most notebook computers do not provide touch control interaction， and proposes a low-cost fingertip touch control system， so that ordinary notebook computer screens can also meet the needs of user touch control interaction， which only requires the notebook computer's own camera through the reflection of the plane mirror to complete the touch screen detection， with a small human-machine distance limit and low hardware costs and many other advantages. It uses the feature of finger reflection is on the screen， then the finger touch screen recognition is achieved by recognizing the distance between the finger and the finger reflection. An automatic finger segmentation algorithm combining threshold and graph theory is proposed in the paper. This algorithm extracts through threshold and obtains the seed pixels of fingers and reflections， and performs finger and reflection segmentation by combining graph theory algorithm. The experimental results show that the interactive system has good performance in different experimental environments and can complete finger touch control recognition to meet the user's interaction requirements.

Keywords： human-computer interaction; graph cuts; touch control recognition

0? 引? 言

近年來，隨著計算機(jī)性能的快速發(fā)展以及用戶需求的多樣化，以平板、筆記本電腦為代表的移動型硬件迅速普及，推動著人機(jī)交互技術(shù)的發(fā)展。而觸摸屏的出現(xiàn)，打破了既往的人機(jī)交互方式，用戶可以通過對屏幕的觸碰完成交互，實現(xiàn)繪畫、標(biāo)注及涂改等便攜功能。電阻觸摸屏、紅外線觸摸屏、電容觸摸屏和聲波觸摸屏等，已經(jīng)形成了商業(yè)化技術(shù)。但是也存在一個問題，現(xiàn)在的交互方式雖然變得簡單可視化，但是成本卻在不斷上漲，市面上滿足觸控功能的顯示屏價格相比之下要高出許多。那么如何通過低成本的方式讓沒有觸屏功能的筆記本電腦也能擁有觸屏功能呢？為此，本文提出了一種基于圖割算法的低成本指尖觸控系統(tǒng)，它具有人機(jī)距離限制小、操作自然靈活、沒有個人依賴性、硬件成本低、用戶之間的特征差異小等諸多優(yōu)點。其僅需筆記本的自帶攝像頭外加一枚平面鏡，即可檢測手指與屏幕的交互狀態(tài)，完成手指觸屏的實時交互檢測。

1? 相關(guān)研究現(xiàn)狀

為了打破傳統(tǒng)鼠標(biāo)鍵盤的人機(jī)交互方式，許多學(xué)者提出不同的人機(jī)交互方法。李貝[1]借助kinect深度攝像頭，對復(fù)雜手勢交互行為進(jìn)行識別，并將深度信息與圖像顏色信息進(jìn)行融合分割。隨后又提出一種融合Hu不變矩的HOG特征提取方法，增加提取的特征向量，從而提升手勢識別的準(zhǔn)確率。于霄洋[2]在指尖觸控中加入了深度信息以獲得手指到桌面的距離，利用了飛行時間法計算其深度距離，以便達(dá)到更精準(zhǔn)的指尖觸控。Liang等[3]提出了一種環(huán)形輸入設(shè)備DualRing，通過捕捉手指的運動狀態(tài)，感知相對于桌面的運動軌跡，完成手部交互的識別目的。伍杰[4]針對傳統(tǒng)手勢識別交互硬件昂貴和準(zhǔn)確率低下的特點，提出了基于Leap Motion的靜態(tài)手勢識別框架，并將手勢模型的數(shù)值特征與圖像的HOG特征進(jìn)行融合，從而提高準(zhǔn)確率。童欣[5]結(jié)合膚色檢測和重心距離法檢測指尖的位置，通過佩戴黑色手環(huán)分割手指部分，完成輪廓識別和指尖跟蹤，輔助手指交互的應(yīng)用。2018年清華大學(xué)提出了一種基于投影-攝像系統(tǒng)的投影觸摸板技術(shù)[6]，結(jié)合了結(jié)構(gòu)光和深度信息來獲取手指的相對坐標(biāo)，通過手部模型來判斷手指的運動軌跡和位置，并利用手部的21個關(guān)鍵點結(jié)合卡曼爾濾波進(jìn)行精確跟蹤，實驗結(jié)果表明可以較好地完成手部和投影之間的交互。Tsai等人提出了一種低成本的人機(jī)交互手勢識別系統(tǒng)[7]，該系統(tǒng)從背景中進(jìn)行膚色檢測捕獲手指后，通過連通分量標(biāo)記算法捕獲提取像素的質(zhì)心，隨后采用凸包算法去除手臂等干擾膚色點，提取手部像素，進(jìn)行手勢分類識別，最終實現(xiàn)手勢交互。各學(xué)者提出的新型人機(jī)交互系統(tǒng)雖各有特色，但是大部分系統(tǒng)的硬件要求依然很高，且對實驗環(huán)境要求苛刻，并不具有通用性。

2? 基于視覺的指尖觸控系統(tǒng)

此文旨在研究出一種基于視覺的指尖觸屏技術(shù)，因為手指的觸碰會在屏幕上產(chǎn)生倒影，所以此系統(tǒng)利用手指與倒影之間的距離作為手指觸碰屏幕的條件進(jìn)行判定。為了使筆記本的自帶攝像頭可以拍攝到包含屏幕與手指的圖像，通過置放一枚平面鏡固定在攝像頭前方，攝像頭通過平面鏡的反射拍攝屏幕與手指以及倒影圖像，其實際工作場景如圖1所示。

系統(tǒng)主要分為三個部分介紹。第一個部分為手指和手指倒影的檢測以及分割，第二個部分為手指觸碰到屏幕的判定條件，第三個部分為觸屏點位置的確定。系統(tǒng)流程圖如圖2所示。

2.1? 手指及倒影的檢測和分割

若想利用倒影輔助信息完成手指觸屏的識別，首先需要從每一幀的圖像中獲取到手指和倒影的信息。為了高效準(zhǔn)確地檢測并分割屏幕前的手指及手指倒影，此文提出了一種結(jié)合閾值和圖論的圖像分割算法。此算法首先通過閾值提取到手指及倒影部分作為初始前景種子點，隨后根據(jù)已知種子點對圖像進(jìn)行圖論分割，最后通過開運算對可能的噪點進(jìn)行去噪，得到分割后的手指及倒影圖像。常用的圖像分割方法分別有基于閾值和圖論的圖像分割方法，其適用條件和分割效果也有所不同。

基于閾值的圖像分割方法[8]的基本思想就是根據(jù)目標(biāo)的灰度特征選取適合的像素點，過濾掉區(qū)間外的像素點從而實現(xiàn)分割。通過選取靜態(tài)閾值的方法進(jìn)行手指分割效率較高，但是對噪聲的干擾非常敏感，且閾值區(qū)間的選取對于分割效果有舉足輕重的作用，過小會導(dǎo)致無法選取目標(biāo)像素點，而區(qū)間過大會將背景的干擾點誤分割為目標(biāo)像素，并不適用于背景復(fù)雜的圖割應(yīng)用。

而基于圖論的圖像分割則采用將圖像分解的思想，將圖像抽象的劃分為一張節(jié)點關(guān)系圖，通過節(jié)點之間的關(guān)系建立能量函數(shù)，再通過最大流最小割求解能量函數(shù)的最優(yōu)解，從而完成圖像分割，最早由Boykov等人提出了Graph Cuts算法[9]，其需要用戶對初始圖像進(jìn)行標(biāo)記，劃分前景和背景種子點，將圖像分割問題轉(zhuǎn)化為帶權(quán)無向圖的分割問題，如圖3所示，其為建立的s-t網(wǎng)絡(luò)關(guān)系圖。通過構(gòu)建能量函數(shù)求解最優(yōu)解得到最適宜的分割路徑，用最大流最小割算法[10]求解能量函數(shù)。但是Graph Cuts算法交互行為繁多，且僅基于灰度圖的圖像分割。2004年Rother等人提出了GrabCut算法[11]，此算法只需用戶繪出目標(biāo)的矩陣框選取前景范圍，不需標(biāo)記背景種子點。通過建立高斯混合模型得到能量函數(shù)中的區(qū)域項，并求取像素點間的顏色歐氏距離獲得邊界項從而建立能量函數(shù)。此方法在精度上得到了很大的提升，并且減少了標(biāo)記交互行為。但是由于采用了EM算法[12]反復(fù)迭代更新模型中的參數(shù)，所以計算速度較慢，并不適用于實時系統(tǒng)中。且其仍然需要人工標(biāo)記種子點作為分割條件，并非圖像的自動分割。

2.1.1? 在HSV顏色空間下的靜態(tài)閾值提取

此系統(tǒng)首先通過靜態(tài)閾值提取手指及倒影的像素種子點，在顏色空間的選擇上，經(jīng)過實驗，相比于RGB顏色空間，HSV空間可以更直觀地表達(dá)圖像色彩的鮮艷程度和明亮度，更好地體現(xiàn)出不同顏色之間的差值。所以此系統(tǒng)選擇在HSV顏色空間下進(jìn)行閾值提取。如圖4所示，是在實驗環(huán)境中采集的一張含有手指觸屏的圖像，可以看到，目標(biāo)像素點在H和S分量上均有較好聚集性。

隨后關(guān)鍵的是能否找到合適的閾值空間提取手指及倒影種子點，通過采集了不同實驗環(huán)境和不同光照條件下的1 000張手指觸屏圖像，應(yīng)用GrabCut經(jīng)典圖像分割算法對手指及倒影部分進(jìn)行人工標(biāo)記分割，統(tǒng)計其在HSV顏色空間下的像素分布，經(jīng)過多次實驗，在HSV顏色空間中選擇的閾值區(qū)間為H[0，32]、S[0，145]、V[155，255]。隨后對于處理后得到的二值圖像進(jìn)行連通域分析，找到最大的連通域默認(rèn)為手指的前景種子區(qū)域，并對連通域外界矩陣框提取出的手指部分像素點作為可能的前景目標(biāo)種子點，對手指外界矩陣框進(jìn)行擴(kuò)充，并將擴(kuò)充后的矩陣框作為接下來圖論分割方法的初始圖像。這樣做的目的就是為了提高分割效率，將大部分的圖片背景部分消除，大大節(jié)省了計算時間，同時保留部分背景像素點作為接下來圖割的背景種子，保留了背景特征，保證了手指及倒影分割的精確度。

2.1.2? 基于圖論的手指及倒影分割

經(jīng)過上一步通過靜態(tài)閾值提取的方法得到了手指及其倒影連通域的外接擴(kuò)充矩陣框，對于此矩陣框?qū)⑦B通域中的像素點作為前景種子，將外接矩陣框的擴(kuò)充部分作為背景種子點，這樣避免了以往類似GrabCut算法中過于煩冗的人工標(biāo)記部分，從而實現(xiàn)自動分割。

隨后根據(jù)得到的前景種子和背景種子點對外接擴(kuò)充矩陣框內(nèi)的圖像進(jìn)行圖論圖像分割，根據(jù)手指顏色分布集中，形狀單一的特點，建立能量函數(shù)（1）：

其中E1表示標(biāo)記前景和背景種子點的區(qū)域項，節(jié)點i，j ∈ v表示圖像上的像素點，xi表示該節(jié)點所分配的標(biāo)簽。因為手指和倒影的顏色單一，所以此算法舍棄了傳統(tǒng)圖論算法中非種子點到源點S和終點T的邊權(quán)重計算，僅僅加入前景和背景種子點歸屬權(quán)重，這樣可以大大加快計算速度，提高分割效率。

式（2）表示能量函數(shù)中的E1能量項，其中F和B分別表示前景和背景種子點集合，MAX為自定義的一個極大參數(shù)，i為圖像中的遍歷像素點。當(dāng)該節(jié)點為前景種子節(jié)點時，該節(jié)點與源點S的邊值為一個極大值，而與終點T的邊值為0。此時該節(jié)點與終點T之間的能量更小，越容易被分割開來，從而歸屬到前景部分。反之當(dāng)該節(jié)點為背景種子點時，該節(jié)點與源點S的邊值為0，而與終點T的邊值為一個極大值，此時該節(jié)點與源點S之間邊的能量更小，越會被與前景分割開來，歸屬到背景部分。

式（3）表示能量函數(shù)中的E2能量項，其中i，j ∈ u表示圖像中的像素點集合，旨在約束相鄰節(jié)點之間的邊值權(quán)重。其邊值的計算為相鄰節(jié)點i、j在HSV顏色空間下個個分量的差值，當(dāng)兩個相鄰節(jié)點之間的色差越大，相鄰節(jié)點之間的邊值就越小，E2的返回值越小，從而能量函數(shù)越貼近最優(yōu)解，也代表兩個相鄰節(jié)點之間越容易被分割開來。相反當(dāng)相鄰節(jié)點的色值很貼近，相鄰節(jié)點之間的邊值就越大，E2的返回值也就越大，兩個相鄰節(jié)點之間越不容易被分割開，其屬于同一前景/背景的概率也就越大。

建立完能量函數(shù)后，通過最大流/最小割算法對能量函數(shù)進(jìn)行求解，將攝像頭捕獲到的手指和手指倒影進(jìn)行精準(zhǔn)分割。經(jīng)過圖論分割前后的手指提取效果對比如圖5所示。

2.2? 判定手指觸屏/懸停條件

隨后系統(tǒng)對于上一步分割后的手指及倒影圖像進(jìn)行輪廓提取來判斷二者指尖之間的距離。首先對分割后的圖像進(jìn)行輪廓提取，計算各個輪廓的面積并對其進(jìn)行升序排序，將面積最大的輪廓判定為手指輪廓，將第二大的輪廓判定為屏幕中的手指倒影輪廓。提取到這兩個輪廓之后，繪出輪廓對應(yīng)的矩陣框，通過計算矩陣框Y軸坐標(biāo)判斷是否為觸碰狀態(tài)，若為懸停狀態(tài)，倒影的矩陣框的h值加上矩陣左上角點的Y坐標(biāo)應(yīng)該小于手指矩陣框的左上點Y坐標(biāo)。以此為判斷依據(jù)確定手指的觸屏狀態(tài)。隨后通過遍歷手指在X軸上的左右輪廓差大小來判定指尖的位置，也就是說在Y軸遍歷同一行右邊緣減去左邊緣的結(jié)果，當(dāng)結(jié)果最小的時候，將其左右輪廓像素點之間的中點判定為指尖，從而確定觸碰點。如圖6所示，為觸碰狀態(tài)和懸停狀態(tài)的檢測效果，其中粉色圓點為觸碰/懸停點。

2.3? 手指觸屏位置的確定

在判斷了手指是否觸碰到屏幕之后，接下來就是檢測手指觸屏位置從而代替鼠標(biāo)光標(biāo)進(jìn)行交互操作。此系統(tǒng)應(yīng)用單應(yīng)性變換，首先通過校準(zhǔn)獲得攝像頭拍到的觸碰點的坐標(biāo)和現(xiàn)實點擊屏幕的觸碰點坐標(biāo)，隨后通過已知信息求出二者的線性關(guān)系，也就是Homography（單應(yīng)性矩陣）。單應(yīng)性矩陣是一種平面單應(yīng)性矩陣，在三軸坐標(biāo)中，類似于Z = 1的齊次坐標(biāo)。為了保證所求單應(yīng)性矩陣的穩(wěn)健性，此系統(tǒng)在校準(zhǔn)環(huán)節(jié)通過9個校準(zhǔn)點輸入觸點坐標(biāo)，隨后通過RANSAC算法排除校準(zhǔn)點中出現(xiàn)的外點問題，確保每個校準(zhǔn)點的圖像坐標(biāo)和屏幕坐標(biāo)滿足相同的線性關(guān)系，排除校準(zhǔn)環(huán)節(jié)中的誤判點對于單應(yīng)性變換的影響。通過RANSAC算法優(yōu)化單應(yīng)性后，即可完成圖像坐標(biāo)到屏幕坐標(biāo)的映射了，從而控制鼠標(biāo)光標(biāo)進(jìn)行操作，即達(dá)成整個指尖觸控系統(tǒng)的實現(xiàn)。

3? 實驗結(jié)果及分析

筆記本攝像頭在不同實驗條件下經(jīng)過平面鏡的反射捕捉到的手指及手指倒影與屏幕的圖像如圖7所示，其中矩陣框代表當(dāng)前捕獲的手指或手指倒影區(qū)域，圓點為當(dāng)前判定的觸點或懸停點。

為了驗證系統(tǒng)在不同實驗環(huán)境下的表現(xiàn)，通過增加兩種干擾因素，分別為光照強(qiáng)度的干擾和復(fù)雜屏幕背景的干擾，并通過調(diào)整干擾強(qiáng)度來檢測系統(tǒng)的運行情況。具體結(jié)果如表1所示，可以看到當(dāng)沒有光照和屏幕干擾的實驗環(huán)境下，系統(tǒng)的識別準(zhǔn)確率較高，且每秒能處理30幀圖像，實時性較好。當(dāng)光照強(qiáng)度改變，且加入復(fù)雜背景的情況下，系統(tǒng)的識別準(zhǔn)確率相比之下會降低，但是也能滿足基本的觸屏識別。

接下來對系統(tǒng)進(jìn)行消融實驗，測試文中的手指及倒影的檢測分割方法對于系統(tǒng)是否有提升效果。實驗結(jié)果如表2所示。

通過消融實驗的結(jié)果可以看出，僅基于靜態(tài)閾值的手指分割方法雖然計算速度較快，但是準(zhǔn)確率卻大大降低，而僅基于圖論的手指分割計算效率過慢，不能達(dá)成系統(tǒng)實時運行的目的。結(jié)合閾值和圖論的手指分割方法剛好綜合解決了這兩個問題，在保證實時運行的前提下，也有較好的準(zhǔn)確率。

最后通過此指尖觸控系統(tǒng)進(jìn)行實際應(yīng)用，如圖8所示。結(jié)果證明此指尖觸控系統(tǒng)在實際應(yīng)用中表現(xiàn)效果較好，通過觸控的交互方式更加靈活便捷，證實了其實際應(yīng)用的可行性。

4? 結(jié)? 論

本文研究了一種基于圖割算法的低成本指尖觸控系統(tǒng)，通過手指在屏幕上會產(chǎn)生倒影的特性，提出了一種結(jié)合閾值和圖論的手指自動檢測分割方法，對攝像頭捕獲的手指觸屏行為進(jìn)行識別。從系統(tǒng)實驗結(jié)果來看，此系統(tǒng)對于復(fù)雜背景和正常光照環(huán)境下的辨別效果較好，由于去除了能量函數(shù)中區(qū)域項像素點歸屬的計算，大大提高了運行效率，滿足實時檢測的要求。但是本系統(tǒng)仍然存有不足，系統(tǒng)對光照變換的抗干擾能力不強(qiáng)，因為光照會改變手指部分返回的色值，對檢測手指存在影響，并且在個別類膚色的背景下也存在誤判的情況，有待進(jìn)一步提高。

參考文獻(xiàn)：

[1] 李貝.基于Kinect的手勢識別與多指手交互研究 [D].武漢：武漢科技大學(xué)，2018.

[2] 于霄洋.基于深度信息的手指交互技術(shù)研究 [D].北京：北方工業(yè)大學(xué)，2021.

[3] LIANG C，YU C，QIN Y，et al. DualRing： Enabling Subtle and Expressive Hand Interaction with Dual IMU Rings [J].Proceedings of the ACM on Interactive，Mobile，Wearable and Ubiquitous Technologies，2021，5（3）：1-27.

[4] 伍杰.基于視覺的實時手勢識別方法研究 [D].大連：大連理工大學(xué)，2019.

[5] 童欣.一種基于OpenCV的手勢輪廓識別與指尖定位跟蹤方法 [J].福建電腦，2018，34（12）：96-97+109.

[6] 李森.一種基于投影-攝像系統(tǒng)的投影觸摸板關(guān)鍵技術(shù)研究 [D].北京：清華大學(xué)，2018.

[7] TSAI T-H，HUANG C-C，ZHANG K-L. Design of Hand Gesture Recognition System for Human-Computer Interaction [J].Multimedia Tools and Applications，2020，79：5989-6007.

[8] 劉碩.閾值分割技術(shù)發(fā)展現(xiàn)狀綜述 [J].科技創(chuàng)新與應(yīng)用，2020（24）：129-130.

[9] BOYKOV Y Y，JOLLY M-P. Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images [C]//Proceedings Eighth IEEE International Conference on Computer Vision.ICCV 2001.Vancouver：IEEE，2001：105-112.

[10] BOYKOV Y，KOLMOGOROV V. An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（9）：1124-1137.

[11] ROTHER C，KOLMOGOROV V，BLAKE A. “GrabCut” Interactive Foreground Extraction Using Iterated Graph Cuts [J].ACM Transactions on Graphics （TOG），2004，23（3）：309-314.

[12] 陶葉輝，趙壽為.基于改進(jìn)EM算法的高斯混合模型圖像聚類方法 [J].軟件導(dǎo)刊，2022，21（12）：182-186.