牟曉東

除了手勢(shì)識(shí)別追蹤和人臉的“面部網(wǎng)格”識(shí)別之外，MediaPipe 還能實(shí)現(xiàn)“姿勢(shì)偵測(cè)”（Pose，又稱(chēng)“姿態(tài)識(shí)別”），它將人體模型標(biāo)注出0-32 共33 個(gè)關(guān)鍵點(diǎn)，比如6對(duì)應(yīng)的是右眼外眼角（right_eye_outer）、13 對(duì)應(yīng)的是左肘尖（left_elbow）、30 對(duì)應(yīng)的是右腳跟（right_heel）等等。頭部的關(guān)鍵點(diǎn)是從0到10，身體的左側(cè)關(guān)鍵點(diǎn)是奇數(shù)從11、13 直至31，右側(cè)是偶數(shù)從12、14 直至32，二者所對(duì)應(yīng)的身體部位是對(duì)稱(chēng)標(biāo)注的（如圖）。

1.對(duì)靜態(tài)圖像文件中的人體進(jìn)行姿勢(shì)偵測(cè)

首先， 導(dǎo)入OpenCV 和MediaPipe 庫(kù)模塊：“importcv2”“import mediapipe asmp”；然后進(jìn)行人體姿勢(shì)偵測(cè)模型的導(dǎo)入——建立變量mp_pose 并賦值為“mp.solutions.pose”；再建立變量mp_drawing，賦值為“mp.solutions.drawing_utils”，作用是導(dǎo)入繪圖模塊；建立姿勢(shì)偵測(cè)變量pose，賦值為“mp_pose.Pose（static_image_mode=True，model_complexity=2， smooth_l a n d m a r k s = T r u e ， e n a b l e _s e g m e n t a t i o n = T r u e ， m i n _detection_confidence=0.5，min_tracking_confidence=0.5）”，其中的參數(shù)“static_image_mode=True” 作用是設(shè)置為靜態(tài)圖像文件的檢測(cè)， 參數(shù)“model_complexity=2” 作用是設(shè)置為最佳的姿勢(shì)偵測(cè)（值為0 時(shí)速度最快但 性能較弱，值為1 時(shí)速度與性能比較均衡）， 參數(shù)“smooth_landmarks=True” 作用是將平滑關(guān)鍵點(diǎn)的檢測(cè)設(shè)置為有效，參數(shù)“enable_segmentation=True”作用是將人體摳圖設(shè)置為有效， 參數(shù)“min_detection_confidence=0.5” 和“min_tracking_confidence=0.5）”作用是分別設(shè)置偵測(cè)的置信度與追蹤閾值。

接下來(lái)從圖片文件中讀入圖像， 建立變量img 并賦值為“cv2.imread（'test.jpg'）”， 其中的test.jpg 即為待測(cè)試的圖片文件； 建立變量img_RGB， 賦值為“cv2.cvtColor（img，cv2.COLOR_BGR2RGB）”， 作用是將讀入的圖像進(jìn)行色彩模式的轉(zhuǎn)換， 從BGR 轉(zhuǎn)為RGB； 建立變量results， 賦值為“pose.process（img_RGB）”， 作用是將轉(zhuǎn)換模式后的圖像輸入至訓(xùn)練模型并獲取對(duì)應(yīng)的姿勢(shì)偵測(cè)結(jié)果；再進(jìn)行可視化檢測(cè)結(jié)果的描繪，通過(guò)語(yǔ)句“mp_drawing.draw_landmarks（img，results.pose_landmarks，mp_pose.POSE_CONNECTIONS）” 來(lái)實(shí)現(xiàn)，其默認(rèn)效果是用紅色小圓點(diǎn)標(biāo)注33 個(gè)關(guān)鍵點(diǎn)，并且用白色細(xì)線(xiàn)進(jìn)行連接； 最后， 通過(guò)語(yǔ)句“cv2.imwrite（'result.jpg'，img）” 將添加標(biāo)注效果的圖像存儲(chǔ)為result.jpg文件。

將程序保存為“[01]Test_Single_Picture.py”，按F5運(yùn)行測(cè)試，很快就生成了result.jpg 文件，與之前的test.jpg同時(shí)打開(kāi)進(jìn)行對(duì)比查看，人物身體上的33 個(gè)關(guān)鍵點(diǎn)被正確標(biāo)注，同時(shí)也有若干條白色細(xì)線(xiàn)連接對(duì)應(yīng)的關(guān)鍵點(diǎn)。

2.關(guān)鍵點(diǎn)的分組標(biāo)注及二維坐標(biāo)值的解析

將“[01]Test_Single_Picture.py”復(fù)制粘貼為“[02]Three_Groups.py”，進(jìn)行代碼的修改，在最后一行“cv2.imwrite（'result.jpg'，img）”代碼之前插入以下代碼：

建立變量h 和w， 分別賦值為“img.shape[0]” 和“img.shape[1]”，表示圖像的高度和寬度；建立變量radius 并賦值為8，用來(lái)控制關(guān)鍵點(diǎn)描繪時(shí)圓點(diǎn)的半徑大??；同時(shí)建立head_points 和left_points 兩個(gè)變量，均賦值為空列表“[]”，分別通過(guò)“for i in range（11）：”和“for i in range（11，33）：”兩個(gè)循環(huán)，將頭部和左側(cè)所對(duì)應(yīng)的關(guān)鍵點(diǎn)序號(hào)追加（append）至各自列表中（剩余的即為右側(cè)關(guān)鍵點(diǎn)）；在“for i in range（33）：”循環(huán)中，變量cx 和cy 的值分別為“int（results.pose_landmarks.landmark[i].x * w）” 和“int（results.pose_landmarks.landmark[i].y * h）”，即該關(guān)鍵點(diǎn)的橫坐標(biāo)值和縱坐標(biāo)值。以鼻尖為例，由于該關(guān)鍵點(diǎn)所對(duì)應(yīng)的序號(hào)是0，因此通過(guò)條件“if i==0：”判定為真時(shí)將其輸出：“print（" 鼻尖位置的二維坐標(biāo)值為：（"，cx，"，"，cy，"）"）”；接下來(lái)，如果滿(mǎn)足“if iin head_points：”，說(shuō)明該關(guān)鍵點(diǎn)位于頭部，則通過(guò)語(yǔ)句“img = cv2.circle（img，（cx，cy），radius-5，（0，0，255），-1）”繪制為紅色圓點(diǎn)；如果滿(mǎn)足“elif i in left_points：”，說(shuō)明關(guān)鍵點(diǎn)位于人體左側(cè)，則通過(guò)語(yǔ)句“img = cv2.circle（img，（cx，cy），radius，（255，0，0），-1）”繪制為藍(lán)色圓點(diǎn)；剩余的右側(cè)各個(gè)關(guān)鍵點(diǎn)，通過(guò)語(yǔ)句“img = cv2.circle（img，（cx，cy），radius，（0，255，0），-1）”繪制為綠色圓點(diǎn)。

運(yùn)行測(cè)試，程序生成的圖片文件result.jpg 與之前相比，人體的頭部11 個(gè)關(guān)鍵點(diǎn)仍被標(biāo)注為紅色圓點(diǎn)，但左側(cè)和右側(cè)各11 個(gè)關(guān)鍵點(diǎn)則分別被標(biāo)注為藍(lán)色和綠色圓點(diǎn)；而且在命令行處輸出有提示信息：“鼻尖位置的二維坐標(biāo)值為：（665， 249）”。

3.對(duì)攝像頭監(jiān)控畫(huà)面中的人體進(jìn)行姿勢(shì)偵測(cè)

仍然是在“[01]Test_Single_Picture.py”基礎(chǔ)之上進(jìn)行“[03]Test_Camera.py”代碼的修改，目的是完成攝像頭監(jiān)控畫(huà)面中的人體姿勢(shì)偵測(cè)。注意在為變量pose賦值時(shí)，其中的“static_image_mode”參數(shù)必須設(shè)為“False”，表示“非靜態(tài)圖像模式”（即視頻的動(dòng)態(tài)幀畫(huà)面）；從變量camera 的賦值到“while True：”循環(huán)體中的代碼，像圖像顏色模式的轉(zhuǎn)換、默認(rèn)姿勢(shì)偵測(cè)繪制效果的實(shí)現(xiàn)等等，均與之前相同。

運(yùn)行測(cè)試，分別嘗試在攝像頭前面進(jìn)行遠(yuǎn)景和各種近景的拍攝測(cè)試，全身的33 個(gè)關(guān)鍵點(diǎn)能夠快速實(shí)時(shí)檢測(cè)到，并且以紅色圓點(diǎn)加白色細(xì)線(xiàn)連接標(biāo)注；側(cè)身和正身的近景上半身若干個(gè)關(guān)鍵點(diǎn)同樣也能夠被檢測(cè)和標(biāo)注，都是實(shí)時(shí)的測(cè)試效果。

關(guān)注“壹零社”公眾號(hào)下載源代碼。