牟曉東
除了手勢(shì)識(shí)別追蹤和人臉的“面部網(wǎng)格”識(shí)別之外,MediaPipe 還能實(shí)現(xiàn)“姿勢(shì)偵測(cè)”(Pose,又稱(chēng)“姿態(tài)識(shí)別”),它將人體模型標(biāo)注出0-32 共33 個(gè)關(guān)鍵點(diǎn),比如6對(duì)應(yīng)的是右眼外眼角(right_eye_outer)、13 對(duì)應(yīng)的是左肘尖(left_elbow)、30 對(duì)應(yīng)的是右腳跟(right_heel)等等。頭部的關(guān)鍵點(diǎn)是從0到10,身體的左側(cè)關(guān)鍵點(diǎn)是奇數(shù)從11、13 直至31,右側(cè)是偶數(shù)從12、14 直至32,二者所對(duì)應(yīng)的身體部位是對(duì)稱(chēng)標(biāo)注的(如圖)。
首先, 導(dǎo)入OpenCV 和MediaPipe 庫(kù)模塊:“importcv2”“import mediapipe asmp”;然后進(jìn)行人體姿勢(shì)偵測(cè)模型的導(dǎo)入——建立變量mp_pose 并賦值為“mp.solutions.pose”;再建立變量mp_drawing,賦值為“mp.solutions.drawing_utils”,作用是導(dǎo)入繪圖模塊;建立姿勢(shì)偵測(cè)變量pose,賦值為“mp_pose.Pose(static_image_mode=True,model_complexity=2, smooth_l a n d m a r k s = T r u e , e n a b l e _s e g m e n t a t i o n = T r u e , m i n _detection_confidence=0.5,min_tracking_confidence=0.5)”,其中的參數(shù)“static_image_mode=True” 作用是設(shè)置為靜態(tài)圖像文件的檢測(cè), 參數(shù)“model_complexity=2” 作用是設(shè)置為最佳的姿勢(shì)偵測(cè)(值為0 時(shí)速度最快但 性能較弱,值為1 時(shí)速度與性能比較均衡), 參數(shù)“smooth_landmarks=True” 作用是將平滑關(guān)鍵點(diǎn)的檢測(cè)設(shè)置為有效,參數(shù)“enable_segmentation=True”作用是將人體摳圖設(shè)置為有效, 參數(shù)“min_detection_confidence=0.5” 和“min_tracking_confidence=0.5)”作用是分別設(shè)置偵測(cè)的置信度與追蹤閾值。
接下來(lái)從圖片文件中讀入圖像, 建立變量img 并賦值為“cv2.imread('test.jpg')”, 其中的test.jpg 即為待測(cè)試的圖片文件; 建立變量img_RGB, 賦值為“cv2.cvtColor(img,cv2.COLOR_BGR2RGB)”, 作用是將讀入的圖像進(jìn)行色彩模式的轉(zhuǎn)換, 從BGR 轉(zhuǎn)為RGB; 建立變量results, 賦值為“pose.process(img_RGB)”, 作用是將轉(zhuǎn)換模式后的圖像輸入至訓(xùn)練模型并獲取對(duì)應(yīng)的姿勢(shì)偵測(cè)結(jié)果;再進(jìn)行可視化檢測(cè)結(jié)果的描繪,通過(guò)語(yǔ)句“mp_drawing.draw_landmarks(img,results.pose_landmarks,mp_pose.POSE_CONNECTIONS)” 來(lái)實(shí)現(xiàn),其默認(rèn)效果是用紅色小圓點(diǎn)標(biāo)注33 個(gè)關(guān)鍵點(diǎn),并且用白色細(xì)線(xiàn)進(jìn)行連接; 最后, 通過(guò)語(yǔ)句“cv2.imwrite('result.jpg',img)” 將添加標(biāo)注效果的圖像存儲(chǔ)為result.jpg文件。
將程序保存為“[01]Test_Single_Picture.py”,按F5運(yùn)行測(cè)試,很快就生成了result.jpg 文件,與之前的test.jpg同時(shí)打開(kāi)進(jìn)行對(duì)比查看,人物身體上的33 個(gè)關(guān)鍵點(diǎn)被正確標(biāo)注,同時(shí)也有若干條白色細(xì)線(xiàn)連接對(duì)應(yīng)的關(guān)鍵點(diǎn)。
將“[01]Test_Single_Picture.py”復(fù)制粘貼為“[02]Three_Groups.py”,進(jìn)行代碼的修改,在最后一行“cv2.imwrite('result.jpg',img)”代碼之前插入以下代碼:
建立變量h 和w, 分別賦值為“img.shape[0]” 和“img.shape[1]”,表示圖像的高度和寬度;建立變量radius 并賦值為8,用來(lái)控制關(guān)鍵點(diǎn)描繪時(shí)圓點(diǎn)的半徑大??;同時(shí)建立head_points 和left_points 兩個(gè)變量,均賦值為空列表“[]”,分別通過(guò)“for i in range(11):”和“for i in range(11,33):”兩個(gè)循環(huán),將頭部和左側(cè)所對(duì)應(yīng)的關(guān)鍵點(diǎn)序號(hào)追加(append)至各自列表中(剩余的即為右側(cè)關(guān)鍵點(diǎn));在“for i in range(33):”循環(huán)中,變量cx 和cy 的值分別為“int(results.pose_landmarks.landmark[i].x * w)” 和“int(results.pose_landmarks.landmark[i].y * h)”,即該關(guān)鍵點(diǎn)的橫坐標(biāo)值和縱坐標(biāo)值。以鼻尖為例,由于該關(guān)鍵點(diǎn)所對(duì)應(yīng)的序號(hào)是0,因此通過(guò)條件“if i==0:”判定為真時(shí)將其輸出:“print(" 鼻尖位置的二維坐標(biāo)值為:(",cx,",",cy,")")”;接下來(lái),如果滿(mǎn)足“if iin head_points:”,說(shuō)明該關(guān)鍵點(diǎn)位于頭部,則通過(guò)語(yǔ)句“img = cv2.circle(img,(cx,cy),radius-5,(0,0,255),-1)”繪制為紅色圓點(diǎn);如果滿(mǎn)足“elif i in left_points:”,說(shuō)明關(guān)鍵點(diǎn)位于人體左側(cè),則通過(guò)語(yǔ)句“img = cv2.circle(img,(cx,cy),radius,(255,0,0),-1)”繪制為藍(lán)色圓點(diǎn);剩余的右側(cè)各個(gè)關(guān)鍵點(diǎn),通過(guò)語(yǔ)句“img = cv2.circle(img,(cx,cy),radius,(0,255,0),-1)”繪制為綠色圓點(diǎn)。
運(yùn)行測(cè)試,程序生成的圖片文件result.jpg 與之前相比,人體的頭部11 個(gè)關(guān)鍵點(diǎn)仍被標(biāo)注為紅色圓點(diǎn),但左側(cè)和右側(cè)各11 個(gè)關(guān)鍵點(diǎn)則分別被標(biāo)注為藍(lán)色和綠色圓點(diǎn);而且在命令行處輸出有提示信息:“鼻尖位置的二維坐標(biāo)值為:(665, 249)”。
仍然是在“[01]Test_Single_Picture.py”基礎(chǔ)之上進(jìn)行“[03]Test_Camera.py”代碼的修改,目的是完成攝像頭監(jiān)控畫(huà)面中的人體姿勢(shì)偵測(cè)。注意在為變量pose賦值時(shí),其中的“static_image_mode”參數(shù)必須設(shè)為“False”,表示“非靜態(tài)圖像模式”(即視頻的動(dòng)態(tài)幀畫(huà)面);從變量camera 的賦值到“while True:”循環(huán)體中的代碼,像圖像顏色模式的轉(zhuǎn)換、默認(rèn)姿勢(shì)偵測(cè)繪制效果的實(shí)現(xiàn)等等,均與之前相同。
運(yùn)行測(cè)試,分別嘗試在攝像頭前面進(jìn)行遠(yuǎn)景和各種近景的拍攝測(cè)試,全身的33 個(gè)關(guān)鍵點(diǎn)能夠快速實(shí)時(shí)檢測(cè)到,并且以紅色圓點(diǎn)加白色細(xì)線(xiàn)連接標(biāo)注;側(cè)身和正身的近景上半身若干個(gè)關(guān)鍵點(diǎn)同樣也能夠被檢測(cè)和標(biāo)注,都是實(shí)時(shí)的測(cè)試效果。
關(guān)注“壹零社”公眾號(hào)下載源代碼。