Python如何使用opencv進(jìn)行手勢(shì)識(shí)別詳解
前言
本項(xiàng)目是使用了谷歌開源的框架mediapipe,里面有非常多的模型提供給我們使用,例如面部檢測(cè),身體檢測(cè),手部檢測(cè)等。
原理

首先先進(jìn)行手部的檢測(cè),找到之后會(huì)做Hand Landmarks。

將手掌的21個(gè)點(diǎn)找到,然后我們就可以通過手掌的21個(gè)點(diǎn)的坐標(biāo)推測(cè)出來手勢(shì),或者在干什么。
程序部分
第一安裝Opencv
pip install opencv-python
第二安裝mediapipe
pip install mediapipe
程序
先調(diào)用這倆個(gè)函數(shù)庫
import cv2 import mediapipe as mp
然后再調(diào)用攝像頭
cap = cv2.VideoCapture(0)
函數(shù)主體部分
while True:
ret, img = cap.read()#讀取當(dāng)前數(shù)據(jù)
if ret:
cv2.imshow('img',img)#顯示當(dāng)前讀取到的畫面
if cv2.waitKey(1) == ord('q'):#按q鍵退出程序
break
全部函數(shù)
import cv2
import mediapipe as mp
import time
cap = cv2.VideoCapture(1)
mpHands = mp.solutions.hands
hands = mpHands.Hands()
mpDraw = mp.solutions.drawing_utils
handLmsStyle = mpDraw.DrawingSpec(color=(0, 0, 255), thickness=3)
handConStyle = mpDraw.DrawingSpec(color=(0, 255, 0), thickness=5)
pTime = 0
cTime = 0
while True:
ret, img = cap.read()
if ret:
imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
result = hands.process(imgRGB)
# print(result.multi_hand_landmarks)
imgHeight = img.shape[0]
imgWidth = img.shape[1]
if result.multi_hand_landmarks:
for handLms in result.multi_hand_landmarks:
mpDraw.draw_landmarks(img, handLms, mpHands.HAND_CONNECTIONS, handLmsStyle, handConStyle)
for i, lm in enumerate(handLms.landmark):
xPos = int(lm.x * imgWidth)
yPos = int(lm.y * imgHeight)
# cv2.putText(img, str(i), (xPos-25, yPos+5), cv2.FONT_HERSHEY_SIMPLEX, 0.4, (0, 0, 255), 2)
# if i == 4:
# cv2.circle(img, (xPos, yPos), 20, (166, 56, 56), cv2.FILLED)
# print(i, xPos, yPos)
cTime = time.time()
fps = 1/(cTime-pTime)
pTime = cTime
cv2.putText(img, f"FPS : {int(fps)}", (30, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 3)
cv2.imshow('img', img)
if cv2.waitKey(1) == ord('q'):
break
這樣我們就能再電腦上顯示我們的手部關(guān)鍵點(diǎn)和坐標(biāo)了,對(duì)于手勢(shì)識(shí)別或者別的操作就可以通過獲取到的關(guān)鍵點(diǎn)的坐標(biāo)進(jìn)行判斷了。
附另一個(gè)手勢(shì)識(shí)別實(shí)例

'''
@Time : 2021/2/6 15:41
@Author : WGS
@remarks :
'''
""" 從視頻讀取幀保存為圖片"""
import cv2
import numpy as np
# cap = cv2.VideoCapture("C:/Users/lenovo/Videos/wgs.mp4") #讀取文件
cap = cv2.VideoCapture(0) # 讀取攝像頭
# 皮膚檢測(cè)
def A(img):
YCrCb = cv2.cvtColor(img, cv2.COLOR_BGR2YCR_CB) # 轉(zhuǎn)換至YCrCb空間
(y, cr, cb) = cv2.split(YCrCb) # 拆分出Y,Cr,Cb值
cr1 = cv2.GaussianBlur(cr, (5, 5), 0)
_, skin = cv2.threshold(cr1, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU) # Ostu處理
res = cv2.bitwise_and(img, img, mask=skin)
return res
def B(img):
# binaryimg = cv2.Canny(Laplacian, 50, 200) #二值化,canny檢測(cè)
h = cv2.findContours(img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE) # 尋找輪廓
contour = h[0]
contour = sorted(contour, key=cv2.contourArea, reverse=True) # 已輪廓區(qū)域面積進(jìn)行排序
# contourmax = contour[0][:, 0, :]#保留區(qū)域面積最大的輪廓點(diǎn)坐標(biāo)
bg = np.ones(dst.shape, np.uint8) * 255 # 創(chuàng)建白色幕布
ret = cv2.drawContours(bg, contour[0], -1, (0, 0, 0), 3) # 繪制黑色輪廓
return ret
while (True):
ret, frame = cap.read()
# 下面三行可以根據(jù)自己的電腦進(jìn)行調(diào)節(jié)
src = cv2.resize(frame, (400, 350), interpolation=cv2.INTER_CUBIC) # 窗口大小
cv2.rectangle(src, (90, 60), (300, 300), (0, 255, 0)) # 框出截取位置
roi = src[60:300, 90:300] # 獲取手勢(shì)框圖
res = A(roi) # 進(jìn)行膚色檢測(cè)
cv2.imshow("0", roi)
gray = cv2.cvtColor(res, cv2.COLOR_BGR2GRAY)
dst = cv2.Laplacian(gray, cv2.CV_16S, ksize=3)
Laplacian = cv2.convertScaleAbs(dst)
contour = B(Laplacian) # 輪廓處理
cv2.imshow("2", contour)
key = cv2.waitKey(50) & 0xFF
if key == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
總結(jié)
到此這篇關(guān)于Python如何使用opencv進(jìn)行手勢(shì)識(shí)別的文章就介紹到這了,更多相關(guān)Python用opencv手勢(shì)識(shí)別內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
matplotlib subplot繪制多個(gè)子圖的方法示例
這篇文章主要介紹了matplotlib subplot繪制多個(gè)子圖的方法示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07
python是先運(yùn)行metaclass還是先有類屬性解析
這篇文章主要為大家介紹了python是先運(yùn)行metaclass還是先有類屬性的問題原理解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-05-05
Python日期時(shí)間模塊datetime詳解與Python 日期時(shí)間的比較,計(jì)算實(shí)例代碼
python中的datetime模塊提供了操作日期和時(shí)間功能,本文為大家講解了datetime模塊的使用方法及與其相關(guān)的日期比較,計(jì)算實(shí)例2018-09-09
Python強(qiáng)大郵件處理庫Imbox安裝及用法示例
這篇文章主要給大家介紹了關(guān)于Python強(qiáng)大郵件處理庫Imbox安裝及用法的相關(guān)資料,Imbox是一個(gè)Python 庫,用于從IMAP郵箱中讀取郵件,它提供了簡(jiǎn)單易用的接口,幫助開發(fā)者處理郵件,需要的朋友可以參考下2024-03-03

