基于Mediapipe+Opencv实现手势检测功能

一、前言

基于mediapipe+opencv实现手势检测，想实现一下姿态识别的时候，感觉手势识别也蛮重要的就过来顺便实现一下。

下面是一些国内的pip源，有需要可自取

阿里云 http://mirrors.aliyun.com/pypi/simple/

中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/

豆瓣(douban) http://pypi.douban.com/simple/

清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/

中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/

二、环境配置

软件：

anaconda3+pycharm2019

环境：

• opencv-python>=4.5.5
• mediapipe>=0.8.9.1

注：一定关掉*

三、全部源码

比较短小且只有一个源文件mediapipehandtracking.py我就直接在这里贴了

mediapipehandtracking.py程序结构：

• 第一步：保存mediapipe中的手势识别解决方案到mphands,hands,mpdraw中
• 第二步：参数设定
• 第三步：循环读取视频流到img，img输入hands.hands函数得到结果，绘制结果到img并输出

mediapipehandtracking.py源码与注释

import cv2
import mediapipe as mp
import time
#第一步：保存mediapipe中的手势识别解决方案到mphands,hands,mpdraw中
mphands = mp.solutions.hands #以下三个是mediapipe 中的api调用模板了
hands = mphands.hands(min_detection_confidence=0.5, min_tracking_confidence=0.5)#最小检测置信度，最小追踪置信度
mpdraw = mp.solutions.drawing_utils                              #获取mediapipe解决方案的绘画工具包
#第二步：参数设定
handlmsstyle = mpdraw.drawingspec(color=(0, 0, 255), thickness=3)#绘制手部关键点的颜色与粗细
handconstyle = mpdraw.drawingspec(color=(0, 255, 0), thickness=5)#绘制手部线条的颜色与粗细
ptime = 0 #和下面的ctime一起用于计算视频输入流fps
ctime = 0
cap = cv2.videocapture(0) #打开编号为0的摄像头，这个一般是自带摄像头
#第三步：循环读取视频流到img，img输入hands.hands函数得到结果，绘制结果到img并输出
while true:
    ret, img = cap.read()       #从cap中读取图片到img，并将读取是否成功的结果保存在ret
    if ret:
        imgrgb = cv2.cvtcolor(img, cv2.color_bgr2rgb)  #模型训练的时候是使用rgb训练，对于这个类型识别精度和速度比较高
        result = hands.process(imgrgb)                 #将rgb图片输入手部模型将结果保存在result
        # print(result.multi_hand_landmarks)           #打印result.multi_hand_landmarks内容，可以去掉试一下
        imgheight = img.shape[0]       #获取摄像机图片的高
        imgwidth = img.shape[1]        #获取摄像机图片的宽
        if result.multi_hand_landmarks:#如果multi_hand_landmarks不为空进入循环
            for handlms in result.multi_hand_landmarks:  #遍历multi_hand_landmarks内每一个hand_landmark（手部关键点），相对于遍历图片中每一个手
                mpdraw.draw_landmarks(img, handlms, mphands.hand_connections, handlmsstyle, handconstyle) #调用mediapipe内绘画工具包绘画手部关键点
                for i, lm in enumerate(handlms.landmark):  #i保存第几个手部关键点，lm保存该点在图中的归一化值
                    xpos = int(lm.x * imgwidth) #第i个关键点x
                    ypos = int(lm.y * imgheight)#第i个关键点y
                    cv2.puttext(img, str(i), (xpos-25, ypos+5), cv2.font_hershey_simplex, 0.4, (0, 0, 255), 2)#绘制关键点在，关键点左边靠下一点
                    if i == 8:#当画到第八个关键点时
                         cv2.circle(img, (xpos, ypos), 10, (166, 0, 0), cv2.filled)#画一个圆
                         #print(i, xpos, ypos)   #打印绘制这个点时候的坐标
        ctime = time.time()
        fps = 1/(ctime-ptime)
        ptime = ctime
        cv2.puttext(img, f"fps : {int(fps)}", (30, 50), cv2.font_hershey_simplex, 1, (255, 0, 0), 3) #绘制fsp到图中
        cv2.imshow('img', img) #输出图片
    if cv2.waitkey(1) == ord('q'):#点击视频，输入q退出
        break

四、环境配置

1、在anaconda3上新建环境gesture

打开anaconda prompt,输入：

conda create -n gesture python=3.8

2、激活gesture环境并下载opencv-python包

激活环境：conda activate gesture
下载opencv-python包：pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple/

3、下载mediapipe包

pip install mediapipe -i https://pypi.tuna.tsinghua.edu.cn/simple/

4、打开pycharm完成环境导入项目

配置代码运行环境

 

五、运行程序：

用pycharm打开包含hantracking.py程序的文件夹，并运行

运行结果

六、程序应用扩展

1、手部的关键点的位置和次序我们全部已知的特点

该功能可用于图片roi提取截取出图片，然后进行其他一些图片操作。
该功能可用于手势响应事件。比如约定，食指和大拇指也就是4号和8号触碰时候触发某事件
，等等。
实现al+操作

2、和其他al结合

比如姿态检测al,能将人识别成一个火柴人，开发空间有不少用处。

3、全身检测源码

import cv2
import time
import mediapipe as mp
mp_drawing = mp.solutions.drawing_utils
mp_holistic = mp.solutions.holistic
holistic = mp_holistic.holistic(min_detection_confidence=0.5, min_tracking_confidence=0.5)
handlmsstyle = mp_drawing.drawingspec(color=(0, 0, 255), thickness=0)#绘制手部关键点的颜色与粗细
handconstyle = mp_drawing.drawingspec(color=(0, 255, 0), thickness=4)#绘制手部线条的颜色与粗细
cap = cv2.videocapture(0)
while true:
    ret,image=cap.read()
    if ret:
        image = cv2.flip(image, 1)
        image=cv2.cvtcolor(image,cv2.color_bgr2rgb)
        results = holistic.process(image)
        if results.pose_landmarks:
            mp_drawing.draw_landmarks(image, results.face_landmarks, mp_holistic.facemesh_contours,handlmsstyle,handconstyle)
            mp_drawing.draw_landmarks(image, results.left_hand_landmarks, mp_holistic.hand_connections)
            mp_drawing.draw_landmarks(image, results.right_hand_landmarks, mp_holistic.hand_connections)
            mp_drawing.draw_landmarks(image, results.pose_landmarks, mp_holistic.pose_connections)
        cv2.imshow("img",image)
        if cv2.waitkey(1)==ord("q"):
            break
holistic.close()

运行效果如下：
晒晒我帅气的舍友

到此这篇关于基于mediapipe+opencv实现手势检测的文章就介绍到这了,更多相关opencv手势检测内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！