欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

用树莓派3B+和Python+OpenCV实现实时的人脸检测

程序员文章站 2022-07-13 10:17:28
...

(简单易学,新手友好,小白请进,建议收藏)

使用的硬件设备:树莓派3B+,摄像头,电脑显示器,鼠标,键盘

使用的软件设施:Python3,OpenCV3.4.3

参考的文章:https://shumeipai.nxez.com/2018/03/09/(图源)
用树莓派3B+和Python+OpenCV实现实时的人脸检测

一、完成配置好树莓派3B+的各种依赖环境和OpenCV包

这一步可以参考我的这篇博客:https://blog.csdn.net/qiuzitao/article/details/96478070

这样配置完连接上电脑显示屏,鼠标,键盘之后我们的树莓派3B+就是一台微型电脑了。(建议一些项目可以先这样测试跑起来,这样你也可以用树莓派打开浏览器百度我的博客了(偷笑),ps:百度qiuzitao即可找到,不用看着win的电脑一个一个看着打,可以直接复制,其他项目同理可得)

安装配置好环境后才能进行下一步操作,下面是这个项目的流程图。(确保每一个步骤没问题后再往下走)
用树莓派3B+和Python+OpenCV实现实时的人脸检测

二、调用摄像头模组

在安装好摄像头,连接上显示器之后,我们先来开启调用一下摄像头,测试摄像头的工作,以确认摄像头正常运转。

sudo raspi-config

用树莓派3B+和Python+OpenCV实现实时的人脸检测

用树莓派3B+和Python+OpenCV实现实时的人脸检测
用树莓派3B+和Python+OpenCV实现实时的人脸检测
测试录制视频:

raspivid -o vv.h250 -t 100s

用树莓派3B+和Python+OpenCV实现实时的人脸检测
用树莓派自带的IDE运行下列代码,可捕捉PiCam生成的用RGB颜色和灰色模式展示的视频流。按ESC退出运行测试窗口。

import numpy as np
import cv2
 
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
  
while(True):
    ret, frame = cap.read()
    frame = cv2.flip(frame, -1) # Flip camera vertically
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
     
    cv2.imshow('frame', frame)
    cv2.imshow('gray', gray)
     
    k = cv2.waitKey(30) & 0xff
    if k == 27: # press 'ESC' to quit
        break
 
cap.release()
cv2.destroyAllWindows()

三、人脸检测

人脸检测是人脸识别的基础。你必须先检测到人脸才能在未来与捕捉到的新人脸对比时识别它。

最常见的人脸检测方式是使用 “Haar 级联分类器” 。使用基于 Haar 特征的级联分类器的目标检测是 Paul Viola 和 Michael Jones 2001 年在论文《Rapid Object Detection using a Boosted Cascade of Simple Features》中提出的一种高效目标检测方法。这种机器学习方法基于大量正面、负面图像训练级联函数,然后用于检测其他图像中的对象。这里,我们将用它进行人脸识别。最初,该算法需要大量正类图像(人脸图像)和负类图像(不带人脸的图像)来训练分类器。然后我们需要从中提取特征。好消息是 OpenCV 具备训练器和检测器。如果你想要训练自己的对象分类器,如汽车、飞机等,你可以使用 OpenCV 创建一个,或者去GitHub上下载一个。

如果不想创建自己的分类器,OpenCV 也包含很多预训练分类器,可用于人脸、眼睛、笑容等的检测。相关的 XML 文件可从我提供的百度云网盘下载:haarcascades

1、下载 haarcascade_frontalface_default.xml(训练好的Haar 级联分类器)

百度云盘链接:https://pan.baidu.com/s/1Nrb5NdFlc_z0ExhL5Szz4w  提取码:hcp2
下载好放到 faceDetection.py 的同级目录下

faceDetection.py

import numpy as np
import cv2
 
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
 
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
 
while True:
    ret, img = cap.read()
    img = cv2.flip(img, -1)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(
        gray,     
        scaleFactor=1.2,
        minNeighbors=5,     
        minSize=(20, 20)
    )
 
    for (x,y,w,h) in faces:
        cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]  
 
    cv2.imshow('video',img)
 
    k = cv2.waitKey(30) & 0xff
    if k == 27: # press 'ESC' to quit
        break
 
cap.release()
cv2.destroyAllWindows()

运行这个faceDetection.py就可以完成人脸检测了,下面是代码参数解析。

2、代码参数解析

faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

这行代码是调用别人训练好的分类器(人脸检测就是分类人脸和非人脸),如果你想要分类其他的可以自己去训练一个或者去GitHub上面下载或者关注我的博客。

faces = faceCascade.detectMultiScale(
        gray,     
        scaleFactor=1.2,
        minNeighbors=5,     
        minSize=(20, 20))

这行代码是在循环内部调用摄像头,并以 gray(灰度) 模式加载我们的输入视频。调用分类器函数,向其输入一些参数:

gray 表示输入 grayscale 图像

scaleFactor 表示每个图像缩减的比例大小

minNeighbors 表示每个备选矩形框具备的邻近数量。数字越大,假正类(把人脸预测成非人脸的概率)越少。

minSize 表示人脸识别的最小矩形大小

cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
for (x,y,w,h) in faces:
    cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
    roi_gray = gray[y:y+h, x:x+w]
    roi_color = img[y:y+h, x:x+w] 

标记好人脸之后,则函数将检测到的人脸的位置返回为一个矩形,左上角 (x,y),w 表示宽度,h 表示高度 ==> (x,y,w,h)。得到这些位置信息后,我们可以为人脸创建一个ROI感兴趣区域(绘制矩形),用 imshow() 函数呈现结果.
用树莓派3B+和Python+OpenCV实现实时的人脸检测
你也可以加入像「眼睛检测」或者「微笑检测」这样的检测器。在这些项目中,你需要把分类器函数和矩形框内加入原有的面部识别区域中,因为在区域外进行识别没有意义。

注意,在树莓派上,分类方法(HaarCascades)会消耗大量算力,所以在同一代码中使用多个分类器将会显著减慢处理速度。在台式机上运行这些算法则非常容易,所以win电脑也可以跑的。

四、眼睛检测、微笑检测

1、眼睛检测

先下载人脸检测分类器(上面有)和眼睛检测分类器。

眼睛检测分类器:

链接:https://pan.baidu.com/s/1mOccrIfkYRJ0t9aix2wwJQ  提取码:kvlj
下载后放到 faceEyeDetection.py 同级目录下

faceEyeDetection.py

import numpy as np
import cv2

# multiple cascades: https://github.com/Itseez/opencv/tree/master/data/haarcascades
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
eyeCascade = cv2.CascadeClassifier('haarcascade_eye.xml')
 
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height

while True:
    ret, img = cap.read()
    img = cv2.flip(img, -1)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(
        gray,
        scaleFactor=1.3,
        minNeighbors=5,      
        minSize=(30, 30)
    )

    for (x,y,w,h) in faces:
        cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]
        
        eyes = eyeCascade.detectMultiScale(
            roi_gray,
            scaleFactor= 1.5,
            minNeighbors=10,
            minSize=(5, 5),
            )
        
        for (ex, ey, ew, eh) in eyes:
            cv2.rectangle(roi_color, (ex, ey), (ex + ew, ey + eh), (0, 255, 0), 2)
               
        cv2.imshow('video', img)

    k = cv2.waitKey(30) & 0xff
    if k == 27: # press 'ESC' to quit
        break

cap.release()
cv2.destroyAllWindows()

2、微笑检测

先下载人脸检测分类器(上面有)和微笑检测分类器。

微笑检测分类器:

链接:https://pan.baidu.com/s/1eFl-9aIjf4bH5d1Vh6HIYg  提取码:6emb
下载后放到 faceSmileDetection.py 同级目录下

faceSmileDetection.py

import numpy as np
import cv2

# multiple cascades: https://github.com/Itseez/opencv/tree/master/data/haarcascades
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
smileCascade = cv2.CascadeClassifier('haarcascade_smile.xml')
 
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height

while True:
    ret, img = cap.read()
    img = cv2.flip(img, -1)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(
        gray,
        scaleFactor=1.3,
        minNeighbors=5,      
        minSize=(30, 30)
    )

    for (x,y,w,h) in faces:
        cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]
        
        smile = smileCascade.detectMultiScale(
            roi_gray,
            scaleFactor= 1.5,
            minNeighbors=15,
            minSize=(25, 25),
            )
        
        for (xx, yy, ww, hh) in smile:
            cv2.rectangle(roi_color, (xx, yy), (xx + ww, yy + hh), (0, 255, 0), 2)
               
        cv2.imshow('video', img)

    k = cv2.waitKey(30) & 0xff
    if k == 27: # press 'ESC' to quit
        break

cap.release()
cv2.destroyAllWindows()

3、三个一起来(人脸检测+眼睛检测+微笑检测)

faceSmileEyeDetection.py

import numpy as np
import cv2

# multiple cascades: https://github.com/Itseez/opencv/tree/master/data/haarcascades
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
eyeCascade = cv2.CascadeClassifier('haarcascade_eye.xml')
smileCascade = cv2.CascadeClassifier('haarcascade_smile.xml')

cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height

while True:
    ret, img = cap.read()
    img = cv2.flip(img, -1)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(
        gray,
        scaleFactor=1.3,
        minNeighbors=5,      
        minSize=(30, 30)
    )

    for (x,y,w,h) in faces:
        cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
        roi_gray = gray[y:y+h, x:x+w]
        roi_color = img[y:y+h, x:x+w]
        
        eyes = eyeCascade.detectMultiScale(
            roi_gray,
            scaleFactor= 1.5,
            minNeighbors=5,
            minSize=(5, 5),
            )
        
        for (ex, ey, ew, eh) in eyes:
            cv2.rectangle(roi_color, (ex, ey), (ex + ew, ey + eh), (0, 255, 0), 2)
               
        
        smile = smileCascade.detectMultiScale(
            roi_gray,
            scaleFactor= 1.5,
            minNeighbors=15,
            minSize=(25, 25),
            )
        
        for (xx, yy, ww, hh) in smile:
            cv2.rectangle(roi_color, (xx, yy), (xx + ww, yy + hh), (0, 255, 0), 2)
        
        cv2.imshow('video', img)

    k = cv2.waitKey(30) & 0xff
    if k == 27: # press 'ESC' to quit
        break

cap.release()
cv2.destroyAllWindows()