用树莓派3B+和Python+OpenCV实现实时的人脸检测
(简单易学,新手友好,小白请进,建议收藏)
使用的硬件设备:树莓派3B+,摄像头,电脑显示器,鼠标,键盘
使用的软件设施:Python3,OpenCV3.4.3
参考的文章:https://shumeipai.nxez.com/2018/03/09/(图源)
一、完成配置好树莓派3B+的各种依赖环境和OpenCV包
这一步可以参考我的这篇博客:https://blog.csdn.net/qiuzitao/article/details/96478070
这样配置完连接上电脑显示屏,鼠标,键盘之后我们的树莓派3B+就是一台微型电脑了。(建议一些项目可以先这样测试跑起来,这样你也可以用树莓派打开浏览器百度我的博客了(偷笑),ps:百度qiuzitao即可找到,不用看着win的电脑一个一个看着打,可以直接复制,其他项目同理可得)
安装配置好环境后才能进行下一步操作,下面是这个项目的流程图。(确保每一个步骤没问题后再往下走)
二、调用摄像头模组
在安装好摄像头,连接上显示器之后,我们先来开启调用一下摄像头,测试摄像头的工作,以确认摄像头正常运转。
sudo raspi-config
测试录制视频:
raspivid -o vv.h250 -t 100s
用树莓派自带的IDE运行下列代码,可捕捉PiCam生成的用RGB颜色和灰色模式展示的视频流。按ESC退出运行测试窗口。
import numpy as np
import cv2
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
while(True):
ret, frame = cap.read()
frame = cv2.flip(frame, -1) # Flip camera vertically
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
cv2.imshow('frame', frame)
cv2.imshow('gray', gray)
k = cv2.waitKey(30) & 0xff
if k == 27: # press 'ESC' to quit
break
cap.release()
cv2.destroyAllWindows()
三、人脸检测
人脸检测是人脸识别的基础。你必须先检测到人脸才能在未来与捕捉到的新人脸对比时识别它。
最常见的人脸检测方式是使用 “Haar 级联分类器” 。使用基于 Haar 特征的级联分类器的目标检测是 Paul Viola 和 Michael Jones 2001 年在论文《Rapid Object Detection using a Boosted Cascade of Simple Features》中提出的一种高效目标检测方法。这种机器学习方法基于大量正面、负面图像训练级联函数,然后用于检测其他图像中的对象。这里,我们将用它进行人脸识别。最初,该算法需要大量正类图像(人脸图像)和负类图像(不带人脸的图像)来训练分类器。然后我们需要从中提取特征。好消息是 OpenCV 具备训练器和检测器。如果你想要训练自己的对象分类器,如汽车、飞机等,你可以使用 OpenCV 创建一个,或者去GitHub上下载一个。
如果不想创建自己的分类器,OpenCV 也包含很多预训练分类器,可用于人脸、眼睛、笑容等的检测。相关的 XML 文件可从我提供的百度云网盘下载:haarcascades
1、下载 haarcascade_frontalface_default.xml(训练好的Haar 级联分类器)
百度云盘链接:https://pan.baidu.com/s/1Nrb5NdFlc_z0ExhL5Szz4w 提取码:hcp2
下载好放到 faceDetection.py 的同级目录下
faceDetection.py
import numpy as np
import cv2
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
while True:
ret, img = cap.read()
img = cv2.flip(img, -1)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = faceCascade.detectMultiScale(
gray,
scaleFactor=1.2,
minNeighbors=5,
minSize=(20, 20)
)
for (x,y,w,h) in faces:
cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
roi_gray = gray[y:y+h, x:x+w]
roi_color = img[y:y+h, x:x+w]
cv2.imshow('video',img)
k = cv2.waitKey(30) & 0xff
if k == 27: # press 'ESC' to quit
break
cap.release()
cv2.destroyAllWindows()
运行这个faceDetection.py就可以完成人脸检测了,下面是代码参数解析。
2、代码参数解析
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
这行代码是调用别人训练好的分类器(人脸检测就是分类人脸和非人脸),如果你想要分类其他的可以自己去训练一个或者去GitHub上面下载或者关注我的博客。
faces = faceCascade.detectMultiScale(
gray,
scaleFactor=1.2,
minNeighbors=5,
minSize=(20, 20))
这行代码是在循环内部调用摄像头,并以 gray(灰度) 模式加载我们的输入视频。调用分类器函数,向其输入一些参数:
gray 表示输入 grayscale 图像
scaleFactor 表示每个图像缩减的比例大小
minNeighbors 表示每个备选矩形框具备的邻近数量。数字越大,假正类(把人脸预测成非人脸的概率)越少。
minSize 表示人脸识别的最小矩形大小
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
for (x,y,w,h) in faces:
cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
roi_gray = gray[y:y+h, x:x+w]
roi_color = img[y:y+h, x:x+w]
标记好人脸之后,则函数将检测到的人脸的位置返回为一个矩形,左上角 (x,y),w 表示宽度,h 表示高度 ==> (x,y,w,h)。得到这些位置信息后,我们可以为人脸创建一个ROI感兴趣区域(绘制矩形),用 imshow() 函数呈现结果.
你也可以加入像「眼睛检测」或者「微笑检测」这样的检测器。在这些项目中,你需要把分类器函数和矩形框内加入原有的面部识别区域中,因为在区域外进行识别没有意义。
注意,在树莓派上,分类方法(HaarCascades)会消耗大量算力,所以在同一代码中使用多个分类器将会显著减慢处理速度。在台式机上运行这些算法则非常容易,所以win电脑也可以跑的。
四、眼睛检测、微笑检测
1、眼睛检测
先下载人脸检测分类器(上面有)和眼睛检测分类器。
眼睛检测分类器:
链接:https://pan.baidu.com/s/1mOccrIfkYRJ0t9aix2wwJQ 提取码:kvlj
下载后放到 faceEyeDetection.py 同级目录下
faceEyeDetection.py
import numpy as np
import cv2
# multiple cascades: https://github.com/Itseez/opencv/tree/master/data/haarcascades
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
eyeCascade = cv2.CascadeClassifier('haarcascade_eye.xml')
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
while True:
ret, img = cap.read()
img = cv2.flip(img, -1)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = faceCascade.detectMultiScale(
gray,
scaleFactor=1.3,
minNeighbors=5,
minSize=(30, 30)
)
for (x,y,w,h) in faces:
cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
roi_gray = gray[y:y+h, x:x+w]
roi_color = img[y:y+h, x:x+w]
eyes = eyeCascade.detectMultiScale(
roi_gray,
scaleFactor= 1.5,
minNeighbors=10,
minSize=(5, 5),
)
for (ex, ey, ew, eh) in eyes:
cv2.rectangle(roi_color, (ex, ey), (ex + ew, ey + eh), (0, 255, 0), 2)
cv2.imshow('video', img)
k = cv2.waitKey(30) & 0xff
if k == 27: # press 'ESC' to quit
break
cap.release()
cv2.destroyAllWindows()
2、微笑检测
先下载人脸检测分类器(上面有)和微笑检测分类器。
微笑检测分类器:
链接:https://pan.baidu.com/s/1eFl-9aIjf4bH5d1Vh6HIYg 提取码:6emb
下载后放到 faceSmileDetection.py 同级目录下
faceSmileDetection.py
import numpy as np
import cv2
# multiple cascades: https://github.com/Itseez/opencv/tree/master/data/haarcascades
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
smileCascade = cv2.CascadeClassifier('haarcascade_smile.xml')
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
while True:
ret, img = cap.read()
img = cv2.flip(img, -1)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = faceCascade.detectMultiScale(
gray,
scaleFactor=1.3,
minNeighbors=5,
minSize=(30, 30)
)
for (x,y,w,h) in faces:
cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
roi_gray = gray[y:y+h, x:x+w]
roi_color = img[y:y+h, x:x+w]
smile = smileCascade.detectMultiScale(
roi_gray,
scaleFactor= 1.5,
minNeighbors=15,
minSize=(25, 25),
)
for (xx, yy, ww, hh) in smile:
cv2.rectangle(roi_color, (xx, yy), (xx + ww, yy + hh), (0, 255, 0), 2)
cv2.imshow('video', img)
k = cv2.waitKey(30) & 0xff
if k == 27: # press 'ESC' to quit
break
cap.release()
cv2.destroyAllWindows()
3、三个一起来(人脸检测+眼睛检测+微笑检测)
faceSmileEyeDetection.py
import numpy as np
import cv2
# multiple cascades: https://github.com/Itseez/opencv/tree/master/data/haarcascades
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
eyeCascade = cv2.CascadeClassifier('haarcascade_eye.xml')
smileCascade = cv2.CascadeClassifier('haarcascade_smile.xml')
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
while True:
ret, img = cap.read()
img = cv2.flip(img, -1)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = faceCascade.detectMultiScale(
gray,
scaleFactor=1.3,
minNeighbors=5,
minSize=(30, 30)
)
for (x,y,w,h) in faces:
cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
roi_gray = gray[y:y+h, x:x+w]
roi_color = img[y:y+h, x:x+w]
eyes = eyeCascade.detectMultiScale(
roi_gray,
scaleFactor= 1.5,
minNeighbors=5,
minSize=(5, 5),
)
for (ex, ey, ew, eh) in eyes:
cv2.rectangle(roi_color, (ex, ey), (ex + ew, ey + eh), (0, 255, 0), 2)
smile = smileCascade.detectMultiScale(
roi_gray,
scaleFactor= 1.5,
minNeighbors=15,
minSize=(25, 25),
)
for (xx, yy, ww, hh) in smile:
cv2.rectangle(roi_color, (xx, yy), (xx + ww, yy + hh), (0, 255, 0), 2)
cv2.imshow('video', img)
k = cv2.waitKey(30) & 0xff
if k == 27: # press 'ESC' to quit
break
cap.release()
cv2.destroyAllWindows()