欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识！
您现在的位置是： 首页

Github开源人体姿态识别项目OpenPose中文文档

程序员文章站 2022-07-11 23:46:52
...

摘自：https://www.jianshu.com/p/3aa810b35a5d

Github开源人体姿态识别项目OpenPose中文文档

人工智能小技巧

42018.11.11 19:15:26字数 2,405阅读 97,346

Github开源人体姿态识别项目OpenPose中文文档

Github开源人体姿态识别项目OpenPose中文文档

logo

OpenPose人体姿态识别项目是美国卡耐基梅隆大学（CMU）基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的鲁棒性。是世界上首个基于深度学习的实时多人二维姿态估计应用，基于它的实例如雨后春笋般涌现。人体姿态估计技术在体育健身、动作采集、3D试衣、舆情监测等领域具有广阔的应用前景，人们更加熟悉的应用就是抖音尬舞机。

OpenPose项目Github链接：https://github.com/CMU-Perceptual-Computing-Lab/openpose

为了便于中国开发者学习CMU开源人体姿态识别项目，我将README文档翻译成了中文。

向卡耐基梅隆大学大学的开发者以及本项目其他贡献者致敬。

英译汉：张子豪（同济大学开源软件协会）

文章勘误、补充，请看译者知乎专栏：人工智能小技巧

In order to facilitate Chinese software developers to learn, use Openpose, make progress in human gesture recognition development and source code contributions, we translated README file into simplified Chinese.

Salute to the developers in Carnegie Mellon university and the contributors to this project.

Translattor: Tommy in Tongji Univerisity Opensource Software Association

人体姿态识别与估计的应用场景：抖音尬舞机、体育动作教学、3D健身教练、3D试衣、绘画辅助、游戏人物动作采集。

本项目更详细的中文介绍：【AI识人】OpenPose：实时多人2D姿态估计 | 附视频测试及源码链接

本项目理论基础来自Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields ，是CVPR 2017的一篇论文，作者是来自CMU感知计算实验室的曹哲,Tomas Simon,Shih-En Wei,Yaser Sheikh 。

一些人体姿态识别案例案例：

《芳华》文工团跳舞视频片段：人体姿态识别

Github开源人体姿态识别项目OpenPose中文文档

《芳华》文工团跳舞视频片段：人体姿态识别

《叶问》武打视频片段：人体姿态识别

Github开源人体姿态识别项目OpenPose中文文档

《叶问》武打视频片段：人体姿态识别

内容

  1. 特点
  2. 最近更新
  3. 效果
  4. 安装、重装、卸载
  5. 快速启动
  6. 输出
  7. 增加运算速度以及基准测试
  8. 向我们提供出错信息和反馈
  9. 作者和项目贡献者
  10. 引用
  11. 授权协议

特点

  • 功能:
    • 二维多人关键点实时识别:
      • 15、18或 25个身体/脚部的关键点识别，运算时间与检测出的人数无关。
      • 221个手部关键点识别。目前，运算时间取决于检测出的人数*。
      • 70个面部关键点的识别。目前，运算时间取决于检测出的人数
    • 三维单关键点实时识别:
      • 通过多个单一角度的视频进行三角测量。
      • 菲力尔品牌摄像机的视频同步处理。
      • 与Flir摄像机和Point Grey摄像机兼容，提供了C++语言的代码样本，用户可以自定义输入。
    • 校准工具:
      • 能够对摄像机拍摄中出现的扭曲等内外参数进行简易评估。
    • 针对未来的加速优化和视觉流畅，增加了单人位置追踪 。
  • 输入: 图片、视频、网络摄像头的视频流、Flir或Point Grey和IP摄像机。项目提供了C++语言的代码样本，用户可以自定义输入。
  • 输出: 原有图片+关键点展示（PNG、JPG、AVI等格式），关键点数据存储文件（(JSON, XML, YML等格式）。
  • 操作系统: Ubuntu (14, 16), Windows (8, 10), Mac OSX, Nvidia TX2.
  • 其它:
    • 项目提供: 命令行测试、C++封装、C++ API接口。
    • CUDA (Nvidia GPU), OpenCL (AMD GPU), and CPU 版本。

最近更新

更多信息可访问 全部更新文档 以及 版本更新记录.

效果

躯干、脚部识别

Github开源人体姿态识别项目OpenPose中文文档

躯干、脸部、手部识别

Github开源人体姿态识别项目OpenPose中文文档

人体姿态三维重建

Github开源人体姿态识别项目OpenPose中文文档

身体、手指关键点识别

Github开源人体姿态识别项目OpenPose中文文档

身体识别

Github开源人体姿态识别项目OpenPose中文文档

安装、重装、卸载

Windows能用的版本: 点击所有版本 下载最新的版本即可。

或者，你也可以点击 安装文档 查看通过源代码编译安装的安装指南。

快速启动

大部分用户不需要调用OpenPose的C++和Python的开发接口，这些用户只需要运行OpenPose Demo即可

  • OpenPose Demo: 为了便于处理图片、视频或者网络摄像头的视频流，并展示和后处理结果，你需要看doc/demo_overview.md. 例如，你可以直接通过以下命令在Ubuntu操作系统上处理一个视频。
# Ubuntu
./build/examples/openpose/openpose.bin --video examples/media/video.avi
:: Windows - Portable Demo
bin\OpenPoseDemo.exe --video examples\media\video.avi

输出

请点击这个文档，查看输出文件的格式、关键点数据结构等信息。doc/output.md.

增加运算速度以及基准测试

点击这个文档，查看增加运行速度、减少内存需求的提示 doc/faq.md#speed-up-memory-reduction-and-benchmark.

向我们提供出错信息和反馈！

我们的代码库面向以科学研究为目的开发者开源，我们希望持续不断地优化它！所以，如果出现了以下情况，请及时向我们反馈。

  1. 你发现OpenPose处理图片或视频出错，请把识别失败的案例发到aaa@qq.com邮箱中，我们会运用你提供的信息优化我们的算法。
  2. 你发现了软件功能或者运行速度上的bug。
  3. 你增加了一些我们可能吸纳到项目源代码中的函数、类或者其它子类。
  4. 你知道如何针对本项目优化性能、提升检测速度。
  5. 你发现本项目的一个潜在应用场景。
  6. 其它问题.

你可以在Github上评论，或者pull request提交你的新代码，我们会尽快回复你的。如果你基于本项目做了有趣的开发或者录制了Youtube视频，请给我们发电子邮件。

作者和项目贡献者

Openpose项目由 Gines Hidalgo, Zhe Cao, Tomas Simon, Shih-En Wei, Hanbyul Joo, 和 Yaser Sheikh创造发起。 目前，这个项目由 Gines Hidalgo 和 Yaadhav Raaj进行日常维护。 original CVPR 2017 repo 包括了Matlab和Python版本，以及模型训练代码。人体姿态评估方面的工作是基于 the original ECCV 2016 demo的。

除此之外，不可或缺的还有 CMU Panoptic Studio dataset。

我们还想感谢所有帮助过OpenPose项目的人，主要贡献者列在了这个文档里doc/contributors.md。

引用

如果本项目帮助了你的研究，请在你发表的作品里注明引用出处（人脸关键点识别与[Simon et al. 2017]使用了同样的训练方法）。

@inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
}

@inproceedings{simon2017hand,
  author = {Tomas Simon and Hanbyul Joo and Iain Matthews and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Hand Keypoint Detection in Single Images using Multiview Bootstrapping},
  year = {2017}
}

@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
}

授权协议

Openpose对于非商业化使用是免费的，而且仅限于这些情况。点击 license查看更多细节。对商业使用的授权感兴趣？点我吧。咨询商业应用相关信息可以联系 Yaser Sheikh.

参考文献和扩展阅读

【1】论文：https://arxiv.org/pdf/1611.08050.pdf

【2】姿态检测视频制作源码：muyiguangda/caffe_rtpose

【3】开头视频：Changing Batteries 更换电池「中字」

【4】CMU训练数据集： CMU Panoptic Dataset

【4】匈牙利算法： Hungarian algorithm

Github开源人体姿态识别项目OpenPose中文文档

古画人体姿态分析

相关标签： 人体姿态识别

上一篇： 时间序列-ARIMA模型调参检验实战

下一篇： 模型调参部分

推荐阅读