欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

obs-studio模块简介与源码编译

程序员文章站 2022-06-10 13:41:51
...

一:直播简介

    在线教育,娱乐直播等近几年已是遍地开花,其中核心脱离不了低延时音视频技术。我们抛开互动技术不谈,来了解一下视频直播技术。

obs-studio模块简介与源码编译
采集: Windows(dshow,dsound), ios,mac(AVFoundation,AVCaptureSesssion), android(Camera,AudioRecord),Linux(v4l2)
音视频原始数据:audio(pcm),video(yuv,rgb)
美颜:Gpuimage(移动端)
编码:audio(AAC),video(x264)
rtmp协议:librtmp
CDN:蓝汛,网宿等
解码:audio(faad),video(ffmpeg)
渲染:d3d, opengl,opengles(移动端)
我们在这里介绍一个功能很全的推流工具obs。斗鱼直播,bilibili等都使用了obs。它支持win,mac, linux三个平台。
用obs推流到主流CDN,很快就完成了直播功能。当然自己也可以搭建一个SRS服务器,实现一个简单的内容分发。这样观看端使用网页就可以观看了。

二:obs功能介绍

支持类似于导播台一样的多场景切换。且同一场景中,可添加多个资源,每个资源可变换大小、位置、层级等。
输入:
支持多资源类型。如视频,图片(包括gif图),音乐,文本(包括中文),窗口捕捉,桌面共享,摄像头等。(也可以自己加入裸数据:如pcm,yuv,rgb等)
支持游戏画面抓取(游戏抓取多用d3d绘制,直接GDI抓屏很多时候抓取到的是黑色,但是使用hook api就会解决这个问题)
处理:
支持图像滤镜,如亮度,色度,饱和度调节,抠像等。当然我们自己也可以加入磨皮美颜等功能。后面会讲到。
支持音频滤镜,如降噪,增益等。
支持多路混音,媒体资源声音,系统声卡声音,麦克风声音等,多路混音。
输出:
支持rtmp推流
支持本地录制flv, mp4(软,硬编码都有)
支持裸数据输出(pcm,yuv,rgb)。

三:obs模块介绍

核心库
libobs: obs的核心库,其他的插件都基于他的基础上,同时它也会操作管理各个插件资源。就好像爪子一样,伸向各个地方,暂且可以这么理解。
基础库
glad 对OpenGL函数的封装 使用 dlopen和dlsym是用于打开动态链接库中的函数,将动态链接库中的函数或类导入到本程序中,为了解决 没有lib库,只有dll库的尴尬情况。这种方法在obs中很多地方用到,例如:vlc插件的加载。
ipc-util 进程间通信,主要封装了pipe管道的实现,用于在hook 游戏进程时,传递原始画面数据,所以用到。
jansson 用于编码,解码和操作JSON数据
w32-pthreads: 开源库,Windows下的pthread线程库
ffmpeg-mux: 封装了ffmpeg有关复用的函数
下面三个模块使用hook技术,共同完成游戏画面的抓取
graphices-hook: 钩子库实现,用于获取其他进程的图像数据。
inject-helper : 将graphices-hook注入到其他进程。
get-graphices-offsets: 注入库时,通过虚表偏移获取d3d8,d3d9,dxgi的函数,从而实现API重定向,即用自己的函数替换原本的函数。
当然还需依附进程间通信,在win-capture中,使用pipe实现。
两种显卡渲染的实现,使用gpu,解放cpu压力,同时提高渲染效率与质量。 使用着色器语言渲染(定点和片着色器,分别控制位置矢量和色值,感兴趣的同学可以详细了解一下)。gpu映射
libobs-d3d11
libobs-opengl
obs-ffmpeg: nvenc(N卡硬编),aac编码,复用,以及编码,解码流程控制等。
obs-filters: 图像滤镜(如亮度,色度,饱和度调节,抠像等)
obs-outputs: 输出模块(如写录制文件flv,rtmp调用控制等)
obs-transitions: 场景间切换时的过渡效果
obs-x264: x264编码器
rtmp-services: rtmp推流
obs-qsv11: intel 硬件编码,效果好于软编和N卡硬编
obs-text: GDI+渲染文字
text-freetype2: 开源字体引擎,支持多种格式,较GDI+更高效,渲染效果也更好。
win-capture: 窗口、显示器、游戏(涉及到进程间通信)捕捉
win-dshow: 摄像头采集
win-decklink: 针对decklink采集卡的抓取
win-wasapi: 对声音输入(麦克风等)输出(扬声器等)设备的抓取
image-source: 图片资源(包括动态图),可多张图幻灯片放映。
obs: Qt实现的界面展示。

四:编译

废话不多说,我们先将源码编译通过,大家看效果。
下面以windows为例
1:先从官网下载OBS源码
git clone –recursivehttps://github.com/jp9000/obs-studio.git
git sub 查看工程是否带有submodule(clone 时submodule的内容并不会自动下载下来的)
obs-studio模块简介与源码编译
如果有内容执行git submodule update –init

2:安装VS2013 Update4及以上。安装Qt 以及相应的qt vs插件。
3:下载依赖库dependencies.zip。
里面包含FFMpeg, x264,Qt5,Curl, Opus,ogg,vorbis, vpx等http://code.fosshub.com/OBS/downloads
如果下载不了,可到 http://download.csdn.net/detail/balijinyi/9890716 下载。
4:下载Windows上的cmake.
5:运行cmake-gui.exe 并设置编译选项。
obs-studio模块简介与源码编译

其中依赖的库和头文件需要点击 Add Entry
obs-studio模块简介与源码编译

到win32即可,同样添加 Qt路径QTDIR。点击Configure。再点击Generate。即可看到目录下多了build目录,里面有很多vs工程。
6:打开 obs-studio.sln 一路编译即可。
obs-studio模块简介与源码编译

在build下生成rundir目录,里面存放了生成的库以及可执行程序。obs 主要以加载插件的形式,来实现各种功能。
obs-studio模块简介与源码编译

7:运行obs.exe
我们添加一个视频资源,画面如下。其他功能大家可自行摸索。
后续,我们将对源码展开深入分析。
obs-studio模块简介与源码编译

相关标签: obs 直播技术