iOS开发中集成FFmpeg以及相关注意事项

ffmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它提供了录制、转换以及流化音视频的完整解决方案。同时，ffmpeg是一套跨平台的方案，所以我们可以在ios开发中使用它来进行一些视频与gif的开发。

接下来，我们从编译ffmpeg开始，到使用ffmpeg，再到使用中的一些注意事项进行总结。

一、编译ffmpeg

在这个过程中，我们需要以下几个资源：

1.gas-preprocessor

2.yasm

3.ffmpeg-ios-build-script

1.gas-preprocessor

gas-preprocessor 其实就是我们要编译ffmpeg所需的脚本文件。

1).下载并解压

2).将 gas-preprocessor.pl 文件复制到 /usr/sbin/ 目录下，如果该目录无法修改，那么可将文件复制到 /usr/local/bin/ 目录下。

3).为 gas-preprocessor.pl 文件开启可执行权限，在终端中进行如下命令：

chmod 777 /usr/sbin/gas-preprocessor.pl

或

chmod 777 /usr/local/bin/gas-preprocessor.pl

2.yasm

yasm 是一个完全重写的 nasm 汇编。目前，它支持 x86 和 amd64 指令集，接受 nasm 和气体汇编语法，产出二进制，elf32，elf64，coff，mach-o 的（32和64），rdoff2的 win32 和 win64 对象的格式，并生成 stabs 调试信息的来源，dwarf 2 ，codeview 8格式。

可以使用homebrew来安装：

brew install yasm

3.ffmpeg-ios-build-script

在这个文件中，我们可以对要进行编译的ffmpeg进行一系列的设置。

1).设置ffmpeg的版本

ff_version="3.3.6"

2).设置所要支持的架构

archs="arm64 armv7"

3).设置所需要的ffmpeg功能配置
该设置可在 configure_flags= 中进行，通过禁用一些不必要的功能，可以有效地减小最终库文件的大小，格式如下：

禁用交叉编译：

--disable-cross-compile

支持交叉编译：

--enable-cross-compile

4).确保该脚本所在路径中不包含有空格

5).需要为该脚本所在文件夹赋予权限

chmod 777 /users/mdm/desktop/ffmpeg

6).进入脚本所在文件夹目录，执行脚本

./build-ffmpeg.sh

此过程可能会出现各种问题，大多数问题可以通过前往执行脚本过程中生成的 scratch 文件夹下的 config.log 中查看对应原因。

另外，如果遇到

xcrun -sdk iphoneos clang is unable to create an executable file.
c compiler test failed.

这是由于安装了多个xcode环境所致，可使用下面方法选定一个xcode环境来解决问题：

sudo xcode-select -s /application/xcode.app

7).脚本执行完毕，生成所需文件

ffmpeg-3.3.6 ffmpeg源文件

scratch 编译过程中生成的文件

thin 对应各个架构下的库文件

ffmpeg-ios 合并各个架构之后的库文件

二.集成ffmpeg到项目中

1.将生成的ffmpeg-ios文件夹拷贝至项目中。

2.添加所需依赖的依赖库，如下：

audiotoolbox.framework

coremedia.framework

videotoolbox.framework

libz.tbd

libbz2.tbd

libiconv.tbd

3.添加 header search paths 设置

$(srcroot)/项目名/所在文件夹/ffmpeg-ios/include

三.集成ffmpeg命令行功能

我们在使用ffmpeg时，可以直接使用该功能，通过设置命令参数，从而避免编写大量代码来调用ffmpeg库。

1.找到如下文件放入同一个文件夹下，并拷贝至工程目录中：

1).从 ffmpeg-3.3.6 中找到以下文件：

ffmpeg.h

ffmpeg.c

cmdutils.h

cmdutils.c

ffmpeg_filter.c

ffmpeg_opt.c

cmdutils_common_opts.h

2).从 scratch 文件夹下随便一个架构文件夹中找到如下文件：

config.h

2.修改文件

1).前往 cmdutils.c 文件中，注释以下内容：

#include "compat/va_copy.h"

#include "libavdevice/avdevice.h"

#include "libavresample/avresample.h"

#include "libpostproc/postprocess.h"

#include "libavutil/libm.h"

print_lib_info(avdevice,avdevice,flags, level);

print_lib_info(avresample, avresample, flags, level);

print_lib_info(postproc,postproc,flags, level);

2).前往 ffmpeg_filter.c 文件中，注释以下内容：

#include "libavresample/avresample.h"

3).前往 ffmpeg.c 文件中，注释以下内容：

#include "libavdevice/avdevice.h"

#include "libavutil/internal.h"

#include "libavutil/libm.h"

#include "libavformat/os_support.h"

ff_dlog(null, "force_key_frame: n:%f n_forced:%f prev_forced_n:%f t:%f prev_forced_t:%f -> res:%f\n",
  ost->forced_keyframes_expr_const_values[fkf_n],
  ost->forced_keyframes_expr_const_values[fkf_n_forced],
  ost->forced_keyframes_expr_const_values[fkf_prev_forced_n],
  ost->forced_keyframes_expr_const_values[fkf_t],
  ost->forced_keyframes_expr_const_values[fkf_prev_forced_t],
  res);

同时，将 ffmpeg-3.3.6/libaodec/mathops.h 和 ffmpeg-3.3.6/libavutil/reverse.h 两个文件复制至项目对应位置

4).前往 ffmpeg_opt.c 文件中，注释掉以下内容：

{ "videotoolbox_pixfmt", has_arg | opt_string | opt_expert, { &videotoolbox_pixfmt}, "" },

{ "vda",videotoolbox_init,hwaccel_vda,av_pix_fmt_vda },

{ "videotoolbox",videotoolbox_init,hwaccel_videotoolbox,av_pix_fmt_videotoolbox },

5).前往 ffmpeg.h 文件下增加函数声明：

int ffmpeg_main(int argc, char **argv);

6).修改 ffmpeg.c 文件中

int main(int argc, char **argv)

为：

int ffmpeg_main(int argc, char **argv)

7).修改 ffmpeg.c 文件中

#include "libavutil/time.h"

为：

#include "libavutil/ffmpegtime.h"

同时修改 ffmpeg-ios/include/libavutil/time.h 为 ffmpegtime.h

8).修改执行一次 ffmpeg_main 方法后 app 退出问题
前往 cmdutils.h 中，将

void exit_program(int ret) av_noreturn;

方法声明改为：

int exit_program(int ret);

并前往 cmdutils.c 中，将对应实现改为：

int exit_program(int ret)
{
 if (program_exit)
  program_exit(ret);

// exit(ret);
 return ret;
}

9).修改多次调用 ffmpeg_main 时，访问空指针的问题
前往 ffmpeg.c 中，在 ffmpeg_cleanup 方法中，增加处理。

在

term_exit();

前增加

nb_filtergraphs = 0;
nb_output_files = 0;
nb_output_streams = 0;
nb_input_files = 0;
nb_input_streams = 0;

四.使用ffmpeg

至此，我们已经集成了 ffmpeg 和 ffmpeg 的命令行工具，接下来我们就可以使用命令行来调起ffmpeg了。

使用ffmpeg命令行的大致格式如下：

ffmpeg [global_options] {[input_file_options] -i input_url} ... {[output_file_options] output_url}

对应于 ffmpeg 工具中，就是如下格式：
当然需要导入 #import "ffmpeg.h"

int result = 1;
int argc = 19;
int i = 0;
char **arguments = calloc(argc, sizeof(char *));
if(arguments != null) {
 arguments[i++] = "ffmpeg";
 arguments[i++] = "-r";
 arguments[i++] = (char *)[fps utf8string];
 arguments[i++] = "-i";
 arguments[i++] = (char *)[gifpath utf8string];
 arguments[i++] = "-i";
 arguments[i++] = (char *)[globalpalettepath utf8string];
 arguments[i++] = "-lavfi";
 arguments[i++] = "paletteuse";
 arguments[i++] = "-s";
 arguments[i++] = (char *)[[nsstring stringwithformat:@"%dx%d", (int)size.width, (int)size.height] utf8string];
 arguments[i++] = "-t";
 arguments[i++] = (char *)[[self p_formatfloat:[gifinfo[kffmpegtoolgifduration] floatvalue]] utf8string];
 arguments[i++] = "-r";
 arguments[i++] = "10";
 arguments[i++] = "-b:v";
 arguments[i++] = "1024k";
 arguments[i++] = "-y";
 arguments[i++] = (char *)[resizegifpath utf8string];

 result = ffmpeg_main(argc, arguments);
 free(arguments);
}

其中，一些常见的参数配置如下：

-f 强制指定编码格式

-i 输出源

-t 指定输入输出时长

-r 指定帧率，即1s内的帧数

-threads 指定线程数

-c:v 指定视频的编码格式

-ss 指定持续时长

-b:v 指定比特率

-s 指定分辨率

-y 覆盖输出

-filter 指定过滤器

-vf 指定视频过滤器

-an 指定去除对音频的影响

五.常见的命令及注意事项

1.gif转为同等长度视频

ffmpeg -t 3.0 -i /users/mdm/desktop/water.gif -t 3.0 -b:v 1024k -y /user/mdm/desktop/water.mp4

1).如果需要添加水印，可以增加 -vf 过滤器

ffmpeg -t 3.0 -i /users/mdm/desktop/water.gif -vf movie=/users/mdm/desktop/mark.png[watermark];[in][watermark]overlay=0:0[out] -t 3.0 -b:v 1024k -y /user/mdm/desktop/water.mp4

其中 overlay 指定水印图片所处的位置

2).如果需要指定输出的分辨率，可为输出指定 -s 参数，若不指定，则默认输出为输入源同等大小分辨率

ffmpeg -t 3.0 -i /users/mdm/desktop/water.gif -s 480x480 -t 3.0 -b:v 1024k -y /user/mdm/desktop/water.mp4

注意：-s之后的参数需指定为整数

2.将一组照片生成为视频

ffmpeg -r 7 -threads 0 -c:v png -i /users/mdm/desktop/resources/image%d.png -t 3.0 -b:v 1024k -y /users/mdm/desktop/water.mp4

注意：

该方法指定的是一个文件夹下的图片路径，ffmpeg是支持正则判断的，所以该路径下的图片命名需要满足 image%d.png 格式。 该方法需指定输入的编码格式，即 -c:v png ，所以读取目录下的所有图片必须为 png 格式。

1).如果输入的图片尺寸不一致，那么所有的图片都会从左上角开始绘制，如果需要居中展示，可以进行输出的边界设置，提前指定一个输出尺寸：

ffmpeg -r 7 -threads 0 -c:v png -i /users/mdm/desktop/resources/image%d.png -filter scale=480:480:force_original_aspect_ratio=decrease, pad=480:480:(480-in_w)/2:(480-in_h)/2:white -t 3.0 -b:v 1024k -y /users/mdm/desktop/water.mp4

其中scale指定绘制画布大小，pad格式为pad=w:h:x:y:color，其中可以使用in_w,in_h表示输入宽高，color指定边界颜色。

3.对视频进行调速

ffmpeg -t 3.0 -i /users/mdm/desktop/water.mp4 -an -r 25 -filter:v setpts=0.5*pts -t 6.0 -b:v 1024k -y /users/mdm/desktop/newwater.mp4

注意：

该方法中，假设调为x倍速，则setpts=1.0 / x*pts。 该调速方法，最多支持在[0.25, 4]区间内调整。

4.根据视频生成gif

ffmpeg -i /users/mdm/desktop/water.mp4 -f gif -r 15 -t 3.0 -b:v 1024k -y /users/mdm/desktop/water.gif

该方法可以将视频转换为gif输出，但是在输出之后，发现gif的图像质量不是很高。这是由于ffmpeg默认使用一个通用的全局调色板来覆盖所有的颜色区域，以此来支持含有大量内容的文件，所以生成的gif图像质量不是很高。我们可以为视频提供一个特有的全局调色板，这样该视频转换出的gif图像就有了特定的图片内容支持，从而可以提高图像质量。

ffmpeg -i /users/mdm/desktop/water.mp4 -i /users/mdm/desktop/waterglobalpalette.png -lavfi paletteuse=dither=sierra2:diff_mode=rectangle -f gif -r 15 -t 3.0 -b:v 1024k -y /users/mdm/desktop/water.gif

通过制定一个输入源为全局调色板，进而来提高输出gif图像质量。
全局调色板生成请看下一条。

5.输出特定全局调色板

ffmpeg -i /users/mdm/desktop/water.mp4 -vf palettegen -vframes 1 -y /users/mdm/desktop/globalpalette.png

6.缩放gif

ffmpeg -i /users/mdm/desktop/water.gif -i /users/mdm/desktop/globalpalette.png -lavfi paletteuse -s 480x480 -t 3.0 -y /users/mdm/desktop/newwater.gif

注意：

在指定新的尺寸时，新尺寸不能大于输入源旧尺寸。

7.裁剪gif

ffmpeg -t 3.0 -i /users/mdm/desktop/water.png -vf crop=w=380:h=380:x=50:y=50 -t 3.0 -y /users/mdm/desktop/newwater.png

注意：

crop参数有以下几个可选值：输入宽 iw，输入高 ih，输出宽 ow，输出高 oh。 crop参数的x，y默认值为：x = (iw - ow) / 2.0;y = (ih - oh) / 2.0; 在裁剪命令中，crop的参数需满足 w + x 不大于输入源宽度， h + y 不大于输入源高度。 该命令需要有 crop filter 的支持，所以在ffmpeg的功能配置中，不能有 –disable-filter=crop的出现。

六.其他注意事项

ffmpeg 是需要对实体文件进行处理的，所以无论是输入源还是输出源，都必须对应实体文件，同时在 ffmpeg 的命令中，需指定路径。对于输出源来说，如果不指定 -y，即覆盖输出，那么如果输出源文件已经存在，ffmpeg 命令会执行失败。 ffmpeg 命令需要阻塞线程来处理，所以为了避免主线程的阻塞，建议放入子线程进行处理。 ffmpeg 的输入和输出需要知道明确的编码格式：输入编码可以通过解码来获取到，但是输入编码如果指定的话，就必须与实体文件编码一致，否则解码会出错；输出源同样需要指定编码格式，如果没有明确指定输出的编码格式，那么需要在输出路径中指定后缀，否则会出现编码出错。 如果需要对 gif 进行调速的话，直接通过指定 gif 的 -r 来生成新的 gif 是不合适的，因为 gif 的帧间隔可以不一致，而通过设置 -r，就将所有帧间隔设置为一致，这样生成的效果与理想效果不一致。可通过将 gif 转为视频，然后调整视频的速度生成新的视频，进而再生成新 gif 来达到目的。 由于 ffmpeg 的命令行工具中，有许多参数为全局变量，所以为了保证使用的正确，我们需要保证在一个时间点，只有一次 ffmpeg_main() 方法的调用。 在使用全局调色板的时候，需要注意与水印的搭配处理。如果全局调色板是在添加水印之前就已经生成，那么添加水印之后，使用该全局调色板生成 gif，水印会被全局调色板校正，从而在 gif 上显示不出来。