android采用FFmpeg实现音频混合与拼接剪切

接触ffmpeg有一段时间了，它是音视频开发的开源库，几乎其他所有播放器、直播平台都基于ffmpeg进行二次开发。本篇文章来总结下采用ffmpeg进行音频处理：音频混合、音频剪切、音频拼接与音频转码。

采用android studio进行开发，配置build.gradle文件：

defaultconfig {
 ......
 externalnativebuild {
  cmake {
  cppflags ""
  }
 }
 ndk {
  abifilters "armeabi-v7a"
 }
 }

另外指定cmake文件路径：

externalnativebuild {
 cmake {
  path "cmakelists.txt"
 }
 }
 sourcesets {
 main {
  jnilibs.srcdirs = ['libs']
  jni.srcdirs = []
 }
 }

从ffmpeg官网下载源码，编译成ffmpeg.so动态库，并且导入相关源文件与头文件：

然后配置cmakelists文件：

add_library( # sets the name of the library.
  audio-handle
 
  # sets the library as a shared library.
  shared
 
  # provides a relative path to your source file(s).
  src/main/cpp/ffmpeg_cmd.c
  src/main/cpp/cmdutils.c
  src/main/cpp/ffmpeg.c
  src/main/cpp/ffmpeg_filter.c
  src/main/cpp/ffmpeg_opt.c)
add_library( ffmpeg
  shared
  imported )
set_target_properties( ffmpeg
   properties imported_location
   ../../../../libs/armeabi-v7a/libffmpeg.so )
include_directories(src/main/cpp/include)
find_library( log-lib
  log )
target_link_libraries( audio-handle
   ffmpeg
   ${log-lib} )
调用ffmpeg命令行进行音频处理：
 /**
 * 调用ffmpeg处理音频
 * @param handletype handletype
 */
 private void dohandleaudio(int handletype){
 string[] commandline = null;
 switch (handletype){
  case 0://转码
  string transformfile = path + file.separator + "transform.aac";
  commandline = ffmpegutil.transformaudio(srcfile, transformfile);
  break;
  case 1://剪切
  string cutfile = path + file.separator + "cut.mp3";
  commandline = ffmpegutil.cutaudio(srcfile, 10, 15, cutfile);
  break;
  case 2://合并
  string concatfile = path + file.separator + "concat.mp3";
  commandline = ffmpegutil.concataudio(srcfile, appendfile, concatfile);
  break;
  case 3://混合
  string mixfile = path + file.separator + "mix.aac";
  commandline = ffmpegutil.mixaudio(srcfile, appendfile, mixfile);
  break;
  default:
  break;
 }
 executeffmpegcmd(commandline);
 }

其中，音频混音、合并、剪切和转码的ffmpeg命令行的拼接如下：

/**
 * 使用ffmpeg命令行进行音频转码
 * @param srcfile 源文件
 * @param targetfile 目标文件（后缀指定转码格式）
 * @return 转码后的文件
 */
 public static string[] transformaudio(string srcfile, string targetfile){
 string transformaudiocmd = "ffmpeg -i %s %s";
 transformaudiocmd = string.format(transformaudiocmd, srcfile, targetfile);
 return transformaudiocmd.split(" ");//以空格分割为字符串数组
 }
 
 /**
 * 使用ffmpeg命令行进行音频剪切
 * @param srcfile 源文件
 * @param starttime 剪切的开始时间(单位为秒)
 * @param duration 剪切时长(单位为秒)
 * @param targetfile 目标文件
 * @return 剪切后的文件
 */
 @suppresslint("defaultlocale")
 public static string[] cutaudio(string srcfile, int starttime, int duration, string targetfile){
 string cutaudiocmd = "ffmpeg -i %s -ss %d -t %d %s";
 cutaudiocmd = string.format(cutaudiocmd, srcfile, starttime, duration, targetfile);
 return cutaudiocmd.split(" ");//以空格分割为字符串数组
 }
 
 /**
 * 使用ffmpeg命令行进行音频合并
 * @param srcfile 源文件
 * @param appendfile 待追加的文件
 * @param targetfile 目标文件
 * @return 合并后的文件
 */
 public static string[] concataudio(string srcfile, string appendfile, string targetfile){
 string concataudiocmd = "ffmpeg -i concat:%s|%s -acodec copy %s";
 concataudiocmd = string.format(concataudiocmd, srcfile, appendfile, targetfile);
 return concataudiocmd.split(" ");//以空格分割为字符串数组
 }
 
 /**
 * 使用ffmpeg命令行进行音频混合
 * @param srcfile 源文件
 * @param mixfile 待混合文件
 * @param targetfile 目标文件
 * @return 混合后的文件
 */
 public static string[] mixaudio(string srcfile, string mixfile, string targetfile){
 string mixaudiocmd = "ffmpeg -i %s -i %s -filter_complex amix=inputs=2:duration=first -strict -2 %s";
 mixaudiocmd = string.format(mixaudiocmd, srcfile, mixfile, targetfile);
 return mixaudiocmd.split(" ");//以空格分割为字符串数组
 }

ffmpeg处理混音的公式如下，其中sample1为源文件采样率、sample2为待混合文件采样率：

混音公式：value = sample1 + sample2 - (sample1 * sample2 / (pow(2, 16-1) - 1))

开启子线程，调用native方法进行音频处理：

public static void execute(final string[] commands, final onhandlelistener onhandlelistener){
 new thread(new runnable() {
  @override
  public void run() {
  if(onhandlelistener != null){
   onhandlelistener.onbegin();
  }
  //调用ffmpeg进行处理
  int result = handle(commands);
  if(onhandlelistener != null){
   onhandlelistener.onend(result);
  }
  }
 }).start();
 }
 private native static int handle(string[] commands);

关键的native方法，是把java传入的字符串数组转成二级指针数组，然后调用ffmpeg源码中的run方法：

jniexport jint jnicall java_com_frank_ffmpeg_ffmpegcmd_handle
(jnienv *env, jclass obj, jobjectarray commands){
 int argc = (*env)->getarraylength(env, commands);
 char **argv = (char**)malloc(argc * sizeof(char*));
 int i;
 int result;
 for (i = 0; i < argc; i++) {
 jstring jstr = (jstring) (*env)->getobjectarrayelement(env, commands, i);
 char* temp = (char*) (*env)->getstringutfchars(env, jstr, 0);
 argv[i] = malloc(1024);
 strcpy(argv[i], temp);
 (*env)->releasestringutfchars(env, jstr, temp);
 }
 //执行ffmpeg命令
 result = run(argc, argv);
 //释放内存
 for (i = 0; i < argc; i++) {
 free(argv[i]);
 }
 free(argv);
 return result;
}

关于ffmpeg的run方法的源码如下，中间有部分省略：

int run(int argc, char **argv)
{
 /****************省略********************/
 //注册各个模块
 avcodec_register_all();
#if config_avdevice
 avdevice_register_all();
#endif
 avfilter_register_all();
 av_register_all();
 avformat_network_init();
 show_banner(argc, argv, options);
 term_init();
 /****************省略********************/
 //解析命令选项与打开输入输出文件
 int ret = ffmpeg_parse_options(argc, argv);
 if (ret < 0)
 exit_program(1);
 /****************省略********************/
 //文件转换
 if (transcode() < 0)
 exit_program(1);
 /****************省略********************/
 //退出程序操作：关闭文件、释放内存
 exit_program(received_nb_signals ? 255 : main_return_code);
 ffmpeg_cleanup(0);
}

其中，最关键的是文件转换部分，源码如下：

static int transcode(void)
{
 int ret, i;
 avformatcontext *os;
 outputstream *ost;
 inputstream *ist;
 int64_t timer_start;
 int64_t total_packets_written = 0;
 //转码方法初始化
 ret = transcode_init();
 if (ret < 0)
 goto fail;
 
 if (stdin_interaction) {
 av_log(null, av_log_info, "press [q] to stop, [?] for help\n");
 }
 timer_start = av_gettime_relative();
 
#if have_pthreads
 if ((ret = init_input_threads()) < 0)
 goto fail;
#endif
 //transcode循环处理
 while (!received_sigterm) {
 int64_t cur_time= av_gettime_relative();
 
 //如果遇到"q"命令，则退出循环
 if (stdin_interaction)
  if (check_keyboard_interaction(cur_time) < 0)
  break;
 
 //判断是否还有输出流
 if (!need_output()) {
  av_log(null, av_log_verbose, "no more output streams to write to, finishing.\n");
  break;
 }
 
 ret = transcode_step();
 if (ret < 0 && ret != averror_eof) {
  char errbuf[128];
  av_strerror(ret, errbuf, sizeof(errbuf));
 
  av_log(null, av_log_error, "error while filtering: %s\n", errbuf);
  break;
 }
 
 //打印音视频流信息
 print_report(0, timer_start, cur_time);
 }
#if have_pthreads
 free_input_threads();
#endif
 
 //文件末尾最后一个stream，刷新解码器buffer
 for (i = 0; i < nb_input_streams; i++) {
 ist = input_streams[i];
 if (!input_files[ist->file_index]->eof_reached && ist->decoding_needed) {
  process_input_packet(ist, null, 0);
 }
 }
 flush_encoders();
 term_exit();
 
 //写文件尾，关闭文件
 for (i = 0; i < nb_output_files; i++) {
 os = output_files[i]->ctx;
 if ((ret = av_write_trailer(os)) < 0) {
  av_log(null, av_log_error, "error writing trailer of %s: %s", os->filename, av_err2str(ret));
  if (exit_on_error)
  exit_program(1);
 }
 }
 
 //关闭所有编码器
 for (i = 0; i < nb_output_streams; i++) {
 ost = output_streams[i];
 if (ost->encoding_needed) {
  av_freep(&ost->enc_ctx->stats_in);
 }
 total_packets_written += ost->packets_written;
 }
 
 if (!total_packets_written && (abort_on_flags & abort_on_flag_empty_output)) {
 av_log(null, av_log_fatal, "empty output\n");
 exit_program(1);
 }
 
 //关闭所有解码器
 for (i = 0; i < nb_input_streams; i++) {
 ist = input_streams[i];
 if (ist->decoding_needed) {
  avcodec_close(ist->dec_ctx);
  if (ist->hwaccel_uninit)
  ist->hwaccel_uninit(ist->dec_ctx);
 }
 }
 
 //省略最后的释放内存
 return ret;
}

好了，使用ffmpeg进行音频剪切、混音、拼接与转码介绍完毕。如果各位有什么问题或者建议，欢迎交流。

源码：链接地址。如果对您有帮助，麻烦fork和star。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。