《android多媒体api》之摄像头camera采集原始视频数据

《android多媒体api》系列是整合梳理android开发中经常用到的媒体相关api；多媒体开发主要内容有音频、视频录制播放、摄像头操作、录制操作、流媒体、直播、推流、拉流等方面；最近几年移动直播和视频应用发展犹如雨后春笋一般直插云霄，呃。。好吧这段比喻可以不用看了！！，反正行业兴起肯定催生了很多多媒体相关应用开发程序员。那么怎样才能成为多媒体开发程序员，首先必须要熟练使用和了解android自带的多媒体api，并且还要掌握pcm、yuv、rgb、h264、aac、flv、mpegts、mp4、udp、rtp、rtmp等等众多文件格式和流媒体协议等等。所以这里整理android相关多媒体api，提供给想从事流媒体同学作为参照，同样还是要鸣谢网络上那些具有分享精神大神们！！

基本概念： 视频播放：demuxer（解复用）->分离出音频流和视频流->decoder(解码)->播放原始数据(例如：pcm yuv) 视频录制：采集原始数据(例如：pcm yuv)->encoder(编码)->muxer(封装格式 例如：mp4 3gp) 流媒体协议：udp、rtp、rtmp、rtcp、rtsp等 音视频封装格式：mp4 、3gp、flv等 音视频编码格式：aac、amr、h264、h265等 原始音视频数据格式：pcm 、yuv、rgb等

流程图：

如何通过camera摄像头采集nv21原始数据？
直播开发中经常需要获取视频原始帧数据然后前置处理例如：美颜、水印、特效等然后通过编码在通过rtmp或者rtsp等协议方式推流出去，可以完成实时图像传递。那么如何获取原始视频帧数据？安装camera api有一个设置回调的方法，可以将可以通过它来获取原始视频数据如nv21 、 nv12 、 yv12 等。下面构建了一个demo就是当surfaceview控件构建完成后可以获取配置camera来开启预览，这样可以可以在回调方法setPreviewCallback 并且在public void onPreviewFrame(byte[] data, Camera camera) 中获取实时数据了。

由于摄像头是用户隐私权限所以需要申请摄像头权限：

基于camera获取原始视频帧数据：

xml布局文件：

java代码：

package com.example.getyuvandpush;

import java.io.IOException;
import java.util.List;

import android.app.Activity;
import android.graphics.ImageFormat;
import android.hardware.Camera;
import android.hardware.Camera.Parameters;
import android.hardware.Camera.PreviewCallback;
import android.hardware.Camera.Size;
import android.os.Bundle;
import android.view.SurfaceHolder;
import android.view.SurfaceHolder.Callback;
import android.view.SurfaceView;

@SuppressWarnings("deprecation")
public class MainActivity extends Activity implements Callback, PreviewCallback {

    private SurfaceView show;
    private Camera camera;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        // TODO Auto-generated method stub
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        show=(SurfaceView) findViewById(R.id.show);
        show.getHolder().addCallback(this);

    }

    @Override
    public void surfaceCreated(SurfaceHolder holder) {
        // TODO Auto-generated method stub

    }

    @Override
    public void surfaceChanged(SurfaceHolder holder, int format, int width,
            int height) {
        // surfaceview 构建完毕并且获取有效宽高时候打开摄像头
        if (camera!=null) {
            return;
        }
        camera= Camera.open();
        Parameters parms = camera.getParameters();
        List listsize = parms.getSupportedPictureSizes();
        Size sizeOut=null;
        for (Size size : listsize) {
            if (size.width>=width) {
                break;
            }
            sizeOut=size;
        }
        parms.setPreviewSize(sizeOut.width, sizeOut.height);
        parms.setPictureSize(sizeOut.width, sizeOut.height);
        parms.setPreviewFormat(ImageFormat.NV21);
        camera.setParameters(parms);
        camera.setPreviewCallback(this);
        try {
            camera.setPreviewDisplay(holder);
            camera.startPreview();//开始预览
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

    @Override
    public void surfaceDestroyed(SurfaceHolder holder) {
        // surfaceview 析构关闭摄像头
        if (camera==null) {
            return;
        }
        camera.setPreviewCallback(null);
        camera.stopPreview();// 停止预览
        camera.release();
        camera=null;
    }

    @Override
    public void onPreviewFrame(byte[] data, Camera camera) {
        //可以获取nv21 原始数据 data

    }

}