《android多媒体api》之摄像头camera采集原始视频数据

《android多媒体api》系列是整合梳理android开发中经常用到的媒体相关api；多媒体开发主要内容有音频、视频录制播放、摄像头操作、录制操作、流媒体、直播、推流、拉流等方面；最近几年移动直播和视频应用发展犹如雨后春笋一般直插云霄，呃。。好吧这段比喻可以不用看了！！，反正行业兴起肯定催生了很多多媒体相关应用开发程序员。那么怎样才能成为多媒体开发程序员，首先必须要熟练使用和了解android自带的多媒体api，并且还要掌握pcm、yuv、rgb、h264、aac、flv、mpegts、mp4、udp、rtp、rtmp等等众多文件格式和流媒体协议等等。所以这里整理android相关多媒体api，提供给想从事流媒体同学作为参照，同样还是要鸣谢网络上那些具有分享精神大神们！！

基本概念：

1. 视频播放：demuxer（解复用）->分离出音频流和视频流->decoder(解码)->播放原始数据(例如：pcm yuv)
2. 视频录制：采集原始数据(例如：pcm yuv)->encoder(编码)->muxer(封装格式 例如：mp4 3gp)
3. 流媒体协议：udp、rtp、rtmp、rtcp、rtsp等
4. 音视频封装格式：mp4 、3gp、flv等
5. 音视频编码格式：aac、amr、h264、h265等
6. 原始音视频数据格式：pcm 、yuv、rgb等

流程图：

文章目录：

1. VideoView 视频播放控件
2. camera配合surface预览相机画面和拍照
3. MediaPlayer自定义视频播放器
4. MediaRecorder音视频录制api
5. AudioTrack原始音频pcm播放api
6. AudioRecord原始音频pcm采集api
7. 摄像头camera采集原始视频数据

---

如何通过camera摄像头采集nv21原始数据？
直播开发中经常需要获取视频原始帧数据然后前置处理例如：美颜、水印、特效等然后通过编码在通过rtmp或者rtsp等协议方式推流出去，可以完成实时图像传递。那么如何获取原始视频帧数据？安装camera api有一个设置回调的方法，可以将可以通过它来获取原始视频数据如nv21 、 nv12 、 yv12 等。下面构建了一个demo就是当surfaceview控件构建完成后可以获取配置camera来开启预览，这样可以可以在回调方法setPreviewCallback 并且在public void onPreviewFrame(byte[] data, Camera camera) 中获取实时数据了。

由于摄像头是用户隐私权限所以需要申请摄像头权限：

    <uses-permission android:name="android.permission.CAMERA" />    <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>    <uses-feature android:name="android.hardware.camera" />    <uses-feature android:name="android.hardware.camera.autofocus" />

基于camera获取原始视频帧数据：

xml布局文件：

<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"    xmlns:tools="http://schemas.android.com/tools"    android:layout_width="match_parent"    android:layout_height="match_parent"    tools:context=".MainActivity" >    <SurfaceView         android:id="@+id/show"        android:layout_width="match_parent"        android:layout_height="match_parent"/></RelativeLayout>

java代码：

package com.example.getyuvandpush;import java.io.IOException;import java.util.List;import android.app.Activity;import android.graphics.ImageFormat;import android.hardware.Camera;import android.hardware.Camera.Parameters;import android.hardware.Camera.PreviewCallback;import android.hardware.Camera.Size;import android.os.Bundle;import android.view.SurfaceHolder;import android.view.SurfaceHolder.Callback;import android.view.SurfaceView;@SuppressWarnings("deprecation")public class MainActivity extends Activity implements Callback, PreviewCallback {    private SurfaceView show;    private Camera camera;    @Override    protected void onCreate(Bundle savedInstanceState) {        // TODO Auto-generated method stub        super.onCreate(savedInstanceState);        setContentView(R.layout.activity_main);        show=(SurfaceView) findViewById(R.id.show);        show.getHolder().addCallback(this);    }    @Override    public void surfaceCreated(SurfaceHolder holder) {        // TODO Auto-generated method stub    }    @Override    public void surfaceChanged(SurfaceHolder holder, int format, int width,            int height) {        // surfaceview 构建完毕并且获取有效宽高时候打开摄像头        if (camera!=null) {            return;        }        camera= Camera.open();        Parameters parms = camera.getParameters();        List<Size> listsize = parms.getSupportedPictureSizes();        Size sizeOut=null;        for (Size size : listsize) {            if (size.width>=width) {                break;            }            sizeOut=size;        }        parms.setPreviewSize(sizeOut.width, sizeOut.height);        parms.setPictureSize(sizeOut.width, sizeOut.height);        parms.setPreviewFormat(ImageFormat.NV21);        camera.setParameters(parms);        camera.setPreviewCallback(this);        try {            camera.setPreviewDisplay(holder);            camera.startPreview();//开始预览        } catch (IOException e) {            // TODO Auto-generated catch block            e.printStackTrace();        }    }    @Override    public void surfaceDestroyed(SurfaceHolder holder) {        // surfaceview 析构关闭摄像头        if (camera==null) {            return;        }        camera.setPreviewCallback(null);        camera.stopPreview();// 停止预览        camera.release();        camera=null;    }    @Override    public void onPreviewFrame(byte[] data, Camera camera) {        //可以获取nv21 原始数据 data    }}