「音视频直播技术」Android下视频H264编码
来源:互联网 发布:淘宝助理怎么改尺寸 编辑:程序博客网 时间:2024/05/16 10:21
前言
今天为大家介绍一下音视频直播技术中的视频编码。在移动端通过Camera采集到视频数据后,我们不会直接将它发送出去。因为采集后的视频数据量非常大,比如 1280x720 分辨率的一帧数据,就有可能达到6M大小(码率越高,图像越清晰)。这6M数据如果送到网上传输,会给网络带来非常大的负担。
另外,人眼对图像的识别是有限的。拿手机屏幕来说,1K屏与2K屏对于人眼来说是看不出来它们之间的区别的,视频也是同样的道理。基于以上理论,就有了视频的压缩编码技术,通过对视频的有损压缩来达到减少数据大小的目的。
目前视频缩码最常用的是 H264。其它的还有 H265,VP8, VP9等,但用的人还比较少,以后可以专门写一篇文章对他们做些介绍和对比。
编码结构与方式
下图是视频编码的结构,结构很清楚。
在Android系统下视频编码有硬编和软编两种方式。顾名思义,硬编是通过手机提供的硬件模块进行编码;软编就是通过软件程序进行编码。硬编的好处是编码快,不占用CPU资源。缺点是Android机型比较多,坑也比较多。软编正好与硬编相反,它的优点是无论什么机型都一样处理。缺点则是占用大量CPU资源。我们今天介绍的是硬件编码。
如何获取Camera中采集到的数据
从Camera获取视频数据有两种方式,一种是通过向Camera设置预览Callback来读取原始数据;另一种高效的方式是通过MediaCodec的Surface获取数据。而第二种更高效,更灵活。今天我们介绍的就是第二种方式。
当然大家可以很容易从网上找到第一种获取数据的方式。
从Camera获取数据的基本方法如下:
1. 创建 EGL 环境(如果使用 GLSurfaceView则可省略该步骤)。
2. 构建 OpenGL ES程序,通过它将原始数据渲染到Surface中。
OpenGL ES程序我们会在外面的文章中再做介绍。
3. 生成纹理,并打开Camera预览。
4. 创建编码器,将编码器中的Surface与EGL关联。
5. Camera捕获数据后,调用 EGL的swapBuffer方法,就可以拿到数据了。
首先,创建EGL环境。
EglCore是对 EGL 操作的封装。
...... mEglCore = new EglCore(null, EglCore.FLAG_RECORDABLE); mDisplaySurface = new WindowSurface(mEglCore, holder.getSurface(), false); mDisplaySurface.makeCurrent(); ......
创建 OpenGL ES程序
Texture2dProgram是对 OpenGL ES程序的封装,以后我们会再做介绍。
...... mFullFrameBlit = new FullFrameRect( new Texture2dProgram(Texture2dProgram.ProgramType.TEXTURE_EXT)); ......
根据 OpenGL ES产生的外部纹理生成纹理对象,并打开Camera预览。
...... mTextureId = mFullFrameBlit.createTextureObject(); mCameraTexture = new SurfaceTexture(mTextureId);//生成纹理对象 mCameraTexture.setOnFrameAvailableListener(this); Log.d(TAG, "starting camera preview"); try { mCamera.setPreviewTexture(mCameraTexture); } catch (IOException ioe) { throw new RuntimeException(ioe); } mCamera.startPreview(); ......
构造H264编码器,将编码器的 Surface 与 EGL环境关联。
...... try { //CircularEncoder是 H264编码器的wraper类,编码器的构造见下一节 mCircEncoder = new CircularEncoder(VIDEO_WIDTH, VIDEO_HEIGHT, 6000000, mCameraPreviewThousandFps / 1000, 7, mHandler); } catch (IOException ioe) { throw new RuntimeException(ioe); } //通过下面的代码将 EGL 与 Surface关联 mEncoderSurface = new WindowSurface(mEglCore, mCircEncoder.getInputSurface(), //MediaCodec Surface true); ......
将渲染后的数据输出到编码器的Surface中
......mEncoderSurface.makeCurrent(); //关联 EGLContext 与 EGLSurfaceGLES20.glViewport(0, 0, VIDEO_WIDTH, VIDEO_HEIGHT);mFullFrameBlit.drawFrame(mTextureId, mTmpMatrix); //渲染mEncoderSurface.setPresentationTime(mCameraTexture.getTimestamp());mEncoderSurface.swapBuffers(); //输出到编码器的 Surface 中......
构造H264编码器
构造H264编码器实际就是设置编码器的媒体类型、宽高、帧率、GOF等。
......// TODO: these ought to be configurable as wellprivate static final String MIME_TYPE = "video/avc"; // H.264 Advanced Video Codingprivate static final int FRAME_RATE = 30; // 30fpsprivate static final int IFRAME_INTERVAL = 5; // 5 seconds between I-framesprivate Surface mInputSurface;private MediaCodec mEncoder;private MediaCodec.BufferInfo mBufferInfo;......mBufferInfo = new MediaCodec.BufferInfo();MediaFormat format = MediaFormat.createVideoFormat(MIME_TYPE, width, height);// Set some properties. Failing to specify some of these can cause the MediaCodec// configure() call to throw an unhelpful exception.format.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);format.setInteger(MediaFormat.KEY_BIT_RATE, bitRate);format.setInteger(MediaFormat.KEY_FRAME_RATE, FRAME_RATE);format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, IFRAME_INTERVAL);// Create a MediaCodec encoder, and configure it with our format. Get a Surface// we can use for input and wrap it with a class that handles the EGL work.mEncoder = MediaCodec.createEncoderByType(MIME_TYPE);mEncoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);mInputSurface = mEncoder.createInputSurface();mEncoder.start();.....
视频编码
视频解码就更简单了,就是一个死循环不断的从解码器中查询解码状态。如果解码状态大于0, 则说明现在已经有解好的数据了。
......ByteBuffer[] encoderOutputBuffers = mEncoder.getOutputBuffers();while (true) { int encoderStatus = mEncoder.dequeueOutputBuffer(mBufferInfo, TIMEOUT_USEC); ...... if (encoderStatus > 0) { ByteBuffer encodedData = encoderOutputBuffers[encoderStatus]; ...... // adjust the ByteBuffer values to match BufferInfo (not needed?) encodedData.position(mBufferInfo.offset); encodedData.limit(mBufferInfo.offset + mBufferInfo.size); ...... mEncoder.releaseOutputBuffer(encoderStatus, false); ...... }}......
小结
通过上面的分析我们可以清楚的知道硬件编码主要就是三大步:
- 创建编码器
- 从Camera获取数据。
- 循环从编码器中取数据。
参考
- Android视频采集(Camera1)
- Android视频采集(Camera2)
- EGL介绍
- 「音视频直播技术」Android下视频H264编码
- 「音视频直播技术」Android下H264解码
- 「音视频直播技术」Android视频采集(Camera1)
- Android视频编码--H264编码
- Android视频采集+H264编码
- Android视频采集+H264编码
- Android视频采集+H264编码
- Android视频采集+H264编码
- Android视频采集+H264编码
- Android视频采集+H264编码
- 音视频直播技术--Android视频采集(Camera2)
- android 音视频直播
- ios直播技术(2)-- 视频编码
- windows下利用x264视频编码h264
- 音视频直播技术漫谈
- 音视频直播--技术架构
- RTMP推送直播H264/AAC编码的音视频采集数据
- H264视频通过RTMP直播
- 基于矢量切片的电子地图配图(三)配图准备
- barber event 设计
- 21点算法
- HDU1037
- 双系统下Ubuntu 有线无法上网
- 「音视频直播技术」Android下视频H264编码
- Phaser.js教程
- Java练习题3
- 二叉树叶子结点个数和第K层结点的个数
- 【jzoj5350】【NOIP2017提高A组模拟9.7】【陶陶摘苹果】【动态规划】
- 求一个n阶方阵对角线元素之和
- stencil set 模板集
- JAVA工具类(4) ---文件工具类fileUtil(文件增删改,文件拷贝等)
- Perl Win32::Gui 模块学习 (2)---- 添加简单的Label标签