ffmpeg编程概览
来源:互联网 发布:javascript招聘工资 编辑:程序博客网 时间:2024/06/07 14:09
视频解码知识
纯净的视频解码流程
压缩编码数据->像素数据。
例如解码H.264,就是“H.264码流->YUV”。一般的视频解码流程
视频码流一般存储在一定的封装格式(例如MP4、AVI等)中。封装格式中通常还包含音频码流等内容。
对于封装格式中的视频,需要先从封装格式中提取中视频码流,然后再进行解码。
例如解码MKV格式的视频文件,就是“MKV->H.264码流->YUV”
FFmpeg库的简介
FFmpeg一共包含8个库:
avcodec:编解码(最重要的库)。
avformat:封装格式处理。
avfilter:滤镜特效处理。
avdevice:各种设备的输入输出
avutil:工具库(大部分库都需要这个库的支持)。
postproc:后加工。
swresample:音频采样数据格式转换。
swscale:视频像素数据格式转换
FFmpeg解码函数简介
av_register_all():注册所有组件。
avformat_open_input():打开输入视频文件。
avformat_find_stream_info():获取视频文件信息。
avcodec_find_decoder():查找解码器。
avcodec_open2():打开解码器。
av_read_frame():从输入文件读取一帧压缩数据。
avcodec_decode_video2():解码一帧压缩数据。
avcodec_close():关闭解码器。
avformat_close_input():关闭输入视频文件
FFmpeg数据结构简介
AVFormatContext
封装格式上下文结构体,也是统领全局的结构提,保存了视频文件爱你封装格式相关信息。
AVIputFormat
每种封装格式(如FLV,MKV,MP4,AVI)对应一个该结构体。
AVStream
视频文件中每个视频(音频)流对应一个该结构体。
AVCodecContext
编码器上下文结构体,保存了视频(音频)编码相关信息
AVCodec
每种视频(音频)编码器(例如H.264编码器)对应一个该结构体。
AVPacket
储存一帧压缩编码数据
AVFrame
储存一帧解码后像素(采样)数据
FFmpeg数据结构分析
AVFormatContext
iformat:输入视频的AVInputFormat
nb_streams:输入视频的AVStream个数
streams:输入视频的AVStream[]数组
duration:输入视频的时长(以微妙为单位)
bit_rate:输入视频的码率
AVInputFormat
name:封装格式名称
long_name:封装格式的长名称
extensions:封装格式的扩展名
id:封装格式ID
一些封装格式处理的接口函数
AVStream
id:序号
codec:该流对应的AVCodecContext
time_base:该流的时基
r_frame_rate:该流的帧率
AVCodecContext
codec:编码器的AVCodec
width,height:图像的宽高(只针对视频)
pix_fmt:像素格式(只针对视频)
sample_rate:采样率(只针对音频)
channels:声道数(只针对音频)
sample_fmt:采样格式(只针对音频)
AVCodec
name:编码器名称
long_name:编码器长名称
type:编码器类型
id:编码器ID
一些编码器的接口函数
AVPacket
pts:显示时间戳
dts:解码时间戳
data:压缩编码数据
size:压缩编码数据大小
stream_index:所属的AVStream
AVFrame
data:解码后的图像像素数据(音频采样数据)
linesize:对视频来说图像中一行像素的大小;对音频来说整个音频帧的大小
width,height:图像的宽高(只针对视频)
key_frame:是否为关键帧(只针对视频)
pict_type:帧类型(只针对视频)
解码后的数据为什么要经过sws_scale()函数处理?
解码后YUV格式的视频像素数据保存在AVFrame的data[0]、data[1]、data[2]中。但是这些像素值并不是连续存储的,每行有效像素之后存储 了 一 些 无 效 像 素 。 以 亮 度 Y 数 据 为 例 , data[0] 中 一 共 包 含 了linesize[0]*height个数据。但是出于优化等方面的考虑,linesize[0]实际上并不等于宽度width,而是一个比宽度大一些的值。因此需要使用sws_scale()进行转换。转换后去除了无效数据,width和linesize[0]取值相等。
- ffmpeg编程概览
- Java网络编程概览
- view编程概览---介绍
- Java并发编程概览
- 编程语言概览
- (Python编程)C扩展概览
- Linux环境编程语言概览
- Unity 3D编程概览
- iOS编程指南 之 概览
- 【Unity编程】 Unity界面概览
- JVM并发编程模型概览
- FFMpeg 编程手册
- ffmpeg编程(一)
- ffmpeg编程(一)
- ffmpeg编程(一)
- ffmpeg编程(二)
- ffmpeg编程(三)
- c++ 调用 ffmpeg 编程
- 画图神器:plot.ly
- USB信号
- 启动tomcat卡在starting状态,然后访问页面就报错:org.apache.jasper.JasperException: Unable to compile class for JSP
- 长尾关键词怎么优化?
- iOS
- ffmpeg编程概览
- 用Docker在Ubuntu下 设置一个完整的Python + TensorFlow + GPU support + jupyter notebook + Deep Learning 开发环境
- Rxjava的最简单使用
- 【图像缩放篇之二】二次线性插值和三次卷积插值
- VR系列——Oculus Rift 开发者指南:七、SDK样品和手柄的使用及低级传感器详述
- Maven项目——ego-parent\pom.xml does not exist
- ORA-00845: MEMORY_TARGET not supported on this system
- android JNI 开发
- javascript的征程之面向对象编程