ts, mp4文件快进快退(seek)原理
来源:互联网 发布:网络借贷暂行办法解读 编辑:程序博客网 时间:2024/06/07 04:23
最近用potplayer播放一些ts文件,seek(快进快退)发现会有卡顿问题,但是同一个文件用mp4转封装之后seek就很快很流畅了。所以抽空研究了ffplay 对mp4文件和ts文件的 seek 逻辑,结论:对mp4 和t s的seek 逻辑完全不一样。
最重要的区别在于mp4 可以seek到指定的时间戳, ts 是 seek到文件的某个position,而不能直接seek到指定的时间点,下面结合ffplay的代码看一下实际的seek逻辑。
在ffplay.c中的event_loop函数中包含了seek的相关代码:
if (seek_by_bytes || cur_stream->ic->duration <= 0) { // ts只能 seek by bytes uint64_t size = avio_size(cur_stream->ic->pb); stream_seek(cur_stream,size*x/cur_stream->width, 0, 1); //根据鼠标在播放窗口中点击的位置x,计算seek到的文件的具体位置} else { // mp4 可以seek by timestamp int64_t ts; int ns, hh, mm, ss; int tns, thh, tmm, tss; tns = cur_stream->ic->duration / 1000000LL; // 单位秒 thh = tns / 3600; tmm = (tns % 3600) / 60; tss = (tns % 60); frac = x /cur_stream->width; ns = frac * tns; hh = ns / 3600; mm = (ns % 3600) / 60; ss = (ns % 60); av_log(NULL, AV_LOG_INFO, "Seek to%2.0f%% (%2d:%02d:%02d) of total duration (%2d:%02d:%02d) \n", frac*100, hh, mm, ss, thh,tmm, tss); ts = frac *cur_stream->ic->duration; // 单位微秒 if(cur_stream->ic->start_time != AV_NOPTS_VALUE) ts +=cur_stream->ic->start_time; stream_seek(cur_stream,ts, 0, 0);}
对于ts,具体seek操作调用函数关系为 avformat_seek_file()=> av_seek_frame() => seek_frame_internal() => seek_frame_byte()
对于mp4,具体seek操作调用函数关系为 avformat_seek_file()=> av_seek_frame() => seek_frame_internal() =>mov_read_seek()
所以 ts 和 mp4 seek的差别就在最后一个环节, seek_frame_byte() 与 mov_read_seek() 的差别。
下面贴出这几个函数的相关代码,稍加注释:
int avformat_seek_file(AVFormatContext *s, int stream_index, int64_t min_ts, int64_t ts, int64_t max_ts, int flags){ if (min_ts > ts || max_ts < ts) return -1; if (stream_index < -1 || stream_index >= (int)s->nb_streams) return AVERROR(EINVAL); …… // Fall back on old API if new is not implemented but old is. // Note the old API has somewhat different semantics. if (s->iformat->read_seek || 1) { int dir = (ts - (uint64_t)min_ts > (uint64_t)max_ts - ts ? AVSEEK_FLAG_BACKWARD : 0); int ret = av_seek_frame(s, stream_index, ts, flags | dir); if (ret<0 && ts != min_ts && max_ts != ts) { ret = av_seek_frame(s, stream_index, dir ? max_ts : min_ts, flags | dir); if (ret >= 0) ret = av_seek_frame(s, stream_index, ts, flags | (dir^AVSEEK_FLAG_BACKWARD)); } return ret; } // try some generic seek like seek_frame_generic() but with new ts semantics return -1; //unreachable}
av_seek_frame函数
int av_seek_frame(AVFormatContext *s, intstream_index, int64_t timestamp, int flags){ int ret; …… ret = seek_frame_internal(s, stream_index, timestamp, flags); if (ret >= 0) ret = avformat_queue_attached_pictures(s); return ret;}
seek_frame_internal函数
static intseek_frame_internal(AVFormatContext *s, int stream_index, int64_ttimestamp, int flags){ int ret; AVStream *st; if (flags & AVSEEK_FLAG_BYTE) { // ts文件走这个if条件的逻辑 if (s->iformat->flags &AVFMT_NO_BYTE_SEEK) return -1; ff_read_frame_flush(s); return seek_frame_byte(s, stream_index, timestamp, flags); //根据position来seek } // mp4文件走下面的逻辑 if (stream_index < 0) { stream_index = av_find_default_stream_index(s); if (stream_index < 0) return -1; st = s->streams[stream_index]; /* timestamp for default must be expressed in AV_TIME_BASE units */ timestamp = av_rescale(timestamp, st->time_base.den, AV_TIME_BASE *(int64_t) st->time_base.num); } /* first, we try the format specific seek */ if (s->iformat->read_seek) { ff_read_frame_flush(s); ret = s->iformat->read_seek(s, stream_index, timestamp, flags); }else ret = -1; if (ret >= 0) return 0; ......}
seek_frame_byte函数:直接seek到文件指定的position,ts 的 seek 调用此函数。
static int seek_frame_byte(AVFormatContext*s, int stream_index, int64_t pos, intflags){ int64_t pos_min, pos_max; pos_min = s->internal->data_offset; pos_max = avio_size(s->pb) - 1; if (pos < pos_min) pos = pos_min; else if (pos > pos_max) pos = pos_max; avio_seek(s->pb, pos, SEEK_SET); //直接将文件指针指向pos位置 s->io_repositioned = 1; return 0;}
所以 ts seek 逻辑是:给定一个文件位置,直接将文件指针指向该位置。接下来调用 read_packet() 读取一个 ts 包(188字节)时,由于之前进行了seek操作,文件指针很可能没有指到一个 ts packet 的包头位置(包头以0x47 byte打头的),这时候需要调用 mpegts_resync() 进行重新同步找到包头,然后再重新读取一个完整 ts packet。
mp4 的 seek 操作逻辑是:给定一个 seek的目标时间戳(timestamp),根据mp4 里每个包的索引信息,找到时间戳对应的包就可以了。根据下面的 mp4 的文件组织结构,利用Sample Table,可以快速找到任意给定时间戳的 video audio 数据包。
mp4 的文件组织结构如下图
总结:
1、对 mp4 文件来说,由于有索引表,可以快速找到某个时间戳所对应的数据,所以 seek 操作可以快速完成。
2、ts 文件没有时间戳和数据包位置的对应关系,所以对播放器来说,给定seek 的时间戳ts_seek,首先应该根据文件的码率估算一个位置pos,然后获取该位置的数据包的时间戳ts_actual,如果ts_actual < ts_seek ,则需要继续往后读取数据包;如果ts_actual> ts_seek,则需要往前读取数据包,直到读到 ts_seek 对应的数据包。所以 ts 文件的操作可能更加耗时; 如果 ts 包含的是 CBR 码流,则 ts_actual 与 ts_seek 一般差别不大, seek 相对较快; 如果 ts 包含的 VBR 码流, 则 ts_actual 与 ts_seek 可能相差甚远, 则 seek 相对较慢。
- ts, mp4文件快进快退(seek)原理
- live555的trick play的TS实现快进快退
- live555的trick play的TS实现快进快退
- MP4文件点播seek原理
- MP4文件点播seek原理
- ffmpeg 快进快退
- 指导7:快进快退
- ffmpeg文档7:快进快退
- 【转】ffmpeg tutorial 7:快进快退
- Directshow中实现快进快退
- ffmpeg tutorial 7:快进快退
- ffmpeg文档7:快进快退
- [小技巧] youtube 快进快退快捷键
- ffmpeg播放器快进快退(七)
- ffmpeg文档7:快进快退
- jwplayer 限制拖动事件 快进 快退
- Ffmpeg和SDL教程(七)快进快退
- Ffmpeg和SDL教程(七)快进快退
- 【Android休眠】之Android休眠机制
- Spring中ClassPathXmlApplicationContext类的简单使用
- Kotlin类和对象 (九)--- 嵌套类与内部类
- [BZOJ4552]二分答案+线段树
- Android流氓代码块(亲测可行)
- ts, mp4文件快进快退(seek)原理
- vscode权限出现问题
- Java实现数据导出Excel
- Java
- 信息系统项目管理师第七章-----项目管理一般知识
- 事务RFC(TRFC)原理和实战解析
- Zero-Copy && mmap
- intellij idea 设置字体大小
- MySQL 性能调优的10个方法