视频解码研究之PTS(2)Mp4格式，AVI格式和MKV格式

相关文章：

视频解码研究之PTS(1)TS格式和FLV格式

视频解码研究之PTS(2)Mp4格式，AVI格式和MKV格式

MKV格式的PTS解析代码

FLV格式的解复用和PTS分析代码

关于其他格式的PTS请看：

视频解码研究之PTS(1)TS格式和FLV格式

接着上一篇文章分析：

3.MP4格式

    Mp4文件格式的基本单位是atom（或称box）。

    Mp4格式中涉及到PTS信息的atom包括：stts，ctts和elst。

    先介绍stts，格式如下：

    Stts存储着一系列的参数对（sample_count, sample_time_delta）。每一个参数对给出了具相同时间间隔的连续的sample的个数和这些sample的时间间隔值。如下式所示将所有的时间间隔相加，可以得到该track的时间总长。

 duration = (sample_count1 * sample_time_delta1 + ... + sample_countN * sample_time_deltaN ) / timescale

    对某mp4码流（文件名un.mp4）进行分析，可以得到只包含一个参数对，sample_count= 31063, sample_time_delta = 1001.时间单位是该文件的timescale。已知timescale= 1/24000,可以得到每帧图像（一个视频sanple包含一帧未解码的图像）的持续时间是1001*1/24000 =0.041783秒。即帧率为23.977.

    这个参数对的表示，此mp4文件共有31063个视频sample，每个视频sample持续时间都是相同的。

    Elst atom中存储着关于流的起始时间（start_time）的信息，结合stts中的内容就可以计算DTS。

    对于文件中的第n个sample来说：

           DTS = sample_time_delta * n – start_time

    比如un.mp4中elst存储的start_time为2002，则第1个sample的DTS等于-2002，第2个sample的DTS等于-1001，第3个sample的DTS为0，…

    如果mp4文件包含的视频流含有b帧，则需要ctts atom，Ctts atom的结构如下图所示：

    Ctts存储的一系列的参数对（数量为entry count），(sample_count, sample_offset）。一个参数对表示sample_count个的sample的PTS和DTS之间的差为sample_offset。

       所以，对于没有b帧的mp4文件：

              PTS = DTS

       对于有b帧的mp4文件：

              PTS = DTS + sample_offset

       通过程序解析文件un.mp4得到的结果打印在屏幕上，结果和ffmpeg的计算结果相同：

4.AVI格式

    首先，AVI格式中是没有时间戳信息的。

    这样的话，AVI格式的每1帧图像的DTS只能通过帧率来计算，而在有b帧的情况下PTS是无法得到。

    如上图，帧率信息在AVI文件中‘avih’结构和表示视频的结构‘strh’中都能得到：

    ‘avih’中MicroSecPerFrame    = 41708，每帧的时长为41708微秒。

    ‘strh’中sacle/rate = 104271/2500000 =0.0411708秒。

    所以第n个sample的DTS：

           DTS= n*104271/2500000（单位：秒）

    如果以sacle/rate为单位，则

           DTS= n；

5.MKV格式

    Mkv格式的大体结构如下图所示，其中音视频数据存储在Clusters数据段中。

    Clusters数据段的结构如图所示：

    Clusters数据段包含多个cluster，每一个cluster都有一个timecode（图中红线标示），我们称作Cluster’s timecode，本文中简称CTC。Cluster中包含多个BlockGroup，每一个BlockGroup又包含多个Block。Block的结构如下图：

    对于视频来说，一个Block包含一帧图像的数据。每一个Block也有一个time code，称作Block’s timecode，本文中简称BTC。BTC是当前的block相对于所处的cluster的CTC的缩进值。

    所以绝对时间码（Absolute Timecode），本文简称ATC应该等于BTC加上CTC。

    编写程序对某MKV文件进行解析计算，得到前数个block的ATC如下图所示：

    ATC和ffmpeg输出的pts相同，所以对于mkv来说，ATC就是视频每一帧的pts。另，可分析此mkv文件，得到文件中timecode的单位是毫秒。