视频格式详解

来源：互联网发布：如何投诉广电网络编辑：程序博客网时间：2024/05/22 13:14

MP4的视频H264封装有2种格式：h264和avc1

AVC1 描述:H.264 bitstream without start codes.一般通过ffmpeg转码生成的视频，是不带起始码0×00000001的。
H264 描述:H.264 bitstream with start codes.一般对于一下HDVD等电影的压制格式，是带有起始码0×00000001的。
来源文档：http://msdn.microsoft.com/zh-cn/library/dd757808(v=vs.85).aspx

VLC

编码: H264 – MPEG-4 AVC (part 10) (avc1)
编码: H264 – MPEG-4 AVC (part 10) (h264)

主要是因为使用了mp4中的h264编码，而h264有两种封装：
一种是annexb模式，传统模式，有startcode，SPS和PPS是在ES中；另一种是mp4模式，一般mp4、mkv、avi会没有startcode，SPS和PPS以及其它信息被封装在container中，每一个frame前面是这个frame的长度，很多解码器只支持annexb这种模式，因此需要将mp4做转换；在ffmpeg中用h264_mp4toannexb_filter可以做转换；所以需要使用-bsf h264_mp4toannexb来进行转换；

(三)最后，分享一下ffmpeg demux MP4文件后，转换视频流为live555可直接使用的h264 ES流的经验和方法：
针对（avc1），av_read_frame后，取前四个字节为长度，把前四字节直接替换为0×00,0×00,0×00,0×01即可，但注意每个frame可以有多个NAUL：

AVPacket pkt;
AVPacket* packet = &pkt;
av_init_packet(packet);
av_read_frame(ctx, packet);


  if(packet->stream_index == 0)
  {//is video stream

const char start_code[4] = { 0, 0, 0, 1 };
  if(is_avc_ || memcmp(start_code, packet->data, 4) != 0)
  {//is avc1 code, have no start code of H264
  int len = 0;
  uint8_t *p = packet->data;

is_avc_ = True;
  do
  {//add start_code for each NAL, one frame may have multi NALs.
len = ntohl(*((long*)p));
  memcpy(p, start_code, 4);

p += 4;
p += len;
  if(p >= packet->data + packet->size)
  {
  break;
  }
  } while (1);
  }
  }

对于另外一种格式，(h264), 则直接对每个packet调用av_bitstream_filter_filter处理每个packet即可：

bsfc_ = av_bitstream_filter_init("h264_mp4toannexb");

if(pkt->stream_index == 0)
{//is video stream

AVBitStreamFilterContext* bsfc = bsfc_;
  int a;
  while (bsfc) {
AVPacket new_pkt = *pkt;
a = av_bitstream_filter_filter(bsfc, encode_ctx_, NULL,
  &new_pkt.data, &new_pkt.size,
pkt->data, pkt->size,
pkt->flags & AV_PKT_FLAG_KEY);
  if(a == 0 && new_pkt.data != pkt->data && new_pkt.destruct) {
  uint8_t *t = (uint8_t*)(new_pkt.size + FF_INPUT_BUFFER_PADDING_SIZE); //the new should be a subset of the old so cannot overflow
  if(t) {
  memcpy(t, new_pkt.data, new_pkt.size);
  memset(t + new_pkt.size, 0, FF_INPUT_BUFFER_PADDING_SIZE);
new_pkt.data = t;
a = 1;
  } else
a = AVERROR(ENOMEM);
  }
  if (a > 0 && pkt->data != new_pkt.data) {
av_free_packet(pkt);
new_pkt.destruct = av_destruct_packet;
  } else if (a < 0) {
envir() << "!!!!!!!!!!av_bitstream_filter_filter failed" << ",res=" << a << "\n";
  }
  *pkt = new_pkt;

bsfc = bsfc->next;
  }
  }

FLV官方文档不支持MPEG4的视频封装,FLV似乎视频编码只支持H.263和H.264

Red5的主要功能和Macromedia公司的FMS类似，提供基于Flash的流媒体服务的一款基于Java的开源流媒体服务器。它由Java语言编写，使用RTMP作为流媒体传输协议，这与FMS完全兼容。它具有流化FLV、MP3文件，实时录制客户端流为FLV文件，共享对象，实时视频播放、Remoting等功能。用Red5替换FMS后，客户端不用更改可正常运行。

0 0