H264 RTP打包发送 12323
来源：互联网 发布：js调用代码 编辑：程序博客网 时间：2024/05/16 14:05
声明：这个是根据网上VC程序修改的，NALdecoder.cpp，改成在linux环境下运用。
首先需要了解一下rtp封包的格式
H.264 RTP PAYLOAD 格式
H.264 视频 RTP 负载格式
1. 网络抽象层单元类型 (NALU)
NALU 头由一个字节组成, 它的语法如下:
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|F|NRI| Type |
+---------------+
F: 1 个比特.
forbidden_zero_bit. 在 H.264 规范中规定了这一位必须为 0.
NRI: 2 个比特.
nal_ref_idc. 取 00 ~ 11, 似乎指示这个 NALU 的重要性, 如 00 的 NALU 解码器可以丢弃它而不影响图像的回放. 不过一般情况下不太关心
这个属性.
Type: 5 个比特.
nal_unit_type. 这个 NALU 单元的类型. 简述如下:
0 没有定义
1-23 NAL单元 单个 NAL 单元包.
24 STAP-A 单一时间的组合包
24 STAP-B 单一时间的组合包
26 MTAP16 多个时间的组合包
27 MTAP24 多个时间的组合包
28 FU-A 分片的单元
29 FU-B 分片的单元
30-31 没有定义
2. 打包模式
下面是 RFC 3550 中规定的 RTP 头的结构.
0 1 2 3
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|V=2|P|X| CC |M| PT | sequence number |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| timestamp |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| synchronization source (SSRC) identifier |
+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
| contributing source (CSRC) identifiers |
| .... |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
负载类型 Payload type (PT): 7 bits
序列号 Sequence number (SN): 16 bits
时间戳 Timestamp: 32 bits
H.264 Payload 格式定义了三种不同的基本的负载(Payload)结构. 接收端可能通过 RTP Payload
的第一个字节来识别它们. 这一个字节类似 NALU 头的格式, 而这个头结构的 NAL 单元类型字段
则指出了代表的是哪一种结构,
这个字节的结构如下, 可以看出它和 H.264 的 NALU 头结构是一样的.
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|F|NRI| Type |
+---------------+
字段 Type: 这个 RTP payload 中 NAL 单元的类型. 这个字段和 H.264 中类型字段的区别是, 当 type
的值为 24 ~ 31 表示这是一个特别格式的 NAL 单元, 而 H.264 中, 只取 1~23 是有效的值.
24 STAP-A 单一时间的组合包
24 STAP-B 单一时间的组合包
26 MTAP16 多个时间的组合包
27 MTAP24 多个时间的组合包
28 FU-A 分片的单元
29 FU-B 分片的单元
30-31 没有定义
可能的结构类型分别有:
1. 单一 NAL 单元模式
即一个 RTP 包仅由一个完整的 NALU 组成. 这种情况下 RTP NAL 头类型字段和原始的 H.264的
NALU 头类型字段是一样的.
2. 组合封包模式
即可能是由多个 NAL 单元组成一个 RTP 包. 分别有4种组合方式: STAP-A, STAP-B, MTAP16, MTAP24.
那么这里的类型值分别是 24, 25, 26 以及 27.
3. 分片封包模式
用于把一个 NALU 单元封装成多个 RTP 包. 存在两种类型 FU-A 和 FU-B. 类型值分别是 28 和 29.
2.1 单一 NAL 单元模式
对于 NALU 的长度小于 MTU 大小的包, 一般采用单一 NAL 单元模式.
对于一个原始的 H.264 NALU 单元常由 [Start Code] [NALU Header] [NALU Payload] 三部分组成, 其中 Start Code 用于标示这是一个
NALU 单元的开始, 必须是 "00 00 00 01" 或 "00 00 01", NALU 头仅一个字节, 其后都是 NALU 单元内容.
打包时去除 "00 00 01" 或 "00 00 00 01" 的开始码, 把其他数据封包的 RTP 包即可.
0 1 2 3
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|F|NRI| type | |
+-+-+-+-+-+-+-+-+ |
| |
| Bytes 2..n of a Single NAL unit |
| |
| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| :...OPTIONAL RTP padding |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
如有一个 H.264 的 NALU 是这样的:
[00 00 00 01 67 42 A0 1E 23 56 0E 2F ... ]
这是一个序列参数集 NAL 单元. [00 00 00 01] 是四个字节的开始码, 67 是 NALU 头, 42 开始的数据是 NALU 内容.
封装成 RTP 包将如下:
[ RTP Header ] [ 67 42 A0 1E 23 56 0E 2F ]
即只要去掉 4 个字节的开始码就可以了.
2.2 组合封包模式
其次, 当 NALU 的长度特别小时, 可以把几个 NALU 单元封在一个 RTP 包中.
0 1 2 3
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| RTP Header |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|STAP-A NAL HDR | NALU 1 Size | NALU 1 HDR |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| NALU 1 Data |
: :
+ +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| | NALU 2 Size | NALU 2 HDR |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| NALU 2 Data |
: :
| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| :...OPTIONAL RTP padding |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
2.3 Fragmentation Units (FUs).
而当 NALU 的长度超过 MTU 时, 就必须对 NALU 单元进行分片封包. 也称为 Fragmentation Units (FUs).
0 1 2 3
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| FU indicator | FU header | |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |
| |
| FU payload |
| |
| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| :...OPTIONAL RTP padding |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Figure 14. RTP payload format for FU-A
The FU indicator octet has the following format:
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|F|NRI| Type |
+---------------+
The FU header has the following format:
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|S|E|R| Type |
+---------------+
源码文件如下：
- // NALDecoder.cpp : Defines the entry point for the console application.
- // h264.h
- #include <stdio.h>
- #include <stdlib.h>
- #include <string.h>
- #include <sys/socket.h>
- #include <netinet/in.h>
- #include <unistd.h>
- #include <errno.h>
- #include <sys/types.h>
- #include <fcntl.h>
- #define PACKET_BUFFER_END (unsigned int)0x00000000
- #define MAX_RTP_PKT_LENGTH 1400
- #define DEST_IP "172.19.72.56"
- #define DEST_PORT 1234
- #define H264 96
- typedef struct
- {
- /**//* byte 0 */
- unsigned char csrc_len:4; /**//* expect 0 */
- unsigned char extension:1; /**//* expect 1, see RTP_OP below */
- unsigned char padding:1; /**//* expect 0 */
- unsigned char version:2; /**//* expect 2 */
- /**//* byte 1 */
- unsigned char payload:7; /**//* RTP_PAYLOAD_RTSP */
- unsigned char marker:1; /**//* expect 1 */
- /**//* bytes 2, 3 */
- unsigned short seq_no;
- /**//* bytes 4-7 */
- unsigned long timestamp;
- /**//* bytes 8-11 */
- unsigned long ssrc; /**//* stream number is used here. */
- } RTP_FIXED_HEADER;
- typedef struct {
- //byte 0
- unsigned char TYPE:5;
- unsigned char NRI:2;
- unsigned char F:1;
- } NALU_HEADER; /**//* 1 BYTES */
- typedef struct {
- //byte 0
- unsigned char TYPE:5;
- unsigned char NRI:2;
- unsigned char F:1;
- } FU_INDICATOR; /**//* 1 BYTES */
- typedef struct {
- //byte 0
- unsigned char TYPE:5;
- unsigned char R:1;
- unsigned char E:1;
- unsigned char S:1;
- } FU_HEADER; /**//* 1 BYTES */
- typedef struct
- {
- int startcodeprefix_len; //! 4 for parameter sets and first slice in picture, 3 for everything else (suggested)
- unsigned int len; //! Length of the NAL unit (Excluding the start code, which does not belong to the NALU)
- unsigned int max_size; //! Nal Unit Buffer size
- int forbidden_bit; //! should be always FALSE
- int nal_reference_idc; //! NALU_PRIORITY_xxxx
- int nal_unit_type; //! NALU_TYPE_xxxx
- char *buf; //! contains the first byte followed by the EBSP
- unsigned short lost_packets; //! true, if packet loss is detected
- } NALU_t;
- FILE *bits = NULL; //!< the bit stream file
- static int FindStartCode2 (unsigned char *Buf);//查找开始字符0x000001
- static int FindStartCode3 (unsigned char *Buf);//查找开始字符0x00000001
- static int info2=0, info3=0;
- RTP_FIXED_HEADER *rtp_hdr;
- NALU_HEADER *nalu_hdr;
- FU_INDICATOR *fu_ind;
- FU_HEADER *fu_hdr;
- //为NALU_t结构体分配内存空间
- NALU_t *AllocNALU(int buffersize)
- {
- NALU_t *n;
- if ((n = (NALU_t*)calloc (1, sizeof (NALU_t))) == NULL)
- {
- printf("AllocNALU: n");
- exit(0);
- }
- n->max_size=buffersize;
- if ((n->buf = (char*)calloc (buffersize, sizeof (char))) == NULL)
- {
- free (n);
- printf ("AllocNALU: n->buf");
- exit(0);
- }
- return n;
- }
- //释放
- void FreeNALU(NALU_t *n)
- {
- if (n)
- {
- if (n->buf)
- {
- free(n->buf);
- n->buf=NULL;
- }
- free (n);
- }
- }
- //打开二进制文件串流
- void OpenBitstreamFile (char *fn)
- {
- if (NULL == (bits=fopen(fn, "rb")))
- {
- printf("open file error\n");
- exit(0);
- }
- }
- //这个函数输入为一个NAL结构体，主要功能为得到一个完整的NALU并保存在NALU_t的buf中，获取他的长度，填充F,IDC,TYPE位。
- //并且返回两个开始字符之间间隔的字节数，即包含有前缀的NALU的长度
- int GetAnnexbNALU (NALU_t *nalu)
- {
- int pos = 0;
- int StartCodeFound, rewind;
- unsigned char *Buf;
- if ((Buf = (unsigned char*)calloc (nalu->max_size , sizeof(char))) == NULL)
- printf ("GetAnnexbNALU: Could not allocate Buf memory\n");
- nalu->startcodeprefix_len=3;//初始化码流序列的开始字符为3个字节
- if (3 != fread (Buf, 1, 3, bits))//从码流中读3个字节
- {
- free(Buf);
- return 0;
- }
- info2 = FindStartCode2 (Buf);//判断是否为0x000001
- if(info2 != 1) //如果不是，再读一个字节
- {
- if(1 != fread(Buf+3, 1, 1, bits))//读一个字节
- {
- free(Buf);
- return 0;
- }
- info3 = FindStartCode3 (Buf);//判断是否为0x00000001
- if (info3 != 1)//如果不是，返回-1
- {
- free(Buf);
- return -1;
- }
- else
- {
- //如果是0x00000001,得到开始前缀为4个字节
- pos = 4;
- nalu->startcodeprefix_len = 4;
- }
- }
- else
- {
- //如果是0x000001,得到开始前缀为3个字节
- nalu->startcodeprefix_len = 3;
- pos = 3;
- }
- //查找下一个开始字符的标志位
- StartCodeFound = 0;
- info2 = 0;
- info3 = 0;
- while (!StartCodeFound)
- {
- if (feof (bits))//判断是否到了文件尾
- {
- nalu->len = (pos-1)-nalu->startcodeprefix_len;
- memcpy (nalu->buf, &Buf[nalu->startcodeprefix_len], nalu->len);
- nalu->forbidden_bit = nalu->buf[0] & 0x80; //1 bit
- nalu->nal_reference_idc = nalu->buf[0] & 0x60; // 2 bit
- nalu->nal_unit_type = (nalu->buf[0]) & 0x1f;// 5 bit
- free(Buf);
- return pos-1;
- }
- Buf[pos++] = fgetc (bits);//读一个字节到BUF中
- info3 = FindStartCode3(&Buf[pos-4]);//判断是否为0x00000001
- if(info3 != 1)
- info2 = FindStartCode2(&Buf[pos-3]);//判断是否为0x000001
- StartCodeFound = (info2 == 1 || info3 == 1);
- }
- // Here, we have found another start code (and read length of startcode bytes more than we should
- // have. Hence, go back in the file
- rewind = (info3 == 1)? -4 : -3;
- if (0 != fseek (bits, rewind, SEEK_CUR))//把文件指针指向前一个NALU的末尾
- {
- free(Buf);
- printf("GetAnnexbNALU: Cannot fseek in the bit stream file");
- }
- // Here the Start code, the complete NALU, and the next start code is in the Buf.
- // The size of Buf is pos, pos+rewind are the number of bytes excluding the next
- // start code, and (pos+rewind)-startcodeprefix_len is the size of the NALU excluding the start code
- nalu->len = (pos+rewind)-nalu->startcodeprefix_len; //得到一个NAL单元长度
- memcpy (nalu->buf, &Buf[nalu->startcodeprefix_len], nalu->len);//拷贝一个完整NALU，不拷贝起始前缀0x000001或0x00000001
- nalu->forbidden_bit = nalu->buf[0] & 0x80; //1 bit
- nalu->nal_reference_idc = nalu->buf[0] & 0x60; // 2 bit
- nalu->nal_unit_type = (nalu->buf[0]) & 0x1f;// 5 bit
- free(Buf);
- return (pos+rewind);//返回两个开始字符之间间隔的字节数，即包含有前缀的NALU的长度
- }
- //输出NALU长度和TYPE
- void dump(NALU_t *n)
- {
- if (!n)
- return;
- printf(" len: %d ", n->len);
- printf("nal_unit_type: %x\n", n->nal_unit_type);
- }
- int main(int argc, char* argv[])
- {
- OpenBitstreamFile("./test.264");//打开264文件，并将文件指针赋给bits,在此修改文件名实现打开别的264文件。
- NALU_t *n;
- char* nalu_payload;
- char sendbuf[1500];
- unsigned short seq_num =0;
- int bytes=0;
- int sockfd;
- struct sockaddr_in serv_addr;
- //int len =sizeof(serv_addr);
- float framerate=15;
- unsigned int timestamp_increse=0,ts_current=0;
- timestamp_increse=(unsigned int)(90000.0 / framerate); //+0.5);
- if ((sockfd = socket(AF_INET,SOCK_DGRAM,0)) == -1)
- {
- perror("socket");
- exit(1);
- }
- /*设置socketaddr_in结构体中相关参数*/
- serv_addr.sin_family=AF_INET;
- serv_addr.sin_port=htons(DEST_PORT);
- serv_addr.sin_addr.s_addr=inet_addr(DEST_IP);
- /*调用connect函数主动发起对服务器端的连接*/
- if(connect(sockfd,(struct sockaddr *)&serv_addr, sizeof(struct sockaddr))== -1)
- {
- perror("connect");
- exit(1);
- }
- n = AllocNALU(8000000);//为结构体nalu_t及其成员buf分配空间。返回值为指向nalu_t存储空间的指针
- while(!feof(bits))
- {
- GetAnnexbNALU(n);//每执行一次，文件的指针指向本次找到的NALU的末尾，下一个位置即为下个NALU的起始码0x000001
- dump(n);//输出NALU长度和TYPE
- memset(sendbuf,0,1500);//清空sendbuf；此时会将上次的时间戳清空，因此需要ts_current来保存上次的时间戳值
- //rtp固定包头，为12字节,该句将sendbuf[0]的地址赋给rtp_hdr，以后对rtp_hdr的写入操作将直接写入sendbuf。
- rtp_hdr =(RTP_FIXED_HEADER*)&sendbuf[0];
- //设置RTP HEADER£
- rtp_hdr->payload = H264; //负载类型号
- rtp_hdr->version = 2; //版本号，此版本固定为2
- rtp_hdr->marker = 0; //标志位，由具体协议规定其值。
- rtp_hdr->ssrc = htonl(10); //随机指定为10，并且在本RTP会话中全局唯一
- // 当一个NALU小于1400字节的时候，采用一个单RTP包发送
- if(n->len<=1400)
- {
- //设置rtp M 位；
- rtp_hdr->marker=1;
- rtp_hdr->seq_no = htons(seq_num ++); //序列号，每发送一个RTP包增1
- //设置NALU HEADER,并将这个HEADER填入sendbuf[12]
- nalu_hdr =(NALU_HEADER*)&sendbuf[12]; //将sendbuf[12]的地址赋给nalu_hdr，之后对nalu_hdr的写入就将写入sendbuf中；
- nalu_hdr->F=n->forbidden_bit;
- nalu_hdr->NRI=n->nal_reference_idc>>5;//有效数据在n->nal_reference_idc的第6，7位，需要右移5位才能将其值赋给nalu_hdr->NRI。
- nalu_hdr->TYPE=n->nal_unit_type;
- nalu_payload=&sendbuf[13];//同理将sendbuf[13]赋给nalu_payload
- memcpy(nalu_payload,n->buf+1,n->len-1);//去掉nalu头的nalu剩余内容写入sendbuf[13]开始的字符串。
- ts_current=ts_current+timestamp_increse;
- rtp_hdr->timestamp=htonl(ts_current);
- bytes=n->len + 12 ; //获得sendbuf的长度,为nalu的长度（包含NALU头但除去起始前缀）加上rtp_header的固定长度12字节
- send( sockfd, sendbuf, bytes, 0 );//发送rtp包
- // Sleep(100);
- }
- else if(n->len>1400)
- {
- //得到该nalu需要用多少长度为1400字节的RTP包来发送
- int k=0,l=0;
- k=n->len/1400;//需要k个1400字节的RTP包
- l=n->len%1400;//最后一个RTP包的需要装载的字节数
- int t=0;//用于指示当前发送的是第几个分片RTP包
- ts_current=ts_current+timestamp_increse;
- rtp_hdr->timestamp=htonl(ts_current);
- while(t<=k)
- {
- rtp_hdr->seq_no = htons(seq_num ++); //序列号，每发送一个RTP包增1
- if(!t)//发送一个需要分片的NALU的第一个分片，置FU HEADER的S位
- {
- //设置rtp M 位；
- rtp_hdr->marker=0;
- //设置FU INDICATOR,并将这个HEADER填入sendbuf[12]
- fu_ind =(FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind，之后对fu_ind的写入就将写入sendbuf中；
- fu_ind->F=n->forbidden_bit;
- fu_ind->NRI=n->nal_reference_idc>>5;
- fu_ind->TYPE=28;
- //设置FU HEADER,并将这个HEADER填入sendbuf[13]
- fu_hdr =(FU_HEADER*)&sendbuf[13];
- fu_hdr->E=0;
- fu_hdr->R=0;
- fu_hdr->S=1;
- fu_hdr->TYPE=n->nal_unit_type;
- nalu_payload=&sendbuf[14];//同理将sendbuf[14]赋给nalu_payload
- memcpy(nalu_payload,n->buf+1,1400);//去掉NALU头
- bytes=1400+14; //获得sendbuf的长度,为nalu的长度（除去起始前缀和NALU头）加上rtp_header，fu_ind，fu_hdr的固定长度14字节
- send( sockfd, sendbuf, bytes, 0 );//发送rtp包
- t++;
- }
- //发送一个需要分片的NALU的非第一个分片，清零FU HEADER的S位，如果该分片是该NALU的最后一个分片，置FU HEADER的E位
- else if(k==t)//发送的是最后一个分片，注意最后一个分片的长度可能超过1400字节（当l>1386时）。
- {
- //设置rtp M 位；当前传输的是最后一个分片时该位置1
- rtp_hdr->marker=1;
- //设置FU INDICATOR,并将这个HEADER填入sendbuf[12]
- fu_ind =(FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind，之后对fu_ind的写入就将写入sendbuf中；
- fu_ind->F=n->forbidden_bit;
- fu_ind->NRI=n->nal_reference_idc>>5;
- fu_ind->TYPE=28;
- //设置FU HEADER,并将这个HEADER填入sendbuf[13]
- fu_hdr =(FU_HEADER*)&sendbuf[13];
- fu_hdr->R=0;
- fu_hdr->S=0;
- fu_hdr->TYPE=n->nal_unit_type;
- fu_hdr->E=1;
- nalu_payload=&sendbuf[14];//同理将sendbuf[14]的地址赋给nalu_payload
- memcpy(nalu_payload,n->buf+t*1400+1,l-1);//将nalu最后剩余的l-1(去掉了一个字节的NALU头)字节内容写入sendbuf[14]开始的字符串。
- bytes=l-1+14; //获得sendbuf的长度,为剩余nalu的长度l-1加上rtp_header，FU_INDICATOR,FU_HEADER三个包头共14字节
- send( sockfd, sendbuf, bytes, 0 );//发送rtp包
- t++;
- // Sleep(100);
- }
- else if(t<k&&0!=t)
- {
- //设置rtp M 位；
- rtp_hdr->marker=0;
- //设置FU INDICATOR,并将这个HEADER填入sendbuf[12]
- fu_ind =(FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind，之后对fu_ind的写入就将写入sendbuf中；
- fu_ind->F=n->forbidden_bit;
- fu_ind->NRI=n->nal_reference_idc>>5;
- fu_ind->TYPE=28;
- //设置FU HEADER,并将这个HEADER填入sendbuf[13]
- fu_hdr =(FU_HEADER*)&sendbuf[13];
- //fu_hdr->E=0;
- fu_hdr->R=0;
- fu_hdr->S=0;
- fu_hdr->E=0;
- fu_hdr->TYPE=n->nal_unit_type;
- nalu_payload=&sendbuf[14];//同理将sendbuf[14]的地址赋给nalu_payload
- memcpy(nalu_payload,n->buf+t*1400+1,1400);//去掉起始前缀的nalu剩余内容写入sendbuf[14]开始的字符串。
- bytes=1400+14; //获得sendbuf的长度,为nalu的长度（除去原NALU头）加上rtp_header，fu_ind，fu_hdr的固定长度14字节
- send( sockfd, sendbuf, bytes, 0 );//发送rtp包
- t++;
- }
- }
- }
- }
- FreeNALU(n);
- return 0;
- }
- static int FindStartCode2 (unsigned char *Buf)
- {
- if(Buf[0]!=0 || Buf[1]!=0 || Buf[2] !=1)
- return 0; //判断是否为0x000001,如果是返回1
- else
- return 1;
- }
- static int FindStartCode3 (unsigned char *Buf)
- {
- if(Buf[0]!=0 || Buf[1]!=0 || Buf[2] !=0 || Buf[3] !=1)
- return 0;//判断是否为0x00000001,如果是返回1
- else
- return 1;
- }
// NALDecoder.cpp : Defines the entry point for the console application.// h264.h#include <stdio.h>#include <stdlib.h>#include <string.h>#include <sys/socket.h>#include <netinet/in.h>#include <unistd.h>#include <errno.h>#include <sys/types.h>#include <fcntl.h>#define PACKET_BUFFER_END (unsigned int)0x00000000#define MAX_RTP_PKT_LENGTH 1400#define DEST_IP "172.19.72.56"#define DEST_PORT 1234#define H264 96typedef struct { /**//* byte 0 */ unsigned char csrc_len:4; /**//* expect 0 */ unsigned char extension:1; /**//* expect 1, see RTP_OP below */ unsigned char padding:1; /**//* expect 0 */ unsigned char version:2; /**//* expect 2 */ /**//* byte 1 */ unsigned char payload:7; /**//* RTP_PAYLOAD_RTSP */ unsigned char marker:1; /**//* expect 1 */ /**//* bytes 2, 3 */ unsigned short seq_no; /**//* bytes 4-7 */ unsigned long timestamp; /**//* bytes 8-11 */ unsigned long ssrc; /**//* stream number is used here. */} RTP_FIXED_HEADER;typedef struct { //byte 0unsigned char TYPE:5; unsigned char NRI:2;unsigned char F:1; } NALU_HEADER; /**//* 1 BYTES */typedef struct { //byte 0 unsigned char TYPE:5;unsigned char NRI:2; unsigned char F:1; } FU_INDICATOR; /**//* 1 BYTES */typedef struct { //byte 0 unsigned char TYPE:5;unsigned char R:1;unsigned char E:1;unsigned char S:1; } FU_HEADER; /**//* 1 BYTES */typedef struct{ int startcodeprefix_len; //! 4 for parameter sets and first slice in picture, 3 for everything else (suggested) unsigned int len; //! Length of the NAL unit (Excluding the start code, which does not belong to the NALU) unsigned int max_size; //! Nal Unit Buffer size int forbidden_bit; //! should be always FALSE int nal_reference_idc; //! NALU_PRIORITY_xxxx int nal_unit_type; //! NALU_TYPE_xxxx char *buf; //! contains the first byte followed by the EBSP unsigned short lost_packets; //! true, if packet loss is detected} NALU_t;FILE *bits = NULL; //!< the bit stream filestatic int FindStartCode2 (unsigned char *Buf);//查找开始字符0x000001static int FindStartCode3 (unsigned char *Buf);//查找开始字符0x00000001static int info2=0, info3=0;RTP_FIXED_HEADER *rtp_hdr;NALU_HEADER*nalu_hdr;FU_INDICATOR*fu_ind;FU_HEADER*fu_hdr;//为NALU_t结构体分配内存空间NALU_t *AllocNALU(int buffersize){NALU_t *n;if ((n = (NALU_t*)calloc (1, sizeof (NALU_t))) == NULL){ printf("AllocNALU: n"); exit(0);}n->max_size=buffersize;if ((n->buf = (char*)calloc (buffersize, sizeof (char))) == NULL){free (n);printf ("AllocNALU: n->buf");exit(0);}return n;}//释放void FreeNALU(NALU_t *n){if (n){if (n->buf){ free(n->buf); n->buf=NULL;}free (n);}}//打开二进制文件串流void OpenBitstreamFile (char *fn){ if (NULL == (bits=fopen(fn, "rb"))) { printf("open file error\n"); exit(0); }}//这个函数输入为一个NAL结构体，主要功能为得到一个完整的NALU并保存在NALU_t的buf中，获取他的长度，填充F,IDC,TYPE位。//并且返回两个开始字符之间间隔的字节数，即包含有前缀的NALU的长度int GetAnnexbNALU (NALU_t *nalu){int pos = 0;int StartCodeFound, rewind;unsigned char *Buf; if ((Buf = (unsigned char*)calloc (nalu->max_size , sizeof(char))) == NULL) printf ("GetAnnexbNALU: Could not allocate Buf memory\n"); nalu->startcodeprefix_len=3;//初始化码流序列的开始字符为3个字节 if (3 != fread (Buf, 1, 3, bits))//从码流中读3个字节{free(Buf);return 0;} info2 = FindStartCode2 (Buf);//判断是否为0x000001if(info2 != 1) //如果不是，再读一个字节{if(1 != fread(Buf+3, 1, 1, bits))//读一个字节{ free(Buf); return 0;}info3 = FindStartCode3 (Buf);//判断是否为0x00000001if (info3 != 1)//如果不是，返回-1{ free(Buf); return -1;}else {//如果是0x00000001,得到开始前缀为4个字节 pos = 4; nalu->startcodeprefix_len = 4;}} else{//如果是0x000001,得到开始前缀为3个字节nalu->startcodeprefix_len = 3;pos = 3;}//查找下一个开始字符的标志位StartCodeFound = 0;info2 = 0;info3 = 0; while (!StartCodeFound) {if (feof (bits))//判断是否到了文件尾{ nalu->len = (pos-1)-nalu->startcodeprefix_len;memcpy (nalu->buf, &Buf[nalu->startcodeprefix_len], nalu->len); nalu->forbidden_bit = nalu->buf[0] & 0x80; //1 bitnalu->nal_reference_idc = nalu->buf[0] & 0x60; // 2 bitnalu->nal_unit_type = (nalu->buf[0]) & 0x1f;// 5 bitfree(Buf); return pos-1;} Buf[pos++] = fgetc (bits);//读一个字节到BUF中 info3 = FindStartCode3(&Buf[pos-4]);//判断是否为0x00000001 if(info3 != 1) info2 = FindStartCode2(&Buf[pos-3]);//判断是否为0x000001 StartCodeFound = (info2 == 1 || info3 == 1); } // Here, we have found another start code (and read length of startcode bytes more than we should // have. Hence, go back in the file rewind = (info3 == 1)? -4 : -3; if (0 != fseek (bits, rewind, SEEK_CUR))//把文件指针指向前一个NALU的末尾 { free(Buf);printf("GetAnnexbNALU: Cannot fseek in the bit stream file"); } // Here the Start code, the complete NALU, and the next start code is in the Buf. // The size of Buf is pos, pos+rewind are the number of bytes excluding the next // start code, and (pos+rewind)-startcodeprefix_len is the size of the NALU excluding the start codenalu->len = (pos+rewind)-nalu->startcodeprefix_len;//得到一个NAL单元长度memcpy (nalu->buf, &Buf[nalu->startcodeprefix_len], nalu->len);//拷贝一个完整NALU，不拷贝起始前缀0x000001或0x00000001nalu->forbidden_bit = nalu->buf[0] & 0x80; //1 bitnalu->nal_reference_idc = nalu->buf[0] & 0x60; // 2 bitnalu->nal_unit_type = (nalu->buf[0]) & 0x1f;// 5 bitfree(Buf);return (pos+rewind);//返回两个开始字符之间间隔的字节数，即包含有前缀的NALU的长度}//输出NALU长度和TYPEvoid dump(NALU_t *n){if (!n)return;printf(" len: %d ", n->len);printf("nal_unit_type: %x\n", n->nal_unit_type);}int main(int argc, char* argv[]){OpenBitstreamFile("./test.264");//打开264文件，并将文件指针赋给bits,在此修改文件名实现打开别的264文件。NALU_t *n;char* nalu_payload; char sendbuf[1500];unsigned short seq_num =0;intbytes=0;int sockfd;struct sockaddr_in serv_addr; //int len =sizeof(serv_addr);float framerate=15;unsigned int timestamp_increse=0,ts_current=0;timestamp_increse=(unsigned int)(90000.0 / framerate); //+0.5);if ((sockfd = socket(AF_INET,SOCK_DGRAM,0)) == -1){perror("socket");exit(1);}/*设置socketaddr_in结构体中相关参数*/serv_addr.sin_family=AF_INET; serv_addr.sin_port=htons(DEST_PORT); serv_addr.sin_addr.s_addr=inet_addr(DEST_IP); /*调用connect函数主动发起对服务器端的连接*/if(connect(sockfd,(struct sockaddr *)&serv_addr, sizeof(struct sockaddr))== -1){perror("connect");exit(1);} n = AllocNALU(8000000);//为结构体nalu_t及其成员buf分配空间。返回值为指向nalu_t存储空间的指针while(!feof(bits)) {GetAnnexbNALU(n);//每执行一次，文件的指针指向本次找到的NALU的末尾，下一个位置即为下个NALU的起始码0x000001dump(n);//输出NALU长度和TYPEmemset(sendbuf,0,1500);//清空sendbuf；此时会将上次的时间戳清空，因此需要ts_current来保存上次的时间戳值//rtp固定包头，为12字节,该句将sendbuf[0]的地址赋给rtp_hdr，以后对rtp_hdr的写入操作将直接写入sendbuf。rtp_hdr =(RTP_FIXED_HEADER*)&sendbuf[0]; //设置RTP HEADER£rtp_hdr->payload = H264; //负载类型号rtp_hdr->version = 2; //版本号，此版本固定为2rtp_hdr->marker = 0; //标志位，由具体协议规定其值。 rtp_hdr->ssrc = htonl(10); //随机指定为10，并且在本RTP会话中全局唯一//当一个NALU小于1400字节的时候，采用一个单RTP包发送if(n->len<=1400){//设置rtp M 位；rtp_hdr->marker=1;rtp_hdr->seq_no = htons(seq_num ++); //序列号，每发送一个RTP包增1//设置NALU HEADER,并将这个HEADER填入sendbuf[12]nalu_hdr =(NALU_HEADER*)&sendbuf[12]; //将sendbuf[12]的地址赋给nalu_hdr，之后对nalu_hdr的写入就将写入sendbuf中；nalu_hdr->F=n->forbidden_bit;nalu_hdr->NRI=n->nal_reference_idc>>5;//有效数据在n->nal_reference_idc的第6，7位，需要右移5位才能将其值赋给nalu_hdr->NRI。nalu_hdr->TYPE=n->nal_unit_type;nalu_payload=&sendbuf[13];//同理将sendbuf[13]赋给nalu_payloadmemcpy(nalu_payload,n->buf+1,n->len-1);//去掉nalu头的nalu剩余内容写入sendbuf[13]开始的字符串。ts_current=ts_current+timestamp_increse;rtp_hdr->timestamp=htonl(ts_current);bytes=n->len + 12 ;//获得sendbuf的长度,为nalu的长度（包含NALU头但除去起始前缀）加上rtp_header的固定长度12字节send( sockfd, sendbuf, bytes, 0 );//发送rtp包//Sleep(100);}else if(n->len>1400){//得到该nalu需要用多少长度为1400字节的RTP包来发送int k=0,l=0;k=n->len/1400;//需要k个1400字节的RTP包l=n->len%1400;//最后一个RTP包的需要装载的字节数int t=0;//用于指示当前发送的是第几个分片RTP包ts_current=ts_current+timestamp_increse;rtp_hdr->timestamp=htonl(ts_current);while(t<=k){rtp_hdr->seq_no = htons(seq_num ++); //序列号，每发送一个RTP包增1if(!t)//发送一个需要分片的NALU的第一个分片，置FU HEADER的S位{//设置rtp M 位；rtp_hdr->marker=0;//设置FU INDICATOR,并将这个HEADER填入sendbuf[12]fu_ind =(FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind，之后对fu_ind的写入就将写入sendbuf中；fu_ind->F=n->forbidden_bit;fu_ind->NRI=n->nal_reference_idc>>5;fu_ind->TYPE=28;//设置FU HEADER,并将这个HEADER填入sendbuf[13]fu_hdr =(FU_HEADER*)&sendbuf[13];fu_hdr->E=0;fu_hdr->R=0;fu_hdr->S=1;fu_hdr->TYPE=n->nal_unit_type;nalu_payload=&sendbuf[14];//同理将sendbuf[14]赋给nalu_payloadmemcpy(nalu_payload,n->buf+1,1400);//去掉NALU头bytes=1400+14;//获得sendbuf的长度,为nalu的长度（除去起始前缀和NALU头）加上rtp_header，fu_ind，fu_hdr的固定长度14字节send( sockfd, sendbuf, bytes, 0 );//发送rtp包t++;}//发送一个需要分片的NALU的非第一个分片，清零FU HEADER的S位，如果该分片是该NALU的最后一个分片，置FU HEADER的E位else if(k==t)//发送的是最后一个分片，注意最后一个分片的长度可能超过1400字节（当l>1386时）。{//设置rtp M 位；当前传输的是最后一个分片时该位置1rtp_hdr->marker=1;//设置FU INDICATOR,并将这个HEADER填入sendbuf[12]fu_ind =(FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind，之后对fu_ind的写入就将写入sendbuf中；fu_ind->F=n->forbidden_bit;fu_ind->NRI=n->nal_reference_idc>>5;fu_ind->TYPE=28;//设置FU HEADER,并将这个HEADER填入sendbuf[13]fu_hdr =(FU_HEADER*)&sendbuf[13];fu_hdr->R=0;fu_hdr->S=0;fu_hdr->TYPE=n->nal_unit_type;fu_hdr->E=1;nalu_payload=&sendbuf[14];//同理将sendbuf[14]的地址赋给nalu_payloadmemcpy(nalu_payload,n->buf+t*1400+1,l-1);//将nalu最后剩余的l-1(去掉了一个字节的NALU头)字节内容写入sendbuf[14]开始的字符串。bytes=l-1+14;//获得sendbuf的长度,为剩余nalu的长度l-1加上rtp_header，FU_INDICATOR,FU_HEADER三个包头共14字节send( sockfd, sendbuf, bytes, 0 );//发送rtp包t++;//Sleep(100);}else if(t<k&&0!=t){//设置rtp M 位；rtp_hdr->marker=0;//设置FU INDICATOR,并将这个HEADER填入sendbuf[12]fu_ind =(FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind，之后对fu_ind的写入就将写入sendbuf中；fu_ind->F=n->forbidden_bit;fu_ind->NRI=n->nal_reference_idc>>5;fu_ind->TYPE=28;//设置FU HEADER,并将这个HEADER填入sendbuf[13]fu_hdr =(FU_HEADER*)&sendbuf[13];//fu_hdr->E=0;fu_hdr->R=0;fu_hdr->S=0;fu_hdr->E=0;fu_hdr->TYPE=n->nal_unit_type;nalu_payload=&sendbuf[14];//同理将sendbuf[14]的地址赋给nalu_payloadmemcpy(nalu_payload,n->buf+t*1400+1,1400);//去掉起始前缀的nalu剩余内容写入sendbuf[14]开始的字符串。bytes=1400+14;//获得sendbuf的长度,为nalu的长度（除去原NALU头）加上rtp_header，fu_ind，fu_hdr的固定长度14字节send( sockfd, sendbuf, bytes, 0 );//发送rtp包t++;}}}}FreeNALU(n);return 0;}static int FindStartCode2 (unsigned char *Buf){ if(Buf[0]!=0 || Buf[1]!=0 || Buf[2] !=1) return 0; //判断是否为0x000001,如果是返回1 else return 1;}static int FindStartCode3 (unsigned char *Buf){ if(Buf[0]!=0 || Buf[1]!=0 || Buf[2] !=0 || Buf[3] !=1) return 0;//判断是否为0x00000001,如果是返回1 else return 1;}在56的客户端上打开vlc，加载sdp文件即可看到h264经过rtp打包的视频数据
sdp文件内容如下：
- m=video 1234 RTP/AVP 96
- a=rtpmap:96 H264
- a=framerate:15
- c=IN IP4 172.19.72.56
- H264 RTP打包发送 12323
- H264 RTP打包发送
- H264 RTP打包发送
- RTP打包发送H264
- H264 RTP打包发送 2222
- rtp打包发送H264文件
- RTP打包发送H264（上）
- RTP打包发送H264（中）
- RTP打包发送H264（下）
- H264 RTP打包方式
- H264 RTP打包方式
- h264 rtp打包
- RTP 打包H264
- rtp打包H264
- h264 rtp打包
- RTP打包H264
- RTP发送H264
- 对标准H264码流的RTP打包 VLC播放RTP打包发送的.264文件
- 31天重构学习笔记11. 使用策略类
- 31天重构学习笔记12. 分解依赖
- 31天重构学习笔记13. 提取方法对象
- 31天重构学习笔记14. 分离职责
- 31天重构学习笔记15. 移除重复内容
- H264 RTP打包发送 12323
- 31天重构学习笔记16. 封装条件
- 31天重构学习笔记17. 提取父类
- 31天重构学习笔记18. 使用条件判断代替异常
- 31天重构学习笔记19. 提取工厂类
- 31天重构学习笔记20. 提取子类
- 31天重构学习笔记21. 合并继承
- 31天重构学习笔记22. 分解方法
- 31天重构学习笔记23. 引入参数对象
