多个视频画面拼接技术

____YUV主要采样格式理解

主要的采样格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。其中YCbCr 4:1:1 比较常用，其含义为：每个点保存一个 8bit 的亮度值(也就是Y值), 每 2x2 个点保存一个 Cr 和Cb 值, 图像在肉眼中的感觉不会起太大的变化。所以, 原来用 RGB(R,G,B 都是 8bit unsigned) 模型, 4 个点需要 8x3=24 bites（如下图第一个图）. 而现在仅需要 8+(8/4)+(8/4)=12bites, 平均每个点占12bites(如下图第二个图)。这样就把图像的数据压缩了一半。

上边仅给出了理论上的示例，在实际数据存储中是有可能是不同的，下面给出几种具体的存储形式：

（1） YUV 4:4:4

YUV三个信道的抽样率相同，因此在生成的图像里，每个象素的三个分量信息完整（每个分量通常8比特），经过8比特量化之后，未经压缩的每个像素占用3个字节。

下面的四个像素为: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]

存放的码流为: Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3

（2） YUV 4:2:2

每个色差信道的抽样率是亮度信道的一半，所以水平方向的色度抽样率只是4:4:4的一半。对非压缩的8比特量化的图像来说，每个由两个水平方向相邻的像素组成的宏像素需要占用4字节内存（亮度2个字节,两个色度各1个字节）。。

下面的四个像素为: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]

存放的码流为: Y0 U0 Y1 V1 Y2 U2 Y3 V3

映射出像素点为：[Y0 U0 V1] [Y1 U0 V1] [Y2 U2 V3] [Y3 U2 V3]

（3） YUV 4:1:1

4:1:1的色度抽样，是在水平方向上对色度进行4:1抽样。对于低端用户和消费类产品这仍然是可以接受的。对非压缩的8比特量化的视频来说，每个由4个水平方向相邻的像素组成的宏像素需要占用6字节内存（亮度4个字节,两个色度各1个字节）。

下面的四个像素为: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]

存放的码流为: Y0 U0 Y1 Y2 V2 Y3

映射出像素点为：[Y0 U0 V2] [Y1 U0 V2] [Y2 U0 V2] [Y3 U0 V2]

（4）YUV4:2:0

4:2:0并不意味着只有Y,Cb而没有Cr分量。它指得是对每行扫描线来说，只有一种色度分量以2:1的抽样率存储。相邻的扫描行存储不同的色度分量， 也就是说，如果一行是4:2:0的话，下一行就是4:0:2，再下一行是4:2:0...以此类推。对每个色度分量来说，水平方向和竖直方向的抽样率都是 2:1，所以可以说色度的抽样率是4:1。对非压缩的8比特量化的视频来说，每个由2x2个2行2列相邻的像素组成的宏像素需要占用6字节内存（亮度4个字节,两个色度各1个字节）。

下面八个像素为：[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]

[Y5 U5 V5] [Y6 U6 V6] [Y7U7 V7] [Y8 U8 V8]

存放的码流为：Y0 U0 Y1 Y2 U2 Y3

Y5 V5 Y6 Y7 V7 Y8

映射出的像素点为：[Y0 U0 V5] [Y1 U0 V5] [Y2 U2 V7] [Y3 U2 V7]

[Y5 U0 V5] [Y6 U0 V5] [Y7U2 V7] [Y8 U2 V7]

YUV420拼接

在视频会议/视频监控/视频调度等场景中,存在多分屏的应用, 典型如4分屏,/5+1/画中画等, 如下图所示:

这就需要用到视频拼接 需要将多路decode后的数据, 按每路的对应位置, 拼接到一路画面中,再encoder送出去.

本段描述如何做视频拼接.

YUV420在内存中的存放格式如下图所示:

主要的拼接思路如下:

1. 获取必要的数据:
   • 合成画面的大小, mix_width, mix_height
   • 需要拼接画面的原始大小, src_width, src_height
   • 拼接过后画面的大小和位置, region_width, region_height, region_top_x, region_top_y. 这里面表示的是具体region的画面长宽, 位置用左上角那个点的坐标表示,x/y的值是相对位置,用百分比表示.比如,
     • 1分屏的位置region_top_x和region_top_y分别为0,0,
     • 2分屏的位置为1/2,0
     • 3分屏的位置为0,1/2
     • 4分屏的位置为1/2,1/2
2. 申请mix的内存, 大小为mix_width*mix_height*3/2
3. 开始拼接一路画面,
   • scale拼接画面, 将src_width/src_height大小reszie为region_width/region_height, 这个过程可以使用ffmpeg的sws_scale
   • 假设mix的画面内存首地址为mix_buffer, scale之后的拼接画面的内存首地址为region_src_buffer.
   • 获取源数据(region_src_buffer)的yuv数据的内存首地址

region_src_y = region_src_buffer;

region_src_u = region_ src_buffer +region_width * region_height ;

region_src_v = region_ src_buffer + region_width * region_height * 5 / 4

• 获取region在合成画面的YUV数据的内存首地址

region_dst_y = mix_buffer + mix_width * mix_height * region_top_y + mix_width * region_top_x

region_dst_u = mix_buffer + mix_width * mix_height + mix_width * region_top_x / 2 + mix_width * mix_height * region_top_y / 4

region_dst_v = mix_buffer + mix_width * mix_height * 5 / 4 + mix_width * mix_height + mix_width * region_top_x / 2 + mix_width * mix_height * region_top_y / 4

• 复制Y数据

uint32_t tmp_dst_pos = 0;

uint32_t tmp_src_pos = 0;

for(uint32_t i = 0; i < region_height; i++)

{

    memcpy(region_dst_y + tmp_dst_pos, region_src_y + tmp_src_pos, region_width);

    tmp_dst_pos += mix_width;

    tmp_src_pos += region_width;

}

• 复制UV数据

uint32_t tmp_dst_pos = 0;

uint32_t tmp_src_pos = 0;

for(uint32_t i = 0; i < region_height / 2; i++)

{

    memcpy(region_dst_u + tmp_dst_pos, region_src_u + tmp_src_pos, region_width / 2);

    memcpy(region_dst_v + tmp_dst_pos, region_src_v + tmp_src_pos, region_width / 2);

    tmp_dst_pos += mix_width / 2;

    tmp_src_pos += region_width / 2;

}

4.  继续拼接其他region画面
5. mix_buffer做后续处理scale/encoder等