【显示技术

最近在搞的一个项目，使用硬件加速，代替软件x265库进行H.265编码，好听点的叫法就是异构。

作为软件工程师，硬件算法的实现基本就和本人无关了，不过好在这块本身也不是兴趣所在~~   为了更好地讲硬件加速的效果进行展示，也为了省去许多工作，因此选用FFMPEG作为数据输入与输出的框架。

关于FFMPEG，网上资料也很多，雷神的博客也介绍得比较到位了，雷神侧重于讲解FFMPEG本身的代码框架及原理，这里的切入点不太一样，应用场景不同。

下面是主题。。

第一步，搞清楚FFMPEG框架能够完成的工作及特性

1. 修改点

仿照 libavcodec/libx265.c 写一个libh265.c，实现几个接口即可，没错，就是这么简单。。

init

close

encode2

libx265的结构体实现如下：

AVCodec ff_libx265_encoder = {    .name             = "libx265",    .long_name        = NULL_IF_CONFIG_SMALL("libx265 H.265 / HEVC"),    .type             = AVMEDIA_TYPE_VIDEO,    .id               = AV_CODEC_ID_HEVC,    .init             = libx265_encode_init,    .encode2          = libx265_encode_frame,    .close            = libx265_encode_close,    .capabilities     = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_AUTO_THREADS,};

事实上，init 和close就是一些初始化，关键就是实现encode2

2. FFMPEG框架本身具有诸多功能，能帮助读取数据，送到encode2进行编码(接收编码后的数据也在该接口完成)，编码完成后还能将编码后数据进行封装、发送等

3. 借用一下libx265的代码说一下该encode2接口的特性及在该接口中我们需要完成的工作

static int libx265_encode_frame(AVCodecContext *avctx, AVPacket *pkt,                                const AVFrame *pic, int *got_packet)

数据一帧一帧地从文件或其他源读入之后，信息存在AVFrame中传入(每次传入一帧，或者当数据下发完毕，发送完毕，纯接收数据时，该参数传入NULL)，正常关心该结构中的几个成员即可：

data 指向数据

width/height 视频分辨率

pts 帧序号

接口中必需完成的工作：

1. 数据发送到编码器进行编码，软件直接调用编码库接口编码，硬件通过驱动发送数据

2. 检查回收结果，两种情况：

    a. 无结果，上一次编码还没完成，我们不必傻乎乎等着，直接返回0，将got_packet 设0返回即可，FFMPEG自己会记录发送的包数量与接收的包数量，没收完全，它后面会传入 AVFrame 参数NULL来接收结果。

    b. 有结果，可能是上次结果(正常都是如此，毕竟编码比数据读入慢多了)，创建一个packet，将结果存入，结果信息记录在 AVPacket参数中返回

            创建packet接口:

ff_alloc_packet(pkt, payload);

将编码后数据拷贝到创建的packet中去

设置AVPacket信息，设置pts/dts

更新got_packet 的值并返回

3. 利用FFMPEG实现基本功能，实现以上接口实现就已经完成了，下面说几个在学习过程中的实验及发现。

4. FFMPEG多线程

多线程有两种形式

第一种，x265软件编码多线程，该多线程参数由FFMPEG带入，

    .capabilities     = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_AUTO_THREADS,

例如两条frame处理的线程：

         ffmpeg -i xxx -threads 2 -thread_type frame xxx

该参数会通过avctx参数带入到编码接口中，告诉软件编码器应当用几个线程进行并行编码，不设置的情况下默认是有多少个核开多少个线程

第二种，FFMPEG数据读取、调用encode2编码、收数据多线程：

   .capabilities     = AV_CODEC_CAP_DELAY | AV_CODEC_CAP_AUTO_THREADS | AV_CODEC_CAP_INTRA_ONLY，

会开启多个线程，并行读取数据，调用encode2接口进行编码、收数据