<四> H264解码输出yuv文件

    现在来写下s5pv210的h264解码，这一章有些部分我理解的不是很透彻，只能写个大概了。希望看到的人能给出些意见，有些地方写错的还望指正出来！

    解码过程与编码过程类似，编码过程是先初始化编码器，然后从编码器输出buf中读出h264文件头数据，写入输出文件，然后开始不断地将一帧帧NV12格式的图像写入到编码器的输入buf，启动编码，从编码器输出buf中将h264视频数据写入到输出文件。解码是首先打开一个h264格式的文件作为输入文件，从这个文件中先读出文件头数据，写入到解码器的输入buf中，再初始化解码器，之后就是不断地将H264格式输入文件中的一段段NALU数据写入到解码器的输入buf，启动解码，从解码器输出buf中读取NV12格式的数据，然后转换成YUV420p格式写入到输出文件中。

    上面一段中所提到的H264文件头数据其实是一段包含SPS(序列参数集)、PPS(图像参数集)的数据，里面的参数用来配置解码器的初始化。与编码过程中读取一帧帧NV12格式的图像数据不同，因为NV12格式每一帧长度是一样的。而H264格式文件中每一段NALU的长度不是固定的，这就需要在读取文件中做判断。下面给出一个h264格式文件的前160个字节（文件用Hex模式查看）。

00 00 00 01 67 64 00 28 ac d3 05 07 e4 00 00 0001 68 ea 40 6f 2c 00 00 00 01 65 b8 40 57 8a b403 0e 39 4a 43 8f 20 fb db 09 bb ae 57 d1 94 e420 8c e7 8b 44 b0 03 1c 72 59 78 bf 57 a6 f1 f89f 33 ce 4a 5c b4 e1 be 52 03 3d 0b 64 74 37 a757 42 8e a1 39 75 03 d6 68 a3 2f e0 a3 0b 26 e3a1 74 5a e5 b6 34 85 e6 10 c9 82 0f 53 12 47 ccc8 0f 28 1d 9e 26 7c ac ed 4b e4 00 ea 64 ca 8a3b 2c 4f f4 05 84 8d cd 6f 96 02 d1 92 be 0b dc1f e5 5a 35 ea ed 87 a9 1b 7f ca 3c b3 53 a1 89

    里面有几个特殊的字段“00 00 00 01”，这个即是h264格式文件中每一段NALU数据中各个数据单元的头部，这些数据单元可以是SPS、PPS、SEI等，具体如下。

enum H264NALTYPE{     H264NT_NAL = 0,     H264NT_SLICE,        //1 非IDR图像的编码条带     H264NT_SLICE_DPA,    //2 编码条带数据分割块A    H264NT_SLICE_DPB,    //3 编码条带数据分割块B    H264NT_SLICE_DPC,    //4 编码条带数据分割块C    H264NT_SLICE_IDR,    //5 IDR图像的编码条带    H264NT_SEI,          //6 增强信息    H264NT_SPS,          //7 序列参数集    H264NT_PPS,          //8 图像参数集}; 

    区分这些数据单元，可以取“00 00 00 01”字段后一字节的数据，与0x1f相&获得。比如上面第一个数据单元：

00 00 00 01 67 64 00 28 ac d3 05 07 e4

    说明这个是一段SPS(67&1f = 7)。既然解码是是以一段NALU数据为单位的，那么如何区分一段NALU中有几个数据单元呢？这是根据数据单元的类型定义的。其中SEI、SPS与PPS如果相邻则放在一段NALU数据中，给编码器做初始化用。SLICE和SLICE_IDR分别属于单独的NALU数据段，但SLICE_IDR为关键帧，SLICE为P帧，P帧为单向预测编码或帧内预测编码，依赖于关键帧。也即是说，解码是，在P帧的前面一般至少要有一帧关键帧发给解码器，否则不能正常解码图像信息。

    接下来既可以说下这个h264格式的文件怎么读取了。首先是读取文件的头部，从SPS/PPS/SEI数据单元开始读，遇到SLICE/SLICE_IDR数据单元时停止，将读到的数据写入到解码器的输入buf中，然后初始化解码器。之后开始不断读取一段段NALU数据（可以是SPS/PPS/SE连续数据单元+SLICE/SLICE_IDR数据单元，也可以是一个SLICE数据单元，或者是一个SLICE_IDR数据单元）。

    下面看h264格式文件读取的代码。这个函数返回读取一段NALU数据的长度，数据会拷贝到buf指针处，当header为1是是读取文件头信息，为0时时正常读取一段NALU数据。

int read_one_frame(FILE *fp, uint8_t **buf, int header){    static int end_of_file = 0;    int ustart, uend;    int cstart, cend;    int found;    uint8_t nal_unit_type;        // 一、从文件中读取一段数据到fbuf缓冲区中，读取的长度是缓冲区最大长度的一半

    // fstart==fend : empty    // we keep fstart<=fend. whenever fend goes beyond fbufsz, we move the data back to [0 ...)    int rsz;    if(!end_of_file && fend-fstart<fbufsz/2) { // fbuf is less than half full        if (fstart>fbufsz/2) { // move back to [0 ...)            memcpy(fbuf,fbuf+fstart, fend-fstart);            fend-=fstart;            fstart=0;        }        // fill up to half: fbufsz/2-fend+fstart        rsz = fread(fbuf+fend, 1, fbufsz/2-fend+fstart, fp);        if(rsz<(int)(fbufsz/2-fend+fstart)) { // end of file            printf("We have read all data from the input file\n");            end_of_file = 1;        }        if(rsz>0)            fend += rsz;    }    if(fend>fbufsz) {        fprintf(stderr,"Opps: this should never happen!\n");        return -1;    }    

    // 二、读取文件头数据    // now either fbuf is half full or it is end of file    if(header) { // find header        // find the first SPS,PPS,SEI header        found = 0;        cstart = cend = -1;        while (find_nal_unit(fbuf+fstart, fend-fstart, &ustart, &uend)>0) {        nal_unit_type = fbuf[fstart+ustart] & 0x1f;            if(nal_unit_type==(uint8_t)6 || nal_unit_type==(uint8_t)7 || nal_unit_type==(uint8_t)8) {                // SEI, SPS or PPS                if(!found){                    found = 1;                    cstart = fstart+ustart-3; // the start of first SPS, PPS or SEI, fbuf[cstart]: 00 00 01                    if(cstart>0 && !fbuf[cstart-1])                        cstart--;                }            }else {                if(found) {                    cend = fstart+ustart-3; // the end of header before the following picture slice NAL. fbuf[cend]: 00 00 01                    if (!fbuf[cend-1]) { // the following picture slice has a long start code 00 00 00 01                        cend--;                    }                    break;                }            }            fstart+=uend; // now fbuf[fstart] is the first byte of start code of next NAL        }                if(cstart<0 || cend<0) {            fprintf(stderr,"Error: cannot find a NAL header.\n");            buf = NULL;            if(!end_of_file)                fprintf(stderr,"You should consider increase fbufsz. Current fbufsz=%d.\n",fbufsz);            return -1;        }                fstart = cend;                // now fbuf[cstart,cend) should contain the first SPS,PPS,SEI header        printf("Header: cstart=%x, cend=%x, length=%d\n",cstart,cend,cend-cstart);        *buf=fbuf+cstart;                return cend-cstart;            }           // 三、读取一段NALU数据    cstart = cend = -1;    found = 0;    while (find_nal_unit(fbuf+fstart, fend-fstart, &ustart, &uend)>0) {        nal_unit_type = fbuf[fstart+ustart] & 0x1f;        if(nal_unit_type==(uint8_t)6 || nal_unit_type==(uint8_t)7 || nal_unit_type==(uint8_t)8) {            // SEI, SPS or PPS            if(!found){                found = 1;                cstart = fstart+ustart-3; // the start of first SPS, PPS or SEI, fbuf[cstart]: 00 00 01                if(cstart>0 && !fbuf[cstart-1])                    cstart--;            }        }else if(nal_unit_type==(uint8_t)1 || nal_unit_type==(uint8_t)5) { // IDR or non-IDR            if(!found) { // no header                cstart = fstart+ustart-3;                if(cstart>0 && !fbuf[cstart-1])                    cstart--;            }            cend = fstart+uend;            break;        }        fstart+=uend; // now fbuf[fstart] is the first byte of start code of next NAL    }        if(cstart<0 || cend<0) {        //printf("No more NALs. Exiting\n");        buf = NULL;        if(!end_of_file)            fprintf(stderr,"You should consider increase fbufsz. Current fbufsz=%d.\n",fbufsz);        return -1;    }        fstart = cend;        *buf=fbuf+cstart;    return cend - cstart;}

    函数有点长，不过总体上分为三部分。第一部分是从文件中读入数据到fbuf缓冲区，并使缓冲区数据保持一半空间存有数据。第二部分是读取文件头数据，find_nal_unit()函数为读取一个数据单元，即两个“00 00 00 01”字段之间的数据，然后判断数据单元类型，当为SPS(7),PPS(8),SEI(6)时则继续读，直到遇到其它类型数据单元时，将fbuf中前面几个数据单元的起始地址赋给buf，然后返回前面几个数据单元（不包含其它数据类型）的长度，即完成了文件头数据的读取。

    当header不等于1时，会执行第三部分程序，读取一段NALU数据。可以看到第三部分程序，先是用find_nal_unit()函数读取一个数据单元，接着判断单元类型，是SPS(7),PPS(8),SEI(6)时则继续读，读到SLICE/SLICE_IDR数据单元时停止，将这端NALU数据的起始地址赋给buf，然后返回NALU数据段（包含一个SLICE/SLICE_IDR数据单元）的长度。

    好了，知道文件怎么读取了，接下来解码就简单多了。首先是解码器初始化的代码。

    unsigned int buf_type = CACHE;    void *openHandle;    SSBSIP_MFC_ERROR_CODE err;    SSBSIP_MFC_DEC_OUTPUT_INFO oinfo;    FILE *fpi, *fpo; // input and output files        // 打开输入输出文件    char *ifile=DEFAULT_INPUT_FILE, *ofile=DEFAULT_OUTPUT_FILE;    if(!(fpi = fopen(ifile,"rb"))) {        fprintf(stderr,"Error: open input file %s.\n",ifile);        return 1;    }    if(!(fpo = fopen(ofile,"wb"))) {        fprintf(stderr,"Error: open output file %s.\n",ofile);        goto clr_fpi;    }    printf("Input file: %s. Output file: %s.\n", ifile,ofile);        //初始化文件读入buf    if(init_frame_parser()<0) {        fprintf(stderr,"Error: init frame parser\n");        goto clr_fpo;    }        // find the first SPS,PPS,SEI header -> 读取h264文件头到frmbuf中    int frmlen;uint8_t * frmbuf;    if((frmlen=read_one_frame(fpi,&frmbuf,1))<=0) {        fprintf(stderr,"Error: cannot find header\n");        goto clr_parser;    }        // 打开解码器    openHandle = SsbSipMfcDecOpen(&buf_type);    if(!openHandle) {        fprintf(stderr,"Error: SsbSipMfcDecOpen.\n");        goto clr_parser;    }    printf("SsbSipMfcDecOpen succeeded.\n");        // 获得解码器输入buf地址->virInBuf    void * phyInBuf;void * virInBuf;    virInBuf = SsbSipMfcDecGetInBuf(openHandle, &phyInBuf, MAX_DECODER_INPUT_BUFFER_SIZE);    if(!virInBuf) {        fprintf(stderr,"Error: SsbSipMfcDecGetInBuf.\n");        goto clr_mfc;    }    printf("SsbSipMfcDecGetInBuf succeeded.\n");    // 将文件头数据拷贝到解码器输入buf    memcpy(virInBuf,frmbuf,frmlen);        // 初始化解码器    err = SsbSipMfcDecInit(openHandle, H264_DEC, frmlen);    if(err<0) {        fprintf(stderr,"Error: SsbSipMfcDecInit. Code %d\n",err);        goto clr_mfc;    }    printf("SsbSipMfcDecInit succeeded..\n");

    程序首先打开了输入文件和输出文件，输出文件fpo 在解码部分才会使用。输入文件即fpi 就是H264格式文件了，程序首先通过调用read_one_frame(fpi,&frmbuf,1)) 函数读出文件头数据，然后将数据拷贝入解码器输入buf，最后初始化了解码器。
    解码器初始化完成后，接下来是正式的解码过程了。代码如下。

    // now start decoding    status = MFC_GETOUTBUF_STATUS_NULL;    read_cnt = 0;    show_cnt = 0;    do {        if (status != MFC_GETOUTBUF_DISPLAY_ONLY) {            // read one frame            if((frmlen = read_one_frame(fpi,&frmbuf,0))<=0) {                printf("No more NALs. Exiting\n");                break;            }else{            printf("%d frames len %d!\n", ++read_cnt, frmlen);            }            memcpy(virInBuf, frmbuf, frmlen);        }        err = SsbSipMfcDecExe(openHandle, frmlen);        if(err<0) {            fprintf(stderr,"Error: SsbSipMfcDecExe. Code %d\n",err);            break;        }                memset(&oinfo, 0, sizeof(oinfo));        status = SsbSipMfcDecGetOutBuf(openHandle,&oinfo);        if(status==MFC_GETOUTBUF_DISPLAY_DECODING || status==MFC_GETOUTBUF_DISPLAY_ONLY) {            if(!ylin)                ylin = (uint8_t *)malloc(oinfo.img_width*oinfo.img_height);            if(!ylin) {                fprintf(stderr,"Out of memory.\n");                break;            }            // converted tiled to linear nv12 format - Y plane            csc_tiled_to_linear(ylin, (uint8_t *)oinfo.YVirAddr, oinfo.img_width, oinfo.img_height);            fwrite(ylin,1, oinfo.img_width*oinfo.img_height, fpo);                        if(!clin)                clin = (uint8_t *)malloc(oinfo.img_width*oinfo.img_height/2);            if(!clin) {                fprintf(stderr,"Out of memory.\n");                break;            }            p_U = (uint8_t *)clin;            p_V = (uint8_t *)clin;            p_V += ((oinfo.img_width * oinfo.img_height) >> 2);            // converted tiled to linear uv format - C plane            csc_tiled_to_linear_deinterleave(p_U, p_V, (uint8_t *)oinfo.CVirAddr, oinfo.img_width, oinfo.img_height/2);            fwrite(clin,1,oinfo.img_width*oinfo.img_height/2,fpo);            show_cnt++;        }    } while (1);        printf("Decoding completed! Total number of decoded frames: %d.\nThe video has a dimension of: ", show_cnt);    printf("img %dx%d, buf %dx%d\n",oinfo.img_width,oinfo.img_height, oinfo.buf_width,oinfo.buf_height);

    解码过程与编码过程类似，首先read_one_frame(fpi,&frmbuf,0)) 函数读取一段NALU数据，然后用memcpy(virInBuf, frmbuf, frmlen) 函数将数据拷贝到解码器输入buf，接着调用SsbSipMfcDecExe(openHandle, frmlen) 函数来启动一次解码，最后用SsbSipMfcDecGetOutBuf(openHandle,&oinfo) 函数获取解码的输出数据，由于解码器输出的格式是NV12，而且是tiled类型的，这里需要进行格式转换。转换时先转换Y分量，然后转换UV分量。

    csc_tiled_to_linear(ylin, (uint8_t *)oinfo.YVirAddr, oinfo.img_width, oinfo.img_height);    fwrite(ylin,1, oinfo.img_width*oinfo.img_height, fpo);    csc_tiled_to_linear_deinterleave(p_U, p_V, (uint8_t *)oinfo.CVirAddr, oinfo.img_width, oinfo.img_height/2);                 fwrite(clin,1,oinfo.img_width*oinfo.img_height/2,fpo);

    这样就完成了写一帧解码后YUV格式图像到输出文件，这个文件可以用YUV格式播放器打开，播放器下载地址为http://www.yuvplayer.com/。

    要注意的是，测试这个程序是，所选的h264格式文件不要太大，因为解码后的yuv格式文件很大，所以编码h264格式文件时，尺寸要小于640*480，帧数小于200帧最好。其实是smart210板子上可用的存储空间太小了，不到180M，不够用啊！下面一章我会写一个解码后直接用液晶显示的，不存储就不会有这个问题了。顺便调整下编码参数，使编码后的图像足够清晰。

    整个工程的代码我上传到了http://download.csdn.net/detail/westlor/9396310。