camera的测试程序-预览的保存

step1: 打开视频设备

static int video_open(const char *devname){struct v4l2_capability cap;int dev, ret;dev = open(devname, O_RDWR);if (dev < 0) {TestAp_Printf(TESTAP_DBG_ERR, "Error opening device %s: %d.\n", devname, errno);return dev;}memset(&cap, 0, sizeof cap);ret = ioctl(dev, VIDIOC_QUERYCAP, &cap);if (ret < 0) {TestAp_Printf(TESTAP_DBG_ERR, "Error opening device %s: unable to query device.\n",devname);close(dev);return ret;}}

step2: Set the video format

static int video_set_format(int dev, unsigned int w, unsigned int h, unsigned int format){struct v4l2_format fmt;int ret;memset(&fmt, 0, sizeof fmt);fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;fmt.fmt.pix.width = w;fmt.fmt.pix.height = h;fmt.fmt.pix.pixelformat = format;fmt.fmt.pix.field = V4L2_FIELD_ANY;ret = ioctl(dev, VIDIOC_S_FMT, &fmt);if (ret < 0) {TestAp_Printf(TESTAP_DBG_ERR, "Unable to set format: %d.\n", errno);return ret;}TestAp_Printf(TESTAP_DBG_FLOW, "Video format set: width: %u height: %u buffer size: %u\n",fmt.fmt.pix.width, fmt.fmt.pix.height, fmt.fmt.pix.sizeimage);return 0;}

step3: Set the frame rate

static int video_set_framerate(int dev, int framerate){struct v4l2_streamparm parm;int ret;memset(&parm, 0, sizeof parm);parm.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;ret = ioctl(dev, VIDIOC_G_PARM, &parm);if (ret < 0) {TestAp_Printf(TESTAP_DBG_ERR, "Unable to get frame rate: %d.\n", errno);return ret;}TestAp_Printf(TESTAP_DBG_FLOW, "Current frame rate: %u/%u\n",parm.parm.capture.timeperframe.numerator,parm.parm.capture.timeperframe.denominator);parm.parm.capture.timeperframe.numerator = 1;parm.parm.capture.timeperframe.denominator = framerate;ret = ioctl(dev, VIDIOC_S_PARM, &parm);if (ret < 0) {TestAp_Printf(TESTAP_DBG_ERR, "Unable to set frame rate: %d.\n", errno);return ret;}ret = ioctl(dev, VIDIOC_G_PARM, &parm);if (ret < 0) {TestAp_Printf(TESTAP_DBG_ERR, "Unable to get frame rate: %d.\n", errno);return ret;}TestAp_Printf(TESTAP_DBG_FLOW, "Frame rate set: %u/%u\n",parm.parm.capture.timeperframe.numerator,parm.parm.capture.timeperframe.denominator);return 0;}

step4：Allocate buffers. 

static int video_reqbufs(int dev, int nbufs){struct v4l2_requestbuffers rb;int ret;memset(&rb, 0, sizeof rb);rb.count = nbufs;rb.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;rb.memory = V4L2_MEMORY_MMAP;ret = ioctl(dev, VIDIOC_REQBUFS, &rb);if (ret < 0) {TestAp_Printf(TESTAP_DBG_ERR, "Unable to allocate buffers: %d.\n", errno);return ret;}TestAp_Printf(TESTAP_DBG_FLOW, "%u buffers allocated.\n", rb.count);return rb.count;}

对应的内核处理流程如下：

主要的工作，就是通过vb2_vmalloc_alloc函数中的vmalloc_user函数分配内核虚拟地址连续的内存（虚拟地址空间属于（VMALLOC_START, VMALLOC_END）空间，并建立

相应的内核映射），每个这样的内存块（请求中，总共有nbufs个视频buf），都通过struct vb2_buffer *vb结构体来表示，并将该分配的虚拟内存块的开始地址和长度分别存储在如下位置：

vb->planes[plane].mem_priv = mem_priv;//mem_priv即为vb2_vmalloc_alloc函数返回的struct vb2_vmalloc_buf *buf结构体，其中buf->vaddr指向分配的vamlloc内存的开始地址。

vb->v4l2_planes[plane].length = q->plane_sizes[plane];//

vb初始化完成后，会放入的buf队列的如下位置：

q->bufs[q->num_buffers + buffer] = vb;

最后，会设置每个vb所对应的视频buf帧所对应的偏移地址：

vb->v4l2_planes[plane].length = q->plane_sizes[plane];

vb->v4l2_planes[plane].m.mem_offset = off;

off += vb->v4l2_planes[plane].length;

step5: Map the buffers.

for (i = 0; i < nbufs; ++i) {memset(&buf0, 0, sizeof buf0);buf0.index = i;buf0.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;buf0.memory = V4L2_MEMORY_MMAP;ret = ioctl(dev, VIDIOC_QUERYBUF, &buf0);if (ret < 0) {TestAp_Printf(TESTAP_DBG_ERR, "Unable to query buffer %u (%d).\n", i, errno);close(dev);return 1;}TestAp_Printf(TESTAP_DBG_FLOW, "length: %u offset: %10u     --  ", buf0.length, buf0.m.offset);mem0[i] = mmap(0, buf0.length, PROT_READ, MAP_SHARED, dev, buf0.m.offset);if (mem0[i] == MAP_FAILED) {TestAp_Printf(TESTAP_DBG_ERR, "Unable to map buffer %u (%d)\n", i, errno);close(dev);return 1;}TestAp_Printf(TESTAP_DBG_FLOW, "Buffer %u mapped at address %p.\n", i, mem0[i]);}

VIDIOC_QUERYBUF的内核流程如下：

主要工作：通过用户传递进来的buf index（struct v4l2_buffer *b），从buf队列上来找到对应的struct vb2_buffer *vb;

vb = q->bufs[b->index];

然后在__fill_v4l2_buffer函数中，利用vb中的信息来填充struct v4l2_buffer *b结构，主要包括如下信息：

buf的长度、和存储数据的长度和buf对应的偏移

struct v4l2_buffer *b->length = vb->v4l2_planes[0].length;

b->bytesused = vb->v4l2_planes[0].bytesused;

b->m.offset = vb->v4l2_planes[0].m.mem_offset;

在mmap之前，执行一个vidioc_querybuf的目的就是为了获取buf对应的偏移量：b->m.offset

video mmap的内核过程如下：

其中最主要的工作：就是将之前内核分配的视频buf映射到用户空间，这样用户空间就可以直接读取内核扑获的视频数据。

其中最重要的函数则是：vb2_mmap和vb2_vmalloc_mmap

关于vb2_mmap函数的描述，内核注释有如下的表述：

/**
 * vb2_mmap() - map video buffers into application address space
 * @q: videobuf2 queue
 * @vma: vma passed to the mmap file operation handler in the driver
 *
 * Should be called from mmap file operation handler of a driver.
 * This function maps one plane of one of the available video buffers to
 * userspace. To map whole video memory allocated on reqbufs, this function
 * has to be called once per each plane per each buffer previously allocated.
 *
 * When the userspace application calls mmap, it passes to it an offset returned
 * to it earlier by the means of vidioc_querybuf handler. That offset acts as
 * a "cookie", which is then used to identify the plane to be mapped.
 * This function finds a plane with a matching offset and a mapping is performed
 * by the means of a provided memory operation.
 *
 * The return values from this function are intended to be directly returned
 * from the mmap handler in driver.
 */

上面的注释中，提到的最重要的一条就是：在执行mmap系统调用的时候，传递进去的一个offset，是作为一个cookie来使用的，表示当前是要对哪个video buffer进行映射操作。具体到vb2_mmap函数中，应用层传递进来的offset（buf0.m.offset）是存储在vma->vm_pgoff变量中。

__find_plane_by_offset函数负责根据用户空间提供的offset来找到对应的struct vb2_buffer *vb,然后直接调用remap_vmalloc_range函数，将vmalloc空间的内存直接映射到用户空间中去，用户空间的地址范围在（vma->vm_start，vma->vm_end）。

step6: Queue the buffers.

for (i = 0; i < nbufs; ++i) {memset(&buf0, 0, sizeof buf0);buf0.index = i;buf0.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;buf0.memory = V4L2_MEMORY_MMAP;ret = ioctl(dev, VIDIOC_QBUF, &buf0);if (ret < 0) {TestAp_Printf(TESTAP_DBG_ERR, "Unable to queue buffer0(%d).\n", errno);close(dev);return 1;}}

step7: Start streaming. 

static int video_enable(int dev, int enable){int type = V4L2_BUF_TYPE_VIDEO_CAPTURE;int ret;ret = ioctl(dev, enable ? VIDIOC_STREAMON : VIDIOC_STREAMOFF, &type);if (ret < 0) {TestAp_Printf(TESTAP_DBG_ERR, "Unable to %s capture: %d.\n",enable ? "start" : "stop", errno);return ret;}return 0;}

VIDIOC_STREAMON的内核功能流程：

驱动中，会将之前通过协商设置的参数（图像格式（yuv，mjpeg，h264等），宽，高，帧率等）通过commit命令（VS_COMMIT_CONTROL ）发送到设备，让其生效，并开始工作。在分配和初始bulk/iso 的urb后（包括设置urb的完成回调函数），最后调用usb_submit_urb函数，将这个urb提交到usb hcd驱动核心的urb传输队列中。这样urb就可以开始收usb控制器接收到的视频数据料。

step8: 获取视频帧，Dequeue a buffer，并保存到文件里，然后Requeue the buffer. 

for (i = 0; i < nframes; ++i) {/* Dequeue a buffer. */memset(&buf0, 0, sizeof buf0);buf0.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;buf0.memory = V4L2_MEMORY_MMAP;ret = ioctl(dev, VIDIOC_DQBUF, &buf0);if (ret < 0) {TestAp_Printf(TESTAP_DBG_ERR, "Unable to dequeue buffer0 (%d).\n", errno);close(dev);return 1;}/*save image picture captured*/if(rec_fp1 == NULL)rec_fp1 = fopen(rec_filename, "a+b");if(rec_fp1 != NULL){fwrite(mem0[buf0.index], buf0.bytesused, 1, rec_fp1);}/* Requeue the buffer. */if (delay > 0)usleep(delay * 1000);ret = ioctl(dev, VIDIOC_QBUF, &buf0);if (ret < 0) {TestAp_Printf(TESTAP_DBG_ERR, "Unable to requeue buffer0 (%d).\n", errno);close(dev);return 1;}fflush(stdout);}

struct vb2_queue *q有两个队列：

q->done_list： 用来连接那些已经保存了不久前扑获的视频数据帧的struct vb2_buffer；

q->queued_list：用来链接那些已经空闲的struct vb2_buffer内存块，当视频数据到来时，驱动会从这个队列中，取出一个struct vb2_buffe来存储新到来的视频数据，待储存一个完整的视频帧后，就将该struct vb2_buffe在连接到q->queued_list 队列的同时又添加到q->done_list 队列上，并唤醒等待队列：q->done_wq。

针对uvc驱动，一个struct vb2_buffer视频帧，在VIDIOC_QBUF时，他首先是放在struct vb2_queue *q->queued_list 队列上，然后再挂在struct uvc_video_queue *queue->irqqueue队列上，然后供uvc_video_complete函数来使用。

struct vb2_buffer 与 struct vb2_vmalloc_buf联系

vb2_buffer.mem 和vb2_vmalloc_buf.vaddr 都指向vmalloc内存块的开始地址

vb2_buffer.length 和vb2_vmalloc_buf.size 都指向vmalloc内存的长度

vb2_buffer.bytesused

struct vb2_vmalloc_buf主要被memops操作时使用。

而vb2_buffer主要被用来抽象vb2_vmalloc_buf所表示的vmalloc物理内存。

VIDIOC_QBUF的内核流程：

大概的过程：

uvc_buffer_queue函数负责将struct vb2_buffer内存块挂在struct uvc_video_queue *queue->irqqueue队列上，

在这之前vb2_qbuf函数将struct vb2_buffer内存块先是挂在struct vb2_queue *q-〉queued_list队列上。然后就

可以供uvc的驱动在urb的完成函数中（uvc_video_complete）来使用这个队列中的buf来填充扑获的视频数据了。

uvc_video_complete的流程如下：

步骤1：从struct uvc_video_queue *queue->irqqueue队列上，取出一个空闲的内存块，来存储从urb拷贝过来的数据。

步骤3，9，10开始对视频帧进行译码

步骤4：从struct uvc_video_queue *queue->irqqueue上取下一个空闲的内存块，并将前一块已经存满一帧视频的内存块从queue->irqqueue上删除（list_del(&buf->queue);）

并将该内存块添加到struct vb2_queue *q->done_list列表中（步骤7），并唤醒等待视频帧的用户（wake_up(&q->done_wq);//步骤8）

VIDIOC_DQBUF的流程：

步骤5：检查struct vb2_queue *q->done_list列表是否为空，如果为空则睡眠等待，不为空则从struct vb2_queue *q->done_list列表中取下一个视频buf块，并将他从q->done_list列表删除（步骤6）

步骤9：最后将视频buf块同时也从struct vb2_queue *q->queued_list列表中删除，并设置vb->state的状态为:VB2_BUF_STATE_DEQUEUED

step9: 停止获取视频流

video_enable (struct vdIn *vd){  int type = V4L2_BUF_TYPE_VIDEO_CAPTURE;  int ret;  ret = ioctl (vd->fd, VIDIOC_STREAMON, &type);  if (ret < 0) {    TestAp_Printf(TESTAP_DBG_ERR, "Unable to %s capture: %d.\n", "start", errno);    return ret;  }  vd->isstreaming = 1;  return 0;}

step10： 关闭视频设备：

close(dev);

问题1： uvc_video_decode_isoc中的urb->number_of_packets的含义