8.2 子模块分析之CSI

（1）概述

每个IPU有两个同样的CSI接口，下图是两个IPU的CSI模块示意图：

每个CSI包括同步单元，逻辑接口，数据处理单元和sensor接口控制单元组成，如下所示：

CSI被外围的通用寄存器控制，同时是双buffer模式，CSI的主要作用是从sensor中获取数据，根据IPU时钟同步数据和控制信号然后将处理过的数据发送到DATA_DEST寄存器里面的目的地，目的地可以为SMFC，IC，VDI等等，这个过程可以从下图理解：

（2）CSI接口

从第一个图里面可以看出来，CSI支持两种类型的接口：并行接口和MIPI接口。所使用的接口类型需要在IPUx_CONF寄存器中的DATA_SOURCE位配置。

2.1 并行接口

在并行接口模式下，每个时钟信号下传输一个值（除了BT.1120模式，每个时钟信号下传输两个值），每个值可以为8～16位。具体是多少位的，需要在对应的IPUx_CSIx_SENS_CONF寄存器中的DATA_WIDTH位配置，如下所示：

CSI可以支持几种不同数据格式，具体使用哪个数据格式，需要在IPUx_CSIx_SENS_CONF寄存器中的CSI0_SENS_DATA_FORMAT中设置，解释如下：

有时候在芯片手册中的时序图与CSI中的时序图中的极性是相反的，这时候就需要设置输入的极性，在IPUx_CSIx_SENS_CONF寄存器中SENS_PIX_CLK_POL,DATA_POL, HSYNC_POL and VSYNC_POL中配置。

2.2 MIPI接口

MIPI接口模式下每个时钟信号下传输两个值，每个值是8bit。

当工作在这个模式下时，CSI能够处理4路输入信号，每一路信号都包含virtualchannel号和这一路的数据类型，通过DI(dataidentifier)来区分。只有MIPI_DI0这一路里面的数据能够发送到所有的目的地，其他路MIPI_DI1-3的数据只能发送到SMFC中。

在这种模式下，SENS_DATA_FORMAT和DATA_WIDTH位都被忽略，因为CSI的数据是从MCT_DI中传入的。具体有关MCT_DI的解释，需要去查看手册的《Chapter19 MIPI CSI to IPU Gasket (CSI2IPU)》那一章，暂时先不说。下面是IPUx_CSI0_DI的图示：

（3）测试模式

当IPUx_CSI0_TST_CTRL寄存器中的TEST_GEN_MODE位置1的话，就开启了测试模式，在这个模式下CSI会产生虚假的数据发送到目的地。

主要是设置IPUx_CSI0_TST_CTRL寄存器，如下所示：

（4）sensor与CSI的帧关系

sensor产生图像大小与CSI接收的大小是不同的，具体看下图就基本清楚了。

A：VSYNC信号确定的图像框。

B：HSYNC信号确定的图像框。

C：sensor传过来的图像框，这个框在SENS_FRM_WIDTHand SENS_FRM_HEIGHT里面配置。

D：CSI选择的图像框。其中HSC,VSC, ACT_FRM_HEIGHT 和ACT_FRM_WIDTH都是可以配置的。

（5）Timing/Datamode protocols

CSI可以工作在几个不同的Timing/Datamodeprotocols下，根据IPUx_CSI0_SENS_CONF寄存器中的CSI0_SENS_PRTCL位来选择使用哪种模式/协议。

下面分析几种模式/协议

5.1 Gated Mode

在这个模式下，VSYNC信号在每一帧开始的时候触发，HSYNC信号在每一行的开始和结束的时候触发，同时时钟信号一直在走。时序图如下：

5.2 Non-Gated Mode

在这个模式下，VSYNC用来确认一帧的开始，只有当有传输数据的时候，时钟信号才走，HSYNC信号没有使用。当在MIPI模式下的时候，应该使用这种模式。

5.3 BT.656 mode

在这种模式下，CSI工作在ITU-RBT.656协议下，时序信号（framestart, frame end, line start, lineend）嵌入在数据流中。有两个定时基准信号，一个在每个视频数据块的开始(Startof ActiveVideo，SAV)，另一个在每个视频数据块的结束(Endof Active Video，EAV)；每个定时基准信号由4个字的序列组成，格式如下：FF00 00 XY （16进制）头三个是固定前缀，第4个字包含定义第二场标识、场消隐状态和行消隐状态的信息。其中这4个字中的前三个字在CCIR_PRECOM（CCIR_CODE_3）中配置，第四个字在CCIR_CODE_1和CCIR_CODE_2中配置。为什么这里的寄存器名称为CCIR这么奇怪的名字？？？因为CCIR656是ITU-RBT656的旧称。同理，在程序中有关656和1120模式的名称都使用的CCIR。

关于这个协议的详细介绍可以从网上查，《入门视频采集与处理（BT656简介）》

http://www.cnblogs.com/s_agapo/archive/2012/04/08/2437775.html

《ITU-RBT.656协议》

http://www.cnblogs.com/crazybingo/archive/2011/03/27/1996974.html

5.4 BT.1120 mode

这个模式又分为SDRmode和DDRmode。

上面这几种模式都涉及到IPUx_CSI0_CCIR_CODE_1～3这几个寄存器，如下所示：

上述的时钟模式设置在内核中是通过ipu_csi_init_interface函数来设置的。

（6）Packingto memory

从CSI中传入SMFC的数据是128-bit的，所以CSI需要对数据进行处理后才能发送给SMFC，下图是处理过程：

（7）Skippingframes

许多帧数据不需要发送到SMFC，所以就可以在CSI中跳过这些数据，不发送到SMFC。需要操作IPUx_CSI0_SKIP寄存器中的CSI0_SKIP_SMFC和CSI0_MAX_RATIO_SKIP_SMFC位，如下所示：

（8）CSI缺点

sensor的时钟不能比IPU时钟（HSP_CLK）大。

SENS_FRM_HEIGHT>= VSC + ACT_FRM_HEIGHT

SENS_FRM_WIDTH>= HSC + ACT_FRM_WIDTH

（9）代码实现

上述有关CSI的一些设置，是需要在驱动中通过代码来实现的，下面来分析有关的代码：

9.1驱动中定义了一个有关CSI的结构体类型：

typedef struct { unsigned data_width:4; unsigned clk_mode:3; unsigned ext_vsync:1; unsigned Vsync_pol:1; unsigned Hsync_pol:1; unsigned pixclk_pol:1; unsigned data_pol:1; unsigned sens_clksrc:1; unsigned pack_tight:1; unsigned force_eof:1; unsigned data_en_pol:1; unsigned data_fmt; unsigned csi; unsigned mclk; } ipu_csi_signal_cfg_t

这个结构体中定义了CSI需要用到的很多参数，信号的极性和模式。后面我们就可以看到，在驱动中去设置这个结构体，并根据这个结构体里面的参数去设置IPU中有关CSI的寄存器的值。

9.2 开发板可以支持多种摄像头设备，而每个摄像头设备的具体参数也是不同的，所以，驱动程序中需要使用vidioc_int_g_ifparm和vidioc_int_g_fmt_cap函数来询问当前的摄像头设备它的各个参数是什么，然后根据获得的参数来设置有关CSI的寄存器。

以ov5640_mipi为例来说明，当驱动程序中调用vidioc_int_g_ifparm时，最终会调用到ov5640_mipi.c中的ioctl_g_ifparm函数：

static int ioctl_g_ifparm(struct v4l2_int_device *s, struct v4l2_ifparm *p) { if (s == NULL) { pr_err("   ERROR!! no slave device set!\n"); return -1; } memset(p, 0, sizeof(*p)); p->u.bt656.clock_curr = ov5640_data.mclk; pr_debug("   clock_curr=mclk=%d\n", ov5640_data.mclk); p->if_type = V4L2_IF_TYPE_BT656; p->u.bt656.mode = V4L2_IF_TYPE_BT656_MODE_NOBT_8BIT; p->u.bt656.clock_min = OV5640_XCLK_MIN; p->u.bt656.clock_max = OV5640_XCLK_MAX; p->u.bt656.bt_sync_correct = 1;  /* Indicate external vsync */ return 0; }

之后驱动程序会根据上面设置的这些内容来对csi_param进行设置，这个csi_param是9.1中所说的ipu_csi_signal_cfg_t类型的，如下所示：

csi_param.data_width = 0; csi_param.clk_mode = 0; csi_param.ext_vsync = 0; csi_param.Vsync_pol = 0; csi_param.Hsync_pol = 0; csi_param.pixclk_pol = 0; csi_param.data_pol = 0; csi_param.sens_clksrc = 0; csi_param.pack_tight = 0; csi_param.force_eof = 0; csi_param.data_en_pol = 0; csi_param.data_fmt = 0; csi_param.csi = cam->csi; csi_param.mclk = 0; pr_debug("   clock_curr=mclk=%d\n", ifparm.u.bt656.clock_curr); if (ifparm.u.bt656.clock_curr == 0) csi_param.clk_mode = IPU_CSI_CLK_MODE_CCIR656_INTERLACED; else csi_param.clk_mode = IPU_CSI_CLK_MODE_GATED_CLK; csi_param.pixclk_pol = ifparm.u.bt656.latch_clk_inv; if (ifparm.u.bt656.mode == V4L2_IF_TYPE_BT656_MODE_NOBT_8BIT) { csi_param.data_width = IPU_CSI_DATA_WIDTH_8; } else if (ifparm.u.bt656.mode == V4L2_IF_TYPE_BT656_MODE_NOBT_10BIT) { csi_param.data_width = IPU_CSI_DATA_WIDTH_10; } else { csi_param.data_width = IPU_CSI_DATA_WIDTH_8; } csi_param.Vsync_pol = ifparm.u.bt656.nobt_vs_inv; csi_param.Hsync_pol = ifparm.u.bt656.nobt_hs_inv; csi_param.ext_vsync = ifparm.u.bt656.bt_sync_correct;

驱动程序中继续调用vidioc_int_g_fmt_cap函数来获取摄像头的像素格式，以及宽度高度等信息，最终会调用到ov5640_mipi.c中的ioctl_g_fmt_cap函数：

static int ioctl_g_fmt_cap(struct v4l2_int_device *s, struct v4l2_format *f) { struct sensor_data *sensor = s->priv; f->fmt.pix = sensor->pix; return 0; }

获取到这些参数后，根据它们来设置驱动中cam结构体里面的参数，如下所示：

cam_fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; vidioc_int_g_fmt_cap(cam->sensor, &cam_fmt); pr_debug("   g_fmt_cap returns widthxheight of input as %d x %d\n", cam_fmt.fmt.pix.width, cam_fmt.fmt.pix.height); csi_param.data_fmt = cam_fmt.fmt.pix.pixelformat; cam->crop_bounds.top = cam->crop_bounds.left = 0; cam->crop_bounds.width = cam_fmt.fmt.pix.width; cam->crop_bounds.height = cam_fmt.fmt.pix.height;

最终通过上面这些函数调用，驱动程序已经知道了摄像头设备的信号极性，模式，像素信息等等，接下来就需要将这些信息设置到CSI相关的寄存器中，最主要的是ipu_csi_init_interface函数：

int32_t ipu_csi_init_interface(struct ipu_soc *ipu, uint16_t width, uint16_t height, uint32_t pixel_fmt, ipu_csi_signal_cfg_t cfg_param) { uint32_t data = 0; uint32_t csi = cfg_param.csi; /* Set SENS_DATA_FORMAT bits (8, 9 and 10)    RGB or YUV444 is 0 which is current value in data so not set    explicitly    This is also the default value if attempts are made to set it to    something invalid. */ switch (pixel_fmt) { case IPU_PIX_FMT_YUYV: cfg_param.data_fmt = CSI_SENS_CONF_DATA_FMT_YUV422_YUYV; break; case IPU_PIX_FMT_UYVY: cfg_param.data_fmt = CSI_SENS_CONF_DATA_FMT_YUV422_UYVY; break; case IPU_PIX_FMT_RGB24: case IPU_PIX_FMT_BGR24: cfg_param.data_fmt = CSI_SENS_CONF_DATA_FMT_RGB_YUV444; break; case IPU_PIX_FMT_GENERIC: case IPU_PIX_FMT_GENERIC_16: cfg_param.data_fmt = CSI_SENS_CONF_DATA_FMT_BAYER; break; case IPU_PIX_FMT_RGB565: cfg_param.data_fmt = CSI_SENS_CONF_DATA_FMT_RGB565; break; case IPU_PIX_FMT_RGB555: cfg_param.data_fmt = CSI_SENS_CONF_DATA_FMT_RGB555; break; default: return -EINVAL; } /* Set the CSI_SENS_CONF register remaining fields */ data |= cfg_param.data_width << CSI_SENS_CONF_DATA_WIDTH_SHIFT | cfg_param.data_fmt << CSI_SENS_CONF_DATA_FMT_SHIFT | cfg_param.data_pol << CSI_SENS_CONF_DATA_POL_SHIFT | cfg_param.Vsync_pol << CSI_SENS_CONF_VSYNC_POL_SHIFT | cfg_param.Hsync_pol << CSI_SENS_CONF_HSYNC_POL_SHIFT | cfg_param.pixclk_pol << CSI_SENS_CONF_PIX_CLK_POL_SHIFT | cfg_param.ext_vsync << CSI_SENS_CONF_EXT_VSYNC_SHIFT | cfg_param.clk_mode << CSI_SENS_CONF_SENS_PRTCL_SHIFT | cfg_param.pack_tight << CSI_SENS_CONF_PACK_TIGHT_SHIFT | cfg_param.force_eof << CSI_SENS_CONF_FORCE_EOF_SHIFT | cfg_param.data_en_pol << CSI_SENS_CONF_DATA_EN_POL_SHIFT; _ipu_get(ipu); mutex_lock(&ipu->mutex_lock); ipu_csi_write(ipu, csi, data, CSI_SENS_CONF); /* 将摄像头的信号信息写到 CSI_SENS_CONF寄存器中，可以对照芯片手册来看看这些位都设置成了什么。 *//* Setup sensor frame size */ ipu_csi_write(ipu, csi, (width - 1) | (height - 1) << 16, CSI_SENS_FRM_SIZE); /* 将摄像头的frame宽度和高度信息写到 CSI_SENS_FRM_SIZE寄存器中。 *//* Set CCIR registers */ if (cfg_param.clk_mode == IPU_CSI_CLK_MODE_CCIR656_PROGRESSIVE) { ipu_csi_write(ipu, csi, 0x40030, CSI_CCIR_CODE_1); ipu_csi_write(ipu, csi, 0xFF0000, CSI_CCIR_CODE_3); } else if (cfg_param.clk_mode == IPU_CSI_CLK_MODE_CCIR656_INTERLACED) { if (width == 720 && height == 625) { /* PAL case */ /*  * Field0BlankEnd = 0x6, Field0BlankStart = 0x2,  * Field0ActiveEnd = 0x4, Field0ActiveStart = 0  */ ipu_csi_write(ipu, csi, 0x40596, CSI_CCIR_CODE_1); /*  * Field1BlankEnd = 0x7, Field1BlankStart = 0x3,  * Field1ActiveEnd = 0x5, Field1ActiveStart = 0x1  */ ipu_csi_write(ipu, csi, 0xD07DF, CSI_CCIR_CODE_2); ipu_csi_write(ipu, csi, 0xFF0000, CSI_CCIR_CODE_3); } else if (width == 720 && height == 525) { /* NTSC case */ /*  * Field0BlankEnd = 0x7, Field0BlankStart = 0x3,  * Field0ActiveEnd = 0x5, Field0ActiveStart = 0x1  */ ipu_csi_write(ipu, csi, 0xD07DF, CSI_CCIR_CODE_1); /*  * Field1BlankEnd = 0x6, Field1BlankStart = 0x2,  * Field1ActiveEnd = 0x4, Field1ActiveStart = 0  */ ipu_csi_write(ipu, csi, 0x40596, CSI_CCIR_CODE_2); ipu_csi_write(ipu, csi, 0xFF0000, CSI_CCIR_CODE_3); } else { dev_err(ipu->dev, "Unsupported CCIR656 interlaced " "video mode\n"); mutex_unlock(&ipu->mutex_lock); _ipu_put(ipu); return -EINVAL; } _ipu_csi_ccir_err_detection_enable(ipu, csi); } else if ((cfg_param.clk_mode == IPU_CSI_CLK_MODE_CCIR1120_PROGRESSIVE_DDR) || (cfg_param.clk_mode == IPU_CSI_CLK_MODE_CCIR1120_PROGRESSIVE_SDR) || (cfg_param.clk_mode == IPU_CSI_CLK_MODE_CCIR1120_INTERLACED_DDR) || (cfg_param.clk_mode == IPU_CSI_CLK_MODE_CCIR1120_INTERLACED_SDR)) { ipu_csi_write(ipu, csi, 0x40030, CSI_CCIR_CODE_1); ipu_csi_write(ipu, csi, 0xFF0000, CSI_CCIR_CODE_3); _ipu_csi_ccir_err_detection_enable(ipu, csi); } else if ((cfg_param.clk_mode == IPU_CSI_CLK_MODE_GATED_CLK) ||    (cfg_param.clk_mode == IPU_CSI_CLK_MODE_NONGATED_CLK)) { _ipu_csi_ccir_err_detection_disable(ipu, csi); } /* 这一段代码是有关CCIR相关的设置，在上面介绍数据传输协议的时候说了，当用BT.656或者BT.1120模式传输的时候，需要设置 定时基准信号中4个字的序列组成，就是在这几个寄存器中设置的。 */mutex_unlock(&ipu->mutex_lock); _ipu_put(ipu); return 0; } EXPORT_SYMBOL(ipu_csi_init_interface);

另外，设置CSI的相关函数还有ipu_csi_set_window_size和ipu_csi_set_window_pos，这两个函数比较简单，就不分析了。

通过如上的代码，就可以设置好CSI相关的寄存器。