用gstreamer实现照相机功能

Camera的主要功能是照相和录像，利用gstreamer，我们可以使Camera的实现更加简单。

1、照相照相的实现一般有两种方法：

第一种需要创建两个管道，分别用来预览和照相，

预览管道：

pipeline = gst_parse_launch("v4lsrc name=src ! xvimagesink name=display", &error);

照相管道：

photobin = gst_parse_launch("v4lsrc name=src ! videoscale ! ffmpegcolorspace ! pngenc ! filesink name=photo_sink", &error);

初始时，设置预览管道为播放状态，照相管道为准备状态；

gst_element_set_state (pipeline, GST_STATE_PLAYING);
gst_element_set_state (photobin, GST_STATE_READY);

照相时则反过来，并通过设置filesink的"location"属性来设置图像的保存路径；

gst_element_set_state (pipeline, GST_STATE_READY);
gst_element_set_state (photobin, GST_STATE_PLAYING);
photo_sink = gst_bin_get_by_name (GST_BIN (photobin), "photo_sink");
g_object_set (G_OBJECT (photo_sink), "location", "photo.png", NULL);

第二种方法只需要创建一个管道，把输出通过tee分成两路，一路预览输出，另一路输出到fakesink，照相时通过fakesink的"handoff"事件获取图像buffer。
管道创建如下：

gst-launch v4lsrc ! tee ! queue ! xvimagesink ! queue ! ffmpegcolorspace ! fakesink
管道运行中，需要照相时通过"handoff"获取图像buffer。
image_sink即获取的fakesink。

camera_data->buffer_cb_id = g_signal_connect(G_OBJECT(image_sink), "handoff", G_CALLBACK(buffer_probe_callback), appdata);

static gboolean buffer_probe_callback(
GstElement *image_sink,
GstBuffer *buffer, GstPad *pad, AppData *appdata)
{
unsigned char *data_photo =
    (unsigned char *) GST_BUFFER_DATA(buffer);

        pixbuf = gdk_pixbuf_new_from_data(data,
GDK_COLORSPACE_RGB, 
FALSE, 
bpp/3, 
width, height, 
3*width, 
NULL, NULL);
        
        gdk_pixbuf_save(pixbuf, filename, "jpeg", &error, NULL)

g_signal_handler_disconnect(G_OBJECT(image_sink),
appdata->buffer_cb_id);

return TRUE;
}

2、录像录像部分主要分析一下复杂的录像管道，以及我创建这种管道的目的。

首先看一下管道，此处以freescale的插件举例：
gst-launch v4lsrc capture-width=640 capture-height=480 name=camera-srcfps-n=15 ! tee name=vsrc vsrc. ! queue ! ffmpegcolorspace ! timeoverlay! mfw_v4lsink x11enable=true name=screen-sink vsrc. ! queue !mfw_vpuencoder codec-type=7 framerate=15 ! avimux name=mux ! filesinklocation=movie.avi sync=true alsasrc provide-clock=false ! queue !taginject tags=/"title=camerarecorder/" ! mfw_mp3encoder ! mux. vsrc. !queue ! fakesink name=screen-shot
此处从Sensor出来的数据分为3路，分别为预览输出，录像文件生成和缩略图的获取。

预览输出为ffmpegcolorspace ! timeoverlay ! mfw_v4lsink，此处需要加上timeoverlay，目的是为了在录像的过程中可以在录像的图像上显示时间信息。
录像文件的生成包括了声音和视频，mfw_vpuencoder codec-type=7 framerate=15 ! avimuxname=mux ! filesink location=movie.avi sync=true alsasrcprovide-clock=false ! queue ! taginject tags=/"title=camerarecorder/" !mfw_mp3encoder ! mux.。
此处可以通过taginject向录像文件中添加TAG信息，当然tag信息包括很多种，比如artist，genre，album，comment等，都可以加进去。
当我们出现丢弃audio sample的问题时，可以通过provide-clock=false来解决。
获取缩略图是通过设置fakesink的"signal-handoffs"为TRUE，随后利用"handoff"来获取图像buffer。