用gstreamer实现照相机功能

Camera的主要功能是照相和录像，利用gstreamer，我们可以使Camera的实现更加简单。1、照相 照相的实现一般有两种方法：第一种需要创建两个管道，分别用来预览和照相，预览管道：pipeline = gst_parse_launch("v4lsrc name=src ! xvimagesink name=display", &error);照相管道：photobin = gst_parse_launch("v4lsrc name=src ! videoscale ! ffmpegcolorspace ! pngenc ! filesink name=photo_sink", &error);初始时，设置预览管道为播放状态，照相管道为准备状态；gst_element_set_state (pipeline, GST_STATE_PLAYING);gst_element_set_state (photobin, GST_STATE_READY);照相时则反过来，并通过设置filesink的"location"属性来设置图像的保存路径；gst_element_set_state (pipeline, GST_STATE_READY);gst_element_set_state (photobin, GST_STATE_PLAYING);photo_sink = gst_bin_get_by_name (GST_BIN (photobin), "photo_sink");g_object_set (G_OBJECT (photo_sink), "location", "photo.png", NULL);第二种方法只需要创建一个管道，把输出通过tee分成两路，一路预览输出，另一路输出到fakesink，照相时通过fakesink的"handoff"事件获取图像buffer。管道创建如下：gst-launch v4lsrc ! tee ! queue ! xvimagesink ! queue ! ffmpegcolorspace ! fakesink管道运行中，需要照相时通过"handoff"获取图像buffer。image_sink即获取的fakesink。camera_data->buffer_cb_id = g_signal_connect(G_OBJECT(image_sink), "handoff", G_CALLBACK(buffer_probe_callback), appdata);static gboolean buffer_probe_callback(GstElement *image_sink,GstBuffer *buffer, GstPad *pad, AppData *appdata){unsigned char *data_photo = (unsigned char *) GST_BUFFER_DATA(buffer); pixbuf = gdk_pixbuf_new_from_data(data,GDK_COLORSPACE_RGB, FALSE, bpp/3, width, height, 3*width, NULL, NULL); gdk_pixbuf_save(pixbuf, filename, "jpeg", &error, NULL)g_signal_handler_disconnect(G_OBJECT(image_sink),appdata->buffer_cb_id);return TRUE;}2、录像 录像部分主要分析一下复杂的录像管道，以及我创建这种管道的目的。首先看一下管道，此处以freescale的插件举例：gst-launch v4lsrc capture-width=640 capture-height=480 name=camera-src fps-n=15 ! tee name=vsrc vsrc. ! queue ! ffmpegcolorspace ! timeoverlay ! mfw_v4lsink x11enable=true name=screen-sink vsrc. ! queue ! mfw_vpuencoder codec-type=7 framerate=15 ! avimux name=mux ! filesink location=movie.avi sync=true alsasrc provide-clock=false ! queue ! taginject tags=/"title=camerarecorder/" ! mfw_mp3encoder ! mux. vsrc. ! queue ! fakesink name=screen-shot此处从Sensor出来的数据分为3路，分别为预览输出，录像文件生成和缩略图的获取。预览输出为ffmpegcolorspace ! timeoverlay ! mfw_v4lsink，此处需要加上timeoverlay，目的是为了在录像的过程中可以在录像的图像上显示时间信息。录像文件的生成包括了声音和视频，mfw_vpuencoder codec-type=7 framerate=15 ! avimux name=mux ! filesink location=movie.avi sync=true alsasrc provide-clock=false ! queue ! taginject tags=/"title=camerarecorder/" ! mfw_mp3encoder ! mux.。此处可以通过taginject向录像文件中添加TAG信息，当然tag信息包括很多种，比如artist，genre，album，comment等，都可以加进去。当我们出现丢弃audio sample的问题时，可以通过provide-clock=false来解决。获取缩略图是通过设置fakesink的"signal-handoffs"为TRUE，随后利用"handoff"来获取图像buffer。