Gstreamer官方教程汇总基本教程3---Dynamic pipelines
来源:互联网 发布:找淘宝网店合作人 编辑:程序博客网 时间:2024/06/03 18:46
https://my.oschina.net/u/735973/blog/202365
Goal
本教程介绍剩下的的使用GStreamer的所需的基本概念,它允许随时地建立管道,作为信息变得可用,而不必在你的应用程序的开头定义一个全局的管道。
本教程后,您将具备必要的知识,开始 Playback tutorials。这个教程将讨论的是:
如何在链接元素时进行更好的控制。
有兴趣的事件如何得到通知,以便您能及时作出反应。
一个元素可以有的不同的状态
Introduction
正如你将要看到的,本教程中的管道没有完全建成之前,它被设置为播放状态。这是确定。如果我们不采取进一步行动,数据将达到管道的末端,只是被丢弃。但是,我们要采取进一步行动...
在这个例子中,我们打开一个复合(或复用)的文件,这就是,音频和视频是一起存放在一个容器文件里面。负责开这样的容器被称为分路器(demuxers)的元素,一些这样容器格式的例子是的Matroska(MKV),Quick Time(QT,MOV),OGG,或Advanced Systems Format(ASF,WMV,WMA)。
如果容器嵌入多个数据流(一个视频和两个音频轨道,例如),分路器将它们分开,并通过不同的输出端口揭露他们。以这种方式,不同的分支可以在管道中被创建,处理不同类型的数据。
通过它的GStreamer元件彼此连通的端口称为衬垫(GstPad)。存在接收端衬垫(sink pads),通过它数据进入一个元素,和源衬垫(source pads),通过它数据可退出一个元素。这是很自然的,源元件只包含源衬垫,接收端元件只包含接收端衬垫和过滤元件包含两者。
图1。 GStreamer的元素及其衬垫。
一个分路器包含一个接收端衬垫,通过分路器,当复合数据到达,配合多个源衬垫,每个流都找到对应的容器:
图2。一个分路器有两个来源衬垫。
为了完整起见,在这里你有一个包含分路器和两个分支,一个用于音频,一个用于视频的简化管道。这不是将建在这个例子中的管道:
图3。例如管道有两个分支。
当使用分路器处理的主要复杂性在于,分路器不能产生任何信息,直到他们已经收到了一些数据,并有机会看看容器,看看里面是什么。这是,分路器开始的时候没有可以让其他元件链接的源衬垫,因此管道必然终止于它们。
解决的办法是建立一个从源元件向下到分路器的管道,并将其设置为运行(播放)。当分路器已经获得了足够的信息,以了解在容器内的流的数量和种类,它会开始创建源衬垫。这是一个合适的时间,我们完成建设管道,并将其附加到新添加的分路器衬垫。
为简单起见,在此示例中,我们将只链接到音频垫,并忽略该视频。
Dyamic Hello World
将此代码复制到名为basic-tutorial-3.c的一个文本文件
#include <gst/gst.h> /* Structure to contain all our information, so we can pass it to callbacks */typedef struct _CustomData { GstElement *pipeline; GstElement *source; GstElement *convert; GstElement *sink;} CustomData; /* Handler for the pad-added signal */static void pad_added_handler (GstElement *src, GstPad *pad, CustomData *data); int main(int argc, char *argv[]) { CustomData data; GstBus *bus; GstMessage *msg; GstStateChangeReturn ret; gboolean terminate = FALSE; /* Initialize GStreamer */ gst_init (&argc, &argv); /* Create the elements */ data.source = gst_element_factory_make ("uridecodebin", "source"); data.convert = gst_element_factory_make ("audioconvert", "convert"); data.sink = gst_element_factory_make ("autoaudiosink", "sink"); /* Create the empty pipeline */ data.pipeline = gst_pipeline_new ("test-pipeline"); if (!data.pipeline || !data.source || !data.convert || !data.sink) { g_printerr ("Not all elements could be created.\n"); return -1; } /* Build the pipeline. Note that we are NOT linking the source at this * point. We will do it later. */ gst_bin_add_many (GST_BIN (data.pipeline), data.source, data.convert , data.sink, NULL); if (!gst_element_link (data.convert, data.sink)) { g_printerr ("Elements could not be linked.\n"); gst_object_unref (data.pipeline); return -1; } /* Set the URI to play */ g_object_set (data.source, "uri", "http://docs.gstreamer.com/media/sintel_trailer-480p.webm", NULL); /* Connect to the pad-added signal */ g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data); /* Start playing */ ret = gst_element_set_state (data.pipeline, GST_STATE_PLAYING); if (ret == GST_STATE_CHANGE_FAILURE) { g_printerr ("Unable to set the pipeline to the playing state.\n"); gst_object_unref (data.pipeline); return -1; } /* Listen to the bus */ bus = gst_element_get_bus (data.pipeline); do { msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE, GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS); /* Parse message */ if (msg != NULL) { GError *err; gchar *debug_info; switch (GST_MESSAGE_TYPE (msg)) { case GST_MESSAGE_ERROR: gst_message_parse_error (msg, &err, &debug_info); g_printerr ("Error received from element %s: %s\n", GST_OBJECT_NAME (msg->src), err->message); g_printerr ("Debugging information: %s\n", debug_info ? debug_info : "none"); g_clear_error (&err); g_free (debug_info); terminate = TRUE; break; case GST_MESSAGE_EOS: g_print ("End-Of-Stream reached.\n"); terminate = TRUE; break; case GST_MESSAGE_STATE_CHANGED: /* We are only interested in state-changed messages from the pipeline */ if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) { GstState old_state, new_state, pending_state; gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state); g_print ("Pipeline state changed from %s to %s:\n", gst_element_state_get_name (old_state), gst_element_state_get_name (new_state)); } break; default: /* We should not reach here */ g_printerr ("Unexpected message received.\n"); break; } gst_message_unref (msg); } } while (!terminate); /* Free resources */ gst_object_unref (bus); gst_element_set_state (data.pipeline, GST_STATE_NULL); gst_object_unref (data.pipeline); return 0;} /* This function will be called by the pad-added signal */static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data) { GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink"); GstPadLinkReturn ret; GstCaps *new_pad_caps = NULL; GstStructure *new_pad_struct = NULL; const gchar *new_pad_type = NULL; g_print ("Received new pad '%s' from '%s':\n", GST_PAD_NAME (new_pad), GST_ELEMENT_NAME (src)); /* If our converter is already linked, we have nothing to do here */ if (gst_pad_is_linked (sink_pad)) { g_print (" We are already linked. Ignoring.\n"); goto exit; } /* Check the new pad's type */ new_pad_caps = gst_pad_get_caps (new_pad); new_pad_struct = gst_caps_get_structure (new_pad_caps, 0); new_pad_type = gst_structure_get_name (new_pad_struct); if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) { g_print (" It has type '%s' which is not raw audio. Ignoring.\n", new_pad_type); goto exit; } /* Attempt the link */ ret = gst_pad_link (new_pad, sink_pad); if (GST_PAD_LINK_FAILED (ret)) { g_print (" Type is '%s' but link failed.\n", new_pad_type); } else { g_print (" Link succeeded (type '%s').\n", new_pad_type); } exit: /* Unreference the new pad's caps, if we got them */ if (new_pad_caps != NULL) gst_caps_unref (new_pad_caps); /* Unreference the sink pad */ gst_object_unref (sink_pad);}
逐步解说
/* Structure to contain all our information, so we can pass it to callbacks */typedef struct _CustomData { GstElement *pipeline; GstElement *source; GstElement *convert; GstElement *sink;} CustomData;
到目前为止,我们已经保留了所有我们需要的信息(指针 GstElement
)为局部变量。由于本教程(以及大多数实际应用)涉及的回调,我们将聚集我们所有的数据到一个结构体,这样我们更容易处理。
/* Handler for the pad-added signal */static void pad_added_handler (GstElement *src, GstPad *pad, CustomData *data);
这是一个超前的引用,呆会用。
/* Create the elements */data.source = gst_element_factory_make ("uridecodebin", "source");data.convert = gst_element_factory_make ("audioconvert", "convert");data.sink = gst_element_factory_make ("autoaudiosink", "sink");
我们创建的元素像往常一样。 uridecodebin
将在内部实例化所有必要的元素(源,分路器和解码器),把一个URI转换到原始音频和/或视频流。它做了一半 playbin2 做的工作。因为它包含分路器,它的源衬垫最初不可用,我们需要在运行时链接他们。
audioconvert
是为不同的音频格式之间进行转换,并确认此示例将工作在任何平台上,由于由音频解码器生成的格式可能和接收端所期望是不一样的。
autoaudiosink
相当于在前面的教程中看到的 autovideosink
,用于音频。它将呈现音频流的音频卡。
if (!gst_element_link (data.convert, data.sink)) { g_printerr ("Elements could not be linked.\n"); gst_object_unref (data.pipeline); return -1;}
在这里,我们的转换器元件连接到接收元件,但我们不将它们与源元件链接,因为在这一点上它不包含源衬垫。我们刚刚离开这个无关联的分支(转换器+接收器),直到后来。
/* Set the URI to play */g_object_set (data.source, "uri", "http://docs.gstreamer.com/media/sintel_trailer-480p.webm", NULL);
我们经由结构体的属性来设置将要播放的文件的URI,就像我们在以前的教程中所作的一样。
Signals
/* Connect to the pad-added signal */g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data);
GSignals 是GStreamer中的一个关键点。它们允许你被告知(用回调方式), 当你感兴趣的事情发生时。信号由名称标识,并且每个图形对象(GObject)都有它自己的信号。
在这条线,我们将 “pad-added”绑定到我们的源元件( uridecodebin
元素)。要做到这一点,我们使用 g_signal_connect()
,并提供了回调函数中使用(pad_added_handler)和一个数据指针。 GStreamer对此数据的指针什么也不做,它只是将其转发给回调,所以我们可以用它共享信息。在这种情况下,我们通过一个指针的CustomData结构,专门用于这一目的。
一个GstElement产生的信号可以在它的文档里看到,或者用gst-inspect
tool找到 ,详见 Basic tutorial 10: GStreamer tools。
现在,我们准备好了!刚刚成立的管道为播放状态,并开始监听总线有趣的信息(如错误或EOS),就像在前面的教程。
The callback
当我们的源元件终于有了足够的信息来开始生产数据时,它会创建源衬垫,并引发了“pad-added”的信号。在这一点上我们的回调会被调用:
static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data) {
src是触发信号的GstElement。在这个例子中,它只能是 uridecodebin,因为它是我们所连接的唯一信号。
new_pad是刚刚被加入到源元件的 GstPad 。这通常是我们想要连结垫。
数据是我们连接到信号时提供的指针。在这个例子中,我们用它来传递的CustomData指针。
GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");
从CustomData我们提取转换器元件,然后用 gst_element_get_static_pad ()
检索其接收槽垫。这是我们想要与new_pad连结的衬垫。在前面的教程中,我们联元素对元素,让GStreamer中选择适当的衬垫。现在,我们要直接连接衬垫。
/* If our converter is already linked, we have nothing to do here */if (gst_pad_is_linked (sink_pad)) { g_print (" We are already linked. Ignoring.\n"); goto exit;}
uridecodebin 可以创建任意多个它认为合适衬垫,对于每一个,这个回调函数会被调用。这行代码会阻止我们试图链接到一个新的衬垫,一旦我们已经链接。
/* Check the new pad's type */new_pad_caps = gst_pad_get_caps (new_pad);new_pad_struct = gst_caps_get_structure (new_pad_caps, 0);new_pad_type = gst_structure_get_name (new_pad_struct);if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) { g_print (" It has type '%s' which is not raw audio. Ignoring.\n", new_pad_type); goto exit;}
现在,我们将检查数据这个新垫是要输出,类型,因为我们只关心垫制作音频。之前我们已经创建了一个管道处理音频(与 autoaudiosink 链接的 audioconvert ),而我们将无法将其链接到制作视频的衬垫,在这个例子中。
gst_pad_get_caps()
获取衬垫的功能(这是,它支持的数据类型),裹在 GstCaps
结构中。衬垫可以提供许多功能,因此 GstCaps
可以包含许多 GstStructure
,各自代表不同的功能。
因为,在这种情况下,我们知道我们想要的衬垫只有一个功能(音频),我们取第一个 GstStructure 与 gst_caps_get_structure()。
最后,用 gst_structure_get_name() ,我们重新获得结构的名称,其中包含格式的主要描述(其MIME类型,实际上)。
如果名称不是以/ X-RAW开头,这不是一个解码音频的衬垫,我们不感兴趣。
否则,尝试链接:
/* Attempt the link */ret = gst_pad_link (new_pad, sink_pad);if (GST_PAD_LINK_FAILED (ret)) { g_print (" Type is '%s' but link failed.\n", new_pad_type);} else { g_print (" Link succeeded (type '%s').\n", new_pad_type);}
gst_pad_link()
尝试连接两个衬垫。他们本质和 gst_element_link() 一样,链接必须从源头指向接收端,两个衬垫必须由属于同一箱柜(bin)(或管道pipeline)的元素所拥有。
我们正在做的!当合适的垫出现时,它会连接到音频处理管道和执行其余部分,直到错误或EOS。然而,我们将从本教程榨取更多的内容,还推出了状态的概念。
GStreamer States
我们已经讨论了一些状态,当我们说,playback不能开始播放,直到你把管道输送到PLAYING状态。我们将在这里介绍余下的状态和它们的含义。有4个状态的GStreamer:
NULL 元素的空状态或初始状态。READY该元素是准备去暂停。PAUSED元素暂停时,它已准备好接受和处理数据。接收端元素但只接受一个缓冲区,然后阻塞。PLAYING元素正在播放时,时钟运行和数据流动。您只能在相邻的两个状态间切换,这是,你不能从 NULL 换到 PLAYING,你必须要经过 READY 和 PAUSED 状态。如果您将管道设置为 PLAYING 状态,不过,GStreamer将会使中间件为您服务。
case GST_MESSAGE_STATE_CHANGED: /* We are only interested in state-changed messages from the pipeline */ if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) { GstState old_state, new_state, pending_state; gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state); g_print ("Pipeline state changed from %s to %s:\n", gst_element_state_get_name (old_state), gst_element_state_get_name (new_state)); } break;
我们增加了这片侦听关于状态变化的总线消息的代码,并将它们打印在屏幕上,以帮助您了解的转换代码。每一个元素将关于它的当前状态的消息放在总线上,所以我们筛选出来,只收听从管道过来的消息。
大多数应用程序只需要关注从 PLAYING 到开始播放,然后 PAUSE 执行暂停,然后再返回到空,在程序退出时释放所有的资源。
Exercise
动态衬垫链接历来是一个困难的话题,对于很多程序员来说。证明你已经通过实例化 autovideosink
(可能与前面的 ffmpegcolorspace
),在右边衬垫出现时,掌握如何将其链接到分路器。提示:你已经在视频衬垫类型的屏幕上打印了。
您现在应该看到(和听到)同一教程中的 Basic tutorial 1: Hello world! 。在此教程中,您使用 playbin2,这是一个方便的元素,它会为您自动处理所有的分路和衬垫链接。大多数的 Playback tutorials 致力于 playbin2。
Conclusion
在本教程中,您学习了:
使用
GSignals
通知事件如何直接连接
GstPad
而不是连接他们的父元素各种状态的GStreamer的元素
您还结合这些条目,以建立一个动态的管道,这不是在程序开始处的定义,而是作为媒体方面的可用信息被创造。现在,您可以继续使用的基本教程,了解执行的目的和时间相关的查询的 Basic tutorial 4: Time management ,并获得有关 playbin2
元素更深入的了解。
请记住,此页你应该找到本教程的完整源代码,并建立它需要的任何附件文件。
很高兴在此与你一起度过,并希望在以后的教程继续见到你!
- Gstreamer官方教程汇总基本教程3---Dynamic pipelines
- Gstreamer官方教程汇总基本教程4---Time management
- Gstreamer官方教程汇总基本教程5---GUI toolkit integration
- Gstreamer官方教程汇总2---GStreamer concepts
- Gstreamer官方教程汇总1---Hello World
- GStreamer iOS教程3 —— 视频
- Nexus 5 官方使用教程汇总
- ROS机器人操作系统官方教程、源码汇总
- DM3730 beagleboard example GStreamer Pipelines
- TensorFlow官方教程学习 基本使用
- kotlin 官方学习教程之基本类型
- jQuery官方教程之频繁被问的问题汇总
- [官方教程] Unity 5 BLACKSMITH深度分享 - 汇总帖
- android开发官方教程之Building a Dynamic UI with Fragments
- 阅读Android官方教程 Google Training 1.4 ----- Building a Dynamic UI with Fragments
- GStreamer iOS教程1 —— GStreamer连接
- 【GStreamer开发】GStreamer播放教程02——字幕管理
- 【GStreamer开发】GStreamer播放教程04——既看式流
- 13. Roman to Integer
- 4 表达式与定义(Expressions and Definitions)
- JavaScript Math 对象
- 5 Programmer-Defined Datatypes
- 6 Modules -- 模块
- Gstreamer官方教程汇总基本教程3---Dynamic pipelines
- 框架部分
- 工业大数据漫谈18:工业大数据数据采集常见的工业协议简介(上)
- 7 Contracts
- 简单xsd实例
- Java 内存管理和垃圾回收机制
- win7下ftp时跳至chrome浏览器问题的修复
- oracle 中sql like下划线 _ 查询
- ubuntu 14.04快速现实桌面图标