spark streaming 获取数据方式

来源:互联网 发布:视觉识别软件 编辑:程序博客网 时间:2024/06/04 19:20

推模式(Flume push SparkStreaming) VS 拉模式(SparkStreaming poll Flume)
采用推模式:推模式的理解就是Flume作为缓存,存有数据。监听对应端口,如果服务可以链接,就将数据push过去。(简单,耦合要低),缺点是SparkStreaming 程序没有启动的话,Flume端会报错,同时会导致Spark Streaming 程序来不及消费的情况。
采用拉模式:拉模式就是自己定义一个sink,SparkStreaming自己去channel里面取数据,根据自身条件去获取数据,稳定性好。

阅读全文
0 0
原创粉丝点击