【互动问答分享】第6期决胜云计算大数据时代Spark亚太研究院公益大讲堂
来源:互联网 发布:java开发手册 怎么样 编辑:程序博客网 时间:2024/05/11 16:05
“决胜云计算大数据时代”
Spark亚太研究院100期公益大讲堂 【第6期互动问答分享】
Q1:spark streaming可以不同数据流 join吗?
Spark Streaming不同的数据流可以进行join操作;
Spark Streaming is an extension of the coreSpark API that allows enables high-throughput, fault-tolerant stream processingof live data streams. Data can be ingested from many sources like Kafka, Flume,Twitter, ZeroMQ or plain old TCP sockets and be processed using complexalgorithms expressed with high-level functions like map
, reduce
, join
and window
join(otherStream, [numTasks]):When called on twoDStreams of (K, V) and (K, W) pairs, return a new DStream of (K, (V, W)) pairswith all pairs of elements for each key.
Q2:flume 与 spark streaming 适合 集群模式吗?
Flume与Spark Streaming是为集群而生的;
For input streams that receive data over the network (suchas, Kafka, Flume, sockets, etc.), the default persistence level is set toreplicate the data to two nodes for fault-tolerance.
Using any input source that receives datathrough a network - Fornetwork-based data sources like Kafka and Flume, the received input data isreplicated in memory between nodes of the cluster (default replication factoris 2).
Q3:spark有缺点嘛?
Spark的核心缺点在于对内存的占用比较大;
在以前的版本中Spark对数据的处理主要的是粗粒度的,难以进行精细的控制;
后来加入Fair模式后可以进行细粒度的处理;
Q4:spark streming现在有生产使用吗?
Spark Streaming非常易于在生产环境下使用;
无需部署,只需安装好Spark,,就按照好了Spark Streaming;
国内像皮皮网等都在使用Spark Streaming;
- 【互动问答分享】第6期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第5期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第4期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第7期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第8期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第9期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第10期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第11期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第12期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第13期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第15期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第18期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- Spark视频第1期:Spark亚太研究院决胜云计算大数据时代:100期Spark公益大讲堂之革命Hadoop Spark把云计算大数据速度提高100倍以上
- Spark视频第8期:Spark亚太研究院决胜大数据时代公益大讲坛:Machine Learning on Spark
- Spark视频第10期:Spark亚太研究院决胜大数据时代公益大讲坛:Spark on Yarn
- Spark视频第11期:Spark亚太研究院决胜大数据时代公益大讲坛:Spark Docker
- Spark视频第12期Spark亚太研究院决胜大数据时代公益大讲坛:Spark as a Service
- Spark视频第14期:Spark亚太研究院决胜大数据时代公益大讲坛:Spark on Docker深入揭秘
- 空指针 at org.apache.jsp.index_jsp._jspInit(index_jsp.java:23) 错误解决办法
- Dijkstra算法(matlab)
- AD数据采集方案的心得分享【转自阿莫】
- 专访叶劲峰:漫谈游戏开发和游戏优化
- POJ 3468 A Simple Problem with Integers ( Splay )
- 【互动问答分享】第6期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- SPRING工作原理
- svn中合并(merge)问题和如何解决版本冲突
- 就克拉斯地方了喀什咖啡阿康师傅
- 黑马程序员 - 学习笔记4 里式转换原则的学习
- Spring MVC 中的基于注解的 Controller
- winform 获取文件夹的名称
- 2014年7月编程语言排行
- android kernel在linux kernel基础上增加了什么?