【互动问答分享】第12期决胜云计算大数据时代Spark亚太研究院公益大讲堂
来源:互联网 发布:淘宝达人和微淘号达人 编辑:程序博客网 时间:2024/05/14 05:16
“决胜云计算大数据时代”
Spark亚太研究院100期公益大讲堂 【第12期互动问答分享】
Q1:jobserver 企业使用情况如何?
中国有一家视频网站已经使用超过JobServer超过半年的时间;
2013年和2014年Spark Summit均大力推荐使用JobServer;
Q2:请问,jobserver是适合企业内部还是供外部客户使用(可能并发、安全有要求),还是两者ok?
目前可见的企业使用案例均是用在企业内部;
如果是企业外部可以作为云服务或者大数据资源池使用;
Q3:请问,spark 跑1T数据需要多少内存才能很快跑完
这首先和程序运行时候在每台Worker上使用的内存和CPU有关,提交程序的时候可以手动配置;
其次是和带宽有关系,Shuffle的要尽量减少数据;
Driver所在的机器的配置也是极为重要的,一般而言Driver所在的Client的内存和CPU根据实际情况要尽可能的更高的配置,同时,也是至关重要的Driver和Spark集群要在同一个网络环境,应为Driver要不断的task给Worker上的Executor,同时接受Driver的数据;
Q4:我目前是解决stackoverflow Error 是用checkPoint解决lineage过长的问题 但是这样会影响效率 怎样在效率和error之间均衡呢?
:StackOverflow可以通过配置BlockManager内存管理策略来缓解;
对于checkpoint,要根据实际情况调整,例如对于Spark Streaming 默认是在内存有两份数据副本,此时如果处理能力无法及时消费实时流数据,就会极为容易产生StackOverflow的情况,此时就要根据实际情况调整时间窗口和进行checkpoint;
- 【互动问答分享】第12期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第5期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第4期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第6期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第7期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第8期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第9期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第10期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第11期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第13期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第15期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- 【互动问答分享】第18期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- Spark视频第1期:Spark亚太研究院决胜云计算大数据时代:100期Spark公益大讲堂之革命Hadoop Spark把云计算大数据速度提高100倍以上
- Spark视频第12期Spark亚太研究院决胜大数据时代公益大讲坛:Spark as a Service
- Spark视频第8期:Spark亚太研究院决胜大数据时代公益大讲坛:Machine Learning on Spark
- Spark视频第10期:Spark亚太研究院决胜大数据时代公益大讲坛:Spark on Yarn
- Spark视频第11期:Spark亚太研究院决胜大数据时代公益大讲坛:Spark Docker
- Spark视频第14期:Spark亚太研究院决胜大数据时代公益大讲坛:Spark on Docker深入揭秘
- [戏剧] [锡剧] 《玉蜻蜓》 庵堂认母 唱词
- JVM调优工具集 -- jps, jstat, jinfo, jmap, jstack
- 开始学习之路
- eclipse 使用Eclipse查看Android源码
- 80端口被System占用的解决办法
- 【互动问答分享】第12期决胜云计算大数据时代Spark亚太研究院公益大讲堂
- Blog居然被封了
- Java开发过程中生成chm格式帮助文档
- Mina、Netty、Twisted一起学(七):发布/订阅(Publish/Subscribe)
- MFC去除工具条
- 对TCP/IP网络协议的深入浅出归纳
- 主程序等待对话框响应后再顺序执行问题
- 中国的假货没有那么简单
- mac 首次 配置