第132课: Spark Streaming源码经典解读系列之七:Executro容错工作内幕源码解密
来源:互联网 发布:离线翻译软件 知乎 编辑:程序博客网 时间:2024/05/01 19:10
第132课: Spark Streaming源码经典解读系列之七:Executro容错工作内幕源码解密
Executor 容错高可用:
备份方式
1、备份:将数据拷贝一份,不同机器A/B两个进程复制一份副本,进程级别。
2、使用WAL备份方式,内存的数据挂掉,通过WAL恢复数据。
不备份的方式:
1、重放,从hdfs上重新读取数据,spark streaming可从kafka中读取数据。
2、忽略掉丢失的数据,不在意丢失1%的数据。使用适配器模式,构造一个空数据的集合,有无数据对计算结果无影响。RDD感知不到数据的变化。
这样运行不报错。
0 0
- 第132课: Spark Streaming源码经典解读系列之七:Executro容错工作内幕源码解密
- 第131课: Spark Streaming源码经典解读系列之六:ReceiverTracker工作内幕源码解密
- 第130课: Spark Streaming源码经典解读系列之五:Receiver工作内幕源码解密
- 第129课:Spark streaming源码经典解读系统之四:GobGenerator工作内幕源码解密
- 第128课: Spark Streaming源码经典解读系列之三:JobScheduler工作内幕源
- Spark定制班第16课:Spark Streaming源码解读之数据清理内幕彻底解密
- 第16课:Spark Streaming源码解读之数据清理内幕彻底解密
- 第16课:Spark Streaming源码解读之数据清理内幕彻底解密
- 第127课: Spark Streaming源码经典解读系列之二:Spark Streaming生成RDD
- Spark Streaming源码解读之数据清理内幕彻底解密
- Spark Streaming源码解读之数据清理内幕彻底解密
- Spark定制班第12课:Spark Streaming源码解读之Executor容错安全性
- Spark定制班第13课:Spark Streaming源码解读之Driver容错安全性
- 第13课:Spark Streaming源码解读之Driver容错安全性
- 第13课:Spark Streaming 源码解读之Driver 容错安全性
- 第12课:Spark Streaming源码解读之Executor容错安全性
- 第12课 :Spark Streaming源码解读之Executor容错安全性
- 第12课:Spark Streaming源码解读之executor容错安全性
- 我学习过的Android GitHub开源项目
- TextView里限制输入字数的方法
- Myeclipse格式化不换行的设置
- centos6.5环境下svn服务器和客户端配置实用详解
- Angular $http拦截器介绍与使用
- 第132课: Spark Streaming源码经典解读系列之七:Executro容错工作内幕源码解密
- 版本管理工具的安装和使用
- Android应届生面试应该掌握的技能
- Confluence(一)--安装
- 计算机网络——复习大纲
- 老曹的忧郁
- Windows上帝模式
- Runtime实现 属性替代
- Android之结束所有activity-使用Intent.FLAG_ACTIVITY_CLEAR_TOP