Spark1.3.1 Standalone 基于文件系统的 HA 部署
来源:互联网 发布:淘宝香辣小螃蟹的做法 编辑:程序博客网 时间:2024/05/01 07:20
基于文件系统的 HA
spark.deploy.recoveryMode设成 FILESYSTEM
spark.deploy.recoveryDirectory Spark保存恢复状态的目录
Spark-env.sh 里对 SPARK_DAEMON_JAVA_OPTS 设置
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/app/hadoop/spark100/recovery"
1 修改conf/spark-env.sh 文件
2 将修改后的文件拷贝到集群中的hadoop2,hadoop3
3 启动集群
4 启动一个spark-shell客户端并做部分操作后,然后用sbin/stop-master.sh杀死Master进程
做一些操作,比如定义两个变量:val a=2 val b=3 val c=a+b:
用sbin/stop-master.sh 杀死master:
杀死完后在客户端可以看到:
过段时间用sbin/start-master.sh启动master:
观察客户端和浏览器监控,发现spark-shell可以使用杀死master进程之前的变量c。
参考:http://mmicky.blog.163.com/blog/static/15029015420143191440337/
0 0
- Spark1.3.1 Standalone 基于文件系统的 HA 部署
- Spark1.0.0 Standalone HA的实现
- Spark1.0.0 Standalone HA的实现
- Spark1.0.0 Standalone HA的实现
- Spark1.0.2-standalone部署
- Spark(一)-- Standalone HA的部署
- Spark1.0.2 Standalone 模式部署
- Spark1.0.2 Standalone 模式部署
- spark1.6.1集群部署(standalone)
- Spark1.0.0 on Standalone 模式部署
- Spark1.0.0 on Standalone 模式部署
- Spark1.0.0 on Standalone 模式部署
- Spark1.6.1集群环境搭建——Standalone模式HA
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的
- spark standalone zookeeper HA部署方式
- 在vmare的虚拟机上部署spark1.5.2的ha(成功)和在openstack的虚拟机上部署spark1.5.2的ha(失败)
- Spark HA 集群搭建【1、基于文件系统的手动HA 2、基于zk的自动HA】
- 支付宝网银支付接口
- 实现医生工作站的辅助检查功能的代码(七)
- ls -l各个位置详解
- lucene3.6.0 经典案例 入门教程
- 做了一个噩梦,梦见你离开,我从哭泣中醒来
- Spark1.3.1 Standalone 基于文件系统的 HA 部署
- zookeeper
- ASIHttpRequest
- 插入排序
- 3D数学基础 图形与游戏开发的学习 (四)[2D笛卡尔数学]
- Linux网络编程:原始套接字编程及实例分析(二)
- 无论如何选择
- mac Xcode下载安装及介绍
- PythonCharm调试