在spark开发环境中使用Standalone模式调试集群运行
来源:互联网 发布:2017勇士vs骑士g4数据 编辑:程序博客网 时间:2024/04/25 18:26
spark程序开发在生成环境中测试一直是个麻烦的问题,本地测试因为数据量少,环境不同,也只能测出程序逻辑方面的问题,每次在Jar包丢到线上测试,然后修改在测试总是占用着很长的时间,那么spark能否在本地远程的进行集群的运行测试呢,答案显然是可以的。
废话不多说,来看看怎么使用这个方法:(spark1.x)
1.开发工具中导入spark项目 2.设置远程Master:sparkContext.set(Url) 这个Url一定是Master的hostName 3.下载 hadoop-common-2.2.0-bin-master.jar 解压到开发环境 配置HADOOP_HOME只想这个文件夹 4.在本机host文件中 加入master的ip 对应master的hostName 5.运行spark程序可以看到程序已经在生成环境中运行了,值得注意的是这是standalone模式
实际上在之前的开发中我也是使用丢Jar到集群中运行的方式进行测试,在spark2.0出来以后,这个setMaster的方法不需要配置上述的任何步骤就可以运行,在体验了spark2.0的setMaster方法后就再也不想回到这种丢jar测试的时代….
0 0
- 在spark开发环境中使用Standalone模式调试集群运行
- Spark Standalone Mode 在 Win10 下搭建开发调试环境
- 在myeclipse中使用Java语言进行spark Standalone模式应用程序开发
- spark standalone 集群环境搭建
- Spark开发-Standalone模式
- Spark -5:Standalone 集群模式
- spark standalone集群模式搭建
- spark standalone模式 环境搭建
- spark环境搭建--Standalone模式
- Spark Standalone模式应用程序开发
- Spark Standalone模式应用程序开发
- Spark standalone 模式下的集群部署
- Spark运行环境的安装(Standalone)
- Spark的StandAlone模式环境搭建
- Spark学习之(二)Spark 集群环境搭建(standalone)
- 在WildFly中运行多个standalone模式的实例
- 在WildFly中运行多个standalone模式的实例
- IDEA【基本配置1】配置SBT 和 scala 并在spark环境中进行wordcount测试(spark集群运行模式)
- iOS开发mock接口数据(三)之实战教程
- Android 6.0动态权限申请
- maven下载jar包失败的原因- 解决方法汇总
- 工具bean类
- 这是我的第一篇博客
- 在spark开发环境中使用Standalone模式调试集群运行
- Ubuntu内核编译和CPU Hot-Plug特性配置全过程及遇到问题记录
- POJ 2456
- Myeclipse配置Maven
- ibatis琐碎记录
- Spring面试题
- selector选择器
- Mybatis入门
- Spark2.1.0 + CarbonData1.0.0集群模式部署及使用入门