spark eclipse开发调试 本地单机模式
来源:互联网 发布:linux只读文件怎么修改 编辑:程序博客网 时间:2024/05/17 03:57
windows环境下使用eclipse开发spark程序,报错
Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration at org.apache.spark.SparkContext.<init>(SparkContext.scala:401) at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:59) at com.chuck.cust.filter.DataFilterAP.init(DataFilterAP.java:56) at com.chuck.cust.filter.DataFilterAP.main(DataFilterAP.java:46)
从提示中可以看出找不到程序运行的master,此时需要配置环境变量。
传递给spark的master url可以有如下几种:
local 本地单线程
local[K] 本地多线程(指定K个内核)
local[*] 本地多线程(指定所有可用内核)
spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。
mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。
yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
点击edit configuration,在左侧点击该项目。在右侧VM options中输入“-Dspark.master=local”,指示本程序本地单线程运行,再次运行即可。
eclipse环境下,在项目右键–>Run As–>Run Configurations
转载自:http://blog.csdn.net/shenlanzifa/article/details/42679577
阅读全文
0 0
- spark eclipse开发调试 本地单机模式
- 一 eclipse Spark 本地开发调试环境
- spark windows单机安装,intellij、eclipse开发
- mac 单机 搭建 eclipse spark开发环境
- spark 单机模式配置
- spark 单机模式
- Spark单机模式搭建
- Hadoop单机本地模式
- eclipse开发spark程序配置本地运行
- Spark快速入门之单机模式Java应用程序开发
- Eclipse下使用Hadoop单机模式调试MapReduce程序
- Eclipse下使用Hadoop单机模式调试MapReduce程序
- SPARK单机模式搭建(从零开始)
- spark 单机模式下安装
- Spark单机模式独立部署
- idea本地调试spark
- spark本地调试hive
- spark 本地调试运行WordCount(java版local模式)
- Docker之docker-compose部署django+mysql示例
- github的README.md
- 电商类-仿美团页面demo
- 自定义View-柱状图和折线图的合体
- 线程并发学习----Thread、Runnable、Callable
- spark eclipse开发调试 本地单机模式
- SpringBoot构建微服务实战 之 @Condition*
- sequence的作用和用法
- CDN在秒杀系统中的作用
- 使用AWK在shell中生成日历的小程序
- Salesforce并非唯一利用AI进行CRM和营销自动化的企业
- 使用pdf.js在线预览远程服务器上的pdf文件
- commons-dbutils 工具使用
- 1141: 进制转换