【数据平台】Eclipse+Scala开发环境(本机和集群两个运行模式)
来源:互联网 发布:微信数据转移到sd卡 编辑:程序博客网 时间:2024/06/10 23:14
1)环境:
集群部署centos+jdk1.8+spark-1.5.0+Scala-2.11.8;
开发端windows+Eclipse Mars.1 Release (4.5.1)
2)安装eclipse-scala-plugin插件
http://scala-ide.org/download/prev-stable.html下载版本:
解压后将features和plugins中的文件放到eclipse对应的目录中。
3)引入SparkJar包,工程示例如下:
加入后Run时提示找不到类,不知道是否是对应的版本问题,在工程属性上调整:
4) 单词计数本机运行:新建Scala Object
5)本机开发提交集群运行
阅读全文
0 0
- 【数据平台】Eclipse+Scala开发环境(本机和集群两个运行模式)
- 【数据平台】Eclipse+MapReduce开发环境(集群运行模式)
- Scala IDE 搭建Spark 2开发环境和运行例子
- eclipse搭建Scala开发环境
- Scala-IDE Eclipse(Windows)中开发Spark应用程序,在Ubuntu Spark集群上运行
- 分别用Eclipse和IDEA搭建Scala+Spark开发环境
- windows eclipse hadoop 集群开发环境搭建(分布式模式)
- IDEA【基本配置1】配置SBT 和 scala 并在spark环境中进行wordcount测试(spark集群运行模式)
- Scala简述、安装scala以及集成开发环境Scala Eclipse
- Scala简述、安装scala以及集成开发环境Scala Eclipse
- mac平台scala开发环境搭建
- Scala学习笔记-1用Eclipse和IDEA搭建Scala+Spark开发环境
- 安装Scala开发环境以及运行HelloWorld
- 【数据平台】Eclipse+Scala远程开发调试关于hostname的问题
- scala在eclipse开发环境配置<转>
- scala+java+eclipse+maven开发环境构建
- Eclipse搭建Scala+Spark开发环境
- 搭建eclipse+maven+scala-ide的scala web开发环境
- vs2010+QT开发配置
- 入门赛8
- Eclipse内置SVN下载
- 使用Spring的@Scheduled实现定时任务以及解决无法执行定时任务
- opencv如何读取图像、视频(基于Python语言)
- 【数据平台】Eclipse+Scala开发环境(本机和集群两个运行模式)
- JAVA项目实战,接口集合的数据形式的调整
- Java语法--通配符的上界通配符和下界通配符
- Faster-RCNN实现物体检测
- Android动画之animation-list实现逐帧动画
- 如何在html上添加背景音乐
- WEB前端屏幕适配度
- BSON与JSON的区别
- java.util.ConcurrentModificationException异常最简单的解决办法