spark+mongo Scala开发环境搭建
来源:互联网 发布:gta5捏脸数据男小唐尼 编辑:程序博客网 时间:2024/05/29 18:03
依赖环境
1. jdk 1.8
2. scala 2.11
3. spark 2.2.0
idea创建Scala项目
idea配置Scala环境
搜索Scala
点击右侧安装按钮,等待安装完成,然后点OK(此处因为我已经安装过了,所以显示卸载按钮)。
创建新项目
如下图操作, 然后下一步。
输入包名,项目名。下一步。
完成。
项目目录结构如下。编辑maven配置文件,配置spark依赖,mongo-spark依赖。
好了,开发环境到此搭建完成。
Scala编写spark应用
创建Scala文件。
编写代码,从mongodb数据库中读取数据。
说明:
master: 集群管理器,spark://host:port, mesos://host:port, yarn, or local.
appName: 应用名。
spark.mongodb.input.uri: mongodb 输入地址。
spark.mongodb.output.uri: mongodb 输出地址。
打包项目。
按下图操作:
spark-submit是会自动包含依赖的包,因此只需要保留mongo-spark包和compile output,如下所示:
打包
提交spark应用
进入spark安装目录bin, 输入命令:
sudo ./spark-submit --class com.qincai.Mongo --executor-memory 1G --total-executor-cores 2 /home/joey/opt/gamesAnaly.jar
说明:
executor-memory: 执行器内存大小。
total-executor-cores: 执行器cup核心数。
class: spark应用主类。
jar: spark应用jar包。
输出如下:
本文到此结束。本人将继续研究mongo-spark数据分析、读写和spark定时任务。
- spark+mongo Scala开发环境搭建
- [ Hadoop | Spark | Scala ] 搭建 Scoobi 开发环境
- Eclipse搭建Scala+Spark开发环境
- spark开发环境搭建intellij+Scala+sbt
- Spark+Scala环境搭建
- spark 之 Scala 环境搭建,开发工具使用
- 基于linux的spark与scala开发环境搭建
- 分别用Eclipse和IDEA搭建Scala+Spark开发环境
- Scala IDE 搭建Spark 2开发环境和运行例子
- Idea基于scala语言构建spark开发环境搭建
- Intellij IDEA使用Maven搭建spark开发环境(scala)
- 0070 IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建
- Spark Scala IntelliJ IDEA开发环境搭建(入门)
- Scala开发环境搭建
- Scala开发环境搭建
- Scala开发环境搭建
- 搭建scala开发环境
- Scala开发环境搭建
- 浏览器缓存_后台更新js,浏览器中更新后的js代码不显示
- 知识整理–linux内核的gpiolib学习
- Git 常用命令
- Cordova 学习笔记四
- Java中使用Jedis操作Redis
- spark+mongo Scala开发环境搭建
- Windbg和VirtualBox通过虚拟串口调试Win 8
- IQueryable和IEnumerable的使用
- Django 信号
- 按钮和滑动
- 树的子结构
- Instance "orcl", status UNKNOWN, has 1 handler(s) for this service...
- XML语法结构(学习)
- 自动轮播+侧滑菜单+TabLout+PullToRefresh