spark程序打包集群运行方法及使用中的几个问题解决
来源:互联网 发布:编程打印九九乘法表 编辑:程序博客网 时间:2024/06/05 18:54
最近在开始弄数据处理相关的事,文件很大时候使用pandas主机内存hold不住,实验室其实也在用spark,之前做过一些hadoop的东西,现在想补一下spark的知识,点一个技能点吧,以后需要时候随时可用。
首先idea配置及相关工作网上教程已经很多了,然后我现在主要是记录一下spark程序在idea下如何打包在集群运行,以及途中遇到的问题。做个记录吧,以后自己也能用到。
打包过程如下:
输出打包文件:点击菜单Build->Build Artifacts,弹出选择动作,选择Build或者Rebuild动作.
将输入文件发到hdfs上,然后用命令行
spark-submit –master local –class wordcount wordcount.jar /user/hadoop/hcy/wordcount.txt即可.
过程中出现的问题:
①新建工程中scala不显示scala只有sbt,因为idea版本问题
②pom文件中的依赖无法下载,解决方法:自行导入
③下载的依赖无法加载到external libraries,解决方法如下:
如果还是不行的话可以:
1)在pom文件里添加依赖。
2)添加依赖后在terminal控制台上输入mvn install点击回车,会自动下载jar包。
3)在libraries里面如果只有jdk里面的jar包。
4)点击刷新。
5)然后就有了。
文章部分内容转自:
Trigl的博客—— Learning Spark——使用Intellij Idea开发基于Maven的Spark程序
Idea 创建maven web项目后在pom.xml里面添加依赖,但项目里没有jar包
- spark程序打包集群运行方法及使用中的几个问题解决
- 解决eclipse下/非spark集群下/通过 java application运行spark程序
- 在集群运行spark代码记录程序
- Spark:本地连接集群运行Saprk程序
- spark集群上运行helloworld程序--WordCount
- Spark on Yarn遇到的几个问题及解决思路
- Spark在不同集群中的运行架构
- Spark在不同集群中的运行演示
- IDEAJ中Scala打包提交Spark集群运行
- 走进Spark生态圈:运行程序在Spark集群
- spark集群搭建与集群上运行wordcount程序
- Intellij IDEA开发环境搭建,scala配置及打包,jar包在spark中的运行
- 使用IDEA运行Spark程序
- 第8课:彻底实战详解使用IDE开发Spark程序--集群模式运行
- 第94讲, 使用Scala开发集群运行的Spark 实现在线黑名单过滤程序
- Spark入门(二):打包程序、提交任务到集群
- Spark集群搭建及测试中的问题
- IntelliJ Idea开发spark程序及运行
- unity 获取电量;
- Qt--QCoreApplication、QGuiApplication、QApplication
- Java的基本数据类型
- 防止JavaScript注入攻击
- ES将删除映射类型(Removal of mapping type)
- spark程序打包集群运行方法及使用中的几个问题解决
- Linux(CentOS)下安装Java运行环境(jdk)
- RecyclerView点击事件
- c++文件流基本用法(fstream, ifstream)
- 2017年广州国际照明展览会(光亚展)会刊(参展商名录)
- sqlite 产生正确的 row_number
- 找回MYSQL ROOT用户密码(面试题)
- matlab lisence过期以及新安装
- js获取n天之后的日期