spark学习笔记(4)IntelliJ IDEA搭建Spark开发环境
来源:互联网 发布:电脑制作音频软件 编辑:程序博客网 时间:2024/05/18 01:56
这篇文件谈不上真正意义的原创作品,但是在调试的时候还是赤膊上阵,花了不少功夫,最终成功运行worldcount。
基于IntelliJ IDEA开发Spark的Maven项目——Scala语言
1、Maven管理项目在JavaEE普遍使用,开发Spark项目也不例外,而Scala语言开发Spark项目的首选。因此需要构建Maven-Scala项目来开发Spark项目,本文采用的工具是IntelliJ IDEA 2016,IDEA工具越来越被大家认可,开发Java, Python ,scala 支持都非常好
下载链接 : https://www.jetbrains.com/idea/download/
安装直接下一步即可
2、安装scala插件,File->Settings->Editor->Plugins,搜索scala即可安装
可能由于网络的原因下载不了(第一次转的确失败了,由于是下班就没继续,第二天又重试ok),可以采取离线安装的方式,例如:
提示下载失败后,根据提示的地址下载离线安装包 http://plugins.jetbrains.com/files/631/24825/python-145.86.zip
在界面选择离线安装即可:
3、创建Maven工程,File->New Project->Maven
选择相应的JDK版本,直接下一步
设定Maven项目的GroupId及ArifactId
创建项目的工程名称,点击完成即可
创建Maven工程完毕,默认是Java的,没关系后面我们再添加scala与spark的依赖
4、修改Maven项目的pom.xml文件,增加scala与spark的依赖
5、删除项目的java目录,新建scala并设置源文件夹(没搞懂设置源文件夹什么意思)
添加scala的SDK(这个地方莫名的花了我很长时间,主要download scala sdk时出的问题)
添加scala的SDK成功(要出现系列红框标记)
6、开发Spark实例
测试案例来自spark官网的mllib例子 http://spark.apache.org/docs/latest/mllib-data-types.html
测试通过
7、打包编译,线上发布
注意选择依赖包
项目搭建完成后,运行报错:Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null \bin\winutils.exe in the Hadoop binaries。大概的意思就是说找不到hadoop的环境变量,因此有查了一通,最后解决办法是这样的:
1、下载hadoop包,我下载的hadoop-2.7.3.tar.gz,加压后放到c盘
2、下载spark包,我下载的是spark-2.0.0-bin-hadoop2.7(这里指明了hadoop的版本),解压放到C盘;
3、下载hadoop在windows下运行的插件包,我已经分享到云盘上,http://pan.baidu.com/s/1kU5q0Ub,将所有内容拷贝到hadoop下的bin目录下
4、配置hadoop和spark环境变量,主要是home和path。
5、重启(应该可以不用重启)
下面是截图配置完成后的截图信息:
环境变量:
windows下插件
再次运行:
到此windows下spark开发环境搭建基本ok。
感谢一下博主提供的宝贵经验
http://www.cnblogs.com/davidwang456/p/5032766.html
http://www.cnblogs.com/eczhou/p/5216918.html
- spark学习笔记(4)IntelliJ IDEA搭建Spark开发环境
- Spark(八) -- 使用Intellij Idea搭建Spark开发环境
- Spark(八) -- 使用Intellij Idea搭建Spark开发环境
- Spark2.x学习笔记:6、在Windows平台下搭建Spark开发环境(Intellij IDEA)
- Intellij Idea搭建Spark开发环境
- 使用Intellij Idea搭建Spark开发环境
- Intellij Idea搭建Spark开发环境
- 如何使用IntelliJ IDEA搭建spark开发环境(上)
- Intellij IDEA使用Maven搭建spark开发环境(scala)
- Spark Scala IntelliJ IDEA开发环境搭建(入门)
- 【Spark】在window下搭建spark开发环境(IntelliJ IDEA)
- Spark Streaming+IntelliJ Idea+Maven开发环境搭建
- spark Intellij IDEA及eclipse开发环境搭建
- Intellij IDEA搭建Spark开发环境并运行
- 0070 IntelliJ IDEA+Scala+Hadoop +Spark的开发环境搭建
- Intellij搭建spark开发环境
- Intellij搭建spark开发环境
- Intellij搭建spark开发环境
- redis -- key
- Scala Cookbook读书笔记 Chapter 4.Classes and Properties 第二部分
- Freeswitch1.4连接SQLSERVER数据库
- RemoteAttribute
- Java中,int转byte数组
- spark学习笔记(4)IntelliJ IDEA搭建Spark开发环境
- WordPress提示“缺少临时文件夹”的解决方法
- LeetCode—156. Binary Tree Upside Down
- OpenGL DSA(Direct State Access)介绍
- UML类图学习
- linux下常见错误及解决方法
- PrefUtils
- 无线局域网安全(二)————TKIP加密
- RTSP H264硬解码显示