Windows下搭建Spark+Hadoop开发环境
来源:互联网 发布:淘宝图片调色教程 编辑:程序博客网 时间:2024/05/09 00:49
Windows下搭建Spark+Hadoop开发环境需要一些工具支持。
只需要确保您的电脑已装好Java环境,那么就可以开始了。
一. 准备工作
1. 下载Hadoop2.7.1版本(写Spark和Hadoop主要是用到了Yarn,因此Hadoop必须安装)
下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.1/
下载其中的hadoop-2.7.1.tar.gz并解压到一个固定目录作为Hadoop安装目录。
2. 下载支持插件
下载地址:https://github.com/ShixiangWan/winutils,其中有很多个Hadoop版本,这里我们以其中的Hadoop2.7.1稳定版为例。
下载后将Hadoop2.7.1的bin中的文件覆盖拷贝至上述的安装目录的bin下。
3. 覆盖hadoop.dll
将插件bin目录下的hadoop.dll复制到C:\Window\System32下。
二. 环境变量配置
1. 增加环境变量HADOOP_HOME,指向Hadoop安装根目录;
2. 在Path变量中添加%HADOOP_HOME%\bin;
3. 重启Eclipse或Intellij,直接运行Spark或Hadoop的Maven项目即可。
0 0
- Windows下搭建Spark+Hadoop开发环境
- windows下搭建hadoop开发环境(Eclipse)
- windows下搭建hadoop+eclipse开发环境
- windows下搭建hadoop开发环境
- windows下搭建hadoop+eclipse开发环境
- windows下搭建hadoop开发环境
- spark windows环境下开发环境快速搭建。
- windows环境下搭建spark
- windows下spark环境搭建
- windows下搭建spark环境
- Spark Windows开发环境搭建
- windows搭建spark开发环境
- Hadoop+Spark Windows系统环境搭建
- Windows下基于eclipse的Spark应用开发环境搭建
- [ Hadoop | Spark | Scala ] 搭建 Scoobi 开发环境
- windows下搭建hadoop开发环境遇到的问题
- Windows下Cygwin+Eclipse搭建Hadoop开发环境
- windows 7 with eclipse 下hadoop应用开发环境搭建
- linux 设备树和atags
- 使用 sql server 2008 需要开启的服务
- 字体
- JS和JAVA使用JSON方法解析
- 房租到期近一个月租客咋都联系不上
- Windows下搭建Spark+Hadoop开发环境
- PHP函数详解:call_user_func()使用方法
- npm介绍与cnpm介绍
- webstorm最新破解方法
- MySQL存储引擎
- gulp+browser-sync使用方法
- java基础之小知识
- CSS基础知识(2)
- ipv6相对于ipv4的改进