window下安装Apache Spark
来源:互联网 发布:ck手表知乎 编辑:程序博客网 时间:2024/06/06 03:09
1、下载安装scala,安装成功后在命令行下输入scala -version验证:
2、下载安装sbt工具:
http://www.scala-sbt.org/download.html
我直接下载的的是msi文件,安装后会默认把执行路径加入到环境变量里面,也可以下载zip文件,解压后手动设置环境变量。
3、下载Apache Spark,并解压,命令行切换到解压的目录,然后输入sbt package或sbt assembly:
4、编译的过程如果遇到git相关的错误,需要在本地安装git环境,然后将git加入到path中:
C:\Program Files (x86)\Git\bin;
C:\Program Files (x86)\Git\libexec\git-core;
5、编译过程如果遇到内存溢出的错误:
Java.lang.OutOfMemoryError: GC Overhead Limit Exceeded
需要设置环境变量:
SBT_OPTS
-Xmx2g -XX:MaxPermSize=512M
6、编译的过程相当漫长,大概花了一个多小时,成功后:
7、启动spark-shell:
0 0
- window下安装Apache Spark
- window下安装Apache
- window 7 下-apache安装
- apache spark在windows7 下安装
- window+Apache安装设置
- Apache Spark 的安装
- window+apache环境下安装mongoDB的php扩展
- window 环境下 apache james 3.0-beta4 安装、搭建、运行。
- 如何从apache官方下载以及window下的安装
- Window下搭建SVN+Apache
- window下Apache VirtualHost 配置
- window 下配置Apache FTPServer
- window下设置apache虚拟主机
- Window下搭建SVN+Apache
- Window下Apache 源代码编译
- apache spark单机安装教程
- Mac Apache-spark 单机安装
- 3.如何安装Apache Spark
- QT实现图片按钮
- iOS UILabel显示HTML文本
- PHP中CURL方法curl_setopt()函数的一些参数
- css3中的content和实体
- Java web----JSP
- window下安装Apache Spark
- Redis 全内存运行
- gtest快速上手
- android WebView总结
- js获取地址栏参数
- iOS 色值的16进制转换
- 解决mysql忘记密码
- [Leetcode]Search in Rotated Sorted Array II
- hello