mac os环境搭建spark
来源:互联网 发布:不同表格的数据汇总 编辑:程序博客网 时间:2024/06/13 18:11
1.eclipse按装scala ide 地址如下:
http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site
2.spark环境搭建
先安装scala
brew install scala
安装完成后
scala -version查看是否安装成功
2.spark安装包下载:http://spark.apache.org/downloads.html
下载完成后解压
然后配置scala和spark路径
vim /etc/profile
配置如下参数(自己本机spark和scala路径)
export SCALA_HOME=/usr/local/Cellar/scala
export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=/Users/lv/spark/spark-2.0.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
3.进行本机SSH配置,在主目录下输入如下命令:
ssh-keygen –t rsa –P ""
然后一直按回车直到结束,接着输入命令,追加私钥:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
最后需要做的一件事是在System Preferences->Sharing中选中Remote Login
4.启动Spark
首先进入Spark目录中的sbin子目录运行如下脚本启动Spark:
./start-all.sh
查看是否启动
使用spark shell 进行测试
进去Spark目录下的bin子目录运行如下脚本启动Spark shell:
./spark-shell
当看到如下界面的时候你已经成功了:
0 0
- mac os环境搭建spark
- Mac OS X下Hadoop、Spark单机版环境搭建
- mac os开发环境搭建
- MAC OS ANDROID环境搭建
- MAC OS Android 环境搭建
- Mac OS搭建Tensorflow环境
- mac下spark环境搭建
- mac系统spark环境搭建
- Mac 搭建spark开发环境
- mac os x搭建iPhone开发环境
- Mac os 下搭建iOS开发环境
- Mac os 下搭建iOS开发环境
- mac os 搭建Android应用开发环境
- MAC OS 搭建PHP开发环境
- Mac OS X 搭建Python开发环境
- MAC OS 搭建PHP开发环境
- Erlang环境搭建 for mac os
- Erlang环境搭建 for mac os
- Error:Configuration with name 'default' not found. 解决办法
- 用python获取教室人数(粗糙版)
- activity注册 android:theme="@android:style/Theme.DeviceDefault.Dialog" 报错
- MFC类层次结构图
- CMake VS工程总结
- mac os环境搭建spark
- 【数据库学习】MySQL之事务隔离级别
- hdu 2553 N皇后问题 经典dfs
- JS的数组转换字符串方法toString、toLocaleString、join和valueOf — 第5.2.1节
- 01字串
- 项目中的日志
- IP探测实现 ARP与设备发现
- 上周问题总结
- 文章标题