Mac下安装Spark开发环境(Linux系统可参照)
来源:互联网 发布:免费签名设计软件 编辑:程序博客网 时间:2024/05/14 07:01
Mac下安装Spark开发环境(Linux系统可参照)
版权声明:本文为老杨原创文章,转载请注明出处。
目录(?)[+]
之前一直使用VNC在远程集群上进行Spark程序开发,但是网络的不稳定以及集群时常升级让人头疼。在这里我在自己的Mac上
搭建单机Spark开发环境,作为学习开发已经足够。Linux系统用户也可以参考。
一、本机环境
Macbook pro retina with 8G memory
二、准备工作
JDK 1.6.05
Scala 11.4
击第4项的spark-1.2.0-bin-hadoop1.tgz直接下载即可。在Spark下载界面下载Spark 1.2.0。我在Mac上并没有使用hdfs(可根据个人需求选择性安装),选择Hadoop1.X版本,最后点
三、配置环境
首先解压Spark压缩包:
tar -zxvf spark-1.2.0-bin-hadoop1.tgz
然后进行系统变量配置:
sudo vim /etc/profile
配置环境变量如下:
配置好之后进入解压后的Spark目录下的conf目录,执行如下命令
cp spark-env.sh.template spark-env.sh
修改spark-env.sh中的内容,加入如下配置:
export SCALA_HOME=/usr/local/scala
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4g
进行本机SSH配置,在主目录下输入如下命令:
ssh-keygen –t rsa –P ''
然后一直按回车直到结束,接着输入命令:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
最后需要做的一件事是在System Preferences->Sharing中选中Remote Login选项(对于Linux系统可以忽略此步骤直接看第四步)
此时可以使用ssh locahost命令测试SSH免密码通讯是否配置成功。
四、运行Spark
1.启动Spark
首先进入Spark目录中的sbin子目录运行如下脚本启动Spark:
./start-all.sh
输入 jps 命令查看Spark是否运行:
可以看到Master 和 Worker进城都已经启动
2.使用spark shell 进行测试
进去Spark目录下的bin子目录运行如下脚本启动Spark shell:
spark-shell
当看到如下界面的时候你已经成功了:
恭喜你,继续享受Spark吧。
- Mac下安装Spark开发环境(Linux系统可参照)
- Mac下安装Spark开发环境(Linux系统可参照)
- Mac下安装Spark开发环境(Linux系统可参照)
- Mac系统下安装android开发环境
- Mac下搭建Spark开发环境
- Mac平台下spark单机环境 安装
- Linux系统下lua开发环境安装
- Mac(linux系统下)PHP_laravel开发环境搭建
- linux 系统下spark环境的搭建
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- windows 下单机安装Spark开发环境
- Linux下搭建spark集群开发环境
- mac系统里spark单机环境的安装和配置
- Mac系统下Lua开发环境搭建
- iOS Mac系统下Ruby环境安装
- 协同过滤推荐算法
- matlab中的IoU计算函数
- stl容器list部分实现
- n个球有一个假冒(重量不足),如果给你一个天平允许你测3次找出那个假冒的,问n可能的数值?
- Dreamweaver功能及站点的创建
- Mac下安装Spark开发环境(Linux系统可参照)
- git更新文件冲突 Please,commit your changes or stash them before you can merge.
- media 常用库描述 库描述
- 网易招聘试题
- Session的实现原理。
- React属性传递
- JavaScript函数练习
- Java7与Java8新增语法特性
- ARM虚拟地址原理分析及实现