Mac平台下spark单机环境 安装
来源:互联网 发布:淘宝衣服缩水 编辑:程序博客网 时间:2024/06/08 05:18
- 单机环境安装
- 1.安装环境
系统:Linux系统平台(Windows上需要安装Cygwin,以模拟Linux环境)
预装依赖:JDK(Linux系统一般会自带安装好的openjdk,本文跳过JDK的安装)、Scala
- 2.安装Scala
Scala官网地址:http://www.scala-lang.org
1)下载scala-2.11.7.tgz
2)当前目录下解压
tar -xzvf scala-2.11.7.tgz
3)配置环境变量
在/etc/profile中添加如下内容:
# Scala Variables Start
export SCALA_HOME=/Users/alina/ComputerScience/scala-2.10.5
export PATH=${SCALA_HOME}/bin:$PATH
# Scala Variables End
$ source /etc/profile 使配置文件生效
$ scala -version 出现如下信息即为配置好
AlinadeMacBook-Pro:~ alina$ scala -version
Scala code runner version 2.10.5 -- Copyright 2002-2013, LAMP/EPFL
- 3.配置ssh
1)在master节点,执行以下命令(单机环境为本地)
$ssh-keygen -t rsa
2)追加到authorized_keys文件
$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3)验证(如果连接被拒绝,需要在系统偏好设置的共享里开启远程登录服务)
$ssh localhost
- 4.安装Spark
spark官网:http://spark.apache.org/downloads.html
1)下载spark-1.4.1-bin-hadoop2.6.tgz
2)解压 tar -zxvf spark-1.4.1-bin-hadoop2.6.tar
3)配置环境变量
sudo vim /etc/profile
# Spark Variables Start
export SPARK_HOME=/Users/alina/ComputerScience/spark-1.4.1-bin-hadoop2.6
export PATH=${SPARK_HOME}/bin:$PATH
# Spark Variables End
使配置生效
$ source /etc/profile
4)配置conf/spark-env.sh
$ mv spark-env.sh.template spark-env.sh
在spark-env.sh中添加(mac中使用$(/usr/libexec/java_home)引用java的路径)
export SCALA_HOME=/Users/alina/ComputerScience/scala-2.11.7
export JAVA_HOME=$(/usr/libexec/java_home)
export SPARK_WORKER_MEMORY=2g
5)启动spark
$pwd
/Users/alina/ComputerScience/spark-1.4.1-bin-hadoop2.6/sbin
$./start-all.sh
AlinadeMacBook-Pro:spark-1.4.1-bin-hadoop2.6 alina$ jps
46319 Worker
46192 Master
46342 Jps
0 0
- Mac平台下spark单机环境 安装
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- ubuntu下安装Spark(单机环境)
- windows 下单机安装Spark开发环境
- Mac OS X下Hadoop、Spark单机版环境搭建
- mac系统里spark单机环境的安装和配置
- Mac Apache-spark 单机安装
- mac 单机版 spark 安装
- Windows下单机安装Spark开发环境机器 (java, python)
- Windows下单机安装scala-Spark开发环境
- Spark平台下Python环境安装
- mac 单机 搭建 eclipse spark开发环境
- spark 单机模式下安装
- Mac下部署单机版spark模式
- Windows下Spark python 单机开发环境
- vue 快速入门与最佳实践(vue-cli, webpack, vue 最佳实践)
- 2 逆向分析hello world!程序
- glib的头文件glib.h介绍
- git指令简介
- CSDN 论坛板块升级规则
- Mac平台下spark单机环境 安装
- ip绑定域名
- spring MVC 请求注册和服务的源代码追踪
- 如何从gitlab克隆项目到本地,然后使用SourceTree进行代码管理
- protobuf反射详解
- Ubuntu16.04虚拟机设置固定IP上网
- vue2+vue-router2+webpack实战(一)
- android 状态栏总结
- NDK拆分合并文件