Spark简要教程系列(一) Mac安装Spark
来源:互联网 发布:淘宝天猫专营店转让 编辑:程序博客网 时间:2024/06/04 18:11
Spark的安装大多比较麻烦,而Mac安装Spark非常简单,本文分三部分内容。
1. 安装JDK
2. 安装Spark
3. 简单测试
1. 安装JDK
(1)进入官方下载页面
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
(2)在下载列表里选择Mac OS X(这个版本傻瓜式安装。。。。),点Accept License Agreement , 然后就可以点击下载了
(3)下载完成后移动到你想存放的文件夹,然后双击安装就可以了。。。
打开终端,输入java -version
真的安装好了。。。。。
2. 安装Spark
(1) 进入下载页面 http://spark.apache.org/downloads.html
(2) 前3个下拉框选择合适的版本(一般选择最新的版本就行)
(3) 在4中点击下载 spark-xxx.tgz , 移动到你想存放的文件夹
(4) 解压下载好的spark-xxx.tgz文件,安装完成。打开文件,内容如下:
安装好了。。。。。。为了之后使用方便,你可以把这个文件夹改个简单名字,如spark-bin
3. 简单测试
(1) 打开终端,进入Spark的路径,如
(2) 输入./sbin/start-master.sh ,回车,这时候主机已经开始运行了,可以打开浏览器,输入http://localhost:8080 ,效果如下:
真的安装成功了。。。。。
(3)加Worker
在终端上command+n 打开一个新终端,进入相同路径,在新终端中输入
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT
注意,将Worker后的URL改为上图中的URL,也就是自己的主机地址。如
./bin/spark-class org.apache.spark.deploy.worker.Worker
spark://chenbindeMacBook-Pro.local:7077
回车,刷新页面,在Workers下面多了一个worker,状态为ALIVE
(4) 关掉worker
直接在新终端command+c , 刷新主机的Spark页面,worker已经DEAD了
(5)关掉主机
在终端输入 ./sbin/stop-master.sh ,刷新主机的Spark页面,已经空白了。
这就是Mac 安装Spark的简单教程,真的是简单。。。具体步骤都有配图,希望能给大家带来帮助。
- Spark简要教程系列(一) Mac安装Spark
- TensorFlow简要教程系列(一)Mac安装TensorFlow
- (一)Spark学习系列
- 【spark系列1】spark安装
- Spark系列1 Spark 安装
- Spark系列(一)Spark1.0.0源码编译及安装
- spark 安装 for mac
- 【Spark系列】一、基本概念
- Spark 教程系列1--Spark介绍
- Spark源码系列(一)spark-submit提交作业过程
- Spark源码系列(一)spark-submit提交作业过程
- Spark源码系列(一)spark-submit提交作业过程
- Spark源码系列(一)spark-submit提交作业过程
- Spark源码系列(一)spark-submit提交作业过程
- spark安装教程
- spark安装教程
- Apache Spark in Mac OS Yosemite 安装教程
- Spark内核系列(一)Spark内核架构
- PHP 安装 phpredis 扩展(二)
- 选择排序法
- Activity的生命周期
- html5新功能练习
- java中的native关键字
- Spark简要教程系列(一) Mac安装Spark
- 基于STM32的CAN总线通信学习笔记
- 50个Android Studio秘诀、技巧和资源
- PHPStorm 常用 设置配置 和快捷键大全 Win/Mac
- 5-1 求阶乘factorial
- linux下如何安装软件?——linux应用软件安装包类型及安装介绍
- Ubuntu 16.04 LTS 一直不可更新,已可使用三种升级方法解析(一定有适合的方法)
- Error:Connection timed out: connect. If you are behind an HTTP proxy, please configure the proxy set
- cocos2dx EventListenerCustom 和NotificationCenter的优缺点