spark 安装 for mac
来源:互联网 发布:怎么查网络ip地址 编辑:程序博客网 时间:2024/05/30 12:30
1.安装scala
- 从http://www.scala-lang.org下载scala-2.11.7.tgz并解压缩
- 将解压缩的文件夹用mv指令移动到/usr/local/share
mv [scalapath] /usr/local/share
- 修改/etc/profile文件权限.
sudo vim /etc/profile
添加path: 把下面的一行代码加入到profile文件末尾
export PATH="$PATH:/usr/local/share/scala-2.11.7/bin"
- 测试: 重启终端,输入scala,出现:
Welcome to Scala version 2.11.7 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_60).Type in expressions to have them evaluated.Type :help for more information.
2.安装scala ide: IntelliJ IDEA 15 CE
从官网http://www.jetbrains.com/idea/下载.dmg并安装即可。
3.安装spark
从官网 http://spark.apache.org/downloads.html下下来解压缩就可以用了。这里有篇笔记很好,我转下,原地址 http://www.jianshu.com/p/3720656a390d.
还有一个standalone模式详细的使用例子:http://www.cnblogs.com/zhangqingping/p/4352977.html
安装流程:
1. 在“Download Spark”的三个下拉框里选择。(我分别选的当时最新的1.3.1,Pre-build for 2.6, Direct Download)
2. 点击“4. Download Spark: xxxxx” 的链接就可以下载了(200多M)。
3. 解压下载好的tgz文件,并将这个文件夹(spark-1.3.1-bin-hadoop2.6)放到你想存放的地方(比如“/Users/username/IDE/spark-1.3.1-bin-hadoop2.6”)。
4. 然后这就算装好了,你敢信!
不信咱就跑跑看。
1. [启动主机]点开官方简介传送门,聚焦标题“Starting a Cluster Manually”。 你可以看到主机启动命令,复制它:
./sbin/start-master.sh
2. 回到Finder,右键点击刚才解压并移动过的文件夹,点击最下面的“New Tab Terminal at Folder”. 在命令框里黏贴上面那条命令。回车。出来2,3行路径。这时候主机已经开始运行了。
3. 打开浏览器。 输入下面的默认端口就能看见主机运行情况了。
http://localhost:8080
4. [加子嗣]现在的主机是个光杆司令,要给他派兵啊。
在官方简介“Starting a Cluster Manually”下复制命令
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT
回到terminal命令行,点击右上角的“+”号。打开一个拥有同样路径的新界面。黏贴复制的命令,按后退键删除掉 spark://IP:PORT (别急着回车!我们要贴上自己的主机地址。)
回到浏览器的“http://localhost:8080/”页面
复制第二行黑体字URL:后面的部分,“spark://xxxx:xxxx”也就是你的主机地址。前四个x是一串字符,冒号后的四个x是四个数字。(这里我们是在同一个电脑上创建主机和子嗣。如果你是把别的电脑当作子嗣加入主机,那么要求主机和子嗣是在同一个网络中。同样,需要在spark文件夹路径下打开terminal输入相应的命令)
URL:spark://xxxx:xxxx
5. 这样整条命令就变成“./bin/spark-class org.apache.spark.deploy.worker.Worker spark://xxxx:xxxx” 安心的拍下回车吧!
6. 刷刷几页信息跳过后,这个窗口就像死了机一样了。别担心,这是因为这个命令端已经作为子嗣为你刚建立的主机开始卖命了。不信的话你刷新一下主机信息网页。
http://localhost:8080
在“Workers”列表下赫然出现了你的第一个子嗣。其状态State为ALIVE。表示它正在运作。这时候你需要记住,当前Terminal的窗口对应就是那个刚加入的Worker Id。
7. [删除子嗣]工作干完了,把小崽子们放出去玩吧。只需要在那个看似死机了teminal里按下“Ctrl + C”就行了。
这时候命令行回复工作,而主机信息网页刷新后会将对应子嗣的state改成DEAD。说明和子嗣的联系切断了。此信息回保留一段时间,然后会被完全删除。
8. [关闭主机]
和启动主机一样,在主文件夹路径下输入相应命令即可。
./sbin/stop-master.sh
这时http://localhost:8080/ 刷新后就是空网页了。
如果你有没有关闭的子嗣。在其terminal窗口中会显示其试图重连主机的信息。如果你再次打开主机(而且port号没变的话),没关的子嗣会重新连上去。
==============================
小结 Sum up:
0.知道怎么在Mac上装Spark。(就是解压缩嘛!)
1.知道怎么建立和关闭主机。(一个命令)
2.知道怎么建立子嗣连上主机。(查好主机URL然后一个命令)
3.知道怎么关闭子嗣。(在相应terminal中拍“Ctrl+C”)
留作备份 文章内容 转载自:http://www.cnblogs.com/aezero/p/5018829.html 特此感谢
- spark 安装 for mac
- mac下安装配置Spark
- Mac上安装spark过程
- Mac Apache-spark 单机安装
- mac 单机版 spark 安装
- docker for mac 安装spark 2.2.0 + hadoop 2.8.0 集群
- Boost for Mac安装
- word for mac 安装
- Matlab2012b for MAC安装
- Boost for Mac安装
- MySQL for mac 安装--
- 安装OpenCV for MAC
- 安装OpenCV for MAC
- MySQL for mac安装
- tolua++ for mac 安装
- virtualbox for mac安装
- 安装Wget for mac
- 安装tomcat for Mac
- 插入排序java实现
- Maven学习总结(25)——Eclipse Maven Update 时JDK版本变更问题
- 网络安全协议SSL的知识梳理
- button点击设置背景色
- 换个姿势聊聊自定义 View
- spark 安装 for mac
- 系统新消息
- AndroidStudio 修改 Master Password
- 4、Oracle PL/SQL编译错误查看与处理
- spring 配置文件浅析
- 重写view画圆中间文字
- 【leetcode】String to Integer (atoi)
- js中的包装对象
- 高德地图MapView和其他SurfaceView在同一个Activity中重叠显示透明问题