Scala安装
来源:互联网 发布:海康网络监控摄像头 编辑:程序博客网 时间:2024/05/17 04:05
1 Scala安装
当前,Spark最新版本是0.5,由于我写这篇文档时,版本还是0.4,因此本文下面的所有描述基于0.4版本。
不过淘宝的达人已经尝试了0.5,并写了相关安装文档在此http://rdc.taobao.com/team/jm/archives/tag/spark。
~~~~~~~~~~~~~~~以下开始我的安装文档~~~~~~~~~~~~~~
我使用的Spark的版本是0.4,只存在于github上,该版本使用的Scala版本是0.9.1.final。所以先到http://www.scala-lang.org/node/165下载scala-2.9.1.final.tar.gz。解压后放到本地 /opt 下面,在 /etc/profile 里添加
export SCALA_HOME=/opt/scala-2.9.1.final
export PATH=$SCALA_HOME/bin:$PATH
2 git安装
由于下载Spark和编译Spark需要git,因此先安装git,安装方法可以到Ubuntu软件中心直接装,也可以apt-get装。装好后需要到https://github.com 去注册一个帐号,我注册的是JerryLead,注册邮箱和密码,然后根据网站上的get-start提示生成RSA密码。
注意:如果本地之前存在rsa_id.pub,authorized_keys等,将其保存或着将原来的密码生成为dsa形式,这样git和原来的密码都不冲突。
3 Spark安装
首先下载最新的源代码
git clone git://github.com/mesos/spark.git
得到目录spark后,进入spark目录,进入conf子目录,将 spark-env.sh-template 重命名为spark-env.sh,并添加以下代码行:
export SCALA_HOME=/opt/scala-2.9.1.final
回到spark目录,开始编译,运行
$ sbt/sbt update compile
这条命令会联网下载很多jar,然后会对spark进行编译,编译完成会提示success
[success] Total time: 1228 s, completed May 9, 2012 3:42:11 PM
可以通过运行spark-shell来和spark进行交互。
也可以先运行测试用例./run <class> <params>
./run spark.examples.SparkLR local[2]
在本地启动两个线程运行线性回归。
./run spark.examples.SparkPi local
在本地启动运行Pi估计器。
更多的例子在examples/src/main/scala里面
- scala杂记--安装scala
- Scala安装
- 安装Scala
- scala安装
- scala安装
- scala安装
- scala安装
- Scala安装
- Scala安装
- Scala安装
- 安装scala
- scala安装
- Scala-安装
- 安装scala
- scala安装
- scala安装 scala eclipse插件安装
- scala安装scala的eclipse插件安装
- scala安装 scala eclipse插件安装 scala简单示例
- 不使用“哨兵“位的递归-归并排序C++源代码
- strcpy函数的最优实现方法
- 和电风扇对方受到广泛接受法国大使馆和
- Linux写时拷贝技术(copy-on-write)
- C#字符串与字节数组互转
- Scala安装
- 位运算:左移右移及原码补码转换
- Spark导出
- 《移动设计》阅读笔记
- java 中的序列化
- Populating Next Right Pointers in Each Node(leetcode)
- 给Linux初学者和管理员一个终极命令行"备忘单"
- JS获取字符串实际长度!
- Spark 4