mac下spark环境搭建
来源:互联网 发布:数据脱敏规则 编辑:程序博客网 时间:2024/06/05 06:39
mac下spark环境搭建:
1.scala 下载scala-2.10.6.tar地址:http://www.scala-lang.org/
配置exportPATH="$PATH:/usr/local/scala/scala-2.10.6/bin"
2.spark 下载spark-1.6.0-bin-hadoop2.6.tgz地址:http://spark.apache.org/
配置 cd spark-1.6.0-bin-hadoop2.6/conf
mv spark-env.sh.template spark-env.sh
vi spark-env.sh添加
查看java路径/usr/libexec/java_home -V
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_77.jdk/Contents/Home
exportSCALA_HOME=/usr/local/scala/scala-2.10.6
exportSPARK_MASTER_IP=localhost
exportSPARK_LOCAL_IP=localhost
exportSPARK_WORKER_MEMORY=2g
3.配集群需在conf下配置把各个slave节点加到slaves中去,在各个slave上进行安装配置,并配好各slave和master之间的ssh信任。 1 0
- mac下spark环境搭建
- Mac下hive, spark环境搭建
- Mac下搭建Spark开发环境
- Mac OS X下Hadoop、Spark单机版环境搭建
- mac下Hadoop、HDFS、Spark环境的安装和搭建
- mac os环境搭建spark
- mac系统spark环境搭建
- Mac 搭建spark开发环境
- Mac下环境搭建
- windows环境下搭建spark
- windows下spark环境搭建
- windows下搭建spark环境
- Win7下Spark环境搭建
- mac 单机 搭建 eclipse spark开发环境
- Centos下环境搭建spark环境
- Mac 下Andriod 环境搭建
- Mac下搭建Tomcat环境
- Mac下搭建svn环境
- [LeetCode]--24. Swap Nodes in Pairs
- 5、表达式的比较
- HTML中的几种定位方式
- 有限状态机C语言实现
- 总结常用的SEO 办法
- mac下spark环境搭建
- @Razor 引擎 & Jquery in Asp.net MVC
- 6、循环结构语句
- DDR3布局的那些事儿
- 如何获取 iOS 设备的唯一 ID
- 在VS2008,VS2010,VC6.0MFC中嵌入MATLAB的command window,调用MATLAB引擎
- 7、条件结构语句
- 数百个 HTML5 例子学习 HT 图形组件 – 3D 建模篇
- Struts2的零配置插件convention的简单总结