在Windows上build Spark
来源:互联网 发布:网络女主播被骗26万 编辑:程序博客网 时间:2024/06/05 18:40
在本机(Windows 8)上安装spark玩一玩,Spark的Quick Start上没有指明具体步骤,自己Build好了之后把步骤记录一下。
首先,到Spark的官网上下载Spark的压缩包,然后解压缩到本地文件夹。我下的是Spark 1.1.0,目前最新的release,链接spark-1.1.0.tgz。
按照文档上运行bin/spark-shell,会提示找不到所需的jar包,需要重新build生成这个jar包。
首先确认本机是否已安装Scala和SBT,scala需要2.10.x版本,sbt我用的是0.13,如果没有安装的就从网上下载安装。将sbt的bin添加到windows path环境变量下,确保可以运行。
到Spark的root目录下,运行sbt package,这会将spark所有依赖的lib下载到本地的ivy repository(sbt默认使用ivy repository)
第四步成功完成之后,spark依赖的库已经具备,运行sbt assembly,这会将spark依赖的库和spark本身assemble成一个很大的jar包。这步完成后,你会在assembly\target\scala-2.10下找到spark-assembly-1.1.0-hadoop1.0.4.jar, spark-assembly_2.10-1.1.0.jar这两个jar包
上述步骤完成之后,就可以在bin下运行spark-shell,可以成功进入shell,进行操作。
http://my.oschina.net/u/1452001/blog/344067
http://www.nikest.com/web/jswd/2015/0310/137975.html
- 在Windows上build Spark
- spark shell ,在Windows上build Spark
- 在windows上运行Spark Driver
- 在windows上通过Spark访问HBase
- 在Windows上安装单机Spark
- 在Windows上编译Spark源码
- 在windows上pycharm配置spark环境
- Qt源代码在Windows XP上编译(in-source build)
- Qtcreator在Windows XP上的编译(in-source build)
- 在windows上使用eclipse提交Spark任务到Spark平台上
- 在windows上使用eclipse提交Spark任务到Spark平台上
- Scala-IDE Eclipse(Windows)中开发Spark应用程序,在Ubuntu Spark集群上运行
- Windows上配置Spark(2):导入Spark
- 【MongoDB】【Spark】在MongoDB上使用Spark
- spark部署:在YARN上运行Spark
- 在集群上安装spark
- 在Mesos上运行Spark
- spark在集群上运行
- 一致性哈希算法(consistent hashing)
- Linphone架构及功能分析
- Hash魔法:一致性 hash 算法
- Scala教程:简单构建工具SBT
- Flag(Ural_1225)
- 在Windows上build Spark
- day06 web和http:Tomcat的认识,了解请求消息头和响应消息头
- Sbt仓库设置
- 去除ViewPager界面切换动画、禁止滑动
- spark1.4 Windows local调试环境搭建总结
- Kafka Consumer java api 配置
- Win7下安装Spark
- 一致性HASH算法的JAVA实现
- CSS背景的修改