spark一些入门资料
来源:互联网 发布:pano.js 720全景图 编辑:程序博客网 时间:2024/06/06 03:28
spark一些入门资料
A Scala Tutorial for Java Programmers
http://docs.scala-lang.org/tutorials/scala-for-java-programmers.html
学习资源(视频教程,书,例子等)
spark.apache.org/documentation.html
入门指南
spark.apache.org/docs/latest/quick-start.html
编程指南
spark.apache.org/docs/latest/programming-guide.html
官网自带例子(极好,有local版,有spark版)
https://github.com/apache/spark/tree/master/examples/src/main/scala/org/apache/spark/examples
执行spark应用(利用spark-submit命令,其实最底层是java调用)
spark.apache.org/docs/latest/submitting-applications.html
./spark-submit --class"SimpleApp" --master local[4] /home/linger/scala_target/SimpleApp.jar
执行官网自带的example可以利用run-example,该脚本封装了spark-submit命令。
./run-example SparkPi
run-example脚本有这么一句 EXAMPLE_MASTER=${MASTER:-"local[*]"}默认master是local[*]。
根据这句shell,可以有一个方法改变着master。
在调用该脚本之前,export MASTER=local(或者其他)。
目前不知道是否还有其他方法传递MASTER这个变量。
spark 开发环境搭建(不错)
http://blog.csdn.net/wankunde/article/details/41843217
http://bit1129.iteye.com/blog/2172164
设置完成后,Error视图报错,说Eclipse依赖的Scala库有两份,一个是系统安装的Scala(C:\Scala_2.11.4,一个是spark-assembly-1.2.0-hadoop2.4.0.jar中,而spark-assembly-1.2.0-hadoop2.4.0.jar中的版本是2.10.4,因此两个版本不一致而导致冲突
因为我们的代码是在Spark中运行,而Spark使用的Scala版本是2.10.4,所以,开发环境中的Scala也应该是2.10.4,因此将2.11.4这个Scala库从Java Build Path删除掉
删除了之后,Eclipse继续报错,如下所示,也就是说,项目依赖的Scala版本不如IDE的Scala版本新,解决办法如下
右击前面建的Scala项目,在右键弹出菜单中,选择Scala,然后在级联菜单中,选择Set Scala Installation,在弹出的对话框中选择,Fixed Scala Installation:2.10.4(bundled)
clean整个项目,Scala IDE的环境到此就配置完成了。
scala-eclipse运行出现错误
java.lang.ClassNotFoundException
scala-ide
http://scala-ide.org/download/sdk.html
sbt是scala的构建工具
www.scala-sbt.org/documentation.html
sbt安装有点坑啊,安装完之后启动sbt还要下载东西
http://www.zhihu.com/question/23245141
SBT免翻墙手册
http://afoo.me/posts/2014-11-05-how-make-sbt-jump-over-GFW.html
离线环境下构建sbt项目
http://shzhangji.com/blog/2014/11/07/sbt-offline/
Scala SBT 第一次运行时下载文件失败
http://mooc.guokr.com/note/5879/
http://segmentfault.com/blog/zhongl/1190000002474507
加速 SBT 下载依赖库的速度
http://ju.outofmemory.cn/entry/74281
问候sbt一千遍之:添加全局镜像库
spark和机器学习技术博客
http://www.cnblogs.com/fxjwind/
http://blog.csdn.net/sunbow0
--------------------------------------------------------------------------------------------------------------------
Spark运行调试方法与学习资源汇总
http://blog.csdn.net/melodyishere/article/details/32353929
IntelliJ IDEA 安装scala插件,建立scalawith sbt project 的方法
http://8liang.cn/intellijidea-install-scala-plugin-create-with-sbt-project/
Apache spark的IntelliJ IDEA 开发环境搭建
http://8liang.cn/intellij-idea-spark-development/
Spark作业代码(源码)IDE远程调试
http://www.iteblog.com/archives/1192
利用eclipse构建spark集成开发环境
http://datalab.int-yt.com/archives/505
Apache Spark学习:利用Eclipse构建Spark集成开发环境
http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/
spark一些配置信息
http://spark.apache.org/docs/latest/configuration.html
本文作者:linger
本文链接:http://blog.csdn.net/lingerlanlan/article/details/46430915
- spark一些入门资料
- spark入门资料精化
- 收集学习Spark GraphX的一些资料
- 关于spark的一些资料总结
- openGL ES入门一些资料
- SQL 入门的一些资料
- oracle入门的一些资料
- spark学习笔记总结-spark入门资料精化
- 嵌入式开发的一些入门资料
- python入门学习的一些资料
- 一些ADO数据库入门例子与资料
- 【机器学习】入门的一些资料
- Spark资料
- scala、spark资料收集(入门及调优)
- Spark入门到精通视频学习资料--第三章:Spark进阶(2讲)
- Spark入门到精通视频学习资料--第六章:Machine Learning on Spark(1讲)
- Spark入门到精通视频学习资料--第七章:Spark多语言编程(1讲)
- Spark入门到精通视频学习资料--第四章:基于Spark的流处理框架Spark Streaming(2讲)
- c/c++逆向(一)
- 20150609类和对象(上)
- POJ3080:Blue Jeans(后缀数组)
- easyUI datagrid ajax实时刷新 动态添加列名
- 位运算其他应用
- spark一些入门资料
- Linux 性能监控、测试、优化工具
- HTTP协议详解
- OPENCART高级搜索引擎优化(SEO PACK PRO)
- NodeJS异常处理uncaughtException篇
- JDK环境变量配置(相对路径)
- maven中使用overlay标签合并多个web项目
- 工作电脑无法更名加入域问题
- hdu 2047 阿牛的EOF牛肉串(递推,dp)