大飞哥讲<spark学习笔记>
来源:互联网 发布:greenplum 查看数据库 编辑:程序博客网 时间:2024/05/16 23:39
最近朋友问我spark是啥,其实我也不知道,但是既然开源了,想必看看文档,看看示例,自己也能清楚个7788.。
废话不多,先从github 上下载代码 git clone https://github.com/apache/spark.git
下载完毕之后,到spark 执行 build/mvn -DskipTests clean package
build success 之后, ./bin/spark-shell 之后 运行sc.parallelize(1 to 1000).count() 返回1000 即可
完了之后,就是怎么运行我们自己写的程序呢? 还是那spark中的例子来看,如何wordcount
接下来就得启动spark
先启动 master ./sbin/start-master.sh 再启动./sbin/start-slave.sh 下图表明spark已经可以工作了。
接下来 spark-submit来提交这个job
~/spark/code/./bin/spark-submit --master spark://ubuntu:7077 --class org.apache.spark.examples.JavaWordCount /home/ak/spark/code/spark/examples/target/original-spark-examples_2.11-2.3.0-SNAPSHOT.jar /home/ak/spark/resources/1.txt
运行成功,接下来将自己写一个jar来执行代码中kafkawordcount的例子
- 大飞哥讲<spark学习笔记>
- spark学习笔记:Spark Streaming
- Spark学习笔记:初识Spark
- Spark学习笔记--Spark基础知识
- spark学习笔记:初识spark
- Spark 学习笔记
- Spark学习笔记
- Spark学习笔记
- Spark 学习笔记
- spark源码学习笔记
- spark学习笔记二
- Spark学习笔记(一)
- Spark学习笔记
- Spark学习笔记0
- Spark学习笔记
- spark学习笔记
- Spark学习笔记一
- spark 学习笔记
- 第七周 项目1
- RegDeleteKey函数删除子项并包含其所有值 及递归删除子项例子。请注意,key名称不区分大小写。
- 如何无痛降低 if else 面条代码复杂度
- web页面缓存之Cache-Control问题
- php ajax 仿百度查询下拉内容
- 大飞哥讲<spark学习笔记>
- 饼干包装加工常见材料类型
- ASP.NET播放视频有声音没画面
- java poi导出Excel表,合并单元格
- android studio中文乱码各种情况的解决办法
- win10安装tensorflow-gpu版本各种坑
- jdk8函数式接口,SAM类型的接口(Single Abstract Method)
- jquery,禁止冒泡和默认行为
- torch.nn.init(nn/init.py)