spark笔记
来源:互联网 发布:windows安装清理工具 编辑:程序博客网 时间:2024/05/19 01:12
1.org.apache.spark.api.java.*位于/home/wind/桌面/software/spark/jars/spark-core_2.11-2.1.1.jar
scala.Tuple2位于/home/wind/桌面/software/spark/jars/scala-library-2.11.8.jar
2.使用saveAsTextFile将文件保存到hdfs时需要导入/home/wind/桌面/software/spark/jars/hadoop-common-2.7.3.jar
要保存为一个文件需使用sorted.repartition(1).saveAsTextFile("/hadoop/output");
3.java中使用System.out.println(),在YARN上运行时结果会输出在log中,查看log需打开http://master:8088/cluster/apps,点击相应任务ID-进入详情界面-点击log来查看具体输出。
编写程序时,运行结果及报错信息查看方法:
右键控制台中的url地址,例如http://master:8088/proxy/application_1502030671272_0006/等,打开链接,拖到最下方点击对应程序id的logs,stderr对应报错信息,stdout对应标准输出,即system.out.println()的输出。
阅读全文
0 0
- Spark笔记
- spark笔记
- Spark笔记
- spark笔记
- spark 笔记
- SPARK笔记
- Spark笔记
- spark笔记
- Spark笔记
- spark笔记
- spark笔记
- spark学习笔记:Spark Streaming
- Spark学习笔记:初识Spark
- Spark学习笔记--Spark基础知识
- spark学习笔记:初识spark
- Spark 学习笔记
- Spark学习笔记
- Spark学习笔记
- P1168 中位数
- hdu-6070 _Dirt Ratio (二分答案+线段树维护)
- 【BFS】皇宫VS迷宫
- 设计模式C++实现(5)——原型模式、模板方法模式
- MySQL全文本搜索Hello
- spark笔记
- AbstractString
- Servlet 生命周期、工作原理
- Oracle增删改查训练
- C++ 多线程并发控制——互斥锁 pthread_mutex
- Highways
- Java微信开发入门
- 使用 Python Mock 类进行单元测试
- FZU 2020 组合(扩展欧几里得)