【spark】编程代码,随笔记录
来源:互联网 发布:淘宝商品美化 编辑:程序博客网 时间:2024/06/11 17:55
spark-yarn模式
–master yarn-cluster
(只需在spark-submit执行时,添加参数)速度慢:
提升cores数(提升并行执行的task);使用spark-rdd,textFile基于本地系统,linux系统,路径格式简介:
//hdfs单个文件夹
val onePath = "hdfs://100.38.101.2:9000//log/month=01/new1.txt"
//hdfs下所有的month文件夹下的所有txt文件(使用通配符*表示)
val monAllPath = "hdfs://100.38.101.2:9000//log/month=*/*.txt"
// hdfs两个文件夹month为10/09下的所有txt文件(使用","隔开)
val morePath="hdfs://100.38.101.2:9000//log/month=10/*.txt,hdfs://100.38.101.2:9000//log/month=09/*.txt"
//读取本地文件
val localPath = "D:/zling/test.txt"
//读取linux系统下文件
val liPath = "/root/zling/test.txt"
//读取路径下的文件
sc.textFile(onePath).map(line => {})
小编会不定时更新,欢迎大家来撩
阅读全文
0 0
- 【spark】编程代码,随笔记录
- java 代码随笔记录
- 【spark】Exception 异常处理,随笔记录
- 随笔记录-java并发编程
- 编程随笔--记录编程生涯中的点点滴滴
- 在集群运行spark代码记录程序
- 随笔记录
- 随笔记录
- 随笔记录
- 随笔记录
- 随笔记录
- 随笔记录
- 随笔记录
- 随笔记录.....
- 随笔记录
- 随笔记录
- 随笔记录
- 随笔记录
- ConcurrentHashMap原理分析
- 沉浸式状态栏
- Spring MVC统一异常处理
- Argparse简易教程
- Java方法设置超时
- 【spark】编程代码,随笔记录
- JESD204B概述
- Android之极光推送发送自定义消息
- 漫谈递归:递归的思想
- pat L3-008 DFS深度优先搜索
- 提高代码阅读能力的7种方法
- 猫狗队列问题
- Jetpack 安装
- 欢迎使用CSDN-markdown编辑器