spark load file的几种方式
来源:互联网 发布:手机淘宝千牛怎么装修 编辑:程序博客网 时间:2024/05/18 02:05
spark load file的几种方式:
1、直接导入localfile,而不是HDFSsc.textFile("file:///path to the file/")
如sc.textFile("file:///home/spark/Desktop/README.md")
注意:
当设置了HADOOP_CONF_DIR的时候,即配置了集群环境的时候,如果直接sc.textFile("path/README.md")
路径会自动变成: hdfs://master:9000/user/spark/README.md
这个时候如果HDFS中没有,就会说,input path does not exist
2、给hdfs 的路径也可以
相关内容:
1、Spark Quick Start - call to open README.md needs explicit fs prefix
Good catch; the Spark cluster on EC2 is configured to use HDFS as its default filesystem, so
it can’t find this file. The quick start was written to run on a single machine with an
out-of-the-box install. If you’d like to upload this file to the HDFS cluster on EC2, use
the following command:
2、
This has been discussed into spark mailing list, and please refer this mail.
You should use hadoop fs -put <localsrc> ... <dst> copy the file into hdfs:
${HADOOP_COMMON_HOME}/bin/hadoop fs -put /path/to/README.md README.md
于是我 /bin/hadoop -fs -put /home/spark/Desktop/README.md README.md
但这种方法怎么试都不行,说no such file or directory,还在研究
1 0
- spark load file的几种方式
- spark-2.0.0提交jar任务的几种方式
- File通过字符串创建对象的几种方式
- 文件分隔符、几种创建File对象的方式
- Spark on yarn--几种提交集群运行spark程序的方式
- Spark Standalone与Spark on YARN的几种提交方式
- Spark Streaming kafka 实现数据零丢失的几种方式
- Spark Streaming kafka实现数据零丢失的几种方式
- 搭建Spark开发环境的几种方式及入门示例
- Different Readers for different file types(Tensorflow 的几种读取数据的方式)
- LOAD DATA FILE的使用
- SPARK提交job的几种模式
- Spark的几种运行模式
- 创建File对象的几种形式
- 绘图的几种方式
- 订单的几种方式
- XML的几种方式
- 解析的几种方式
- Git 学习笔记(一)
- hdu 1800 Flying to the Mars 字典树
- 如何将Oracle数据库中的数据导入到hbase中 使用 Sqoop工具
- MAC 安装 Android studio 教程
- RemObjects SDK 9.0 Beta_CodeFirst
- spark load file的几种方式
- 【HNOI2008】【BZOJ1008】越狱
- qemu-kvm virtio 虚拟化-----Linux客户机 virtio设备初始化
- Android 关于屏幕的一些事儿
- 虚拟机 开发板 PC机 三者之间不能ping通的各种原因分析
- OC加强day04-NSString、array、增强for、block、.h中协议的声明
- 蓝桥杯--账目清单对账(简单递归)
- 《Boost程序完全开发指南》
- 访问者模式