踩坑事件:windows操作系统下的eclipse中编写SparkSQL不能从本地读取或者保存parquet文件
来源:互联网 发布:o2olr软件下载 编辑:程序博客网 时间:2024/05/18 03:04
这个大坑... ....
如题,在Windows的eclipse中编写SparkSQL代码时,编写如下代码时,一运行就抛出一堆空指针异常:
val conf = new SparkConf().setAppName("GenreicSaveLoad").setMaster("local") val sc = new SparkContext(conf) val sqlContext = new SQLContext(sc) val df = sqlContext.read.load("D:\\tmp\\spark\\users.parquet") df.write.save("D:\\tmp\\spark\\namesAndFavColors_scala")
这个纠结啊... ...。
后来将数据保存到hdfs上可以运行。于是我误以为不能再本地保存,后来google了一下,看很多demo都是将数据保存到本地的parquet中,于是这个猜测否决了。
后来在这里找到了答案:http://stackoverflow.com/questions/25505365/parquet-file-in-spark-sql
其回复如下:
Spark is compatible with Windows. You can run your program in a spark-shell session in Windows or you can run it using spark-submit with necessary argument such as "-master" (again, in Windows or other OS).You cannot just run your Spark program as an ordinary Java program in Eclispe without properly setting up the Spark environment and so on. You problem has nothing to do with Windows.
后来又在linux 上的spark-shell上验证了一下,可以本地保存的!!!!【本地运行读取集群上的数据目录也是可以的】
所以啊,要想保存在本地,还是使用spark-submit吧,不要直接在eclipse中运行了。
- 踩坑事件:windows操作系统下的eclipse中编写SparkSQL不能从本地读取或者保存parquet文件
- SparkSQL下Parquet中PushDown的实现
- Eclipse编辑文件经常出现中文乱码或者文件中有中文不能保存的问题
- 为什么从XML文件中读取的/n或者 /r/n不能在MessageBox中换行
- 第66课:SparkSQL下Parquet中PushDown的实现学习笔记
- 从URL读取文件保存到本地
- C#将文件保存到数据库中或者从数据库中读取文件
- C#将文件保存到数据库中或者从数据库中读取文件
- c#将文件保存到数据库中或者从数据库中读取文件
- C#将文件保存到数据库中或者从数据库中读取文件
- C#将文件保存到数据库中或者从数据库中读取文件
- C#将文件保存到数据库中或者从数据库中读取文件
- [转]C#将文件保存到数据库中或者从数据库中读取文件
- C#将文件保存到数据库中或者从数据库中读取文件
- C#将文件保存到数据库中或者从数据库中读取文件
- Hive文件存储格式 :Parquet sparksql ,impala的杀手锏
- 基于java的sparkSQL从mysql中读取数据
- 嵌入式 如何使用jlink从flash中读取数据保存为bin文件到本地
- Android笔记之View XML属性自定义
- 基于tomcat 7.0.68 的websocket 实现,及通过 HttpSessionId 实现websocket session 共享
- 27. Remove Element
- 简单的android数据类和Json转换(Data Json)
- xml 和 Java Annotation 的优缺点对比
- 踩坑事件:windows操作系统下的eclipse中编写SparkSQL不能从本地读取或者保存parquet文件
- #55 – Application.ShutdownMode
- java数据结构之字符串的模式匹配算法
- 增删改同时获取主键id
- SAS OUTPUT语句
- c++重载运算符梳理
- 反转单向链表
- javascript之模板引擎
- PDO 简介——预处理语句和存储过程