Spark Q&A : Spark利用databricks读取CSV文件报错 CSVFormat NoClassDefFoundError
来源:互联网 发布:国家创新训练项目 知乎 编辑:程序博客网 时间:2024/05/22 13:13
原文链接:http://blog.csdn.net/edin_blackpoint/article/details/72638015
Q: Spark使用databricks进行csv文件读取的时候报错java.lang.NoClassDefFoundError: org/apache/commons/csv/CSVFormat
,找不到对应的CSVFormat类.
A: 根据kevinskii在Github上的回答,该问题出现的原因是在于spark-csv的jar文件中没有添加CSVFormat的依赖. 解决办法是下载common-csv的jar包并通过 -jar 添加到spark-submit的任务中.
It seems that the org/apache/commons/csv/CSVFormat dependency isn’t being packaged in the spark-csv jar file. Downloading the binary from (https://commons.apache.org/proper/commons-csv/download_csv.cgi), extracting the .jar from it and setting the permissions, and finally including it in the list of comma-separated JAR files following the “–jar” option when running the Spark shell solved it for me.
Example:
bin/pyspark –jars /path/to/spark-csv.jar,/path/to/commons-csv.jar
同时, m-mashaye在stackoverflow上给出了用textFile读取csv文件,并通过case class
构建DF的解决办法, 适用于尝试过各种办法但是仍不能解决问题的绝望者.
Instead of using sqlContext.read, I used the following code to turn my .csv file into a dataframe. Suppose the .csv file has 5 columns as follow:
- Spark Q&A : Spark利用databricks读取CSV文件报错 CSVFormat NoClassDefFoundError
- Spark Q&A : Spark利用databricks读取CSV文件报错 CSVFormat NoClassDefFoundError
- spark databricks 读入csv数据报错:Multiple sources found for csv
- spark读取csv文件
- spark 读取CSV文件
- spark读取csv文件——scala
- Databricks Spark Cloud
- Spark读取csv数据
- spark-submit 报 NoClassDefFoundError 解决
- spark调优(四)【databricks spark知识库】
- Spark 之 读写 csv文件
- Spark 读取HDFS文件
- Spark读取文件
- Spark读取HDFS文件
- spark 读取avro文件
- Spark 读取多个小文件
- Databricks终止Shark项目,转至Spark SQL
- Databricks终止Shark项目,转至Spark SQL
- iOS 技术点总结笔记
- Elasticsearch 用户启动问题
- HTTP中GET和POST的区别
- xlistview
- java 中 String 与 int 的相互转换
- Spark Q&A : Spark利用databricks读取CSV文件报错 CSVFormat NoClassDefFoundError
- ajax
- openwrt移植过程的问题记录
- 数据降维笔记——非负矩阵分解(NMF),人脸数据特征提取
- Ubuntu修改环境变量关掉终端就没了,问题解决办法
- 9月20日云栖精选夜读:异构计算&高性能计算分论坛——揭秘拿什么实现超算平民化、国际化?
- java 报错信息
- Haproxy+keepalived实现高可用负载均衡
- Docker入门