java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
来源：互联网 发布：卡廷事件 知乎 编辑：程序博客网 时间：2024/05/21 19:24
使用不带hadoop的spark包，在成功启动pyspark前需要在spark的配置文件conf/spark-env.sh里指定hadoop。格式是spark要求好的。
现在以hadoop这个命令已经在环境变量中存在的情况为例，spark-env.sh配置文件里需要增加这么一句：
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
参考官方文档：
https://spark.apache.org/docs/latest/hadoop-provided.html
0 0
- java.lang.noclassdeffounderror:org/apache/hadoop/fs/fsdatainputstream
- java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
- 解决Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/ FSDataInputStream
- java.lang.ClassNotFoundException: org.apache.hadoop.fs.CanUnbuffer
- java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer
- Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/util/ProgramDriver
- java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
- java.lang.NoClassDefFoundError: org/apache/hadoop/crypto/key/KeyProvider
- HBase MapReduce 解决java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/...
- 解决 java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.(Ljava/util/zip/Checksum;II)V
- java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.<init>(Ljava/util/zip/Checksum;II)V
- java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.<init>(Ljava/util/zip/Checksum;II)V
- 解决使用libhdfs.so连接hdfs出错问题java.lang.ClassNotFoundException: org.apache.hadoop.fs.F
- java.lang.NoClassDefFoundError:org/apache/commons/beanutils
- java.lang.NoClassDefFoundError: org/apache/xmlbeans/XmlException
- java.lang.NoClassDefFoundError: org/apache/poi/POIXMLTextExtractor
- java.lang.NoClassDefFoundError: org/apache/log4j/LogManager
- java.lang.NoClassDefFoundError: org.apache.ftpserver.FtpServerFactory
- 前端资源汇总
- 十个经典的Android开源项目
- webpack基础入门(三)
- popwindow.show() ArrayIndexOutOfBoundsException
- iOS 自动打包工具 + 分发测试
- java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
- 记录、积累、分享
- 每天学习openstack（16）
- 【Debug】warning C4190:有指定的 C 链接,但返回了与 C 不兼容的 UDT
- 怎么在水果音乐制作软件播放列表中排列样式
- libuv windows 下编译及使用出现的问题
- leetcode 28. Implement strStr() （java实现）
- hive中分号字符引起的异常
- With语句和上下文管理器ContextManager
