pyspark报错: invalid stream header
来源:互联网 发布:sopcast网络电视安卓版 编辑:程序博客网 时间:2024/05/19 12:24
当我对rdd进行map操作的时候,就是添加一个字段,表示其中的两个字段是否相等,然后报这个错误。
Google后也没找到确切的解决方案,因为是用python编程,对java不熟悉,估计是java对象读写数据的时候发生的问题.
google的答案:
I can tell you that this usually means somewhere something wrote
objects to the same OutputStream with multiple ObjectOutputStreams. AC
is a header value.
I don't obviously see where/how that could happen, but maybe it rings
a bell for someone. This could happen if an OutputStream is reused
across object serializations but new ObjectOutputStreams are opened,
for example.
objects to the same OutputStream with multiple ObjectOutputStreams. AC
is a header value.
I don't obviously see where/how that could happen, but maybe it rings
a bell for someone. This could happen if an OutputStream is reused
across object serializations but new ObjectOutputStreams are opened,
for example.
既然是这样,就重启pyspark看看能否解决,果然,重启后就解决了。没再报那个错误了。
但是后来又报这个错误,重启不能解决,又百度:在一个文件都有一个文件的头部和文件体。由于对多次使用FileOutputStream构建的ObjectOutputStream对象向同一个文件读数据,在每次读数据的时候他都会向这个文件末尾先写入header再写入你要写的对象数据,在读取的时候遇到这个在文件体中的header就会报错。导致读出时,出现streamcorrput异常
然后我就想,可能是比较rdd中两个元素的时候,多次使用了FileOutputStream构建的ObjectOutputStream对象
如果哪位大神看到知道具体是什么原因引起的,可以留下你的答案!!!
0 0
- pyspark报错: invalid stream header
- java.io.StreamCorruptedException: invalid stream header报错原因
- java.io.StreamCorruptedException: invalid stream header报错原因
- spring mvc httpinvoker 报错invalid stream header: 0D0A0D0A 解决办法之一
- 润乾打印报错:invalid stream header的几种情况
- 润乾报表打印报错:invalid stream header的几种情况
- 润乾报表打印报错:invalid stream header的几种情况
- 报错 invalid LOC header (bad signature)
- java.io.StreamCorruptedException: invalid stream header: EFBFBDEF
- memcached错误:invalid stream header: 7B227573
- java.io.StreamCorruptedException: invalid stream header: ABACED00
- java.io.StreamCorruptedException: invalid stream header: 异常
- 执行导出excel文件报错Invalid header signature;
- TOMCAT启动报错 invalid LOC header (bad signature)
- Java项目中启动Tomcat报错invalid LOC header
- tomcat启动报错invalid LOC header (bad signature)
- maven 报错invalid LOC header(bad signature)
- Tomcat启动项目报错:invalid LOC header (bad signature)
- jar包分类管理及导入
- bootstrap中contain和contain-fluid的区别
- AtCoder Regular Contest 063题解
- 键盘的隐藏事件
- python中三种特殊数据结构:set集合、堆、双端队列
- pyspark报错: invalid stream header
- 螺旋数阵对角线
- Android最佳的开源库集锦
- 菜鸟笔记之基础语法
- [C++]1.指针的学习
- JFinal Web开发学习(九)首页layui重新构建目录以及首页
- 欢迎使用CSDN-markdown编辑器
- UILocalNotification本地推送
- OpenStack开发源码如何获取及下载