hive Caused by: java.io.EOFException: Unexpected end of input stream排查

来源:互联网 发布:大庆龙江网络新村电话 编辑:程序博客网 时间:2024/05/22 04:41

一个常跑的SQL突然运行失败,重试也无法解决,具体报错如下:


Caused by: java.io.EOFException: Unexpected end of input stream


这个错误初看是由于输入文件IO无法正确解释导致,container日志显示的都是task直接被杀。

由于SQL较长通过报错stage定位具体SQL段Launching Job 5 out of 8,是由于stage 5的SQL段运行失败,从而单独执行SQL段出现同样的错误:



接下来直接下载hdfs上的文件排查文件是否完整,果然:



由于爬虫下载的gz文件损坏,导致hiveql无法正常运行,问题解决。

原创粉丝点击