Spark将大量分区写入HDFS报错
来源:互联网 发布:医院网络总监招聘 编辑:程序博客网 时间:2024/06/06 21:44
对大量的数据进行一系列的数据处理后DataFrame此时有2W个分区(170W条数据,因此每个分区数量只有几百条),此时使用parquet命令,将会往一个hdfs文件中同时写入了大量的碎文件。
提示(省略无用信息):
WARN TaskSetManager: Lost task: org.apache.spark.SparkException: Task failed while writing rows.WARN TaskSetManager: Lost task:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /user/xx/sample_2016/_temporary/0/_temporary/attempt_201604141035_0058_m_019029_0/part-r-19029-1b93e1fa-9284-4f2c-821a-c83795ad27c1.gz.parquet: File does not exist. Holder DFSClient_NONMAPREDUCE_1239207978_115 does not have any open files.
原因
提示为文件操作超租期,由于多个task操作写一个文件,其中某个task完成任务后删除了临时文件引起。
该参数和dfs.datanode.max.xcievers有关,默认为256.
dfs.datanode.max.xcievers表示每个datanode任一时刻可以打开的文件数量上限。
解决方法
有两个解决方法,一种是修改spark代码,一种是修改hdfs参数配置。
1.避免太高的并发读同时写一个文件。
所以在调用write.parquet前,先试用repartition合并碎片分区。
因为减少了分区数,下次再读取这份数据进行处理时,减少了启动task的开销
2.提高同时写的上限。
在hdfs-site.xml中修改dfs.datanode.max.xcievers,将其设置为4096
<property> <name>dfs.datanode.max.xcievers</name> <value>4096</value> </property
需要重启dataNode生效
阅读全文
0 0
- Spark将大量分区写入HDFS报错
- Spark将大量分区写入HDFS报错
- sqoop2写入hdfs报错
- spark streaming 写入db,hdfs
- spark on hive 写入hdfs
- flume写入hadoop hdfs报错 Too many open files
- eclipse 向HDFS中写入文件报错 Permission denied
- kettle 7.1 集成 HDP2.6 写入HDFS 报错问题
- mapreduce 将hdfs数据逐行写入mysql
- flink使用BucketingSink将文件写入hdfs
- SQLITE写入大量大数据时,报错ERR 11:database disk image is malformed
- Spark将HDFS数据导入到HBase
- Spark将HDFS数据导入到HBase
- Spark将HDFS数据导入到HBase
- HDFS 读取、写入、遍历目录获取文件全路径、append文件创建或者写入报错问题分析
- spark的rdd.saveastextfile可以追加写入hdfs吗
- Spark 修改整列数据类型+写入数据到HDFS
- spark on hive 写入hdfs 用csv格式
- 自顶向下,逐步求精
- 计算素数小于非负数的数目,n。
- Android Service 通信
- 大众对于“大数据”的相关伦理观点
- CSS3实现渐变色字体
- Spark将大量分区写入HDFS报错
- lintcode&九章算法——100. 删除有序数组里的重复元素 ? 待解决
- Entity framework查询原理
- webrtc持续更新
- andriod—junit测试框架
- git 遇到The remote end hung up unexpectedly
- 作为函数参数的指针
- Android 判断线程
- Launcher3模块编译(用mm命令)报错,解决方案