spark on hive 总结

来源:互联网 发布:淘宝好的1:1复刻店 编辑:程序博客网 时间:2024/04/28 04:06

1、大表之间的关联需要自己指定task的任务数,

spark.sql.shuffle.partitions

2、很多task生产太多的小文件

3、hive表中有很多文件,起和文件数一样的任务数

0 0
原创粉丝点击