问题分析报告--简单SQL启动MR

1、问题描述

1.1 基本信息[Basic Information]

• 集群规模：37+3台物理机，每台128G内存；CPU：2*16C；SATA磁盘，2T*12
• hadoop社区版本：**
• 商业版本：FusionInsight_HD_V100R002C60U10
• MetaStore：高斯数据库（Postgresql）

1.2 问题描述[Problem Description]

• 10月24号发现之前执行select * from table这种语句，很多都转换成MR提交到yarn队列上了，导致集群任务大量堆积;

2、问题分析[Problem Analysis]

导致问题的原因是c30的版本的hive.fetch.task.conversion参数默认为more，到c60改成了minimal。这样做原因是考虑到安全的因素。

这个参数功能是控制对于select 单表是否要启动mr。在minimal的情况下，可能会导致hiveserver处理大量的这样的fetch操作，使得hiveserver的压力增大，导致影响其它请求的及时响应。

C60改成minimal后，当需要fetch的数据大于设置的阈值的时候，就会出现原来没有启动mr的sql语句，启动sql语句了。

3、根本原因[Root Cause]

  新版本由于上述原因，改变了参数的默认值，没考虑到在交互式查询中，客户大量使用了这种select * from table的方式，而产生了大量的MR任务。

4、解决措施[Corrective Action]

4.1 最终解决措施[Solution]

1. 将hive.fetch.task.conversion的默认值minimal，改成more
2. 客户的使用方式需要将这种select * from table 加上一个limit操作，因为我们了解到用户使用这个语句，只是为了查看表结构信息或者只是看几条数据，所以加上limit就既可以满足需要，又避免hiveserver出现问题