Impala之Catalogd进程

来源:互联网 发布:软件进口合同登记 编辑:程序博客网 时间:2024/05/22 13:54

        Catalogd进程是Impala中用来传递Impala SQL导致的元数据变化的组件,它把这些变化传递给集群中所有的节点。一个集群中只需要一个节点上有这个守护进程,因为请求是通过Statestore传递的,因此Statestored和Catalogd 服务应当运行在同一节点上。

        引入Catalogd进程的目的就是减少执行REFRESH和INVALIDATE METADATA语句,当在Impala中执行 CREATE TABLE 、 INSERT 或其他表修改、数据修改操作时,不再需要执行 REFRESH 或INVALIDATE METADATA 语句。但是在Hive中执行这些操作,或者直接在HDFS操作数据是,这两个语句仍然需要,但是只需要在其中一个节点上运行,不再需要在所有节点上都运行。

3 0