Tez学习笔记 --- Tez与MapReduce原理与分析

来源:互联网 发布:linux oracle日志 编辑:程序博客网 时间:2024/05/22 00:14

首先看一下MapReduce的工作流程图






Tez工作流程图





从上面两个图可以看出,Tez可以将多个有依赖的作业转换为一个作业(这样只需写一次HDFS,且中间节点较少),从而大大提升DAG作业的性能。Tez已被Hortonworks用于Hive引擎的优化,经测试,性能提升约100倍。





原创粉丝点击