Apache Tez
来源:互联网 发布:遇见软件怎么玩 编辑:程序博客网 时间:2024/06/08 11:32
参考资料:
官方blog:
http://hortonworks.com/blog/author/arun_murthy/
svn源码:
http://hortonworks.com/blog/introducing-tez-faster-hadoop-processing/
看到一篇很不错的文章:
http://dongxicheng.org/mapreduce-nextgen/apache-tez/
Tez安装:
http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.0.2/bk_installing_manually_book/content/rpm-chap-tez.html
名称解释:
DAG:Directed Acyclic Graph 无环有向图
Tez将Map task和Reduce task进一步拆分,
Tez的task由Input、processor、output阶段组成,可以表达所有复杂的map、reduce操作。
这样,这些分解后的元操作可以任意灵活组合,产生新的操作单元Task.
举个例子:
在传统的MR如下左图所示,而采用Tez之后则将DAG的依赖关系去除,Tez将有依赖关系的作业转换为一个作业,如下右图所示。
Pig/Hive -MR Pig/Hive -Tez
代码结构图如下:
•tez-api:六个可编程组件
•tez-common
•tez-engine
•tez-mapreducetez-task-library: Tez为兼容MR提供的组件
•tez-yarn-application
•tez-yarn-client
- Apache Tez
- apache tez
- apache tez 调研
- Apache Tez是什么?
- Apache Tez基本知识
- Apache Hive on Apache Tez
- Apache Tez DAG计算应用框架
- apache tez on hadoop-2.7.1
- Hadoop's Tez: Whywinning Apache's top level status matters
- When would someone use Apache Tez instead of Apache Spark, or vice versa?
- FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask
- Apache Tez:一个运行在YARN之上支持DAG作业的计算框架
- Apache Tez:一个运行在YARN之上支持DAG作业的计算框架
- Apache Tez:一个运行在YARN之上支持DAG作业的计算框架
- Map operator initialization failed at org.apache.hadoop.hive.ql.exec.tez.TezProcessor
- Tez安装
- Hello Tez
- Tez安装
- SSH(struts+spring+hibernate)如何学习
- [MSSQL]SQL 关于使用CTE(公用表表达式)的递归查询
- C中可变参数函数
- Python之闰年算法
- 苹果员工出逃现象严重:人才挽留成大难题
- Apache Tez
- *继承IObjectSafety接口,实现vb activeX控件安全性(IE不提示安全问题)
- hdu1015深搜
- Linux学习路线图
- 2012年好耶集团C/C++校园招聘试题
- 最大公约数问题
- 团购网站“倒闭潮”何时才能平息
- 用DateTime.ToString(string format)输出不同格式的日期
- 「译」javascript 的 12 个怪癖(quirks)