Apache Tez基本知识
来源:互联网 发布:赚钱最快的方法 知乎 编辑:程序博客网 时间:2024/06/10 18:19
参考资料:
官方blog:
http://hortonworks.com/blog/author/arun_murthy/
svn源码:
http://hortonworks.com/blog/introducing-tez-faster-hadoop-processing/
看到一篇很不错的文章:
http://dongxicheng.org/mapreduce-nextgen/apache-tez/
Tez安装:
http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.0.2/bk_installing_manually_book/content/rpm-chap-tez.html
名称解释:
DAG:Directed Acyclic Graph 无环有向图
Tez将Map task和Reduce task进一步拆分,
Tez的task由Input、processor、output阶段组成,可以表达所有复杂的map、reduce操作。
这样,这些分解后的元操作可以任意灵活组合,产生新的操作单元Task.
举个例子:
在传统的MR如下左图所示,而采用Tez之后则将DAG的依赖关系去除,Tez将有依赖关系的作业转换为一个作业,如下右图所示。
Pig/Hive -MR Pig/Hive -Tez
代码结构图如下:
•tez-api:六个可编程组件
•tez-common
•tez-engine
•tez-mapreducetez-task-library: Tez为兼容MR提供的组件
•tez-yarn-application
•tez-yarn-client
阅读全文
0 0
- Apache Tez基本知识
- Apache Tez
- apache tez
- apache tez 调研
- Apache Tez是什么?
- Apache Hive on Apache Tez
- Apache Tez DAG计算应用框架
- apache tez on hadoop-2.7.1
- Hadoop's Tez: Whywinning Apache's top level status matters
- apache maven 基本知识
- When would someone use Apache Tez instead of Apache Spark, or vice versa?
- FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask
- Apache Tez:一个运行在YARN之上支持DAG作业的计算框架
- Apache Tez:一个运行在YARN之上支持DAG作业的计算框架
- Apache Tez:一个运行在YARN之上支持DAG作业的计算框架
- Map operator initialization failed at org.apache.hadoop.hive.ql.exec.tez.TezProcessor
- Tez安装
- Hello Tez
- 第一部分 Autotools 基础 介绍
- C语言基础五(结构体)
- 软件工程--软件计划
- 菜鸟wz的Python周记(3)使用函数制作验证码生成器
- 【Angular4学习】--初始文件目录结构解读
- Apache Tez基本知识
- error: .repo/manifests/: contains uncommitted changes
- State of the Lambda: Libraries Edition
- okhttp3Util工具类二次封装//及拦截器添加公共参数
- Shiro之授权管理与授权的三种方式(1、编程方式,2、注解方式,3、jsp标签)-yellowcong
- Spring事务配置文件方式
- Translation of Lambda Expressions
- 基于R语言的聚类分析(k-means,层次聚类)
- 洛谷P3384【模板】树链剖分