HDP 2.2.4 Hue Oozie Editor生成workflow.xml的几点问题
来源:互联网 发布:周琦体测数据曝光 编辑:程序博客网 时间:2024/06/11 21:25
本文原文出处: http://blog.csdn.net/bluishglc/article/details/45888279 严禁任何形式的转载,否则将委托CSDN官方维护权益!
如果你想让你手写的workflow.xml成功的倒入到Hue的Oozie Designer里,你需要注意如下几点:
关于chema的版本:oozie最高只能是0.4,hive-action最高只能是0.2, istcp-action最高只能是0.1!!
对于jobTracker和nameNode属性,hue的oozie designer生成的workflow.xml文件是hard code使用的!!也就是说:如果我手写的xml想要导入到oozie中,只能在workflow.xml文件使用${jobTracker}和${nameNode},而不可以直接写出它们对应的值以及自己定义的属性名!
关于路径一类的参数更是让人捉摸不定,比如有的地方接受${nameNode}为前缀的地址,而有的地方则不能正确解析以${nameNode}为前缀的地址! 下面的这段配置是由Oozie Editor生成的,我们可以看到,同样的HDFS路径,delete 和 mkdir 是以${nameNode}为前缀的,而arg则没有。随意修改这些地址格式有可能导致你的工作流无法被导入。
<prepare> <delete path="${nameNode}/home/hduser/export/ipam_db/ipam${year}${month}"/> <mkdir path="${nameNode}/home/hduser/export/ipam_db/ipam${year}${month}"/></prepare><arg>/apps/hive/warehouse/ipam.db/ipam${year}${month}/*</arg><arg>/home/hduser/export/ipam_db/ipam${year}${month}/</arg>
coordinator没有import/export功能。
dataset的timezone无法保存,保存之后再打开,依然是默认timezone.
定义input(events)只能在工作流参数和dataset之间进行直白的一一绑定,无法进行形如${coord:current(-1)}的偏移计算。这是一个非常糟糕的问题!
终上所述:
最好的做法是:先用Oozie Editor生成workflow.xml,然后再添加到工程中进行版本控制!
- HDP 2.2.4 Hue Oozie Editor生成workflow.xml的几点问题
- hue中使用oozie的workflow执行mr
- Hue中使用Oozie的workflow执行MR过程
- Oozie的workflow的xml简单例子
- What's Wrong With Hue Oozie Editor?
- Hue - Oozie Editor: Retrying connect to server: localhost/127.0.0.1:8050 的错误解决方法
- oozie workflow.xml 综合案例
- Oozie workflow.xml 视图解析
- cloudera hue安装及Oozie的安装
- HDP 2.5集成Hue
- Bug死磕之hue集成的oozie+pig出现资源任务死锁问题
- 在Hortonworks HDP 2.2 上安装Hue 3.7.1
- Oozie配置Hue
- hue与oozie集成
- cloudera manager5.7.0中编译oozie的hive workflow一直heart beat 问题总结
- Hadoop: Hadoop oozie main sub workflow.xml configuration
- Hue上的Oozie如何构建工作流和定时任务
- Hue上的Oozie如何构建工作流和定时任务
- wprintf, fork, fwide, get FILE* from a file descriptor
- 学习opencv之添加滚动条到视频中,并实现滚动条随着视频播放自动移动
- python入门笔记--函数中参数传递
- Password hashes dump tools
- 基于STM32的函数信号发生器设计(上:硬件设计)
- HDP 2.2.4 Hue Oozie Editor生成workflow.xml的几点问题
- SSL/TLS协议图解---阮一峰
- [leetcode题后感]Pascal‘s Triangle I II
- 怎样才能成为一位优秀的产品运营
- python中if __name__ == '__main__': 的解析
- DB2 日常小技巧
- O2O融资五大暗黑心法
- Windows7更改替换cmd(PowerShell)字体完全方法教程
- rac数据库的服务无法启动,报错ORA-03113: end-of-file on communication channel