pentaho data integration连接hadoop2.2.0
来源:互联网 发布:软件开发进度月报 编辑:程序博客网 时间:2024/05/06 08:53
pdi即kettle,支持hadoop的操作,但是默认支持的是hadoop0.2.0。但是由于我目前所用的是hadoop2.2.0,主要想用pdi来控制hadoop的作业调度。经过几天痛苦的试探过程,目前能够初步实现这个功能。
经本人测试,按照下面修改之后,可以使用transformation中Big Data组件中的Hadoop File Input和Hadoop File Output组件,job中的Big Data组件中的Hadoop Copy Files,Hadoop Job Executor。其中使用Hadoop Job Executor时只用用simple方式,将eclipse导出的hadoop作业的jar包导入。
凡是要使用到jobtracker的组件,都无法使用。估计hadoop1.x 版本应该完全没有问题。主要是因为hadoop2.x使用了YARN来控制资源调度。
在data-integration/plugins/pentaho-big-data-plugin目录下,能够看到提供的默认支持的hadoop与pdi连接的插件。
1.进入hadoop-configurations目录下,新建hadoop-2.2.0目录。
2.将hadoop-20目录下的所有文件,复制到新建的hadoop-2.2.0目录下。
3.清空hadoop-2.2.0/lib/client下的所有包
4.在hadoop的安装目录下的/share/hadoop目录下的jar(在各个子文件中找),复制到client目录下
5.将hadoop-2.2.0/lib/pmr下的jar包删除,将zookeeper-3.4.5.jar包放入。(可在hadoop的安装目录下找到)
6.修改配置文件
~/data-integration/plugins/pentaho-big-data-plugin目录下找到plugin.properties文件。
修改为active.hadoop.configuration=hadoop-2.2.0
7.在~/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hadoop-2.2.0目录下,添加hadoop安装目录下的/etc/hadoop里面的core-site.xml,hdfd-site.xml,mapred-site.xml,yarn-site.xml,slaves等配置文件。
8.之后重启spoon,即可。
- pentaho data integration连接hadoop2.2.0
- Pentaho Data Integration(Kettle) 6.0
- pentaho data-integration(kettle) 资源库备份
- 64位 ubuntu 12.04 安装 Pentaho data-integration 5.0.1
- Pentaho-A Comprehensive Data Integration and Business Analytics Platform
- ETL´s: Talend Open Studio vs Pentaho Data Integration (Kettle). Comparative.
- pentaho data-integration CE 5.0.1-stable ( kettle ) 使用 mysql 创建资源库 (repository )
- 使用 Pentaho data-integration (Kettle) 进行数据转换出现中文乱码时的解决办法
- Pentaho data-integration Spoon.bat 启动异常 java virtual machine launcher
- Kettle7 ( Pentaho Data Integration )源码分析 每个step都有一个线程负责运行
- 应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算(一、同构数据抽取)
- 应用Pentaho Data Integration(Kettle) 6.1 进行数据抽取以及指标计算(二、异构数据抽取)
- PENTAHO连接超时问题
- Pentaho Work with Big Data(一)—— Kettle连接Hadoop集群
- Data integration and services
- SmartClient之Data Integration
- Data Access/Integration
- HiveJDBCInterface Integration with Pentaho or SQuirrel SQL Client
- 第17周项目2⑦--是否有相同字符
- Tomcat Jdbc数据源初始化过程以及错误Cannot resolve reference to bean 'dataSource' while setting bean property 'da
- xstream简介(bean与xml转换工具)
- Codeforces Round #221 (Div. 2)
- WebSite for Java Developers
- pentaho data integration连接hadoop2.2.0
- 写给姥姥的一封信
- linux下 sh调用java,执行class
- 幼儿园园本课程开发的实践与思考
- 报错__jQuery__01
- TCP为什么需要三次握手
- iOS5 ARC学习笔记
- 【C/C++】Linux下system()函数引发的错误
- javascript 在 构造器函数中定义方法 vs 在 prototype 中定义方法