Kettle(Pentaho DataIntegration) 安装Hadoop-2.2.0插件
来源:互联网 发布:java编写电影购票系统 编辑:程序博客网 时间:2024/06/05 00:53
1 安装前的准备工作
1.1 Pentaho Data Integration
当前的CE 版本Pentaho Data Integration 是5.0.1,下载地址:
http://www.pentaho.com/download/。你也可以尝试企业版EE,这里不做介绍了。下载完成后,压缩到指定的目录下。
1.2 Hadoop 2.2.0
下载最新稳定版本的Hadoop 2.2.0,下载地址:
https://hadoop.apache.org/releases.html
2 安装步骤
2.1 配置 PID Hadoop插件
进入hadoop-configurations目录下,复制chd42,并重命名为hadoop-2.2.0,
并且清空client目录下的jar包。完成后,将Hadoop安装目录下share目录下的所有jar包复制到client目录下,包括hadoop lib下jar包。清除client同级别的jar中的protobuf-java-2.4.0.jar使用protobuf-java-2.5.0.jar替代。
2.2 添加配置
将hadoop的安装目录下的配置文件复制到PID的插件hadoop-2.2.0 下,hadoop安装路径etc/hadoop/,重要的文件包括:
core-site.xml,hdfd-site.xml,mapred-site.xml,yarn-site.xml,slaves等,到hadoop-2.2.0目录下。
2.3 修改PID插件的配置文件
在~/data-integration/plugins/pentaho-big-data-plugin目录下,找到plugin.properties文件。修改一行数据:
active.hadoop.configuration=hadoop-2.2.0
3.测试
测试这个配置是否成功,最简单的方法是建立job任务。创建一个job, 添加开始按钮和Hadoo copy File 组件。
点击浏览HDFS文件按钮,弹出框中配置Hadoop链接配置,点击Connect按钮。如果成功的话,下面的面板中会显示HDFS的树形文件结构。
- Kettle(Pentaho DataIntegration) 安装Hadoop-2.2.0插件
- Kettle(Pentaho DataIntegration) 安装Hadoop-2.2.0插件
- Kettle(Pentaho DataIntegration)实现Hadoop-2.2.0 文件复制
- Kettle(PentahoDataIntegration)安装Hadoop-2.2.0插件
- Pentaho ETL安装使用(KETTLE)
- Pentaho Work with Big Data(一)—— Kettle连接Hadoop集群
- DataIntegration windows7 64 安装
- Kettle (Pentaho PDI) 4.3.0 web start
- 在LINUX SUSE安装PENTAHO的KETTLE实践经验
- Pentaho & Kettle下载地址
- kettle spoon pentaho
- Pentaho 数据集成工具——Kettle(一)
- Kettle安装Kafka Consumer插件
- Eclipse 安装Hadoop-2.2.0插件
- Pentaho Kettle Solutions (读书笔记)【2. Kettle基本概念】
- 开源ETL工具 Pentaho Kettle
- Pentaho Data Integration(Kettle) 6.0
- pentaho安装
- 英文论文中“such as, for example, e.g., i.e., etc., et al. ”的用法分析
- 判断表中是否存在某字段
- 分享weibo4j中用到的mysql2bean的java工具
- Eclipse输入辅助,自动提示
- 一个For语句导致死循环的例子
- Kettle(Pentaho DataIntegration) 安装Hadoop-2.2.0插件
- poj1364
- jquery jsonp 案例
- Javascript_函数执行前传参
- 备份之处
- Oracle SQL性能优化
- wince驱动sources文件注释
- Asp.net C# 使用Newtonsoft.Json 实现DataTable转Json格式数据
- YII中使用事务