centos7.2环境中kettle环境搭建及任务推送配置详解
来源:互联网 发布:网络直播的议论文800字 编辑:程序博客网 时间:2024/06/08 10:25
目标:将mysql5.5中testdb1的ehr_user表推送到tdoa的ehr_user表中,为避免不必要的麻烦,两张表结构、编码,包括数据库编码保持一致
操作系统:centos7.2
kettle:5.2
jdk:1.8.102
数据库:mysql
1.环境搭建
安装jdk1.8.102
rpm -ivh jdk-8u102-linux-x64.rpm
2.下载kettle软件上传到/data/目录下,并解压kettle.zip
3.在windows中建立好推送任务任务
具体步骤:
①安装好jdk1.8.102并设置java环境并设置java_home目录
②双击D:\software\source_tar\kettle\kettle\data-integration\Spoon.bat运行kettle软件
a.文件/新建/转换,保存下,此次我保持名为win_centos
db连接-新建,输入数据库的名称、连接IP、用户名、密码、数据库名,可以点击测试数据库是否联通,分别建立源数据库和目标数据库连接
点击运行可以进行测试是否连通
kettle任务运行脚本,做成定时任务,每天晚上一次:
1 1 * * * /bin/bash /data/job/appPush/appPush.sh
cat appPush.sh
#!/bin/sh
JAVA_HOME=/usr/java/jdk1.8.0_102
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME
export CLASSPATH
export PATH
/data/kettle/data-integration/kitchen.sh -file=/data/job/appPush/win_centos.kjb > /data/job/appPush/bi.log
问题描述:
数据库中的数据在不同的数据库中转换来装换去,由于不同库可能使用了不同的字符集,所以可能导致结果数据乱码问题。此次是在一个作业中跑数据,跑完数据前台数据显示出现乱码,检查了作业中的多有中间过程表,包括表输入的预览,表中的数据都是正常的,可想而知,问题肯定是处在“表输入”到“表输出”这个中间的转换环节上,根据能想到的,应该是字符集问题,为了更有保障的“表输入”和“表输出”的字符集相同,所以在表输入输出中。都添加了字符集的配置参数characterEncoding,值为utf8,
步骤截图如下
主对像树/DB连接,源数据库和目标数据库都要改
操作系统:centos7.2
kettle:5.2
jdk:1.8.102
数据库:mysql
1.环境搭建
安装jdk1.8.102
rpm -ivh jdk-8u102-linux-x64.rpm
2.下载kettle软件上传到/data/目录下,并解压kettle.zip
3.在windows中建立好推送任务任务
具体步骤:
①安装好jdk1.8.102并设置java环境并设置java_home目录
②双击D:\software\source_tar\kettle\kettle\data-integration\Spoon.bat运行kettle软件
a.文件/新建/转换,保存下,此次我保持名为win_centos
db连接-新建,输入数据库的名称、连接IP、用户名、密码、数据库名,可以点击测试数据库是否联通,分别建立源数据库和目标数据库连接
点击运行可以进行测试是否连通
b.建立一个作业
kettle任务运行脚本,做成定时任务,每天晚上一次:
1 1 * * * /bin/bash /data/job/appPush/appPush.sh
cat appPush.sh
#!/bin/sh
JAVA_HOME=/usr/java/jdk1.8.0_102
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME
export CLASSPATH
export PATH
/data/kettle/data-integration/kitchen.sh -file=/data/job/appPush/win_centos.kjb > /data/job/appPush/bi.log
问题描述:
数据库中的数据在不同的数据库中转换来装换去,由于不同库可能使用了不同的字符集,所以可能导致结果数据乱码问题。此次是在一个作业中跑数据,跑完数据前台数据显示出现乱码,检查了作业中的多有中间过程表,包括表输入的预览,表中的数据都是正常的,可想而知,问题肯定是处在“表输入”到“表输出”这个中间的转换环节上,根据能想到的,应该是字符集问题,为了更有保障的“表输入”和“表输出”的字符集相同,所以在表输入输出中。都添加了字符集的配置参数characterEncoding,值为utf8,
步骤截图如下
主对像树/DB连接,源数据库和目标数据库都要改
0 0
- centos7.2环境中kettle环境搭建及任务推送配置详解
- centos7.2环境搭建
- Kettle环境搭建
- centOS7中搭建Lamp环境(包括配置虚拟主机)
- kettle windows 环境配置
- kettle windows 环境配置
- kettle环境配置
- Kettle之Eclipse搭建Kettle开发环境
- centos7搭建vsftpd环境详解(亲测)
- Centos7.2LAMP环境的搭建&配置虚拟主机
- Centos7搭建Java Web环境与配置
- Kettle集群介绍及(windows、linux)环境搭建
- 开发kettle插件 环境搭建
- 开发kettle插件 环境搭建
- Centos7中搭建安装JDK环境
- 【环境配置】Centos7 nginx+php+redis环境搭建
- Centos7.2配置Java环境
- TestLink环境搭建及配置
- log4j的NDC/MDC开发与应用,多线程、多平台环境中的跟踪
- Memcached详解
- Python Web 开发学习 - 第一个Python程序
- linux 电源管理 Generic PM之Suspend功能
- Jsoup的使用(详解)
- centos7.2环境中kettle环境搭建及任务推送配置详解
- java语言能干什么
- CentOS 命令行和桌面切换
- service动态更新UI界面
- 最快速的创建Oracle并赋予所有权限
- 微信小程序开发教程
- Mac系统升级造成svn报错的问题
- python学习
- windowSoftInputMode注意;onWindowFocusChanged重要作用。