DataX配置定时任务
来源:互联网 发布:zip暴力解压软件 编辑:程序博客网 时间:2024/06/05 17:44
1.环境要求
我安装的是JDK1.8,Python2.7.13,刚开始安装的JDK1.6,执行定时任务时,日志文件里面显示/bin/sh: java: command not found,后来换成1.8没问题了。
2.配置任务
(1)安装crond服务
yum install crontabs
命令说明:
/sbin/service crond start //启动服务
/sbin/service crond stop //关闭服务
/sbin/service crond restart //重启服务
/sbin/service crond reload //重新载入配置
查看crond服务状态 输入
service crond status
显示如下表示服务已启动
[root@localhost /]# service crond status
Redirecting to /bin/systemctl status crond.service
● crond.service - Command Scheduler
Loaded: loaded (/usr/lib/systemd/system/crond.service; enabled; vendor preset: enabled)
Active: active (running) since Mon 2017-05-15 15:51:05 CST; 9min ago
Main PID: 6550 (crond)
CGroup: /system.slice/crond.service
└─6550 /usr/sbin/crond -n
May 15 15:51:05 localhost.localdomain systemd[1]: Started Command Scheduler.
May 15 15:51:05 localhost.localdomain systemd[1]: Starting Command Scheduler...
May 15 15:51:05 localhost.localdomain crond[6550]: (CRON) INFO (RANDOM_DELAY ...
May 15 15:51:06 localhost.localdomain crond[6550]: (CRON) INFO (running with ...
May 15 15:51:06 localhost.localdomain crond[6550]: (CRON) INFO (@reboot jobs ...
Hint: Some lines were ellipsized, use -l to show in full.
(2).创建作业配置文件(json格式)
{ "job": { "setting": { "speed": { "byte":1048 }, }, "content": [ { "reader": { "name": "oraclereader", "parameter": { "column" : [ "name","age" ], "connection":[{"jdbcUrl":["jdbc:oracle:thin:@192.168.10.15:1521:orcl"],"table":["TEST_A"],}],"password":"123456","username":"root", } }, "writer": { "name": "oraclewriter", "parameter": {"username": "root", "password": "111222","column": ["filed1","filed2"],"preSql": [ "delete from TEST_B" ],"connection":[{"jdbcUrl":"jdbc:oracle:thin:@192.168.11.18:1521:orcl","table":["TEST_B"],}], } } } ] }}
(3).列出crontab文件,输入crontab -l
no crontal for xxx
0,10,20,35,44,50 * * * * python /home/admin/datax3/bin/datax.py /home/admin/mysql2odps.json >>/home/hanfa.shf/log.`date +\%Y\%m\%d\%H\%M\%S` 2>&1,
(4).创建crontab文件(以前从未创建过crontab任务)
5 13 * * * python /home/admin/datax3/bin/datax.py /home/admin/oracle2oracle.json >>/home/hanfa.shf/log.`date +\%Y\%m\%d\%H\%M\%S` 2>&1
5 13 * * *表示每天的13点5分执行这个任务。
(5)编辑已有crontab文件,修改或增加定时任务
(6)提交 crontab文件
(7)重启crontab服务
(8)任务配置文件crontab命令格式说明
- DataX配置定时任务
- DataX配置及使用
- oracle定时任务配置
- 定时任务配置
- spring 定时任务配置
- spring 配置定时任务
- Quartz定时任务配置
- spring 配置定时任务
- spring配置定时任务
- mysql配置定时任务
- Spring定时任务配置
- Crontab定时任务配置
- Crontab定时任务配置
- linux 定时任务配置
- Spring定时任务配置
- 定时任务配置
- ecstore 定时任务配置
- spring 定时任务配置
- 让服务器能支持10万并发数秘诀,亲身经历,站在巨人的肩膀上创造
- Volley+ListView制作留言栏
- Spring2 Bean详解
- sklearn——PCA&LDA
- 二叉查找树
- DataX配置定时任务
- 换个账号继续
- 开发程序员常用接口
- linux IO复用笔记_更新中
- 查看keystore相关信息
- Seq2Seq源码解析(基于Theano框架)
- 本地搭建redis服务器笔记
- 日常
- Linux下MySQL 5.5/5.6的修改字符集编码为UTF8(彻底解决中文乱码问题)