大数据管理平台-定时自动化任务管控
来源:互联网 发布:串口wifi模块怎样编程 编辑:程序博客网 时间:2024/04/30 05:39
从上次功能架构的调整到现在又是将近一年了,因为有其他项目在耽误时间,这个项目在自动化上还是有点开发的。
功能是基于需求,需求是来源与业务,业务是服务与人们某一生活需求的。这个功能也不例外,如某网站或某服务平台的新闻动态类栏目,这种实时性高、时效性好的信息需要及时的更新数据库以方便请求/发送数据。就是这样一个很通用的需求。
需要定时,自动化,处理任务,那么我们选了:
定时4个思路实现:
定时器:优点:起/停可控,单线程运行-缺点:时间不可以动态设置,定时执行配置不灵活
import java.util.Calendar;
import java.util.Date;
import java.util.Timer;
import java.util.TimerTask;
定时:
import net.dagongsoft.framework.quartz.QuartzJob;
import net.dagongsoft.framework.quartz.QuartzManager;
线程循环:缺点:循环实现,时间间隔固定不可变 优点:线程池方式来执行任务,可设置时间点执行
java.lang.thread
java.lang.runnable
java.util.concurrent.ScheduledExecutorService
Spring轻量级SpingTask标签
<task:scheduled-tasks></task:scheduled-tasks>
Spring 显示配置 优点:拼读可控,缺点:不可时间点确定
方法继承TimerTask实现
自动化:
自动化本身是执行自动化,通过定时实现,其次是任务可以自己能处理一下任务临时的异常,这里想需要的是
1.异常处理机制,这里可控异常及可预见异常都在业务层笑话,不可预料的异常都异常拦截器处理。
2.异常分类
数据异常,引入深度学习丰富异常库并反馈数据组或DBA查验数据,不影响下一周期业务
业务异常,叫异常拦截器处理,不做归纳总结,直接提示修改方法
连接异常,网络或物理传送层某步出现异常,仅做记录
任务:
触发任务方式
这样需要针对不同业务的不同模型,确定触发形式。目前我们的支持可控可配置的任务有R\Python\SOLR\MR\JAVAdROOLS\KJB\KTR
这里的任务可配参数有:定时参数(某时间执行,如何执行)/(单任务,任务链)
ktr/kjb是通过ETL工具spoon的API执行
SOLR是通过编写固定开放开发的java方法
其中R/py/MR 都有整合java的依赖,如rJava/rYthon.....cmd命令/shell脚本直接触发文件
- 大数据管理平台-定时自动化任务管控
- 移动大数据管理平台实践
- linux crontab自动化定时任务
- 大数据管理平台-数据处理与数据集市
- 自动化机房KVM管控方案
- Unix/Linux 平台任务的自动化
- Unix/Linux 平台任务的自动化
- Unix/Linux 平台任务的自动化
- 【程序设计】定时任务调度平台需求说明书
- 平台新版定时任务设置简介
- 智慧城市综合管控平台
- 数据管理平台(DMP)
- Laxcus大数据管理系统2.0(9)- 第七章 分布任务组件
- 大数据量数据管理技巧
- 深入解析DC/OS 1.8 – 高可靠的微服务及大数据管理平台
- 深入解析DC/OS 1.8 – 高可靠的微服务及大数据管理平台
- 深入解析DC/OS 1.8 – 高可靠的微服务及大数据管理平台
- IBM supervessel power云平台 之 crontab定时任务篇
- 用户开启了iCloud 照片库,选择了“优化 iPhone/iPad 储存空间”获取图片失败
- Android 音频系统:从 AudioTrack 到 AudioFlinger
- 1060
- 树组树组
- fcntl函数对文件锁的操作
- 大数据管理平台-定时自动化任务管控
- Zookeeper系列(二十三)Zookeeper原理解析之选举流程
- 禅道添加人到项目里面
- 学习笔记—C语言基础篇06
- 4.5.1_利用getImageData()与putImageData()方法来实现橡皮筋式选取框
- 深度学习21天实战实战caffe学习笔记<1>
- vmware workstation 链接不上网络
- 自定义View Measure过程
- NSArray遍历方法