采集适配

来源:互联网 发布:家具市场数据分析 编辑:程序博客网 时间:2024/06/07 06:33

1、任务概述,配置以下任务

61:整个流程任务58:提取性能数据生成性能文件59:标记当前已生成文件最新数据周期60:将生成文件上传到厂家FTP服务器上

2、配置流程

2、1 进入采集适配平台任务配置库(找需求的要不同的地方不一样),登入采集适配平台配置库,查询最后一条任务表记录,并在此基础上添加自己需要的任务【
select t.*,t.rowid from cp_task_tbl t where t.cp_task_id =
(select max(cp_task_id) from cp_task_tbl)】。其中t.rowid可以获取得到添加记录的权限。
这里写图片描述

2、2 那我这边 就添加了四个任务,三个原子任务(单一实现某个功能的程序就是一个原子任务),一个流程任务(流程任务主要是起到串联各个原子的任务的作用,所以一个流程任务包含有多个原子任务)。
配置完成的任务表样例:
这里写图片描述

在性能上报的中corn_exp字段中的corn表达式,用于控制任务执行的周期时间,秒、分、时、日、月、周、年,corn表达式详细见本样例中的是每天下午三点执行一次流程任务。

http://www.cnblogs.com/ycdx2001/p/4876210.html

2、3 给配置好的任务配置对应的参数,这些参数是每个任务独立的所以配置给每个任务对象,对应是所有任务都公用的参数可以配置在流程任务中,由流程任务统一接入,作用于其下的所有子任务(原子任务)。
任务参数表样例:
这里写图片描述

param_id是对应的任务对象obj _id的变量,像其中的数据源和文件原SQL脚本对应于数据库的id和查询的SQL语句,对于数据源的id需要我们自己根据给的数据源地址去接口表中查询对应的id,如果在现有的接口表中没有找到对应的数据源接口可以自己把需要用的数据源配置进去(像我自己在接口表根据ip地址找到了对用的接口,但是用户不用一样,所以我还得自己再配置一个进去,再将新的数据源id填到这张参数表中);对于sql我们可以再上面的数据源中执行没问题了添加进来。10147是记录更新程序,其对应的数据库源的做法和上面10146文件件生成数据源的一样,ftp服务器同上
,对于下面的几个文件路经各个相应就可以。

2、4 app程序表,记录了程序的部署位置,功能类型等信息,当我们要的程序没有部署上去时,自己部署之后需要在App表中添加对应的记录,也可以看看自己需要用的程序别人是否已经部署对应的路径下,有的话我们就可以直接调用不需要我们自己在去部署。

这里写图片描述

像这边db和file-creator程序我自己部署上去的,其他的我就可以用别人部署的程序。

2、5 mark表,记录数据文件更新的时间这张表之前没有,是后面要用到自己加的导入建表脚本就可以了是记录更新程序操作的表,需要我们自己指定一个初始时间作为参考来驱动程序。

这里写图片描述

2、6 程序任务执行表,记录任务与程序的对应关系,只要将app-id与task-id对应就可以,实现使用对应程序执行指定任务的目的,在一开始配置的时候可以先把is-enable字段数值为0(先不让他生效,等测试的时候在改过来让他生效,避免一些不必要的错误)。

这里写图片描述

2、7 任务请求表,用于我们调用不同的任务进行测试。通过t.rowid获取得到修改的权限,再将需要测试什么任务就可以把对应的task-id换成对应的id,同时将statue字段的值设置为空,提交任务就可以发送请求,

这里写图片描述

原创粉丝点击