调度系统作业加工时长预测模型

如有转载请标明出处，饮水思源。

这段时间在写一个关于调度系统的论文，翻阅一些关于调度系统调度算法方面论文。在调度系统中，对作业加工时长的预测；预测的越准，对调度系统合理调度越有利。

在一个复杂的业务环境，影响作业加工时长的因素也比较多；例如：数据量、加工日期、不同的作业、运行的环境（软、硬件环境）等。因此我们对于作业加工时长的预测，不能单单通过一个维度来预测。因此我整理、设计了一个对作业加工时长进行预测的模型， 这个模型中借鉴一些神经网络算法的一些思想。

该数据模型分为三逻辑层次：输入层、学习层、输出层。以下是该数据模型的一些简要设计描述。

       

A)    输入层：该层是由可能影响到作业加工时长的因素组成的输入向量。输入向量表达如下；

Input= {FID,JID,TYP,LEN,OFS};

FID 指代的作业流ID；

JID 指代作业ID；

TYP指代加工日期类型；

LEN 指代该作业这次的加工时长；

OFS 指代误差率；

B)    学习层：该层是从多个维度（作业流ID、作业ID、加工日期类型、加工时长、累计出现次数），考量、学习和修正作业加工时长，是其值无限逼近真实的加工时长。

Handle={Loction(FID,JID),TYP,LEN, Ttotal}；

Loction(FID,JID)是通过作业流ID、作业ID维度定位作业；

Ttotal 是对某个作业加工时长的出现次数统计，该维度会通过误差率和丢弃率对出现的分支进行合并和丢弃。

LEN(ofs) = {LEN – LEN*OFS,LEN +LEN* OFS}

Ttotal =∑(FID,JID) (LEN(ofs))

C）输出层：该层输出的是一个标量。输出该作业的加工时长。

Output= { OJID};

根据以上数据模型设计的系统，能够对作业加工时长，进行及时的修正，更新；并且能满足复杂的业务环境。

以上数据模型的算法描述如下:

   把作业流ID，作业ID，业务日期，作业加工时长作业作为输入项，输入学习引擎。

学习引擎首先通过作业流ID和作业ID纬度定位，然后通过对日期类型纬度进行处理。

首先会对业务日期进行日期类型划分归类(例如月初、月末、季末、年末、普通工作日等)。

然后再从作业加工时长纬度进行生成、合并节点，并对节点的权值进行统计、合并、舍弃等操作，这样完成了一个作业的学习过程。

学习引擎可以使可以提供给调度核心在调度任务时使用的。

         

以上数据模型的算法描述如下:

把作业流ID，作业ID，业务日期，作业加工时长作业作为输入项，输入学习引擎。

学习引擎首先通过作业流ID和作业ID纬度定位，然后通过对日期类型纬度进行处理。

首先会对业务日期进行日期类型划分归类(例如月初、月末、季末、年末、普通工作日等)。

然后再从作业加工时长纬度进行生成、合并节点，并对节点的权值进行统计、合并、舍弃等操作，这样完成了一个作业的学习过程。

学习引擎可以使可以提供给调度核心在调度任务时使用的。