DC4C代码阅读(2)——概述
来源:互联网 发布:淘宝改价新规则 编辑:程序博客网 时间:2024/04/30 23:56
dc4c分为三个部分:
1、注册节点——register node
一个注册节点就是一个守护进程对(父进程负责监控子进程的状态,子进程负责提供服务)。
(1)注册节点负责接受计算节点注册、状态变更、注销;
(2)接受用户节点查询空闲计算节点。
(3)接受telnet连接在线查询和管理。
(4)可以有多个计算节点
2、计算节点——computing node
(1)向一个注册节点注册成为一个注册节点
(2)接受用户节点分派任务并反馈执行结果
(3)随时向注册节点报告状态
(4)计算节点同样也是一个守护进程对
3、用户节点——user node
(1)调用api,向注册节点查询当前空闲的计算节点
(2)分派任务给计算节点并监督执行
另外,dc4c实现了普通的批量任务(单任务、批量任务、多批量任务)以及DAG任务流。最多支持8个注册节点和6万个计算节点。
用户节点派分任务的流程:
1、派分单任务
(1)DC4CInitEnv – 初始化任务环境
(2)DC4CDoTask – 分派单任务,并等待结束
(3)DC4CCleanEnv - 清理任务环境
2、派分批量任务
(1)DC4CInitEnv – 初始化任务环境
(2)构造 struct Dc4cBatchTask 的tasks_array[]数组,填充任务集合
(3)DC4CDoBatchTasks – 分派批量任务,并等待结束
(4)DC4CCleanEnv – 清理任务环境
3、派分多批量任务
(1)DC4CInitEnv – 初始化任务环境
(2)构造每个任务环境中的struct Dc4cBatchTask tasks_array[]数组,填充任务集合,并开始分派批量任务
(3)DC4CDoMultiBatchTasks- 开始多批量任务(当空闲节点少于任务集合时分批次分派任务)
(4)DC4CCleanEnv - 清理任务环境
4、派分DAG任务
任务调度引擎封装了原生的同步发起多批量任务函数接口,提供了一批 API 函数,用于读入外部配置文件或数据库中的配置,按序执行线性、树形等多批量 任务
1、注册节点——register node
一个注册节点就是一个守护进程对(父进程负责监控子进程的状态,子进程负责提供服务)。
(1)注册节点负责接受计算节点注册、状态变更、注销;
(2)接受用户节点查询空闲计算节点。
(3)接受telnet连接在线查询和管理。
(4)可以有多个计算节点
2、计算节点——computing node
(1)向一个注册节点注册成为一个注册节点
(2)接受用户节点分派任务并反馈执行结果
(3)随时向注册节点报告状态
(4)计算节点同样也是一个守护进程对
3、用户节点——user node
(1)调用api,向注册节点查询当前空闲的计算节点
(2)分派任务给计算节点并监督执行
另外,dc4c实现了普通的批量任务(单任务、批量任务、多批量任务)以及DAG任务流。最多支持8个注册节点和6万个计算节点。
用户节点派分任务的流程:
1、派分单任务
(1)DC4CInitEnv – 初始化任务环境
(2)DC4CDoTask – 分派单任务,并等待结束
(3)DC4CCleanEnv - 清理任务环境
2、派分批量任务
(1)DC4CInitEnv – 初始化任务环境
(2)构造 struct Dc4cBatchTask 的tasks_array[]数组,填充任务集合
(3)DC4CDoBatchTasks – 分派批量任务,并等待结束
(4)DC4CCleanEnv – 清理任务环境
3、派分多批量任务
(1)DC4CInitEnv – 初始化任务环境
(2)构造每个任务环境中的struct Dc4cBatchTask tasks_array[]数组,填充任务集合,并开始分派批量任务
(3)DC4CDoMultiBatchTasks- 开始多批量任务(当空闲节点少于任务集合时分批次分派任务)
(4)DC4CCleanEnv - 清理任务环境
4、派分DAG任务
任务调度引擎封装了原生的同步发起多批量任务函数接口,提供了一批 API 函数,用于读入外部配置文件或数据库中的配置,按序执行线性、树形等多批量 任务
0 0
- DC4C代码阅读(2)——概述
- DC4C代码阅读(3)——代码目录结构
- DC4C代码阅读(1)——介绍
- DC4C代码阅读(5)——计算节点
- DC4C代码阅读(6)——用户节点
- DC4C代码阅读(7)——DAG
- DC4C代码阅读(8)——报文协议
- DC4C代码阅读(4)——注册节点:register node
- DC4C代码阅读(9)——register node基础结构
- DC4C代码阅读(10)——计算节点基础结构
- DC4C代码阅读(11)——与DAG有关的结构以及函数
- homerHEVC代码阅读(2)——主函数
- cJSON代码阅读(2)——cJSON介绍
- ucos代码阅读(2)
- 阅读《Android 从入门到精通》(4)——人机界面常用组件概述
- 怎样阅读一本书——概述
- Android第一行代码(2版)——阅读笔记
- ffmpeg代码阅读笔记(1)——avformat_open_input
- 内部存储
- 数据结构与算法——散列
- java中截取字符串技巧
- 2015年下半年总结
- PyHeapTypeObject http://blog.sina.com.cn/s/blog_72d1932a0101gcg3.html
- DC4C代码阅读(2)——概述
- 关于GetOverlappedResult函数的一些知识
- 使用Jmeter进行http接口测试
- linux常用命令2--权限管理命令
- 软件项目开发工具库积累
- 6.10.1 Android 推送中的心跳连接的概念
- PIPE和socketpair的区别
- Jmeter之Http Cookie Manager
- DC4C代码阅读(3)——代码目录结构