Giraph superstep中做的事情,以及其与BSP模型的对比
来源:互联网 发布:淘宝上如何关闭网店 编辑:程序博客网 时间:2024/05/29 04:03
Giraph在一个superstep中要做的事情大概分为3步
1.处理单元要对每一个active vertices迭代,call compute(),在一个vertex生成message后,它们会被发送到对应的处理单元根据destination vertex.在message被发送前沪指当它们到底destination的时候,combiners会被调用,在这些不同的阶段。处理单元在结束computing vertex后并且完成发送剩余信息后,会等待在synchronization barrier上等待其它units完成
2.processing units会总结aggregators computation然后aggregete local aggregations.当 processing units完成了aggregations后,它们会到next superstep.
3 在 offloading phase, 这时候processing units已经在memory里面有了vertex values edges with values.这些数据代表着结果,processing units 把这些数据写回到opersistent storage.整个运算就结束了
在传统的BSP模型中,一个superstep被分为3步: 本地的计算, 消息的传递, 同步的barrier.
然而Giraph在superstep中则不太相同,它把本地计算和消息传递合在一起了,处理单元在它们刚出来的时候就可以exchange message了,而不是等待其它vertex完成,这会使得d我们减少network一些时间,尤其是在hadoop clusters上运行着很多工作的时候, 这样的处理会使得giraph变得更加高效,带来更小的负担。
- Giraph superstep中做的事情,以及其与BSP模型的对比
- Giraph源码分析(八)—— 统计每个SuperStep中参与计算的顶点数目
- webpack的使用,以及其与gulp的对比
- fork要做的事情与不需要做的事情
- Giraph中有关Aggretor的处理过程
- Giraph中分区自动变换的代码
- 做事情的快与坚持
- 做事情的快与坚持
- 做事情的快与坚持
- 做事情的快与坚持
- 1024与自己做爱做的事情
- 设计心理学-头脑与外界知识的鸿沟以及如何正确地做事情
- iOS中实现数据交换的几种方法介绍以及其效率对比
- BSP模型的相关讲解
- 做事情的方法
- 一定要做的事情
- 做自己的事情
- 需要做的事情
- SpringMVC ajax 请求报错:406 Not Acceptable 的解决办法 使用@ResponseBody注解
- lintcode(617)最大平均值子数组
- Camera预览尺寸和获取屏幕宽高。
- Spark DAG概述
- SpringBoot 学习记录(八): properties 属性自定义
- Giraph superstep中做的事情,以及其与BSP模型的对比
- Java常用的组件,AWT
- 只用CSS修改radio的原点样式
- C#调用PowShell执行命令的两种方式
- 遇到代理问题时自动下载MNIST数据集的Python代码
- java synchronized详解
- 回文数(Noip1999 )
- Linux工作常用指令
- PHP 图形图像操作(生成图像验证码、添加水印等)