Fork/Join-Java并行计算框架
来源:互联网 发布:程序员远程工作招聘 编辑:程序博客网 时间:2024/05/18 01:31
并行计算在处处都有大数据的今天已经不是一个新鲜的词汇了,现在已经有单机多核甚至多机集群并行计算,注意,这里说的是并行,而不是并发。严格的将,并行是指系统内有多个任务同时执行,而并发是指系统内有多个任务同时存在,不同的任务按时间分片的方式切换执行,由于切换的时间很短,给人的感觉好像是在同时执行。
Java在JDK7之后加入了并行计算的框架Fork/Join,可以解决我们系统中大数据计算的性能问题。Fork/Join采用的是分治法,Fork是将一个大任务拆分成若干个子任务,子任务分别去计算,而Join是获取到子任务的计算结果,然后合并,这个是递归的过程。子任务被分配到不同的核上执行时,效率最高。伪代码如下:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
Fork/Join框架的核心类是ForkJoinPool,它能够接收一个ForkJoinTask,并得到计算结果。ForkJoinTask有两个子类,RecursiveTask(有返回值)和RecursiveAction(无返回结果),我们自己定义任务时,只需选择这两个类继承即可。类图如下:
下面来看一个实例:计算一个超大数组所有元素的和。代码如下:
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
我们通过调整阈值(THRESHOLD),可以发现耗时是不一样的。实际应用中,如果需要分割的任务大小是固定的,可以经过测试,得到最佳阈值;如果大小不是固定的,就需要设计一个可伸缩的算法,来动态计算出阈值。如果子任务很多,效率并不一定会高。
未完待续。。。
参考资料
http://gee.cs.oswego.edu/dl/papers/fj.pdf
https://docs.oracle.com/javase/tutorial/essential/concurrency/forkjoin.html
https://www.ibm.com/developerworks/cn/java/j-lo-forkjoin/
http://www.ibm.com/developerworks/cn/java/j-jtp11137.html
- Java并行计算Fork/Join框架使用
- java jdk7 并行计算框架 fork/join
- Fork/Join-Java并行计算框架
- Java并行计算框架Fork/Join
- Java并行计算框架Fork/Join
- Java线程(十一):Fork/Join-Java并行计算框架
- Java线程篇(十一):Fork/Join-Java并行计算框架
- Java线程(十一):Fork/Join-Java并行计算框架
- Java线程之Fork/Join(Java并行计算框架)
- Java线程(十一)----Fork/Join-Java并行计算框架
- Java线程(十一):Fork/Join-Java并行计算框架
- Java线程(十一):Fork/Join-Java并行计算框架
- Java 7 Fork/Join 并行计算框架概览
- Java 7 Fork/Join 并行计算框架概览
- Java 7 Fork/Join 并行计算框架概览
- Java 7 Fork/Join 并行计算框架概览
- Java 7 Fork/Join 并行计算框架概览
- Java 7 Fork/Join 并行计算框架概览
- Retrofit详解:基本API + 自定义Converter
- 2016.11.28 jdbc学习
- 探讨Java中最常见的十道面试题(超经典)
- Bootstrap Table 插件 触发行点击事件
- 知乎live,linkedin数据总监李玥
- Fork/Join-Java并行计算框架
- iptables中用hashlimit来限速
- OpenStack-M版(Mitaka)搭建- – -镜像服务(Glance)篇
- 【TensorFlow】tf.nn.softmax_cross_entropy_with_logits的用法
- JVM调整--GC调优三选二原则
- Java Web开发中路径问题小结
- 一些常见程序的Nginx伪静态配置规则
- leetcode_22. Generate Parentheses 生成括号,给n对括号,有多少种括号生成方式
- Android_支持下拉刷新和加载更多的ExpandableListView