Fork/Join模式

阅读数:104 评论数:0

跳转到新版页面

分类

python/Java

正文

在JDK标准版5中,由DougLea 提供的并行框架成为了标准库的一部分(JSR-166)。随后,在JDK6中,一些新的并行特殊,例如并行collection框架,合并到标准库中。

Fork/Join框架是Java7提供的并行执行任务框架,思想是将大任务分成小任务,然后小任务分别计算出结果,再结合起来,汇总结果作为大任务结果。其思想和MapReduce的思想非常类似。

 

从以上描述可以看出,Fork/Join框架主要由子任务、任务调度两部分组成。

  • ForkJoinPool:ForkJoin同样是利用了线程份,和ThreadPoolExecuttor一样实现了自己的线程池。对任务进行调度。
  • ForkJoinTask:在Fork/Join框架中执行的任务类。子任务对其进行继承。
    • RecursiveAction:用于不返回结果的子任务。
    • RecursiveTask:用于返回有结果的子任务。

ForkJoinPool

ForkJoinPool是ForkJoin框架中的任务调度器,提供了三种调度子任务的方法

  • execute异步执行指定任务。
  • invoke/invokeAll执行指定任务,等待完成,返回结果 。
  • submit异步执行指定任务,并立即返回一个Future对象。

ForkJoin提供工作窃取算法,使得若一个工作线程的队列为空,没有任务可以执行时,从其他工作线程中获取任务主动执行。为了实现工作窃取,在工作线程中维护双端队列,窃取任务线程从队尾取任务,被窃取任务线程从队头获取任务。这种机制充分利用线程进行并行计算,减少线程竞争。但是当队列中只存在一个任务时,两个线程去取反而造成资源浪费。

 

Fork/Join维护两个数组,分别是ForkJoinTask数组和ForkJoinWorkerThread数组。ForkJoinTask负责存放程序交给ForkJoinPool的任务,ForkJoinWorkerThread负责执行这些任务。

ForkJoinTask

通过定义ForkJoinTask来执行任务,一般不需要直接继承ForkJoinTask,可以根据是否需要返回云计算结果,选择继承RecursiveAction还是RecursiveTask。继承后需要重定compute方法以完成任务分割以及云计算结果汇总的定义。

  • fork():当ForkJoinTask提交任务时,会调用fork方法,fork会让ForkJoinWorkerThread调用push来异步执行该任务。
  • join():会阻塞当前进程,等待取得结果,在Join的具休实现中,会利用Future的特性查看当前任务的状态来判断返回结果。
import java.util.concurrent.RecursiveTask;
 
 
public class MyForkJoinTask extends RecursiveTask<Integer>{
    private final int spilSize = 2;
    private int start,end;
    public MyForkJoinTask (int start,int end)
    {
        this.start=start;
        this.end=end;
    }
    protected Integer compute() {
        // TODO Auto-generated method stub
        int sum = 0;
        if((end-start)<2)
        {
            for(int i=start;i<end;i++)
            {
                sum+=i;
            }
        }
        else
        {
            int middle = (start+end)/2;
            MyForkJoinTask firstTask = new MyForkJoinTask(start,middle);
            MyForkJoinTask secondTask = new MyForkJoinTask(middle+1,end);
            firstTask.fork();   //提交任务
            secondTask.fork();  //
            Integer firstResult = firstTask.join();   //阻塞线程等待任务结果
            Integer secondResult = secondTask.join()
            sum=firstResult.intValue()+secondResult.intValue();
        }
        return null;
    }
}

 

最后欢迎大家访问我的个人网站:1024s​​​​​​​

 




相关推荐

1、基本类型 在程序设计中经常用到一系列类型(基本类型),它们需要特殊对待。对于这些类型,Java采取与C和C++相同的方法,也就是说,不用new来创建变量,于是创建一个并非引

1、直接常量 为了编译器可以准确的知道要生成什么样的类型,可以给直接常量后面添加后缀字符标志它的类型,若为L表示long,F表示float,D表示double。也可以利用前缀表示进制,0x表示十六进制

Java完全采用动态内存分配方式。每当想创建新对象时,就需要使用new关键字来构建此对象实例。 1、this 在构造器中,如果为this添加了参数列表,那么就有了

一、类的继承 1、说明 (1)extends关键字用于类的继承。 (2)在C++中,方法的动态绑定是使用virtual关键字来实现的,而在Java中,动态绑定是默认的形为,不需要添加额外的关键字。 (

1、类型信息 指程序能够在运行时发现和使用类型信息,我们一般使用两种方式来实现运行时对象和类的信息:传统的RTTI和反射机制。 (1)class对象 <p

用于描述Java源代码,使得我们能够以将由编译器来测试和验证的格式,存储有关程序的额外信息。使用时在@后面跟注解的名字。 1、预定义的三个注解<

一、创建线程 创建线程有四种方式:继承Thread类、实现Runnable接口、实现Callable接口、通过线程池创建。 1、继承Thread 重写run方法。 class A extends Th

一、Collection接口 Collection接口的iterator和toArray方法都用于获得集合中的“所有元素”。前者返回一个“iterator”对象,后者返回一个包含集合中所有元素的数组。

1.hashCode的存在主要用于查找的快捷性,如hashtable,hastmap等,hashcode是用来在散列存储结构中确定对象的存储地址的。 2.如果两个对象相同,就是适用

Java中的数据类型,可分为两类: 1.基本数据类型,它们之间的比较,应用双等号,比较的是它们的值。 2.复合数据类型(类) 当他们用双等号进行比较的时