Подтвердить что ты не робот

Как выполнять параллельные задания (действия) в Apache Spark с использованием одного искрового контекста


Он говорит в документации Apache Spark " в каждом приложении Spark, несколько" заданий "(действия Spark) могут выполняться одновременно, если они были представлены различными потоками. Может кто-нибудь объяснить, как достичь этого concurrency для следующего образца кода? 

    SparkConf conf = new SparkConf().setAppName("Simple_App");
    JavaSparkContext sc = new JavaSparkContext(conf);

    JavaRDD<String> file1 = sc.textFile("/path/to/test_doc1");
    JavaRDD<String> file2 = sc.textFile("/path/to/test_doc2");

    System.out.println(file1.count());
    System.out.println(file2.count());

Эти два задания независимы и должны выполняться одновременно.
Спасибо.

4b9b3361

ОТВЕТЫ

Ответ 1

Попробуйте что-то вроде этого:

    final JavaSparkContext sc = new JavaSparkContext("local[2]","Simple_App");
    ExecutorService executorService = Executors.newFixedThreadPool(2);
    // Start thread 1
    Future<Long> future1 = executorService.submit(new Callable<Long>() {
        @Override
        public Long call() throws Exception {
            JavaRDD<String> file1 = sc.textFile("/path/to/test_doc1");
            return file1.count();
        }
    });
    // Start thread 2
    Future<Long> future2 = executorService.submit(new Callable<Long>() {
        @Override
        public Long call() throws Exception {
            JavaRDD<String> file2 = sc.textFile("/path/to/test_doc2");
            return file2.count();
        }
    });
    // Wait thread 1
    System.out.println("File1:"+future1.get());
    // Wait thread 2
    System.out.println("File2:"+future2.get());