Учитывая приложение Spark
-
Какие факторы определяют количество исполнителей в автономном режиме? В Mesos и YARN согласно этим документам мы можем указать количество исполнителей/ядер и памяти.
-
После запуска нескольких исполнителей. Запускает ли Spark задачи в циклическом режиме или достаточно умен, чтобы убедиться, что некоторые из исполнителей не работают/заняты, а затем планируют задачи соответственно.
-
Также, как Spark принимает решение о количестве задач? Я сделал написать простую программу максимальной температуры с небольшим набором данных, а Spark породила две задачи в одном исполнителе. Это находится в автономном режиме Spark.