Измените память исполнителя (и другие конфиги) для Spark Shell

Как изменить память исполнителей (и другие конфиги) для Apache Spark Shell?

В частности, я хотел бы дать квартирам искр-оболочку, например -Dspark-core-max = 12, когда я начинаю ее, чтобы мои задания в искровой оболочке будут использовать эти настройки конфигурации.

Ответ 1

По искре 1.2.0 вы можете установить memory и cores, предоставив следующие аргументы для искровой оболочки.

spark-shell --driver-memory 10G --executor-memory 15G --executor-cores 8

чтобы увидеть другие параметры, которые вы можете дать следующим командам для запуска оболочки

spark-shell --help

Ответ 2

DEPRECATED ИСПОЛЬЗОВАТЬ ПРИНЯТЫЙ ОТВЕТ

Напишите script следующим образом:

#!/bin/bash
export SPARK_JAVA_OPTS="$*"
MASTER=spark://ec2-99-99-99-99:7077 /usr/share/spark/bin/spark-shell

/usr/share/spark/bin/spark-shell должен быть путь к тому, где начинается длинная искровая оболочка, начиная script. В моем кластере был еще один script в /usr/local/bin/, но это был всего несколько строк, похожих на выше, и имел SPARK_JAVA_OPTS hardcoded.

В любом случае, используйте пример:

my-spark-starter-script -Dspark-cores-max=12 -Dspark.executor.memory=26000m

Ответ 3

Если вы запускаете искровую оболочку при искровом зажигании, установленном в автономном режиме (1 node), используйте

./bin/spark-shell --driver-memory 4g

Если вы используете искровую оболочку из искры, установленную на кластере (2+ узла), используйте

./bin/spark-shell --executor-memory 4g

4g - 4 ГБ.