Я новичок в искру. Теперь я могу запустить искру 0.9.1 на пряжу (2.0.0-cdh4.2.1). Но после выполнения журнала нет журнала.
Для запуска примера искры используется следующая команда. Но журналы не найдены на сервере истории, как в обычном задании MapReduce.
SPARK_JAR=./assembly/target/scala-2.10/spark-assembly-0.9.1-hadoop2.0.0-cdh4.2.1.jar \
./bin/spark-class org.apache.spark.deploy.yarn.Client --jar ./spark-example-1.0.0.jar \
--class SimpleApp --args yarn-standalone --num-workers 3 --master-memory 1g \
--worker-memory 1g --worker-cores 1
Где я могу найти logs/stderr/stdout?
Есть ли место для настройки конфигурации? Я нашел вывод с консоли:
14/04/14 18:51:52 INFO Клиент: команда для ApplicationMaster: $JAVA_HOME/bin/java -server -Xmx640m -Djava.io.tmpdir = $PWD/tmp org.apache.spark.deploy. yarn.ApplicationMaster --class SimpleApp --jar./spark-example-1.0.0.jar - "пряжа-автономная" - рабочая память 1024 - рабочие ядра 1 - num-workers 3 1 > <LOG_DIR > /stdout 2 > < LOG_DIR > /stderr
В этой строке обратите внимание на 1> $LOG_DIR/stdout 2> $LOG_DIR/stderr
Где можно установить LOG_DIR?