Я следил за этой страницей и запускал приложение примера SparkPi в YARN в режиме с прямыми кластерами.
http://spark.apache.org/docs/latest/running-on-yarn.html
Я не вижу вывод программы в конце (что является результатом вычисления в этом случае). Когда я запускаю его в режиме пряжи-клиента (--master yarn-client), я вижу такой вывод:
Pi - примерно 3,138796
Где стандартный выход идет в режиме кластеров пряжи?
После долгих размышлений я нашел это в документе spark-0.9.0.
Изучите вывод (замените $ YARN_APP_ID следующим: "Идентификатор приложения", выводимый предыдущей командой) (Примечание: YARN_APP_LOGS_DIR обычно /tmp/logs или $ HADOOP_HOME/logs/userlogs в зависимости от версии Hadoop.)
$ cat $ YARN_APP_LOGS_DIR/$ YARN_APP_ID/контейнер * _000001/stdout
Pi примерно 3,13794
Я хочу, чтобы они поместили эту инструкцию в документацию 1.1.0.