Сервер Livy на Amazon EMR зависает при подключении к ResourceManager

Я пытаюсь развернуть Livy Server на Amazon EMR. Сначала я построил ветвь ливийского мастера

mvn clean package -Pscala-2.11 -Pspark-2.0

Затем я загрузил его в кластер EMR. Я установил следующие конфигурации:

livy-env.sh

SPARK_HOME=/usr/lib/spark
HADOOP_CONF_DIR=/etc/hadoop/conf

livy.conf

livy.spark.master = yarn
livy.spark.deployMode = cluster

Когда я запускаю Livy, он бесконечно зависает при подключении к диспетчеру ресурсов YARN (XX.XX.XXX.XX - это IP-адрес)

16/10/28 17:56:23 INFO RMProxy: Connecting to ResourceManager at /XX.XX.XXX.XX:8032

Однако, когда я netcat порт 8032, он успешно соединяется

nc -zv XX.XX.XXX.XX 8032
Connection to XX.XX.XXX.XX 8032 port [tcp/pro-ed] succeeded!

Я думаю, что, вероятно, я пропустил какой-то шаг. Кто-нибудь знает, что может сделать этот шаг?

Ответ 1

Я сделал следующие изменения в конфигурационных файлах после распаковки файла livy-servererver.0.2.0.zip

livy-env.sh

export SPARK_HOME=/usr/hdp/current/spark-client
export HADOOP_HOME=/usr/hdp/current/hadoop-client/bin/
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SPARK_CONF_DIR=$SPARK_HOME/conf
export LIVY_LOG_DIR=/jobserver-livy/logs
export LIVY_PID_DIR=/jobserver-livy
export LIVY_MAX_LOG_FILES=10
export HBASE_HOME=/usr/hdp/current/hbase-client/bin

livy.conf

livy.rsc.rpc.server.address=<Loop Back address>

Добавьте "spark.master пряжи-кластер" в файл "spark-defaults.conf", который находится в папке с искробезопасной конфигурацией.

Пожалуйста, дайте мне знать, если у вас все еще есть проблемы.

Ответ 2

В вашем файле log4j.properties вы можете использовать следующее. Пожалуйста, опубликуйте файл журнала.

log4j.rootCategory=DEBUG, NotConsole

log4j.appender.NotConsole=org.apache.log4j.RollingFileAppender

log4j.appender.NotConsole.File=/<LIVY SERVER INSTALL PATH>/logs/livy.log

log4j.appender.NotConsole.maxFileSize=20MB

log4j.appender.NotConsole.layout=org.apache.log4j.PatternLayout

log4j.appender.NotConsole.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

Ответ 3

Глядя на github-репо, похоже, что главная ветка находится в стадии разработки, и есть отдельная ветка релиза для версии 0.2. Простой способ (который работал у меня), чтобы установить livy, - это выполнить шаги на странице быстрого запуска: http://livy.io/quickstart.html

Загрузите дистрибутив Livy Server

wget http://archive.cloudera.com/beta/livy/livy-server-0.2.0.zip

распакуйте

unzip livy-server-0.2.0.zip

начало

$ cd livy-server-0.2.0
$ ./bin/livy-server
16/11/07 20:32:51 INFO LivyServer: Using spark-submit version 2.0.0
16/11/07 20:32:51 WARN RequestLogHandler: !RequestLog
16/11/07 20:32:51 INFO WebServer: Starting server on http://ip-xx-xx-xx-xxx.us-west-2.compute.internal:8998