Подтвердить что ты не робот

Как подключить Zeppelin к Spark 1.5, построенному из источников?

Я вытащил последний источник из репозитория Spark и создал локально. Он отлично работает с интерактивной оболочкой, например spark-shell или spark-sql.

Теперь я хочу подключить Zeppelin к моей Spark 1.5, в соответствии с этим руководством по установке. Я опубликовал обычную сборку Spark в локальном репозитории maven и установил пользовательскую версию Spark в команде сборки Zeppelin. Процесс сборки завершился успешно, но когда я пытаюсь запустить базовые вещи, такие как sc внутри ноутбука, он бросает:

akka.ConfigurationException: версия Akka JAR [2.3.11] не соответствует предоставленной конфигурационной версии [2.3.4]

Версия 2.3.4 установлена ​​в pom.xml и spark/pom.xml, но простое изменение их даже позволит мне получить сборку.

Если я перестрою Zeppelin со стандартным -Dspark.vesion=1.4.1, все будет работать.

4b9b3361

Ответ 1

Обновление 2016-01

Поддержка Spark 1.6 приземлилась на мастер и доступна в профиле -Pspark-1.6.


Обновление 2015-09

Поддержка Spark 1.5 приземлилась на мастер и доступна в профиле -Pspark-1.5.


Работа над поддержкой Spark 1.5 в Apache Zeppelin (инкубация) проводилась под этим PR apache/incubator-zeppelin # 269, который будет выдавать мастер в ближайшее время.

В настоящее время создание из Spark_1.5 ветки с -Pspark-1.5 должно сделать трюк.