Подтвердить что ты не робот

Как запустить внешние функции jar в искровой оболочке

Я создал пакет jar из проекта этим файловым деревом:

build.sbt
src/main
src/main/scala
src/main/scala/Tester.scala
src/main/scala/main.scala

где Tester - это класс с помощью функции (name is print()), а main имеет объект для запуска, который печатает "Привет!". (из искрового документа) создал файл jar с помощью sbt успешно и хорошо работал в spark-submit

теперь я хочу добавить его в искровую оболочку и использовать класс Tester как класс для создания объектов и... Я добавил файл jar в spark-default.conf, но:

scala> val t = new Tester();
<console>:23: error: not found: type Tester
       val t = new Tester();
4b9b3361

Ответ 1

вы можете попробовать его, как показано ниже, предоставив баны с аргументом ниже

./spark-shell --jars pathOfjarsWithCommaSeprated

Или вы можете добавить в свою конфигурацию следующую конфигурацию spark-defaults.conf, пожалуйста, убедитесь, что вы удаляете шаблон с конца искровых значений по умолчанию

spark.driver.extraClassPath  pathOfJarsWithCommaSeprated