Почему искр-подача и искровая оболочка терпят неудачу с "Не удалось найти JAR для сборки Spark. Вам нужно создать Spark перед запуском этой программы".?

Я пытался запустить spark-submit, и я получаю "Не удалось найти JAR для сборки Spark. Перед запуском этой программы вам нужно создать Spark." Когда я пытаюсь запустить искровую оболочку, я получаю ту же ошибку. Что я должен делать в этой ситуации.

Ответ 1

В пакет Spark не входит скомпилированный код Spark. Вот почему вы получили сообщение об ошибке из этих сценариев spark-submit и spark-shell.

Вам нужно загрузить одну из готовых версий в разделе "Выберите тип пакета" из страницы загрузки Spark.

Ответ 2

В Windows я обнаружил, что если он установлен в каталоге с пробелом в пути (C:\Program Files\Spark), установка завершится с ошибкой. Переместите его в корень или другой каталог без пробелов.

Ответ 3

Попробуйте запустить mvn -DskipTests clean package сначала для создания Spark.

Ответ 4

Если ваши искровые двоичные файлы находятся в папке, где имя папки имеет пробелы (например, "Program Files (x86)" ), это не сработало. Я изменил его на "Program_Files", затем команда spark_shell работает в cmd.

Ответ 5

Просто чтобы добавить в ответ @jurban1997.

Если вы работаете в Windows, убедитесь, что переменные среды SPARK_HOME и SCALA_HOME настроены правильно. SPARK_HOME должен указывать на {SPARK_HOME}\bin\spark-shell.cmd

Ответ 6

Установка искры:

Для окна машины:

Download spark-2.1.1-bin-hadoop2.7.tgz from this site https://spark.apache.org/downloads.html

Unzip and Paste your spark folder in C:\ drive and set environment variable.

If you don’t have Hadoop,
you need to create Hadoop folder and also create Bin folder in it and then copy and paste winutils.exe file in it.

download winutils file from [https://codeload.github.com/gvreddy1210/64bit/zip/master][1] 

and paste winutils.exe file in Hadoop\bin folder and set environment variable for c:\hadoop\bin;

create temp\hive folder in C:\ drive and give the full permission to this folder like: 

C:\Windows\system32>C:\hadoop\bin\winutils.exe chmod 777 /tmp/hive

open command prompt first run C:\hadoop\bin> winutils.exe  and then navigate to C:\spark\bin>

run spark-shell

Ответ 7

Если вы скачали бинарный файл и получили это исключение

Тогда, пожалуйста, проверьте, что ваш путь Spark_home может содержать пробелы типа "apache spark"/bin

Просто уберите пробелы, будет работать.

Ответ 8

В моем случае я устанавливаю spark by pip3 install pyspark в систему MacOS, и ошибка вызвана неверной переменной SPARK_HOME. Это работает, когда я запускаю команду, как показано ниже:

PYSPARK_PYTHON=python3 SPARK_HOME=/usr/local/lib/python3.7/site-packages/pyspark python3 wordcount.py a.txt