Apache Spark: как использовать pyspark с Python 3

Я построил Spark 1.4 у мастера разработки GH, и сборка прошла отлично. Но когда я делаю bin/pyspark, я получаю версию Python 2.7.9. Как я могу изменить это?

Ответ 1

Просто установите переменную среды:

export PYSPARK_PYTHON=python3

если вы хотите, чтобы это было постоянное изменение, добавьте эту строку в pyspark script.

Ответ 2

PYSPARK_PYTHON=python3 ./bin/pyspark

Если вы хотите зайти в IPython Notebook, напишите:

PYSPARK_PYTHON=python3 PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pyspark

Если python3 недоступен, вам нужно передать путь к нему.

Имейте в виду, что текущая документация (начиная с версии 1.4.1) содержит устаревшие инструкции. К счастью, он был исправлен.

Ответ 3

1, отредактировать профиль: vim ~/.profile

2, добавьте код в файл: export PYSPARK_PYTHON=python3

3, выполните команду: source ~/.profile

4, ./bin/pyspark

Ответ 4

Посмотрите файл. Строка shebang, вероятно, указана на двоичный файл env, который ищет путь для первого совместимого исполняемого файла.

Вы можете изменить python на python3. Измените env, чтобы напрямую использовать hardcoded бинарный файл python3. Или выполните двоичный код напрямую с помощью python3 и опустите строку shebang.