Ответ 1

Если вы используете Spark-Shell, он появляется в баннере в начале.

Программно можно использовать SparkContext.version.

Ответ 2

Открыть оболочку Spark Terminal, запустить sc.version

Ответ 3

Вы можете использовать команду spark-submit: spark-submit --version

Ответ 4

В Spark 2.x программа/оболочка,

использовать

spark.version 

Где spark переменная объекта SparkSession

Использование консольных логов при запуске spark-shell

[[email protected] ~]$ spark-shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ '/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

Не входя в код/​​оболочку

spark-shell --version

[[email protected] ~]$ spark-shell --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ '/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

Type --help for more information.

spark-submit --version

[[email protected] ~]$ spark-submit --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ '/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/

Type --help for more information.

Ответ 5

Если вы используете Databricks и разговариваете с ноутбуком, просто запустите:

spark.version

Ответ 6

Какую команду оболочки вы используете либо искровой оболочкой, либо pyspark, она приземляется на логотип Spark с именем версии рядом с ним.

$pyspark
$ Python 2.6.6 (r266: 84292, 22 мая 2015, 08:34:51) [GCC 4.4.7 20120313 (Red Hat 4.4.7-15)] на linux2 ............ ........... Добро пожаловать в
   версия 1.3.0

Ответ 7

Если вы используете ноутбук Zeppelin, вы можете запустить:

sc.version 

чтобы узнать версию scala, вы можете запустить:

util.Properties.versionString

Ответ 8

используйте ниже, чтобы получить версию искры

spark-submit --version

Ответ 9

Если вы используете pyspark, используемую версию Spark можно увидеть рядом с жирным логотипом Spark, как показано ниже:

[email protected]:~$ pyspark
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ '/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 1.6.0
      /_/

Using Python version 2.7.6 (default, Jun 22 2015 17:58:13)
SparkContext available as sc, HiveContext available as sqlContext.
>>>

Если вы хотите получить версию spark в явном виде, вы можете использовать метод версии SparkContext, как показано ниже:

>>>
>>> sc.version
u'1.6.0'
>>>