Извлечь SparkContext из SparkSession

Я запускаю пакетное задание spark и использую SparkSession, так как мне нужно много функций spark-sql для обработки в каждом из моих компонентов. SparkContext инициализируется в моем родительском компоненте и передается дочерним компонентам как SparkSession.

В одном из моих дочерних компонентов я хотел добавить еще две конфигурации к моему SparkContext. Следовательно, мне нужно извлечь SparkContext из SparkSession, остановить его и воссоздать SparkSession с дополнительной конфигурацией. Для этого, как я могу получить SparkContext из SparkSession?

Ответ 1

Просто для публикации в качестве ответа - SparkContext можно получить из SparkSession, используя spark.sparkContext (без скобок)

Ответ 2

Поле sparkContext больше не является общедоступным (я использую Spark 2.3.2), однако вы можете получить его, используя метод с тем же именем:

spark.sparkContext()

Это применимо только к Spark Java.