Как добавить пользовательское описание в Spark Job для отображения в Spark Web UI

Когда мы отправляем приложение в Spark, и после выполнения любой операции Spark Web UI отображает Job и Stages, например count at MyJob.scala:15. Но в моем приложении есть несколько операций count и save. Поэтому очень сложно понять пользовательский интерфейс. Вместо count at MyJob.scala:15 можно добавить пользовательское описание, чтобы предоставить более подробную информацию для задания.

В то время как googling нашел https://issues.apache.org/jira/browse/SPARK-3468 и https://github.com/apache/spark/pull/2342, автор прилагается изображение, с подробным описанием, например "Count", "Cache and Count", "Job with delay". Так можем ли мы добиться того же? Я использую Spark 2.0.0.

Ответ 1

используйте sc.setJobGroup:

Примеры:
Python:

In [28]: sc.setJobGroup("my job group id", "job description goes here")
In [29]: lines = sc.parallelize([1,2,3,4])
In [30]: lines.count()
Out[30]: 4

Scala:

scala> sc.setJobGroup("my job group id", "job description goes here")
scala> val lines = sc.parallelize(List(1,2,3,4))
scala> lines.count()
res3: Long = 4

SparkUI:

Надеюсь, это то, что вы ищете.

Ответ 2

Обратите внимание, что новый Zeppelin 0.8 теряет свой хук отслеживания, если вы меняете имя JobGroup, и не может отображать индикатор выполнения его работы (работа все еще работает, не влияет на саму работу)

Ты можешь использовать

sc.setLocalProperty("callSite.short","my job description")
sc.setLocalProperty("callSite.long","my job details long description")

вместо

См. Как изменить описание работы/этапа в веб-интерфейсе? для некоторых снимков экрана и синтаксиса scala