Как я могу убить запущенный процесс в оболочке Spark на моей локальной машине OSX без выхода?
Например, если я просто делаю простой .count() на RDD, это может занять некоторое время, а иногда я хочу его убить.
Однако, если я делаю Ctrl C, то он убивает всю оболочку.
Есть ли способ убить процесс, но не оболочку?
Вы можете использовать мастер-интерфейс для уничтожения или визуализации задания. Также вы найдете другие вещи, такие как файл журнала или рабочий график кластера...
Взято из искровых документов:
Затем, если вы хотите убить приложение, которое терпит неудачу, вы можете сделать это через:
./bin/spark-class org.apache.spark.deploy.Client kill <master url> <driver ID>
Ссылка: http://spark.apache.org/docs/latest/spark-standalone.html