По Spark 1.5.0 представляется возможным написать собственный UDAF для пользовательских агрегаций в DataFrames: Spark 1.5 Основные характеристики API DataFrame: обработка даты/времени/строк, интервалы времени и UDAF
Однако мне непонятно, поддерживается ли эта функциональность в API Python?
Вы не можете определить UDAF Python в Spark 1.5.0-2.0.0. JIRA отслеживает этот запрос функции:
разрешено с целью "позже", поэтому, вероятно, это не произойдет в ближайшее время.
Вы можете использовать Scala UDAF от PySpark - описано Искра: как сопоставить Python с Scala или функциями, определенными пользователем Java?