Spark - группа по HAVING с синтаксисом dataframe?

Какой синтаксис для использования группового наличия в Spark без sql/hiveContext? Я знаю, что могу сделать

DataFrame df = some_df
df.registreTempTable("df");    
df1 = sqlContext.sql("SELECT * FROM df GROUP BY col1 HAVING some stuff")

но как мне сделать это с помощью синтаксиса, как

df.select(df.col("*")).groupBy(df.col("col1")).having("some stuff")

Это .having(), кажется, не существует.

Ответ 1

Да, этого не существует. Вы выражаете ту же логику с agg следует where:

df.groupBy(someExpr).agg(somAgg).where(somePredicate)

Ответ 2

Скажем, например, если я хочу найти товары в каждой категории, с комиссией менее 3200 и их количеством не менее 10:

SQL-запрос:

sqlContext.sql("select Category,count(*) as 
count from hadoopexam where HadoopExamFee<3200  
group by Category having count>10")

API DataFrames

from pyspark.sql.functions import *

df.filter(df.HadoopExamFee<3200)
  .groupBy('Category')
  .agg(count('Category').alias('count'))
  .filter(column('count')>10)