Фильтруйте Spark DataFrame, проверяя, есть ли значение в списке, с другими критериями

В качестве упрощенного примера я попытался фильтровать Spark DataFrame с помощью следующего кода:

val xdf = sqlContext.createDataFrame(Seq(
  ("A", 1), ("B", 2), ("C", 3)
)).toDF("name", "cnt")
xdf.filter($"cnt" >1 || $"name" isin ("A","B")).show()

Затем это ошибки:

org.apache.spark.sql.AnalysisException: cannot resolve '((cnt > 1) || name)' due to data type mismatch: differing types in '((cnt > 1) || name)' (boolean and string).;

Какой правильный способ сделать это? Мне кажется, что он перестает читать после столбца name. Это ошибка в парсере? Я использую искру 1.5.1

Ответ 1

Вы должны заключить в скобки отдельные выражения:

xdf.filter(($"cnt" > 1) || ($"name" isin ("A","B"))).show()

Ответ 2

Надеемся, что это поможет вам:

val list = List("x","y","t") 
xdf.filter($"column".isin(list:_*))