У меня есть dataframe
date, string, string
Я хочу выбрать даты до определенного периода. Я пробовал следующее без везения
data.filter(data("date") < new java.sql.Date(format.parse("2015-03-14").getTime))
Я получаю сообщение об ошибке
org.apache.spark.sql.AnalysisException: resolved attribute(s) date#75 missing from date#72,uid#73,iid#74 in operator !Filter (date#75 < 16508);
Насколько я понимаю, запрос неверен. Может ли кто-нибудь показать мне, каким образом запрос должен быть отформатирован?
Я проверил, что все enteries в dataframe имеют значения - они это делают.