У меня есть датафрейм с колонкой как String. Я хотел изменить тип столбца на тип Double в PySpark.
Вот как я это сделал:
toDoublefunc = UserDefinedFunction(lambda x: x,DoubleType())
changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show']))
Просто хотел знать, это правильный способ сделать это, так как во время прохождения Логистической регрессии я получаю какую-то ошибку, поэтому мне интересно, не в этом ли причина проблемы.