Добавить пустой столбец в Spark DataFrame

Как упоминалось во многих других местах в Интернете, добавление нового столбца в существующий DataFrame не является простым. К сожалению, важно иметь эту функциональность (хотя она неэффективна в распределенной среде), особенно при попытке DataFrame два DataFrame с помощью unionAll.

Какое наиболее элегантное обходное решение для добавления null столбца в DataFrame для упрощения unionAll?

Моя версия выглядит так:

from pyspark.sql.types import StringType
from pyspark.sql.functions import UserDefinedFunction
to_none = UserDefinedFunction(lambda x: None, StringType())
new_df = old_df.withColumn('new_column', to_none(df_old['any_col_from_old']))

Ответ 1

Все, что вам нужно, это буквальное и отличное:

from pyspark.sql.functions import lit

new_df = old_df.withColumn('new_column', lit(None).cast(StringType()))

Полный пример:

df = sc.parallelize([row(1, "2"), row(2, "3")]).toDF()
df.printSchema()

## root
##  |-- foo: long (nullable = true)
##  |-- bar: string (nullable = true)

new_df = df.withColumn('new_column', lit(None).cast(StringType()))
new_df.printSchema()

## root
##  |-- foo: long (nullable = true)
##  |-- bar: string (nullable = true)
##  |-- new_column: string (nullable = true)

new_df.show()

## +---+---+----------+
## |foo|bar|new_column|
## +---+---+----------+
## |  1|  2|      null|
## |  2|  3|      null|
## +---+---+----------+

Эквивалент Scala можно найти здесь: Создать новый Dataframe с пустым/нулевым значением поля

Ответ 2

Я бы включил подсветку (None) в NullType вместо StringType. Так что, если нам когда-либо придется отфильтровывать не нулевые строки в этом столбце... это можно легко сделать следующим образом

df = sc.parallelize([Row(1, "2"), Row(2, "3")]).toDF()

new_df = df.withColumn('new_column', lit(None).cast(NullType()))

new_df.printSchema() 

df_null = new_df.filter(col("new_column").isNull()).show()
df_non_null = new_df.filter(col("new_column").isNotNull()).show()

Также будьте осторожны с тем, чтобы не использовать подсветку ("Нет") (с кавычками), если вы выполняете кастинг в StringType, поскольку она не сможет выполнить поиск записей с условием фильтрации.isNull() в col ("new_column").