У меня есть Spark 1.5.0 DataFrame с сочетанием null
и пустых строк в том же столбце. Я хочу преобразовать все пустые строки во всех столбцах в null
(None
, в Python). В DataFrame могут быть сотни столбцов, поэтому я стараюсь избегать жестко закодированных манипуляций с каждым столбцом.
См. мою попытку ниже, что приводит к ошибке.
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
## Create a test DataFrame
testDF = sqlContext.createDataFrame([Row(col1='foo', col2=1), Row(col1='', col2=2), Row(col1=None, col2='')])
testDF.show()
## +----+----+
## |col1|col2|
## +----+----+
## | foo| 1|
## | | 2|
## |null|null|
## +----+----+
## Try to replace an empty string with None/null
testDF.replace('', None).show()
## ValueError: value should be a float, int, long, string, list, or tuple
## A string value of null (obviously) doesn't work...
testDF.replace('', 'null').na.drop(subset='col1').show()
## +----+----+
## |col1|col2|
## +----+----+
## | foo| 1|
## |null| 2|
## +----+----+