Я хочу экспортировать данные в отдельные текстовые файлы; Я могу сделать это с помощью этого взлома:
for r in sqlContext.sql("SELECT DISTINCT FIPS FROM MY_DF").map(lambda r: r.FIPS).collect():
sqlContext.sql("SELECT * FROM MY_DF WHERE FIPS = '%s'" % r).rdd.saveAsTextFile('county_{}'.format(r))
Каков правильный способ сделать это с помощью Spark 1.3.1/Python
dataframes? Я хочу сделать это в одном задании, а не в N (или N + 1) заданиях.
Может быть:
saveAsTextFileByKey()