Подтвердить что ты не робот

Python Spark Dataframes: лучший способ экспортировать группы в текстовый файл

Я хочу экспортировать данные в отдельные текстовые файлы; Я могу сделать это с помощью этого взлома:

for r in sqlContext.sql("SELECT DISTINCT FIPS FROM MY_DF").map(lambda r: r.FIPS).collect():
    sqlContext.sql("SELECT * FROM MY_DF WHERE FIPS = '%s'" % r).rdd.saveAsTextFile('county_{}'.format(r))

Каков правильный способ сделать это с помощью Spark 1.3.1/Python dataframes? Я хочу сделать это в одном задании, а не в N (или N + 1) заданиях.

Может быть:

saveAsTextFileByKey()

4b9b3361