Связано с моим другим вопросом, но отличается:
someMap.saveAsTextFile("hdfs://HOST:PORT/out")
Если я сохраню RDD в HDFS, как я могу сказать искру, чтобы сжать выход с помощью gzip? В Hadoop можно установить
mapred.output.compress = true
и выберите алгоритм сжатия с
mapred.output.compression.codec = <<classname of compression codec>>
Как бы я сделал это в искру? Будет ли это работать?
изменить: использование spark-0.7.2