У меня есть большой RDD (1gb) в кластере пряжи. На локальной машине, использующей этот кластер, я имею только 512 МБ. Я хотел бы перебрать значения в RDD на моей локальной машине. Я не могу использовать collect(), потому что он создавал бы слишком большой массив локально, что больше, чем моя куча. Мне нужен итеративный способ. Существует метод iterator(), но для этого требуется дополнительная информация, которую я не могу предоставить.
UDP: метод commLocalIterator