В моем коде свиньи я делаю это:
all_combined = Union relation1, relation2,
relation3, relation4, relation5, relation 6.
Я хочу сделать то же самое с искру. Однако, к сожалению, я вижу, что я должен продолжать делать это попарно:
first = rdd1.union(rdd2)
second = first.union(rdd3)
third = second.union(rdd4)
# .... and so on
Существует ли оператор объединения, который позволит мне работать с несколькими rdds за раз:
например. union(rdd1, rdd2,rdd3, rdd4, rdd5, rdd6)
Это вопрос удобства.