У меня есть RDD[Row]
, который нужно сохранить в стороннем репозитории.
Но этот сторонний репозиторий принимает максимум 5 МБ за один вызов.
Итак, я хочу создать раздел на основе размера данных, присутствующих в RDD, и не основываться на количестве строк, присутствующих в RDD.
Как я могу найти размер RDD
и создавать на нем разделы?