Подтвердить что ты не робот

Есть ли способ взять первые 1000 строк Spark Dataframe?

Я использую функцию randomSplit для получения небольшого количества данных для использования в dev-целях, и в итоге я получаю только первый df, возвращаемый этой функцией.

val df_subset = data.randomSplit(Array(0.00000001, 0.01), seed = 12345)(0)

Если я использую df.take(1000), тогда я получаю массив строк, а не фреймворк данных, поэтому для меня это не сработает.

Есть ли лучший, более простой способ взять первые 1000 строк df и сохранить его как другой df?

4b9b3361

Ответ 1

Метод, который вы ищете, . limit.

Возвращает новый DataFrame, беря первые n строк. Разница между этой функцией и головой заключается в том, что head возвращает массив, а limit возвращает новый DataFrame.