Есть ли способ выбрать случайные строки из DataFrame в Pandas.
В R, используя автомобильный пакет, есть полезная функция some(x, n), которая похожа на голову, но в этом примере выбирает 10 строк в случайном порядке от x.
Я также посмотрел документацию по разрезанию и, похоже, ничего не эквивалентно.
Теперь используйте версию 20. Существует пример метода.
df.sample(n)
Что-то вроде этого?
import random
def some(x, n):
return x.ix[random.sample(x.index, n)]
Примечание: Начиная с Pandas v0.20.0, ix устарел в пользу loc для индексации на основе меток.
С пандами версии 0.16.1 и выше теперь есть DataFrame.sample метод DataFrame.sample:
import pandas
df = pandas.DataFrame(pandas.np.random.random(100))
# Randomly sample 70% of your dataframe
df_percent = df.sample(frac=0.7)
# Randomly sample 7 elements from your dataframe
df_elements = df.sample(n=7)
Для любого из указанных выше подходов вы можете получить остальные строки, выполнив:
df_rest = df.loc[~df.index.isin(df_percent.index)]
Лучший способ сделать это - с помощью выборочной функции из случайного модуля,
import numpy as np
import pandas as pd
from random import sample
# given data frame df
# create random index
rindex = np.array(sample(xrange(len(df)), 10))
# get 10 random rows from df
dfr = df.ix[rindex]
sample Начиная с v0.20.0 вы можете использовать pd.DataFrame.sample, который можно использовать для возврата случайной выборки строк с фиксированным числом или процентного соотношения строк:
df = df.sample(n=k) # k rows
df = df.sample(frac=k) # int(len(df.index) * k) rows
Для воспроизводимости вы можете указать целое число random_state, эквивалентное использованию np.ramdom.seed. Таким образом, вместо установки, например, np.random.seed = 0, вы можете:
df = df.sample(n=k, random_state=0)
На самом деле это даст вам повторяющиеся индексы np.random.random_integers(0, len(df), N), где N - большое число.
Ниже строки будет случайным образом выбирать n количество строк из всех существующих номеров строк из фрейма данных df без замены.
df=df.take(np.random.permutation(len(df))[:n])