У меня есть фреймворк Pandas, и я хочу найти все уникальные значения в этом фрейме данных... независимо от строки/столбцов. Если у меня есть 10 x 10 фреймов данных и предположим, что у них 84 уникальных значения, мне нужно их найти - Не считать.
Я могу создать набор и добавить значения каждой строки путем итерации по строкам данных. Но я чувствую, что это может быть неэффективным (не может этого оправдать). Есть ли эффективный способ его найти? Есть ли предопределенная функция?
In [1]: df = DataFrame(np.random.randint(0,10,size=100).reshape(10,10))
In [2]: df
Out[2]:
0 1 2 3 4 5 6 7 8 9
0 2 2 3 2 6 1 9 9 3 3
1 1 2 5 8 5 2 5 0 6 3
2 0 7 0 7 5 5 9 1 0 3
3 5 3 2 3 7 6 8 3 8 4
4 8 0 2 2 3 9 7 1 2 7
5 3 2 8 5 6 4 3 7 0 8
6 4 2 6 5 3 3 4 5 3 2
7 7 6 0 6 6 7 1 7 5 1
8 7 4 3 1 0 6 9 7 7 3
9 5 3 4 5 2 0 8 6 4 7
In [13]: Series(df.values.ravel()).unique()
Out[13]: array([9, 1, 4, 6, 0, 7, 5, 8, 3, 2])
Numpy уникальные сорта, поэтому его быстрее сделать это таким образом (а затем отсортировать, если вам нужно)
In [14]: df = DataFrame(np.random.randint(0,10,size=10000).reshape(100,100))
In [15]: %timeit Series(df.values.ravel()).unique()
10000 loops, best of 3: 137 ﾵs per loop
In [16]: %timeit np.unique(df.values.ravel())
1000 loops, best of 3: 270 ﾵs per loop
Или вы можете использовать:
df.stack().unique()
Тогда вам не нужно беспокоиться, если у вас есть значения NaN, поскольку они исключаются при выполнении стекирования.