Подтвердить что ты не робот

Почему pandas groupby(). Transform() требует уникальный индекс?

Я хочу использовать groupby(). transform() для выполнения пользовательского (кумулятивного) преобразования каждого блока записей в (отсортированном) наборе данных. Если я не гарантирую, что у меня есть уникальный ключ, это не сработает. Почему?

Вот пример игрушки:

df = pd.DataFrame([[1,1],
                  [1,2],
                  [2,3],
                  [3,4],
                  [3,5]], 
                  columns='a b'.split())
df['partials'] = df.groupby('a')['b'].transform(np.cumsum)
df

дает ожидаемое:

     a   b   partials
0    1   1   1
1    1   2   3
2    2   3   3
3    3   4   4
4    3   5   9

но если "a" является ключом, все идет не так:

df = df.set_index('a')
df['partials'] = df.groupby(level=0)['b'].transform(np.cumsum)
df

---------------------------------------------------------------------------
Exception                                 Traceback (most recent call last)
<ipython-input-146-d0c35a4ba053> in <module>()
      3 
      4 df = df.set_index('a')
----> 5 df.groupby(level=0)['b'].transform(np.cumsum)

/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/pandas/core/groupby.pyc in transform(self, func, *args, **kwargs)
   1542             res = wrapper(group)
   1543             # result[group.index] = res
-> 1544             indexer = self.obj.index.get_indexer(group.index)
   1545             np.put(result, indexer, res)
   1546 

/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/pandas/core/index.pyc in get_indexer(self, target, method, limit)
    847 
    848         if not self.is_unique:
--> 849             raise Exception('Reindexing only valid with uniquely valued Index '
    850                             'objects')
    851 

Exception: Reindexing only valid with uniquely valued Index objects

Такая же ошибка, если вы выберете столбец "b" перед группировкой, т.е.

df['b'].groupby(level=0).transform(np.cumsum)

но вы можете заставить его работать, если вы преобразуете весь фрейм данных, например:

df.groupby(level=0).transform(np.cumsum)

или даже одностолбцовый фрейм (а не ряд):

df.groupby(level=0)[['b']].transform(np.cumsum)

Я чувствую, что там еще какая-то глубокая часть GroupBy-fu, которую я пропускаю. Может кто-то меня прямо посадил?

4b9b3361

Ответ 1

Это была ошибка, так как исправлено в pandas (конечно, в 0.15.2, IIRC было зафиксировано в 0.14), поэтому вы больше не видите это исключение.


В качестве обходного пути в предыдущем pandas вы можете использовать apply:

In [10]: g = df.groupby(level=0)['b']

In [11]: g.apply(np.cumsum)
Out[11]:
a
1    1
1    3
2    3
3    4
3    9
dtype: int64

и вы можете назначить это столбцу в df

In [12]: df['partial'] = g.apply(np.cumsum)