Подтвердить что ты не робот

Pandas Функция Groupby Agg не уменьшает

Я использую функцию агрегации, которую я использовал в своей работе уже давно. Идея состоит в том, что если серия, переданная функции, имеет длину 1 (т.е. Группа имеет только одно наблюдение), то эти наблюдения возвращаются. Если длина проходящей серии больше единицы, то наблюдения возвращаются в списке.

Это может показаться странным для некоторых, но это не проблема X, Y, у меня есть все основания для желания сделать это, что не имеет отношения к этому вопросу.

Это функция, которую я использовал:

def MakeList(x):
    """ This function is used to aggregate data that needs to be kept distinc within multi day 
        observations for later use and transformation. It makes a list of the data and if the list is of length 1
        then there is only one line/day observation in that group so the single element of the list is returned. 
        If the list is longer than one then there are multiple line/day observations and the list itself is 
        returned."""
    L = x.tolist()
    if len(L) > 1:
        return L
    else:
        return L[0]

Теперь по какой-то причине, с текущим набором данных, над которым я работаю, я получаю ValueError, заявляя, что функция не уменьшает. Вот некоторые тестовые данные и оставшиеся шаги, которые я использую:

import pandas as pd
DF = pd.DataFrame({'date': ['2013-04-02',
                            '2013-04-02',
                            '2013-04-02',
                            '2013-04-02',
                            '2013-04-02',
                            '2013-04-02',
                            '2013-04-02',
                            '2013-04-02',
                            '2013-04-02',
                            '2013-04-02'],
                    'line_code':   ['401101',
                                    '401101',
                                    '401102',
                                    '401103',
                                    '401104',
                                    '401105',
                                    '401105',
                                    '401106',
                                    '401106',
                                    '401107'],
                    's.m.v.': [ 7.760,
                                25.564,
                                25.564,
                                9.550,
                                4.870,
                                7.760,
                                25.564,
                                5.282,
                                25.564,
                                5.282]})
DFGrouped = DF.groupby(['date', 'line_code'], as_index = False)
DF_Agg = DFGrouped.agg({'s.m.v.' : MakeList})

При попытке отладить это, я поставил оператор печати в действие print L и print x.index и выход был следующим:

[7.7599999999999998, 25.564]
Int64Index([0, 1], dtype='int64')
[7.7599999999999998, 25.564]
Int64Index([0, 1], dtype='int64')

По какой-то причине кажется, что agg передает серию дважды функции. Это, насколько я знаю, не является нормальным вообще и, по-видимому, является причиной, по которой моя функция не уменьшается.

Например, если я пишу такую ​​функцию:

def test_func(x):
    print x.index
    return x.iloc[0]

Это выполняется без проблем, а операторы печати:

DF_Agg = DFGrouped.agg({'s.m.v.' : test_func})

Int64Index([0, 1], dtype='int64')
Int64Index([2], dtype='int64')
Int64Index([3], dtype='int64')
Int64Index([4], dtype='int64')
Int64Index([5, 6], dtype='int64')
Int64Index([7, 8], dtype='int64')
Int64Index([9], dtype='int64')

Это означает, что каждая группа передается только один раз в качестве Серии в функцию.

Может кто-нибудь помочь мне понять, почему это не удается? Я успешно использовал эту функцию во многих наборах данных, с которыми я работаю.

Спасибо

4b9b3361

Ответ 1

Я не могу объяснить вам почему, но из моего опыта list в pandas.DataFrame не все хорошо работает.

Я обычно использую tuple. Это будет работать:

def MakeList(x):
    T = tuple(x)
    if len(T) > 1:
        return T
    else:
        return T[0]

DF_Agg = DFGrouped.agg({'s.m.v.' : MakeList})

     date line_code           s.m.v.
0  2013-04-02    401101   (7.76, 25.564)
1  2013-04-02    401102           25.564
2  2013-04-02    401103             9.55
3  2013-04-02    401104             4.87
4  2013-04-02    401105   (7.76, 25.564)
5  2013-04-02    401106  (5.282, 25.564)
6  2013-04-02    401107            5.282

Ответ 2

Это ошибка в DataFrame. Если агрегатор возвращает список для первой группы, он будет терпеть неудачу с указанной вами ошибкой; если он возвращает не-список (несерии) для первой группы, он будет работать нормально. Сломанный код находится в groupby.py:

def _aggregate_series_pure_python(self, obj, func):

    group_index, _, ngroups = self.group_info

    counts = np.zeros(ngroups, dtype=int)
    result = None

    splitter = get_splitter(obj, group_index, ngroups, axis=self.axis)

    for label, group in splitter:
        res = func(group)
        if result is None:
            if (isinstance(res, (Series, Index, np.ndarray)) or
                    isinstance(res, list)):
                raise ValueError('Function does not reduce')
            result = np.empty(ngroups, dtype='O')

        counts[label] = group.shape[0]
        result[label] = res

Обратите внимание, что if result is None и isinstance(res, list. Ваши варианты:

  • Fake out groupby(). agg(), поэтому он не видит список для первой группы или

  • Сделайте агрегацию самостоятельно, используя код, подобный выше, но без ошибочного теста.