Удалите строки с повторяющимися индексами (Pandas DataFrame и TimeSeries)

Ответ 1

Я бы предложил использовать дублированный метод на самом индексе Панд:

df3 = df3.loc[~df3.index.duplicated(keep='first')]

В то время как все другие методы работают, в настоящее время принятый ответ является наименее эффективным для предоставленного примера. Кроме того, хотя метод groupby лишь немного менее производительный, я считаю, что дублированный метод более удобочитаем.

Используя предоставленные образцы данных:

>>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index')
1000 loops, best of 3: 1.54 ms per loop

>>> %timeit df3.groupby(df3.index).first()
1000 loops, best of 3: 580 µs per loop

>>> %timeit df3[~df3.index.duplicated(keep='first')]
1000 loops, best of 3: 307 µs per loop

Обратите внимание, что вы можете сохранить последний элемент, изменив аргумент keep.

Также следует отметить, что этот метод также работает с MultiIndex (используя df1, как указано в примере с Полом):

>>> %timeit df1.groupby(level=df1.index.names).last()
1000 loops, best of 3: 771 µs per loop

>>> %timeit df1[~df1.index.duplicated(keep='last')]
1000 loops, best of 3: 365 µs per loop

Ответ 2

Мой оригинальный ответ, который сейчас устарел, хранится для справки.

Простое решение - использовать drop_duplicates

df4 = df3.drop_duplicates(subset='rownum', keep='last')

Для меня это работало быстро на больших наборах данных.

Для этого необходимо, чтобы столбец с дубликатами был "rownum". В модифицированном примере "rownum" не имеет дубликатов, поэтому ничего не удаляется. То, что мы действительно хотим, это чтобы столбцы были установлены в индекс. Я не нашел способ указать drop_duplicates только рассматривать индекс.

Вот решение, которое добавляет индекс в виде столбца данных, удаляет дубликаты, а затем удаляет новый столбец:

df3 = df3.reset_index().drop_duplicates(subset='index', keep='last').set_index('index')

И если вы хотите, чтобы все вернулось в правильном порядке, просто вызовите sort на кадре данных.

df3 = df3.sort()

Ответ 3

О, мой. Это на самом деле так просто!

grouped = df3.groupby(level=0)
df4 = grouped.last()
df4
                      A   B  rownum

2001-01-01 00:00:00   0   0       6
2001-01-01 01:00:00   1   1       7
2001-01-01 02:00:00   2   2       8
2001-01-01 03:00:00   3   3       3
2001-01-01 04:00:00   4   4       4
2001-01-01 05:00:00   5   5       5

Последующее редактирование 2013-10-29 В случае, когда у меня довольно сложный MultiIndex, я думаю, что предпочитаю подход groupby. Вот простой пример для потомков:

import numpy as np
import pandas

# fake index
idx = pandas.MultiIndex.from_tuples([('a', letter) for letter in list('abcde')])

# random data + naming the index levels
df1 = pandas.DataFrame(np.random.normal(size=(5,2)), index=idx, columns=['colA', 'colB'])
df1.index.names = ['iA', 'iB']

# artificially append some duplicate data
df1 = df1.append(df1.select(lambda idx: idx[1] in ['c', 'e']))
df1
#           colA      colB
#iA iB                    
#a  a  -1.297535  0.691787
#   b  -1.688411  0.404430
#   c   0.275806 -0.078871
#   d  -0.509815 -0.220326
#   e  -0.066680  0.607233
#   c   0.275806 -0.078871  # <--- dup 1
#   e  -0.066680  0.607233  # <--- dup 2

и здесь важная часть

# group the data, using df1.index.names tells pandas to look at the entire index
groups = df1.groupby(level=df1.index.names)  
groups.last() # or .first()
#           colA      colB
#iA iB                    
#a  a  -1.297535  0.691787
#   b  -1.688411  0.404430
#   c   0.275806 -0.078871
#   d  -0.509815 -0.220326
#   e  -0.066680  0.607233

Ответ 4

К сожалению, я не думаю, что Pandas позволяет отказаться от индексов. Я бы предложил следующее:

df3 = df3.reset_index() # makes date column part of your data
df3.columns = ['timestamp','A','B','rownum'] # set names
df3 = df3.drop_duplicates('timestamp',take_last=True).set_index('timestamp') #done!

Ответ 5

Если кому-то, как я, нравится цепное манипулирование данными с использованием точечной нотации панд (например, конвейерная обработка), то может быть полезно следующее:

df3 = df3.query('~index.duplicated()')

Это позволяет создавать цепочки операторов следующим образом:

df3.assign(C=2).query('~index.duplicated()').mean()