Отбрасывать строки со всеми нулями в кадре данных pandas

Я могу использовать функциональность pandas dropna() для удаления строк с некоторыми или всеми столбцами, установленными как NA. Существует ли эквивалентная функция для удаления строк со всеми столбцами, имеющими значение 0?

P   kt  b   tt  mky depth
1   0   0   0   0   0
2   0   0   0   0   0
3   0   0   0   0   0
4   0   0   0   0   0
5   1.1 3   4.5 2.3 9.0

В этом примере мы хотели бы удалить первые 4 строки из фрейма данных.

спасибо!

Ответ 1

Оказывается, это может быть хорошо выражено векторизованным образом:

> df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})
> df = df[(df.T != 0).any()]
> df
   a  b
1  0  1
2  1  0
3  1  1

Ответ 2

Один вкладыш. Не требуется транспонирование:

df.loc[~(df==0).all(axis=1)]

И для тех, кто любит симметрию, это также работает...

df.loc[(df!=0).any(axis=1)]

Ответ 3

Замените нули наном, а затем опустим строки со всеми элементами как nan. После этого замените nan нулями.

df= df.replace(0,nan)
df=df.dropna(how='all',axis=0)
df=df.replace(nan,0)

Ответ 4

Я поднимаю этот вопрос примерно раз в месяц и всегда должен выкопать лучший ответ из комментариев:

df.loc[(df!=0).any(1)]

Спасибо Дэн Аллан!

Ответ 5

Вы можете использовать быструю функцию lambda, чтобы проверить, являются ли все значения в данной строке 0. Затем вы можете использовать результат применения этого lambda в качестве способа выбора только строк, которые соответствуют или не соответствуют этому условию:

import pandas as pd
import numpy as np

np.random.seed(0)

df = pd.DataFrame(np.random.randn(5,3), 
                  index=['one', 'two', 'three', 'four', 'five'],
                  columns=list('abc'))

df.loc[['one', 'three']] = 0

print df
print df.loc[~df.apply(lambda row: (row==0).all(), axis=1)]

Урожайность:

              a         b         c
one    0.000000  0.000000  0.000000
two    2.240893  1.867558 -0.977278
three  0.000000  0.000000  0.000000
four   0.410599  0.144044  1.454274
five   0.761038  0.121675  0.443863

[5 rows x 3 columns]
             a         b         c
two   2.240893  1.867558 -0.977278
four  0.410599  0.144044  1.454274
five  0.761038  0.121675  0.443863

[3 rows x 3 columns]

Ответ 6

import pandas as pd

df = pd.DataFrame({'a' : [0,0,1], 'b' : [0,0,-1]})

temp = df.abs().sum(axis=1) == 0      
df = df.drop(temp)

Результат:

>>> df
   a  b
2  1 -1

Ответ 7

Несколько решений, которые я нашел полезными при поиске, особенно для больших наборов данных:

df[(df.sum(axis=1) != 0)]       # 30% faster 
df[df.values.sum(axis=1) != 0]  # 3X faster

Продолжая пример из @U2EF1:

In [88]: df = pd.DataFrame({'a':[0,0,1,1], 'b':[0,1,0,1]})

In [91]: %timeit df[(df.T != 0).any()]
1000 loops, best of 3: 686 µs per loop

In [92]: df[(df.sum(axis=1) != 0)]
Out[92]: 
   a  b
1  0  1
2  1  0
3  1  1

In [95]: %timeit df[(df.sum(axis=1) != 0)]
1000 loops, best of 3: 495 µs per loop

In [96]: %timeit df[df.values.sum(axis=1) != 0]
1000 loops, best of 3: 217 µs per loop

В более крупном наборе данных:

In [119]: bdf = pd.DataFrame(np.random.randint(0,2,size=(10000,4)))

In [120]: %timeit bdf[(bdf.T != 0).any()]
1000 loops, best of 3: 1.63 ms per loop

In [121]: %timeit bdf[(bdf.sum(axis=1) != 0)]
1000 loops, best of 3: 1.09 ms per loop

In [122]: %timeit bdf[bdf.values.sum(axis=1) != 0]
1000 loops, best of 3: 517 µs per loop