Python: отладка утечки памяти

Ответ 1

См. http://opensourcehacker.com/2008/03/07/debugging-django-memory-leak-with-trackrefs-and-guppy/. Короткий ответ: если вы используете django, но не в формате веб-запроса, вам нужно вручную запустить db.reset_queries() (и, конечно, DEBUG = False, как упомянули другие). Django автоматически выполняет reset_queries() после веб-запроса, но в вашем формате это никогда не происходит.

Ответ 2

Является ли DEBUG = False в settings.py?

Если Django не с удовольствием сохранит все SQL-запросы, которые вы добавите.

Ответ 3

Вы пробовали gc.set_debug()?

Вам нужно задать себе простые вопросы:

• Я использую объекты с методами __del__? Должен ли я абсолютно, недвусмысленно, нуждаться в них?
• Можно ли получить ссылочные циклы в моем коде? Разве мы не можем разбить эти круги, прежде чем избавиться от объектов?

См., основной проблемой будет цикл объектов, содержащий методы __del__:

import gc

class A(object):
    def __del__(self):
        print 'a deleted'
        if hasattr(self, 'b'):
            delattr(self, 'b')

class B(object):
    def __init__(self, a):
        self.a = a
    def __del__(self):
        print 'b deleted'
        del self.a


def createcycle():
    a = A()
    b = B(a)
    a.b = b
    return a, b

gc.set_debug(gc.DEBUG_LEAK)

a, b = createcycle()

# remove references
del a, b

# prints:
## gc: uncollectable <A 0x...>
## gc: uncollectable <B 0x...>
## gc: uncollectable <dict 0x...>
## gc: uncollectable <dict 0x...>
gc.collect()

# to solve this we break explicitely the cycles:
a, b = createcycle()
del a.b

del a, b

# objects are removed correctly:
## a deleted
## b deleted
gc.collect()

Я бы действительно рекомендовал вам отмечать объекты/концепции, которые циклически используются в вашем приложении, и сосредоточиться на их жизни: когда они вам больше не нужны, есть ли у нас что-нибудь, ссылающееся на него?

Даже для циклов без методов __del__ у нас может быть проблема:

import gc

# class without destructor
class A(object): pass

def createcycle():
    # a -> b -> c 
    # ^         |
    # ^<--<--<--|
    a = A()
    b = A()
    a.next = b
    c = A()
    b.next = c
    c.next = a
    return a, b, b

gc.set_debug(gc.DEBUG_LEAK)

a, b, c = createcycle()
# since we have no __del__ methods, gc is able to collect the cycle:

del a, b, c
# no panic message, everything is collectable:
##gc: collectable <A 0x...>
##gc: collectable <A 0x...>
##gc: collectable <dict 0x...>
##gc: collectable <A 0x...>
##gc: collectable <dict 0x...>
##gc: collectable <dict 0x...>
gc.collect()

a, b, c = createcycle()

# but as long as we keep an exterior ref to the cycle...:
seen = dict()
seen[a] = True

# delete the cycle
del a, b, c
# nothing is collected
gc.collect()

Если вам нужно использовать "замеченные" словари или историю, будьте осторожны, чтобы вы сохраняли только фактические данные, которые вам нужны, и никаких внешних ссылок на него.

Теперь я немного разочарован set_debug, я бы хотел, чтобы он мог быть настроен для вывода данных где-то еще, кроме stderr, но, надеюсь, который должен измениться в ближайшее время.

Ответ 4

Смотрите это отличное сообщение в блоге от Ned Batchelder о том, как они выявили утечку реальной памяти в HP Tabblo. Классический и заслуживающий внимания.

Ответ 5

Я думаю, вы должны использовать разные инструменты. По-видимому, статистика, которую вы получили, - это только объекты GC (т.е. Объекты, которые могут участвовать в циклах); в частности, ему не хватает строк.

Я рекомендую использовать Pympler; это должно предоставить вам более подробную статистику.

Ответ 6

Используете ли вы какое-либо расширение? Они являются прекрасным местом для утечек памяти и не будут отслеживаться с помощью инструментов python.

Ответ 7

Попробуйте Guppy.

В основном вам нужна дополнительная информация или вы сможете их извлечь. Guppy даже предоставляет графическое представление данных.