Профилирование метода класса в Python с использованием cProfile?

Ответ 1

Используйте декоратор профиля >

http://pypi.python.org/pypi/profilehooks

Ответ 2

EDIT: Извините, не понял, что вызов профиля был в методе класса.

run просто пытается exec передать строку. Если self не связано ни с чем в области используемого профилировщика, вы не можете использовать его в run! Используйте метод runctx для передачи локальных и глобальных переменных в объеме вызова профилировщика:

>>> import time
>>> import cProfile as profile
>>> class Foo(object):
...     def bar(self):
...             profile.runctx('self.baz()', globals(), locals())
...
...     def baz(self):
...             time.sleep(1)
...             print 'slept'
...             time.sleep(2)
...
>>> foo = Foo()
>>> foo.bar()
slept
         5 function calls in 2.999 CPU seconds

   Ordered by: standard name

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    2.999    2.999 <stdin>:5(baz)
        1    0.000    0.000    2.999    2.999 <string>:1(<module>)
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}
        2    2.999    1.499    2.999    1.499 {time.sleep}

Обратите внимание на последнюю строку: time.sleep - это то, что занимает время.

Ответ 3

Я бы не рекомендовал профилировать единую процедуру, потому что это подразумевает знание заранее там проблемы.

Основным аспектом проблем с производительностью является то, что они подлые. Они не там, где вы так думаете, потому что, если бы вы были, вы бы уже решили их.

Лучше всего запустить всю программу с реалистичной рабочей нагрузкой, и пусть техника профилирования сообщит вам, где проблемы.

Вот пример, где профилирование находит проблему, и это не так, как ожидалось.

Ответ 4

Если ваша функция в профиле возвращает значения (ы), вам нужно слегка изменить отличный ответ от @katrielalex:

...             profile.runctx('val = self.baz()', globals(), locals())
...             print locals()['val']

Ответ 5

Если вы хотите создать накопительный профилировщик, то есть запустить функцию несколько раз подряд и посмотреть сумму результатов.

Вы можете использовать этот cumulative_profiler decorator:

import cProfile, pstats

class _ProfileFunc:
    def __init__(self, func, sort_stats_by):
        self.func =  func
        self.profile_runs = []
        self.sort_stats_by = sort_stats_by

    def __call__(self, *args, **kwargs):
        pr = cProfile.Profile()
        pr.enable()  # this is the profiling section
        retval = self.func(*args, **kwargs)
        pr.disable()
        self.profile_runs.append(pr)
        ps = pstats.Stats(*self.profile_runs).sort_stats(self.sort_stats_by)
        return retval, ps

def cumulative_profiler(amount_of_times, sort_stats_by='time'):
    def real_decorator(function):
        def wrapper(*args, **kwargs):
            nonlocal function, amount_of_times, sort_stats_by  # for python 2.x remove this row

            profiled_func = _ProfileFunc(function, sort_stats_by)
            for i in range(amount_of_times):
                retval, ps = profiled_func(*args, **kwargs)
            ps.print_stats()
            return retval  # returns the results of the function
        return wrapper

    if callable(amount_of_times):  # incase you don't want to specify the amount of times
        func = amount_of_times  # amount_of_times is the function in here
        amount_of_times = 5  # the default amount
        return real_decorator(func)
    return real_decorator

пример

профилирование функции baz

import time

@cumulative_profiler
def baz():
    time.sleep(1)
    time.sleep(2)
    return 1

baz()

baz запустил 5 раз и напечатал это:

         20 function calls in 15.003 seconds

   Ordered by: internal time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
       10   15.003    1.500   15.003    1.500 {built-in method time.sleep}
        5    0.000    0.000   15.003    3.001 <ipython-input-9-c89afe010372>:3(baz)
        5    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

указав количество раз

@cumulative_profiler(3)
def baz():
    ...