Вывод формата даты против прохождения парсера

Ответ 1

Вы определили две важные функции: read_csv готовит функцию для синтаксического анализа столбцов даты с помощью _make_date_converter, и это всегда будет делать вызов to_datetime (pandas "первичная строка-дата инструмент преобразования).

Ответы @WillAyd и @bmbigbang кажутся мне правильными, потому что они идентифицируют причину медленности как повторные вызовы лямбда-функции.

Поскольку вы запрашиваете более подробные сведения о исходном коде pandas, я попробую и рассмотрю каждый вызов read_test более подробно ниже, чтобы узнать, где мы закончили в to_datetime, и, в конечном счете, почему тайминги вы наблюдали за своими данными.

read_test()

Это очень быстро, потому что без каких-либо подсказок о возможном формате даты pandas будет пытаться проанализировать столбцы строк, похожие на список, как если бы они были примерно в ISO8601 формат (это очень распространенный случай).

Переходя в to_datetime, мы быстро достигаем этой ветки кода:

if result is None and (format is None or infer_datetime_format):
    result = tslib.array_to_datetime(...)

С этого момента он скомпилированный код Cython полностью.

array_to_datetime итерации через столбец строк для преобразования каждого в формат даты и времени. Для каждой строки мы нажимаем _string_to_dts в эта строка; затем переходим к другому короткому фрагменту встроенного кода (_cstring_to_dts), что означает parse_iso_8601_datetime вызывается для фактического синтаксического анализа строки для объекта datetime.

Эта функция более чем способна анализировать даты в формате YYYY-MM-DD, и поэтому для завершения задания требуется только некоторое обслуживание (структура C, заполненная parse_iso_8601_datetime, становится надлежащим объектом datetime, некоторые ограничения проверяются).

Как вы можете видеть, dateutil.parser.parser вообще не вызывается.

read_test(infer_datetime_format=True)

Посмотрим, почему это почти так же быстро, как read_test().

Запрос pandas на вывод формата даты и времени (и передача аргумента format) означает, что мы приземляемся здесь в to_datetime:

if infer_datetime_format and format is None:
    format = _guess_datetime_format_for_array(arg, dayfirst=dayfirst)

Это вызывает _guess_datetime_format_for_array, который принимает первое ненулевое значение в столбце и присваивает его _guess_datetime_format. Это пытается создать строку формата даты и времени, которая будет использоваться для будущего анализа. (Мой ответ здесь содержит более подробные сведения о форматах, которые он может распознать.)

К счастью, формат YYYY-MM-DD - это тот, который может быть распознан этой функцией. К счастью, этот конкретный формат имеет быстрый путь через код pandas!

Вы можете видеть pandas наборы infer_datetime_format обратно на False здесь:

if format is not None:
    # There is a special fast-path for iso8601 formatted
    # datetime strings, so in those cases don't use the inferred
    # format because this path makes process slower in this
    # special case
    format_is_iso8601 = _format_is_iso(format)
    if format_is_iso8601:
        require_iso8601 = not infer_datetime_format
        format = None

Это позволяет коду принимать тот же путь, что и выше, к функции parse_iso_8601_datetime.

read_test(date_parser=lambda dt: strptime(dt, '%Y-%m-%d'))

Мы предоставили функцию для синтаксического анализа даты, поэтому pandas выполняет этот блок кода.

Однако это возникает как исключение изнутри:

strptime() argument 1 must be str, not numpy.ndarray

Это исключение сразу же попадает, а pandas возвращается к использованию try_parse_dates перед вызовом to_datetime.

try_parse_dates означает, что вместо вызова в массиве функция лямбда вызывается повторно для каждого значения массива в этот цикл:

for i from 0 <= i < n:
    if values[i] == '':
        result[i] = np.nan
    else:
        result[i] = parse_date(values[i]) # parse_date is the lambda function

Несмотря на скомпилированный код, мы платим штраф за вызовы функций для кода Python. Это делает его очень медленным по сравнению с другими подходами выше.

Вернемся в to_datetime, теперь у нас есть массив объектов, заполненный объектами datetime. Снова мы нажали array_to_datetime, но на этот раз pandas видит объект даты и использует другую функцию (pydate_to_dt64), чтобы превратить ее в объект datetime64.

Причина замедления на самом деле связана с повторными вызовами лямбда-функции.

О вашем обновлении и формате MM/DD/YYYY

Серия s имеет строки даты в формате MM/DD/YYYY.

Это не формат ISO8601. pd.to_datetime(s, infer_datetime_format=False) пытается проанализировать строку, используя parse_iso_8601_datetime, но это не удается с помощью ValueError. Ошибка обрабатывается здесь: pandas будет использовать parse_datetime_string. Это означает, что dateutil.parser.parse используется для преобразования строки в дату и время. Поэтому в этом случае он медленный: повторное использование функции Python в цикле.

Здесь нет большой разницы между pd.to_datetime(s, format='%m/%d/%Y') и pd.to_datetime(s, infer_datetime_format=True) с точки зрения скорости. Последний использует _guess_datetime_format_for_array для вывода формата MM/DD/YYYY. И тогда нажмите array_strptime здесь:

if format is not None:
    ...
    if result is None:
        try:
            result = array_strptime(arg, format, exact=exact, errors=errors)

array_strptime - это быстрая функция Cython для синтаксического анализа массива строк в datetime-структурах, заданных в определенном формате.

Ответ 2

После более пристального внимания Pandas оригинальный запрос на извлечение для формата infer

Я считаю, что передача парсера напрямую не совместима с методом pandas '._convert_listlike. В то время как синтаксический анализатор dateutil не является неотъемлемо параллелизуемым, pandas преобразовать список, подобный операциям, может воздействовать на парсинг параллельно, если они могут вывести формат. В сообщении упоминается, что формат выводится из первого пункта, затем все остальные получают одинаковое обращение. Будучи математиком, я бы, вероятно, рекомендовал принять 10 случайных записей и принять формат синтаксического анализа в качестве избранного.

Обновление Как упоминалось в комментариях и в запросе на растяжение, также существуют сравнения между передачей формата или синтаксического анализатора: test gist. Возможно, стоит добавить запрос функции, чтобы парсер был объектом np.vectorize или аналогичным.

Ответ 3

infer_datetime_format применяет формат, который он выводит всем элементам за один проход (то есть в векторном виде). Напротив, ваша лямбда-функция вызывается для каждого элемента, что приносит с собой намного больше накладных расходов и снижает производительность.

Существует запрос от 2012 для аргумента ключевого слова в явном виде, который теоретически предоставит вам функциональность, которую вы ищете, с производительностью ты желаешь. Вместо того, чтобы быть реализованным, лучше всего пойти с предложенным Уэсом подходом в ссылке и просто прочитать дату в виде строки, вызвав pd.to_datetime после факта

Вот пример времени с моей машины, чтобы проиллюстрировать:

%timeit read_test()
15.4 ms ± 96.2 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

%timeit read_test(infer_datetime_format=True)
17.2 ms ± 1.82 ms per loop (mean ± std. dev. of 7 runs, 100 loops each)

%timeit read_test(date_parser=lambda dt: pd.datetime.strptime(dt, '%Y-%m-%d'))
147 ms ± 4.65 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

%timeit df = read_test(); df['index'] = pd.to_datetime(df['index'], '%Y-%m-%d')
15.3 ms ± 239 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)