За последние несколько лет было несколько сообщений, связанных с parallelization
of pandas.apply()
или сообщений, описывающих проблемы, которые могут быть решены путем структурирования данных в виде фрейма данных и использования pandas.apply()
, если parallelization
было реализовано,
Мой вопрос к сообществу экспертов здесь - каков статус этой возможности, поскольку R
уже имеет mclapply
.
В настоящее время нет чистого стандартного решения. Крайне утомительно перекодировать целые функции и скрипты для работы с предлагаемыми обходными решениями.
Python Pandas Применение многопроцессорных приложений
Параллелизировать применять после Pandas groupby
Параллельная и многоядерная обработка в R
Python multiprocessing pool.map для нескольких аргументов
Параллельная обработка в python
передача kwargs с multiprocessing.pool.map
передача аргументов и manager.dict для объединения в многопроцессорность в python 2.7
Есть ли простая параллельная карта на основе процессов для python?
Pandas с rpy2 и многопроцессорностью
Как асинхронно применять функцию через Spark к подмножествам dataframe?
Эффективное применение функции к сгруппированному Pandas DataFrame параллельно
python dask DataFrame, поддержка (тривиально параллелизуемая) строка применяется?
Задача многопроцессорности Python для задачи Celery, но AttributeError
Параллелизировать функцию приложения в Pandas python. работал в groupby