Я регулярно выполняю операции pandas в кадрах данных более 15 миллионов или около того, и мне бы хотелось получить доступ к индикатору прогресса для определенных операций.
Есть ли индикатор прогресса на основе текста для операций pandas split-apply-comb?
Например, что-то вроде:
df_users.groupby(['userID', 'requestDate']).apply(feature_rollup)
где feature_rollup
- это несколько задействованная функция, которая занимает много столбцов DF и создает новые столбцы пользователей различными способами. Эти операции могут занять некоторое время для больших кадров данных, поэтому я хотел бы знать, возможно ли иметь текстовый вывод в ноутбуке iPython, который обновляет меня в ходе выполнения.
До сих пор я пробовал индикаторы прогресса канонического цикла для Python, но они не взаимодействуют с pandas каким-либо значимым образом.
Я надеюсь что-то, что я упустил в библиотеке/документации pandas, которая позволяет узнать о прогрессе split-apply-comb. Простая реализация могла бы рассмотреть общее количество подмножеств фреймов данных, на которых работает функция apply
, и сообщать о прогрессе как завершенную долю этих подмножеств.
Возможно, это что-то, что нужно добавить в библиотеку?