Скажем, у вас есть DAG воздушного потока, который не имеет смысла для обратной засыпки, а это означает, что после того, как он запускается один раз, запуск его в последующие времена будет совершенно бессмысленным.
Например, если вы загружаете данные из какого-то источника, который ежечасно обновляется только в вашей базе данных, засыпка, которая происходит в быстрой последовательности, будет просто импортировать одни и те же данные снова и снова.
Это особенно раздражает, когда вы создаете новую часовую задачу, и она запускает N
количество раз за каждый пропущенный час, делая избыточную работу, прежде чем она начнет работать в указанном вами интервале.
Единственное решение, о котором я могу думать, это то, о чем они конкретно советовали в FAQ по документам
Мы не рекомендуем использовать динамические значения как start_date, особенно
datetime.now()
поскольку это может быть довольно запутанным.
Есть ли способ отключить повторное заполнение для DAG, или я должен сделать это выше?