Воздушный поток: файл журнала не является локальным, неподдерживаемое местоположение удаленного журнала

Я не могу видеть журналы, прикрепленные к задачам из пользовательского интерфейса Airflow:

Параметры, связанные с журналом в файле airflow.cfg:

remote_base_log_folder =
base_log_folder = /home/my_projects/ksaprice_project/airflow/logs
worker_log_server_port = 8793
child_process_log_directory = /home/my_projects/ksaprice_project/airflow/logs/scheduler

Хотя я устанавливаю remote_base_log_folter, он пытается получить журнал из http://:8793/log/tutorial/print_date/2017-08-02T00:00:00 - я не понимаю этого поведения. В соответствии с настройками рабочие должны хранить журналы в /home/my_projects/ksaprice_project/airflow/logs, и они должны быть извлечены из одного и того же места, а не из удаленного.

Обновление Содержимое таблицы task_instance:

Ответ 1

Я также столкнулся с той же проблемой.

Настройка переменных ниже в airflow.cfg работала для меня. Используйте {hostname} как машину FQDN {hostname} вместо localhost.

endpoint_url = http://{hostname}:8080

base_url = http://{hostname}:8080

Удачи!

Ответ 2

Как вы можете видеть на изображении-1, есть метка времени, убедитесь, что в ваших журналах у вас есть папка/файл с этой меткой времени как имя..

Вы смотрите на пользовательский интерфейс, поэтому сначала убедитесь, что у вас есть файлы журналов, созданные в каталоге, в моем случае папка моего журнала выглядит как

(AIRFLOW-ENV) [[email protected] dags]$ ll /home/cloudera/workspace/python/airflow_home/logs/my_test_dag/my_sensor_task 
total 8
-rw-rw-rw- 1 cloudera cloudera 3215 Nov 14 08:45 2017-11-12T12:00:00
-rw-rw-rw- 1 cloudera cloudera 2694 Nov 14 08:45 2017-11-14T08:36:06.920727
(AIRFLOW-ENV) [[email protected] dags]$

Итак, мой URL-адрес журнала

http://localhost:8080/admin/airflow/log?task_id=my_sensor_task&dag_id=my_test_dag&execution_date=2017-11-14T08:36:06.920727

Когда вы перейдете к своей группе DAG и выберите GRAPH-VIEW, вы увидите раскрывающийся список рядом с "RUN", выберите соответствующий прогон, а затем в виде графика ниже выберите подходящую задачу/оператор и выберите вид-журнал

Ответ 3

Я тоже столкнулся с этим, и мне пришлось отказаться от задач.

dags_are_paused_at_creation = False

Я также установил новые dags для default без изменений в моем airflow.cfg

dags_are_paused_at_creation = False

Ответ 4

Я также сталкиваюсь с той же проблемой, я пытался изменить имя хоста с помощью FQDN, но все еще та же проблема. Кто-нибудь решил эту проблему.