Я только что закончил настройку небольшого кластера сложения (используя 3 машины ubuntu и apache hadoop 2.2.0), и теперь я пытаюсь запустить потоковые задания на питоне.
Запуск тестового задания У меня возникает следующая проблема:
Почти все задачи карты отмечены как успешные, но с примечанием о том, что Контейнер убит.
В онлайн-интерфейсе журнал для работы с картами говорит:
Прогресс 100.00
Состояние SUCCEEDED
но в Примечание он говорит почти для каждой попытки (~ 200)
Контейнер, убитый ApplicationMaster.
или
Контейнер, убитый ApplicationMaster. Контейнер убит по запросу. Код выхода - 143
В файле журнала, связанном с попыткой, я вижу сообщение, в котором делается "Задача" попытка_xxxxxxxxx_0 ".
Я также получаю 3 попытки с одним и тем же журналом, только у этих 3 есть
Состояние УБЕДЕНО
которые находятся под убитыми рабочими местами.
Выход stderr пуст для всех заданий/попыток.
При просмотре основного журнала приложений и после одной из успешных (но убитых) попыток я нахожу следующие журналы:
- Переход от NEW к UNASSIGNED
- Переход от UNASSIGNED к ASSIGNED
- несколько обновлений прогресса, в том числе: 1.0
- Готово подтверждение
- RUNNING to SUCCESS_CONTAINER_CLEANUP
- CONTAINER_REMOTE_CLEANUP
- KILLING попытка_xxxx
- Переход от SUCCESS_CONTAINER_CLEANUP к SUCCEEDED
- Задача, перенесенная с RUNNING на SUCCEEDED
Все попытки пронумерованы xxxx_0, поэтому я предполагаю, что они не были убиты в результате спекулятивного исполнения.
Должен ли я беспокоиться об этом? И что заставляет контейнеры убивать? Любые предложения будут очень благодарны!