Почему спам не работает с org.apache.spark.shuffle.MetadataFetchFailedException: Отсутствует местоположение вывода для перетасовки 0 в режиме спекуляции?

Ответ 1

Это случилось со мной, когда я дал больше памяти работнику node, чем он. Поскольку у него не было свопа, искра разбилась, пытаясь сохранить объекты для перетасовки, оставив больше памяти.

Решение заключалось в том, чтобы либо добавить swap, либо настроить рабочий/исполнитель на использование меньше памяти в дополнение к использованию уровня хранения MEMORY_AND_DISK для нескольких сохраняемых объектов.

Ответ 2

У нас была аналогичная ошибка с Spark, но я не уверен, что это связано с вашей проблемой.

Мы использовали JavaPairRDD.repartitionAndSortWithinPartitions на 100 ГБ данных, и он продолжал сбой аналогично вашему приложению. Затем мы посмотрели журналы Yarn на конкретных узлах и выяснили, что у нас есть проблема с памятью, поэтому пряжа прервала выполнение. Наше решение состояло в том, чтобы изменить/добавить spark.shuffle.memoryFraction 0 в .../spark/conf/spark-defaults.conf. Это позволило нам обрабатывать гораздо больший (но, к сожалению, не бесконечный) объем данных таким образом.

Ответ 3

У меня такая же проблема на моем трехмерном кластере YARN. Я продолжал менять оперативную память, но проблема сохранялась. Наконец, я видел следующие сообщения в журналах:

17/02/20 13:11:02 WARN spark.HeartbeatReceiver: Removing executor 2 with no recent heartbeats: 1006275 ms exceeds timeout 1000000 ms
17/02/20 13:11:02 ERROR cluster.YarnScheduler: Lost executor 2 on 1worker.com: Executor heartbeat timed out after 1006275 ms

и после этого появилось следующее сообщение:

org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 67

Я изменил свойства в spark-defaults.conf следующим образом:

spark.yarn.scheduler.heartbeat.interval-ms 7200000
spark.executor.heartbeatInterval 7200000
spark.network.timeout 7200000

Что это! После этого моя работа завершилась успешно.

Ответ 4

В моем случае (автономный кластер) исключение было выбрано потому, что файловая система некоторых подчиненных Spark была заполнена на 100%. Удаление всех в папках spark/work подчиненных устройств решило проблему.

Ответ 5

Я решил эту ошибку увеличить выделенную память в executorMemory и driverMemory. Вы можете сделать это в HUE, выбрав программу Spark, которая вызывает проблему, а в свойствах → Список опций вы можете добавить что-то вроде этого:

--driver-memory 10G --executor-memory 10G --num-executors 50 --executor-cores 2

Разумеется, значения параметров будут различаться в зависимости от размера вашего кластера и ваших потребностей.

Ответ 6

У меня такая же проблема, но я искал много ответов, которые не могут решить мою проблему. в конце концов, я отлаживаю свой код шаг за шагом. Я нахожу, что проблема, вызванная размером данных, не сбалансирована для каждого раздела, что привело к MetadataFetchFailedException что на этапе map не reduce стадию. просто сделайте df_rdd.repartition(nums) перед reduceByKey()

Ответ 7

Эта проблема касается памяти. Вы передаете память, которая недоступна. В команде запроса искры есть 3 параметры памяти и исполнения. Этими параметрами являются

--driver-memory 1200M
--driver-cores  1
--num-executors 1  

Дайте память драйвера max n/2 (n= общая память node.)

Дайте драйверные ядра n/1000 (n= память драйвера (в MB))

Дайте num-executors n (n= количество узлов, которые у вас есть)

Если вы не укажете правильные параметры в команде запроса искры, тогда будет медленный ответ или это вызовет исключение.