Ошибка Hadoop Streaming Job с ошибкой в python

Из это руководство, я успешно выполнил упражнение с образцом. Но при выполнении моей работы с mapreduce я получаю следующую ошибку: ERROR streaming.StreamJob: Job not Successful! 10/12/16 17:13:38 INFO streaming.StreamJob: killJob... Streaming Job Failed!
Ошибка из файла журнала

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 2
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:311)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:545)
at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:132)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:358)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
at org.apache.hadoop.mapred.Child.main(Child.java:170)

Mapper.py

import sys

i=0

for line in sys.stdin:
    i+=1
    count={}
    for word in line.strip().split():
        count[word]=count.get(word,0)+1
    for word,weight in count.items():
        print '%s\t%s:%s' % (word,str(i),str(weight))

Reducer.py

import sys

keymap={}
o_tweet="2323"
id_list=[]
for line in sys.stdin:
    tweet,tw=line.strip().split()
    #print tweet,o_tweet,tweet_id,id_list
    tweet_id,w=tw.split(':')
    w=int(w)
    if tweet.__eq__(o_tweet):
        for i,wt in id_list:
            print '%s:%s\t%s' % (tweet_id,i,str(w+wt))
        id_list.append((tweet_id,w))
    else:
        id_list=[(tweet_id,w)]
        o_tweet=tweet

[edit] для запуска задания:

[email protected]:/usr/local/hadoop$ bin/hadoop jar contrib/streaming/hadoop-0.20.0-streaming.jar -file /home/hadoop/mapper.py -mapper /home/hadoop/mapper.py -file /home/hadoop/reducer.py -reducer /home/hadoop/reducer.py -input my-input/* -output my-output

Ввод - любая случайная последовательность предложений.

Спасибо,

Ответ 1

Ваш -mapper и -reducer должны быть просто script.

[email protected]:/usr/local/hadoop$ bin/hadoop jar contrib/streaming/hadoop-0.20.0-streaming.jar -file /home/hadoop/mapper.py -mapper mapper.py -file /home/hadoop/reducer.py -reducer reducer.py -input my-input/* -output my-output

Когда ваши скрипты находятся в задании, которое находится в другой папке в hdfs, которая относится к задаче попытки, выполняемой как "." (FYI, если вы когда-либо захотите добавить другой файл файл, например таблицу поиска, вы можете открыть его на Python, как если бы он находился в том же каталоге, что и ваши сценарии, в то время как ваш script находится в задании M/R)

также убедитесь, что у вас есть chmod a + x mapper.py и chmod a + x reducer.py

Ответ 2

Попробуйте добавить

 #!/usr/bin/env python

верхняя часть вашего script.

Или,

-mapper 'python m.py' -reducer 'r.py'

Ответ 3

Недавно я столкнулся с этой ошибкой, и моя проблема оказалась чем-то очевидным (в ретроспективе), как и другие решения:

У меня просто была ошибка в коде Python. (В моем случае я использовал форматирование строк Python v2.7, в то время как у меня был кластер AWS EMR, использующий Python v2.6).

Чтобы найти реальную ошибку Python, перейдите в веб-интерфейс Job Tracker (в случае AWS EMR, порт 9100 для AMI 2.x и порт 9026 для AMI 3.x); найти неудачный картограф; открыть свои журналы; и прочитайте вывод stderr.

Ответ 4

убедитесь, что ваш каталог ввода содержит только правильные файлы

Ответ 5

У меня тоже была та же проблема, я попробовал решение marvin W, и я также установил spark, убедитесь, что у вас установлен spark, не только pyspark (зависимость), но и установщик учебника по установке фреймворка

следовать этому учебнику

Ответ 6

Вам необходимо явно указать, что mapper и reducer используются в качестве скрипта Python, поскольку у нас есть несколько вариантов потоковой передачи. Вы можете использовать одинарные или двойные кавычки.

-mapper "python mapper.py" -reducer "python reducer.py"

или же

-mapper 'python mapper.py' -reducer 'python reducer.py'

Полная команда выглядит так:

hadoop jar /path/to/hadoop-mapreduce/hadoop-streaming.jar \
-input /path/to/input \
-output /path/to/output \
-mapper 'python mapper.py' \
-reducer 'python reducer.py' \
-file /path/to/mapper-script/mapper.py \
-file /path/to/reducer-script/reducer.py