Я потратил почти день, но не мог понять, как использовать IdentityReducer в новом API Hadoop. Все ссылки или классы, которые я могу найти, со старым API. И, очевидно, смешение старого класса API idetntitreducer в новой кодовой базе API не идет хорошо. Любая помощь будет оценена.
Identityreducer в новом API Hadoop
Ответ 1
В основном потому, что в новом API Mapper и Reducer есть классы вместо интерфейсов, это новая замена IdentityMapper/Reducer.
Поэтому вам нужно использовать Mapper.class и Reducer.class, чтобы получить идентификатор.
Ответ 2
Посмотрите:
http://hadoop.apache.org/common/docs/r1.0.0/api/org/apache/hadoop/mapred/lib/IdentityReducer.html
Его для стабильной версии hasoop
Ответ 3
Hadoop Streaming - Hadoop 1.0.2
Согласно this, команда
-x org.apache.hadoop.mapred.lib.IdentityX
где x = mapper или редуктор и X = Mapper или Reducer соответственно.
Я тестировал себя и работал.