MapReduce альтернативы

Ответ 1

Определённо. Проверьте, например, Bulk Synchronous Parallel. Map/Reduce на самом деле является очень ограниченным способом сокращения проблем, однако это ограничение делает его управляемым в таких рамках, как Hadoop. Вопрос в том, что меньше проблем прикладывать вашу проблему к настройке Map/Reduce, или если проще создать схему параллелизма для домена и самому позаботиться обо всех деталях реализации. На самом деле, Pig - это всего лишь абстракционный слой поверх Hadoop, который автоматизирует многие стандартные преобразования задач из не-Map-Reduce-y в Map-Reduce-compatible.

Редактировать 26.1.13: Найден красивый обновленный обзор здесь

Ответ 2

Фил Коллелла определил семь численных методов для научных вычислений на основе моделей рассеяния и сбора данных между обрабатывающими узлами и назвал их "карликами". Они были добавлены другими, список доступен в Dwarf Mine:

• Плотная линейная алгебра
• Редкая линейная алгебра
• Спектральные методы
• Методы N-Body
• Структурированные сетки
• Неструктурированные сетки
• MapReduce
• Комбинированная логика
• Обход графика
• Динамическое программирование
• Backtrack and Branch-and-Bound
• Графические модели
• Конечные государственные машины

Ответ 3

Обновление (август 2014 года): Стратосфера теперь называется Apache Flink (инкубация).

Посмотрите Stratosphere. Это другое время выполнения Big Data, которое предлагает больше операторов (отображение, уменьшение, объединение, объединение, перекресток, итерация,...). Он также позволяет определять расширенные графические потоки данных (с помощью Hadoop MR вам нужно будет создавать цепочки).

Стратосфера также поддерживает BSP с абстракцией обработки графика (называемой Spargel).

Если вы любите читать научные статьи, посмотрите Nephele/PACTs: модель программирования и структура выполнения для аналитической обработки веб-масштаба, он объясняет теоретические основы системы.

Другая система в поле Spark, которая имеет свою собственную модель (RDD). Поскольку BSP упоминается здесь, посмотрите также GraphLab, предложите альтернативу BSP.

Ответ 4

Microsoft Dryad считается более общим, чем MapReduce.