Мы собираемся написать параллельную программу с помощью Clojure, которая будет извлекать ключевые слова из огромного количества входящей почты, которые будут проверяться с помощью базы данных.
Один из моих товарищей по команде предложил использовать Erlang для написания этой программы.
Здесь я хочу отметить, что я новичок в функциональном программировании, поэтому я немного сомневаюсь, что clojure является хорошим выбором для написания этой программы, или Эрланг более подходит.
Два языка и время выполнения используют разные подходы к concurrency:
Erlang структурирует программы, поскольку многие легкие процессы взаимодействуют между собой. В этом случае у вас, вероятно, будет мастер-процесс отправки заданий и данных многим рабочим и другим процессам для обработки полученных данных.
Clojure поддерживает дизайн, в котором несколько потоков обмениваются данными и состояниями, используя общие структуры данных. Это звучит особенно подходящим для случаев, когда многие потоки обращаются к тем же данным (только для чтения) и имеют малое изменяемое состояние.
Вам необходимо проанализировать ваше приложение, чтобы определить, какая модель подходит вам лучше всего. Это также может зависеть от внешних инструментов, которые вы используете, например, способности базы данных обрабатывать параллельные запросы.
Другое практическое соображение состоит в том, что clojure работает на JVM, где доступно множество библиотек с открытым исходным кодом.
Вы действительно имеете в виду одновременное или распределенное?
Если вы имеете в виду одновременный (многопоточный, многоядерный и т.д.), то я бы сказал, что Clojure является естественным решением.
Если вы имеете в виду распределенные (т.е. многие разные компьютеры используют работу над сетью, которые эффективно работают как изолированные процессы), то я бы сказал, что Erlang является более естественным решением:
В долгосрочной перспективе я надеюсь, что Clojure разработает распределенную вычислительную инфраструктуру, которая соответствует Erlang, - тогда вы можете получить лучшее из обоих миров!
Clojure работает Lisp на Java JVM. Erlang спроектирован с нуля, чтобы быть высоко отказоустойчивым и параллельным.
Я считаю, что эта задача выполнима с любого из этих языков и многих других. Ваш опыт будет зависеть от того, насколько хорошо вы понимаете проблему и насколько хорошо знаете язык. Если вы новичок в обоих, я бы сказал, что проблема будет сложной, независимо от того, какой из них вы выберете.
Вы думали о чем-то вроде Lucene/Solr? Это отличное программное обеспечение для индексирования и поиска документов. Я не знаю, что означает "перекрестная проверка" для вашего контекста, но это может быть хорошим решением.
Мой подход состоял бы в том, чтобы написать простой тест на каждом языке и проверить производительность каждого из них. Оба языка несколько отличаются от языков стиля C, и если вы не привыкли к ним (и у вас нет команды, которая используется для них), вы можете оказаться в кошмаре обслуживания.
Я также хотел бы использовать что-то вроде Groovy 1.8. Groovy теперь включает в себя GPars для обеспечения параллельных вычислений. Управление строкой и файлами в Groovy очень просто.
а
Если огромное количество десятков распределенных машин, чем идти с erlang и писать работников в текстовых языках (python?, perl?). У вас будет распределенный слой сверху с высококонкурентными местными работниками. Каждый рабочий был бы представлен процессом erlang. Если вам нужно больше производительности, перепишите своего работника в C. В Erlang очень легко разговаривать с другими языками.
Если огромная по-прежнему означает, что одна сильная машина идет с JVM. Тогда он не огромен.
Если огромные сотни машин, я думаю, вам понадобится что-то более сильное, похожее на google (bigtable, map/reduce), вероятно, на С++-стек. Erlang все еще в порядке, однако вам понадобятся хорошие разработчики, чтобы закодировать его.