Я планировал использовать hadoop как "вычислительный кластер" в моем проекте. Однако затем я прочитал, что Hadoop не предназначен для систем реального времени из-за накладных расходов, связанных с началом работы. Я ищу решение, которое можно использовать таким образом - задания, которые можно легко масштабировать на несколько машин, но которые не требуют большого количества входных данных. Более того, я хочу использовать задания машинного обучения, например. используя созданную до нейронной сети в режиме реального времени.
Какие библиотеки/технологии я могу использовать для этих целей?
